Unmatched-Count-Technik

Die Unmatched-Count-Technik (gelegentlich auch Item-Count-Technik) ist eine Methode der Psychologie und der Empirischen Sozialforschung, bestimmte Verfälschungen von Interviewantworten zu verringern.

Wenn bei der wissenschaftlichen Fragestellung lediglich die Anzahl der Personen interessiert, die eine bestimmte Eigenschaft, Meinung oder Einstellung haben, bietet die Unmatched-Count-Technik durch Anonymisierung eine Möglichkeit, die tatsächliche Anzahl der Träger des kritischen Merkmals zu schätzen. Als spezieller Einsatzbereich gelten daher insbesondere peinliche oder heikle Fragen, aber auch solche (z. B. der Wahlverlust von Tom Bradley), wo unerwartete Meinungsänderungen unter ausreichender Anonymität empirisch bekannt sind.

Verfahren

Die Befragten werden per Zufall in zwei Gruppen eingeteilt. In einer Gruppe (Kontrollgruppe) werden lediglich einige harmlose Fragen gestellt, in der anderen Gruppe zusätzlich die „sensitive Frage“, also eine Frage mehr (daher der Name "Unmatched Count"). Die befragte Person soll lediglich angeben, wie viele "Ja"-Antworten sie gegeben hätte. Da der Interviewer nicht weiß, wie die genannte Summe entstanden ist, wird die kritische "Ja"-Antwort, das Eingeständnis der peinlichen Eigenschaft, geschützt. Wegen der ungleichen Anzahl an Fragen kann der Anteil der "Ja"-Antworten auf die interessierende Frage anschließend herausgerechnet werden.

Beispiel

Die Kontrollgruppe soll angeben, wie viele der folgenden Aussagen zutreffend sind:

• Ich bin schon einmal umgezogen.
• Ich besitze ein Haustier.
• Ich gehe gerne ins Kino.
• Ich schaue gerne Sport im Fernsehen.

Die Anzahl an "Ja"-Antworten in dieser Gruppe sei 31.

Die andere Gruppe erhält zusätzlich die Frage nach dem interessierenden Merkmal:

• Ich habe schon mal bei einer Prüfung geschummelt.

Die Anzahl an "Ja"-Antworten in dieser Gruppe sei 34.

Auswertung

Die Anzahl an "Ja"-Antworten in der Kontrollgruppe bildet die sogenannte baseline. Die Annahme ist, dass die zweite Gruppe ohne die kritische Frage dieselbe Anzahl gehabt hätte, dass also der Unterschied von 3 im Beispiel auf der Anzahl der "Ja"-Antworten auf die kritische Frage beruht. Der prozentuale Anteil dieser "Ja"-Sager (bei z. B. 100 Befragten pro Gruppe wären es 3 %) wird als Schätzer für den Anteil an Schummlern in der Grundgesamtheit genommen.

Allerdings muss man beachten, dass die Beantwortung der unkritischen Fragen ohne die kritische Frage durch stochastische Prozesse schon erhebliche Schwankungen hat. Beträgt die Quote der Beantwortung dieser unkritischen Fragen mit "Ja" bei etwa 50 %, so schwankt deren Wert in diesem Beispiel schon mit 5 % (${\sqrt {0,5*0,5}}/{\sqrt {100}}$), d. h. eine Quote von 3 % ist nicht detektierbar, da sie innerhalb der Fehlertoleranz liegt (d. h. kleiner als der Standardfehler ist).

Kritik

Wesentlicher Kritikpunkt an der Methode, ist, dass nur von einem Teil der Stichprobe die gewünschte Information überhaupt identifizierbar ist: Im Beispiel erhält die 'Kontrollgruppe' die heikle Frage überhaupt nicht. Eine Möglichkeit, diesen Schwachpunkt zu beheben, ist, die Kontrollgruppe mit neuen harmlosen Fragen plus der heiklen Frage zu befragen, während die bis dato 'Experimentalgruppe' in diesem Fall zur Kontrollgruppe wird. Während das Mitteln der beiden resultierenden Werte keine Schwierigkeit darstellt, werden mit dieser Verbesserung (die auch einen längeren Fragebogen bedeutet) aber dennoch Aussagen über die Güte des statistischen Schätzers (also des Prozentwertes) bzw. die Berechnung der Streuung deutlich komplizierter (Ben Jann 2013).

Siehe auch

• Bogus-Pipeline-Technik
• Randomized-Response-Technik
• Crosswise-Modell

Literatur

• Elisabeth Coutts, Ben Jann: Sensitive Questions in Online Surveys: Experimental Results for the Randomized Response Technique (RRT) and the Unmatched Count Technique (UCT), General Online Research 2009 in Wien
• Ben Jann: Asking Sensitive Questions in Online Surveys: An Experimental Comparison of the Randomized Response Technique and the Crosswise Model, Konferenz des Department of Methods in the Social Sciences, 2013 in Wien, S. 33
• Allison M. Ahart, Paul R. Sackett (2004). A New Method of Examining Relationships between Individual Difference Measures and Sensitive Behavior Criteria: Evaluating the Unmatched Count Technique. Organizational Research Methods, Vol. 7, No. 1, S. 101–114
• Dan R. Dalton, James C. Wimbush, Catherine M. Daily (1994). Using the Unmatched Count Technique (UCT) to estimate base rates for sensitive behavior. Personnel Psychology 47, pp. 817–829

Weblinks

• Projektbeschreibung von J. Musch (PDF; 19 kB)
• Joseph LaBrie, Mitchell Earleywine E. (2000). Sexual risk behavior and alcohol: Higher base rates revealed using the unmatched-count technique. The Journal of Sex Research, 37, 321-326
• T. Tsuchiya, Y. Hirai, S. Ono (2007). A study of the properties of the item count technique. Public Opinion Quarterly