Permutationstest

Ein Permutationstest ist in der nichtparametrischen Statistik ein exakter Test, bei dem zufällige Stichprobenwiederholungen unter Annahme der Nullhypothese identischer Verteilungen $H_{0}:F=G$ gezogen werden, häufig mithilfe von Monte-Carlo-Simulationen. Basierend auf der daraus resultierenden Verteilung der Teststatistik wird bestimmt, wie wahrscheinlich die Teststatistik der Originaldaten unter der Nullhypothese ist.

Animation eines Permutationstests. Die 4 Stichproben in rot sind einer Normalverteilung ${\mathcal {N}}(\mu _{1}=60,\sigma _{1}=10)$ entnommen und die 5 Stichproben in blau sind einer anderen Normalverteilung ${\mathcal {N}}(\mu _{2}=50,\sigma _{2}=10)$ entnommen. Die Hypothese ist, dass die roten Stichproben einer Verteilung mit größerem Mittelwert entstammen; die Nullhypothese ist, dass beide Stichproben der gleichen Verteilung entstammen. Die originale Teststatistik ${\hat {\mu }}_{1}-{\hat {\mu }}_{2}=10,3$ ist in pink dargestellt, die Teststatistiken der Kombinationen werden in das Histogramm eingetragen. Der geschätzte p-Wert ${\hat {p}}$ ist der Anteil der Kombinationen, der einen gleichen oder größeren Wert der Teststatistik liefert als die original vorliegende Teststatistik.

Mithilfe von Permutationstests kann beispielsweise untersucht werden, ob zwei Stichproben aus unterschiedlichen Verteilungen stammen (beispielsweise kann man die Differenz der Mittelwerte als Teststatistik auswerten). Die Nullhypothese ist, dass beide Stichproben der gleichen Verteilung entstammen (und die Differenz der Mittelwerte den Wert 0 annimmt). Gilt die Nullhypothese, dann können Datenpunkte von der einen Stichprobe in die andere getauscht werden (Permutation). Man erhält durch Permutieren Stichprobenwiederholungen und kann dann die entsprechende Teststatistik wiederholt berechnen und deren empirische Verteilung bestimmen. Aus dieser Verteilung leitet sich direkt der p-Wert der auf den beiden ursprünglichen Stichproben vorliegenden Teststatistik ab.

Die Zahl der nötigen Permutationen kann durch Stoppregeln bestimmt werden.

Ein Beispiel für einen Permutationstest zur Varianzanalyse ist PERMANOVA.

Begriffliche Abgrenzung

Randomisierte Tests (welche auf einer zufälligen Zuweisung des Testergebnisses beruhen) sind nicht zu verwechseln mit Permutationstests (welche auf zufälligen Stichprobenwiederholungen basieren). Historisch wurden Permutationstests gelegentlich als randomisierte Tests bezeichnet. Bootstrap-basierte Tests nehmen nicht die Nullhypothese $H_{0}:F=G$ an.

Literatur

• Monte Carlo Methods. In: Randomization, Bootstrap and Monte Carlo Methods in Biology. Chapman and Hall/CRC, 3. Oktober 2018.