Permutationstest

Dieser Artikel behandelt Permutationstests, bei denen das Ergebnis des Tests auf zufälligen Stichprobenwiederholungen beruht. Nicht zu verwechseln mit randomisierten Tests, welche auf einer zufälligen Zuweisung des Ergebnisses beruhen.

Ein Permutationstest ist in der nichtparametrischen Statistik ein exakter Test, bei dem zufällige Stichprobenwiederholungen unter Annahme der Nullhypothese identischer Verteilungen ${\displaystyle H_{0}:F=G}$ gezogen werden. Die Umsetzung erfolgt häufig mithilfe von Monte-Carlo-Simulationen und dem "Was-wäre-wenn-Ansatz". Basierend auf der daraus resultierenden Verteilung der Teststatistik wird bestimmt, wie wahrscheinlich die Teststatistik der Originaldaten unter der Nullhypothese ist.

Methode

Animation eines Permutationstests. Die 4 Stichproben in rot sind einer Normalverteilung ${\displaystyle {\mathcal {N}}(\mu _{1}=60,\sigma _{1}=10)}$ entnommen und die 5 Stichproben in blau sind einer anderen Normalverteilung ${\displaystyle {\mathcal {N}}(\mu _{2}=50,\sigma _{2}=10)}$ entnommen. Die Hypothese ist, dass die roten Stichproben einer Verteilung mit größerem Mittelwert entstammen; die Nullhypothese ist, dass beide Stichproben der gleichen Verteilung entstammen. Die originale Teststatistik ${\displaystyle {\hat {\mu }}_{1}-{\hat {\mu }}_{2}=10,3}$ ist in pink dargestellt, die Teststatistiken der Kombinationen werden in das Histogramm eingetragen. Der geschätzte p-Wert ${\displaystyle {\hat {p}}}$ ist der Anteil der Kombinationen, der einen gleichen oder größeren Wert der Teststatistik liefert als die original vorliegende Teststatistik.

Mithilfe von Permutationstests kann beispielsweise untersucht werden, ob zwei Stichproben aus unterschiedlichen Verteilungen stammen (beispielsweise kann man die Differenz der Mittelwerte als Teststatistik auswerten). Die Nullhypothese ist, dass beide Stichproben der gleichen Verteilung entstammen (und die Differenz der Mittelwerte den Wert 0 annimmt). Gilt die Nullhypothese, dann können Datenpunkte von der einen Stichprobe in die andere getauscht werden (Permutation). Man erhält durch Permutieren Stichprobenwiederholungen und kann dann die entsprechende Teststatistik wiederholt berechnen und deren empirische Verteilung bestimmen. Aus dieser Verteilung leitet sich direkt der p-Wert der auf den beiden ursprünglichen Stichproben vorliegenden Teststatistik ab^[1]. Die Zahl der möglichen (sich nicht wiederholenden) Permutationen ist ${\displaystyle N_{1}+N_{2} \choose {N_{1}}}$, wobei ${\displaystyle N_{i}}$ die jeweiligen Stichprobenumfänge sind. Da ${\displaystyle N_{1}+N_{2} \choose {N_{1}}}$ schnell sehr groß wird, beschränkt man sich typischerweise auf eine Monte-Carlo-Simulation, welche eine bestimmte Zahl zufälliger Permutationen zieht (vgl. auch Fisher-Yates-Algorithmus zur Implementierung).

Die Zahl der nötigen Permutationen kann durch Stoppregeln bestimmt werden^[2].

Ein Beispiel für einen Permutationstest zur Varianzanalyse ist PERMANOVA.

Gepaarte Stichproben

Für gepaarte Stichproben ist der gepaarte Permutationstest geeignet, welcher die Paarungsstruktur beibehält und lediglich innerhalb der jeweiligen Paare permutiert. Daneben ist der Bootstraptest (neben dem nichtparametrischen Wilcoxon-Vorzeichen-Rang-Test) geeignet um bei gepaarten Stichproben zu überprüfen ob der Mittelwert der Differenzen statistisch signifikant von Null verschieden ist.

Begriffliche Abgrenzung

Randomisierte Tests (welche auf einer zufälligen Zuweisung des Testergebnisses beruhen) sind nicht zu verwechseln mit Permutationstests (welche auf zufälligen Stichprobenwiederholungen basieren)^[3]. Historisch wurden Permutationstests gelegentlich als randomisierte Tests bezeichnet.

Alternativen

Bootstrap-basierte Tests nehmen nicht zwangsläufig die Nullhypothese ${\displaystyle H_{0}:F=G}$ an (obwohl es möglich ist).

Literatur

• Monte Carlo Methods. In: Randomization, Bootstrap and Monte Carlo Methods in Biology. Chapman and Hall/CRC, 3. Oktober 2018.
• Pesarin, F., Salmaso, L. (2010). Permutation Tests for Complex Data: Theory, Applications and Software. Wiley. https://www.google.de/books/edition/Permutation_Tests_for_Complex_Data/9PWVTOanxPUC?hl=de