📊 Hypothesentests — t-Test & p-Wert

Beim Einstichproben-Test ist die Statistik t = x̄ ÷ √(s²/n), wobei x̄ der Stichprobenmittelwert und s² die Stichprobenvarianz ist, bei n−1 Freiheitsgraden. Die Zweistichproben-Version verwendet die Differenz der Mittelwerte geteilt durch den gepoolten Standardfehler bei 2n−2 Freiheitsgraden. Die χ²-Option summiert stattdessen (beobachtet−erwartet)²/erwartet über vier Kategorien.

Ein Fehler 1. Art bedeutet, eine wahre Nullhypothese zu verwerfen — ein falsch-positives Ergebnis, dessen langfristige Rate gleich α ist. Ein Fehler 2. Art bedeutet, eine falsche Nullhypothese nicht zu verwerfen — ein übersehener echter Effekt, mit Rate β. Die Zähler im Panel erfassen beides, während du Durchläufe ausführst, sodass du bestätigen kannst, dass die Rate der Fehler 1. Art nahe deinem gewählten α liegt.

Die Power ist die Wahrscheinlichkeit, die Nullhypothese korrekt zu verwerfen, wenn ein echter Effekt der Größe δ existiert, gleich 1−β. Der Simulator schätzt sie aus dem Nichtzentralitätsparameter δ÷(σ/√n) relativ zum kritischen Wert. Eine Erhöhung von n oder δ, oder eine Verringerung von σ, verschiebt die Alternativverteilung weiter in den Ablehnungsbereich und erhöht so die angezeigte Power.

Wenn die Nullhypothese wahr ist, sind p-Werte zwischen 0 und 1 gleichverteilt, weshalb sich das untere Histogramm bei Nulldurchläufen der gestrichelten Referenzlinie annähert und abflacht. Wenn ein echter Effekt vorliegt, häufen sich p-Werte nahe null. Da jeder Durchlauf eine 50/50-Mischung aus Null- und Effektfällen ist, siehst du eine Mischung beider Formen.

Die zugrunde liegende Mathematik ist echt: Sie zieht Stichproben aus einer Normalverteilung mittels der polaren Box–Muller-Methode und wertet die t- und χ²-Verteilungsfunktionen mittels Kettenbruch- und Reihennäherungen der unvollständigen Beta- und Gammafunktionen aus. Der Power-Wert verwendet eine Normalnäherung an die nichtzentrale t-Verteilung, ist also eine gute Schätzung und kein exakter tabellierter Wert.

Der Einstichproben-t-Test prüft, ob sich der Mittelwert einer einzelnen Gruppe von einem Referenzwert unterscheidet. Der Zweistichproben-t-Test vergleicht die Mittelwerte zweier unabhängiger Gruppen. Der χ²-Anpassungstest prüft, ob beobachtete Kategoriehäufigkeiten mit einer erwarteten Verteilung übereinstimmen — hier vier Kategorien gegenüber einer Gleichverteilungserwartung. Jeder verwendet unterschiedliche Freiheitsgrade und eine andere Stichprobenverteilung.

Der kritische Wert markiert die Grenze des Ablehnungsbereichs, und ein niedrigeres α verlangt stärkere Evidenz, wodurch diese Grenze weiter in die Ränder verschoben wird. Der Simulator löst dies durch Bisektion auf der t- (oder χ²-)Verteilung, sodass die Randfläche gleich α ist. Ein kleineres α reduziert Fehler 1. Art, senkt aber bei sonst gleichen Bedingungen die Power und erhöht Fehler 2. Art.

Derselbe Rahmen liegt klinischen Studien, A/B-Tests in der Software, landwirtschaftlichen Feldversuchen und der Qualitätskontrolle in der Fertigung zugrunde. Praktiker nutzen Poweranalyse — genau den hier gezeigten Kompromiss zwischen n, δ, σ und α —, um vor der Datenerhebung eine Stichprobengröße zu wählen, die groß genug ist, um einen bedeutsamen Effekt zu erkennen, während Falsch-Positiv- und Falsch-Negativ-Raten akzeptabel niedrig bleiben.