🔁 Bootstrap-Resampling — Konfidenzintervalle

Bootstrap-KI ist vorzuziehen, wenn: (1) die Statistik keinen einfachen geschlossenen Standardfehler hat (z. B. der Median, der IQR oder ein Regressions-R²); (2) die Grundgesamtheitsverteilung eindeutig nicht normal oder schwerschwänzig ist; (3) die Stichprobengröße klein ist, was asymptotische Normalität fraglich macht; oder (4) Sie eine „Plausibilitätsprüfung“ parametrischer Ergebnisse wünschen. Das Standard-t-Intervall für den Mittelwert ist für n ≥ 30 bei mäßigen Abweichungen von der Normalität zuverlässig, aber Bootstrap ist unter schwächeren Annahmen stets gültig.

Der Perzentil-Bootstrap kann verzerrt sein oder eine falsche Abdeckung haben, wenn die Stichprobenverteilung von θ̂ schief ist oder θ̂ ein verzerrter Schätzer von θ ist. Die Bias-Corrected-and-Accelerated-Methode (BCa), ebenfalls von Efron, passt die für die KI-Endpunkte verwendeten Quantilstufen mittels einer Bias-Korrektur z₀ (basierend darauf, wie oft θ̂* < θ̂ ist) und einer Beschleunigungskonstante a (basierend auf den Jackknife-Einflusswerten) an. BCa-KIs haben eine bessere theoretische Abdeckung und werden für schiefe Statistiken empfohlen.

Der Standard-i.i.d.-Bootstrap versagt bei Zeitreihen, weil er die zeitliche Korrelation zerstört. Stattdessen resampeln Block-Bootstrap-Methoden aufeinanderfolgende Blöcke von Beobachtungen (z. B. Blöcke von 20 Datenpunkten), um die Autokorrelationsstruktur zu erhalten. Gängige Varianten sind der Moving-Block-Bootstrap, der Circular-Block-Bootstrap und der stationäre Bootstrap (zufällige Blocklängen aus einer geometrischen Verteilung). Für räumliche Daten sind räumliche Bootstrap- oder Subsampling-Verfahren erforderlich.

Das Jackknife-Verfahren (Quenouille, 1949; Tukey, 1958) schätzt Verzerrung und Varianz, indem es nacheinander jeweils eine Beobachtung auslässt, die Statistik auf den verbleibenden n−1 Werten berechnet und die Ergebnisse mittelt oder differenziert. Es ist rechnerisch günstiger als Bootstrap (nur n Resamples statt B), ist aber auf glatte Statistiken beschränkt: Es versagt beim Median und bei Quantilen, weil kleine Störungen die Rangordnungsstatistik nicht verändern. Der Bootstrap umfasst das Jackknife-Verfahren als Spezialfall.

Die Breite des Bootstrap-KI skaliert für Statistiken mit endlicher Varianz (wie den Mittelwert) ungefähr mit 1/√n. Eine Verdopplung der Stichprobengröße von 30 auf 120 halbiert die KI-Breite. Bei schwerschwänzigen Verteilungen (die Cauchy-Verteilung hat keine endliche Varianz) bricht diese 1/√n-Skalierung zusammen, und Bootstrap-KIs können inkonsistent werden. Der Simulator lässt Sie dies direkt beobachten: Probieren Sie n = 10 gegenüber n = 100 mit der cauchy-ähnlichen („schwerschwänzigen“) Verteilung und vergleichen Sie, wie sich die KI-Breite ändert.

Ja — dies ist eine der beliebtesten modernen Anwendungen des Bootstrap. Zur Schätzung der Varianz der Kreuzvalidierungsgenauigkeit bewertet der .632-Bootstrap jedes Bootstrap-Modell an den Out-of-Bag-Beobachtungen (den ~37 %, die nicht gezogen wurden) und kombiniert dies mit der Trainingsgenauigkeit: Fehler = 0,368 × Trainingsfehler + 0,632 × Out-of-Bag-Fehler. Die .632+-Methode passt zusätzlich für Overfitting an. Scikit-learn und das R-Paket caret bieten bootstrap-basierte Modellbewertung.

Der Bootstrap ist für Statistiken, die von extremen Ordnungsstatistiken abhängen (z. B. Stichprobenmaximum oder -minimum), inkonsistent, weil das Maximum eines Resamples nie das Maximum der Originalstichprobe überschreiten kann. Er erfordert zudem, dass die Originalstichprobe repräsentativ für die Grundgesamtheit ist — hat die Stichprobe eine Selektionsverzerrung, erbt das Bootstrap-KI diese Verzerrung. Schließlich skalieren die Rechenkosten mit B und n, was bei langsamen Modellanpassungen oder sehr großen Datensätzen ohne Subsampling untragbar sein kann.

Das Plug-in-Prinzip besagt: Schätzen Sie jede Größe der Grundgesamtheit, indem Sie die empirische Verteilungsfunktion F̂(x) — die Stufenfunktion, die an jedem beobachteten Wert eine Masse von 1/n platziert — für die wahre Verteilung F(x) einsetzen. Bootstrap-Sampling aus den Originaldaten ist äquivalent zum Sampling aus F̂. Jede Größe der Grundgesamtheit, ob Mittelwert, Quantil oder komplexes Funktional, kann dann geschätzt werden, indem dieselbe Größe unter F̂ berechnet wird, wobei die Unsicherheit durch die Variabilität über die Bootstrap-Resamples charakterisiert wird.