Startseite▸Maschinelles Lernen & Neuronale Netze▸k-Nächste-Nachbarn

📊 k-Nächste-Nachbarn

Interaktiver k-NN-Klassifikator: Klicken Sie, um beschriftete Punkte hinzuzufügen, beobachten Sie, wie sich Entscheidungsregionen bilden, fragen Sie einen Testpunkt ab, stellen Sie k und die Distanzmetrik ein und sehen Sie die LOOCV-Genauigkeit.

Maschinelles Lernen & Neuronale Netze3DMittel60 FPS

Häufig gestellte Fragen

Wie trifft KNN eine Vorhersage für einen neuen Datenpunkt?

KNN berechnet die Distanz vom neuen Punkt zu jedem Trainingspunkt, ermittelt die k nächstgelegenen und nimmt eine Mehrheitsabstimmung ihrer Beschriftungen vor, um die Klasse zuzuweisen. Bei Regression mittelt es die Zielwerte der k Nachbarn. Die Wahl von k steuert den Kompromiss zwischen Unteranpassung (großes k, sehr glatte Grenze) und Überanpassung (kleines k, verrauschte Grenze).

Wie wählt man den besten Wert für k?

Wählen Sie k per Kreuzvalidierung: Trainieren Sie auf einer Teilmenge der Daten, testen Sie an einer zurückgehaltenen Validierungsmenge und bewerten Sie die Genauigkeit für verschiedene k-Werte. Üblicherweise ist k ungerade, um Gleichstände zu vermeiden, und k=√n (wobei n die Größe der Trainingsmenge ist) ist eine gängige Faustregel. Das optimale k balanciert Verzerrung (zu großes k glättet zu stark) und Varianz (zu kleines k ist verrauscht).

Welche Distanzmetriken werden bei KNN verwendet?

Die euklidische Distanz (Luftlinie) ist der Standard. Die Manhattan-Distanz (Summe der absoluten Differenzen) ist nützlich, wenn Merkmale unterschiedliche Einheiten haben oder die Daten eine gitterartige Struktur aufweisen. Die Minkowski-Distanz verallgemeinert beide. Bei Text- oder kategorialen Daten können Hamming-Distanz oder Kosinus-Ähnlichkeit besser geeignet sein. Merkmalsskalierung (Normalisierung oder Standardisierung) ist vor der Distanzberechnung unerlässlich.

Was ist der Fluch der Dimensionalität, und wie wirkt er sich auf KNN aus?

In hochdimensionalen Räumen werden alle Datenpunkte annähernd gleich weit voneinander entfernt, wodurch das Konzept der nächsten Nachbarn bedeutungslos wird. Mit steigender Dimension wächst das Raumvolumen exponentiell, während die Datenmenge gleich bleibt, sodass Nachbarschaften enorm wachsen müssen, um überhaupt Punkte einzuschließen. KNN verschlechtert sich jenseits von etwa 10–20 Dimensionen ohne Dimensionsreduktion rapide.

Wie unterscheidet sich KNN vom k-Means-Clustering?

KNN ist ein überwachter Klassifikations- oder Regressionsalgorithmus: Er nutzt beschriftete Trainingsdaten, um Beschriftungen für neue Punkte vorherzusagen. K-Means ist ein unüberwachter Clustering-Algorithmus: Er findet natürliche Gruppierungen in unbeschrifteten Daten. Obwohl sie den Buchstaben k teilen (und beide Distanzen und Nachbarn betreffen), lösen sie völlig unterschiedliche Probleme mit unterschiedlichen Annahmen und Methoden.

⚙ Unter der Haube

Klassifizieren Sie einen Punkt per Mehrheitsabstimmung unter seinen k nächsten Nachbarn. Entscheidungsregionen aktualisieren sich live, wenn Sie k oder die Metrik ändern — sehen Sie Überanpassung bei k=1.

Canvas 2Dk-NNKlassifikationÜberwachtTrägfaules Lernen

3D · Three.js / WebGL-Renderer · 60 FPS-Ziel · läuft vollständig clientseitig, keine Installation nötig