K-Nearest Neighbors

K-Nearest Neighbors (KNN) ist ein einfaches, nichtparametrisches Lernverfahren, bei dem neue Datenpunkte auf Grundlage der Ähnlichkeit zu bereits bekannten Daten eingeordnet werden. Dabei wird ein Objekt der Klasse (oder bei Regression einem Zahlenwert) zugewiesen, die unter den k nächstgelegenen Nachbarn am häufigsten vorkommt. Die Nähe wird über ein Abstandsmaß, etwa den euklidischen Abstand, bestimmt, ohne Annahmen über die zugrunde liegende Datenverteilung zu treffen. (vgl. Andrae 2023, S. 16 f.)

Beispiel: Ein neues E-Mail-Dokument soll als „Spam“ oder „kein Spam“ eingeordnet werden. Der KNN-Algorithmus vergleicht diese E-Mail mit bereits bekannten E-Mails und sucht die k ähnlichsten. Gehören die meisten dieser Nachbarn zur Kategorie „Spam“, wird auch die neue E-Mail als Spam klassifiziert.

Andrae, S. (2023): Ökonometrie und maschinelles Lernen. Basiswissen für Ökonomen. Wiesbaden: Springer Gabler