Das Kefk Network Wiki befindet sich im Testbetrieb.

Aus Kefk.

Dieser Artikel oder Abschnitt bedarf einer Überarbeitung. Näheres ist auf der Diskussionsseite angegeben. Hilf bitte mit, ihn zu verbessern, und entferne anschließend diese Markierung.

Dieser Artikel oder Abschnitt ist nicht oder unzureichend durch Quellenangaben (Literatur, Webseiten usw.) belegt worden, wodurch den fraglichen Inhalten eine Löschung droht. Bitte hilf der Wikipedia, indem du gute Belege für die Informationen nennst.

[[Hilfe:Cache|Fehler beim Thumbnail-Erstellen]]: convert: unable to open image `/var/www/kefk/w/images/f/fc/Overfitting.png': No such file or directory.

blau: Fehler bzgl. Trainingsdatensätzen
rot: Fehler bzgl. Testdatensätzen
Wenn der Fehler bzgl. der Testdatensätze steigt, während der Fehler bzgl. der Trainingsdatensätze stetig fällt, dann befindet man sich möglicherweise in einer Überanpassungssituation.

Überanpassung (engl. overfitting) bezeichnet eine bestimmte Korrektur eines Modells an einen vorgegebenen Datensatz. Die Suche nach erklärenden Modellen oder, anders ausgedrückt, Theorien für reale Beobachtungen, ist ein wesentlicher Bestandteil der Wissenschaft, insbesondere der Physik (siehe auch Induktion).

Datensätze und überangepasste Modelle

Zunächst ist die Auswahl des Datensatzes, insbesondere die Zahl von Beobachtungen, Messpunkten oder Stichproben, ein wesentliches Kriterium für eine seriöse und erfolgreiche Modellbildung. Sonst erlauben die aus diesen Daten gewonnenen Annahmen (Hypothesen) überhaupt keine Rückschlüsse auf die Wirklichkeit. Dies gilt auch insbesondere für statistische Aussagen.

Anders ausgedrückt: Wer versucht, in vorhandenen Daten nach Regeln oder Trends zu suchen, der muss geeignete Daten wählen. Wer eine Aussage über die häufigsten Buchstaben des deutschen Alphabets treffen möchte, sollte dafür nicht nur einen einzelnen Satz betrachten, zumal wenn in diesem der Buchstabe „E“ selten vorkommt.

Überanpassung durch zu viel Training

Bei der rechnergestützten Modellbildung (siehe auch Maschinelles Lernen, Klassifikation) kommt ein zweiter Effekt hinzu. Hier wird in mehreren Trainingschritten ein Datenmodell an vorhandene Trainingsdaten angepasst. Beispielsweise kann mit einigen dutzend Schriftproben ein Rechner trainiert werden, dass er handgeschriebene Ziffern (0–9) richtig erkennt und zuordnet. Das Ziel ist hierbei, auch Handschriften von Personen erkennen zu können, deren Handschrift gar nicht in dem Trainingssatz enthalten war.

Folgende Erfahrung wird häufig gemacht: die Erkennungsleistung für geschriebene Ziffern (unbekannter Personen) mit zunehmender Anzahl der Trainingsschritte nimmt zunächst zu. Nach einer Sättigungsphase nimmt sie aber wieder ab, weil sich die Datenrepräsentation des Rechners zu sehr an die Schreibweise der Trainingsdaten anpasst und nicht mehr an den zugrundeliegenden Formen der zu lernenden Ziffern selbst orientiert. Dieser Prozess hat den Begriff Überanpassung im Kern geprägt, auch wenn der Zustand der Überangepasstheit wie oben beschrieben, eine Reihe von Gründen haben kann.

Wenn mit dem Modell kein Einsatz über die Trainingsmenge hinaus geplant ist, wenn also nur ein Modell für eine abgeschlossene Problemstellung gelöst wird, kann natürlich von Überanpassung nicht die Rede sein. Ein Beispiel hierfür wäre, wenn nur ein Rechnermodell für die abgeschlossene Menge von Vorfahrtsituationen im Straßenverkehr gesucht wird. Solche Modelle sind deutlich weniger komplex als das oben genannte und meistens kennt man die Regeln schon, so dass von Menschen verfasste Programme hier meist effizienter sind, als maschinelles Lernen.

Beispiele

[[Hilfe:Cache|Fehler beim Thumbnail-Erstellen]]: convert: unable to open image `/var/www/kefk/w/images/5/5d/Overfit.png': No such file or directory.

Verrauschte (ungefähr lineare) Daten lassen sich sowohl durch eine lineare als auch durch eine polynomielle Funktion beschreiben. Obwohl die polynomielle Funktion durch jeden Datenpunkt geht, anders als die lineare, beschreibt die lineare Funktion den Verlauf besser, da sie keine größeren Abweichungen an den Enden hat. Wenn die Regressionskurve zum Extrapolieren der Daten benutzt würde, wäre die Überanpassung noch größer.

Eine militärische Bilderkennungssoftware mit dem Zweck, getarnte Panzer auf Fotos zu erkennen, funktionierte im Training tadellos, mit neuen Testfotos aber nicht mehr. Der Grund: Die Trainingsfotos mit Panzern waren bei einem anderen Sonnenstand aufgenommen worden als die ohne Panzer; die Software hatte dem eigentlich irrelevanten Sonnenstand eine übermäßige Bedeutung beigemessen.

Literatur

• Michael Berthold, David J. Hand: Intelligent Data Analysis: An Introduction. Springer Verlag, 2003, ISBN 3-540-43060-1

Dieses Dokument entstammt in seiner ersten oder einer späteren Version der deutschsprachigen Wikipedia. Es ist dort zu finden unter dem Stichwort %C3%9Cberanpassung, die Liste der bisherigen Autoren befindet sich in der Versionsliste; die Originalfassung kann dort auch bearbeitet werden. Alle Texte der Wikipedia und ihre Derivate stehen unter der GNU-Lizenz für freie Dokumentation.