No-free-Lunch-Theoreme

Beteilige dich an der Diskussion!

Dieser Artikel wurde wegen inhaltlicher Mängel auf der Qualitätssicherungsseite der Redaktion Informatik eingetragen. Dies geschieht, um die Qualität der Artikel aus dem Themengebiet Informatik auf ein akzeptables Niveau zu bringen. Hilf mit, die inhaltlichen Mängel dieses Artikels zu beseitigen, und beteilige dich an der Diskussion! (+)

Die No-free-Lunch-Theoreme („no free lunch“ ist englisch für „kein kostenloses Mittagessen“ bzw. sinngemäß „nichts ist umsonst“, daher auch Nichts-ist-umsonst-Theoreme) sind im Wesentlichen zwei mathematische Theoreme aus der Optimierung und Komplexitätstheorie über die Berechenbarkeit bestimmter mathematischer Problemstellungen. Die Theoreme zeigen Grenzen von Optimierungsalgorithmen bzw. Verfahren des maschinellen Lernens auf.

Die Theoreme basieren auf der Prämisse, dass der Suchraum durch eine Wahrscheinlichkeitsfunktion gegeben ist. Vereinfacht sagen sie aus, dass kein universell gutes Verfahren zur Lösung eines Optimierungsproblems oder zum Abstrahieren von Datensätzen existiert, wenn die Menge aller Probleme bzw. Datensätze betrachtet wird. Ist eine bestimmte Strategie in einem Teilbereich besser als eine andere, so muss sie in einem anderen Teilbereich schlechter sein (Nichts ist umsonst). Insbesondere zeigt sich, dass keine Strategie, wenn sie auf die Grundgesamtheit aller Fälle angewandt wird, besser abschneidet als bloßes Raten.

Es kann effiziente Algorithmen geben, wenn der Suchraum Struktur aufweist (z. B. eine stetige, differenzierbare Funktion darstellt), oder wenn sogar eine geschlossene Lösung existiert (z. B. Extremum einer quadratischen Funktion), die ganz ohne Suche bestimmbar ist. Es ist also durchaus möglich, für bestimmte Problemmengen Strategien zu entwickeln, die besser sind als andere. Im Alltag ist dem Suchraum in den meisten Fällen schon durch die Naturgesetze eine Struktur aufgeprägt, sodass meist effizient gesucht/optimiert werden kann.

Die No-free-Lunch-Theoreme sind Unmöglichkeitssätze, wie auch der gödelsche Unvollständigkeitssatz in der Mathematik oder das Arrow-Theorem in der Sozialwahltheorie. Die Bezeichnung stammt von der englischen Redensart There ain’t no such thing as a free lunch. David Wolpert und William G. Macready entdeckten sie 1995. In einer verschärften Formulierung von 2001 gilt das No-free-Lunch-Theorem der Optimierung auch für Problemmengen, die unter Permutation abgeschlossen sind.

Originalformulierung

Wolpert und Macready veröffentlichten das No-free-Lunch-Theorem zu Optimierungsproblemen, die sich während der Problemsuche nicht ändern, so:

Theorem 1: Für zwei Algorithmen a₁ und a₂ gilt:

$\sum _{f}P(h_{m}^{y}|f,m,a_{1})=\sum _{f}P(h_{m}^{y}|f,m,a_{2}).$

Wenn alle Funktionen $f$ gleich wahrscheinlich auftreten, ist die Wahrscheinlichkeit $P$, eine beliebige Folge von $m$ Werten während der Optimierung anzutreffen, nicht vom Optimierungsalgorithmus abhängig.

Versuchte Anwendung auf Evolutionsprozesse

William A. Dembski hat die No-free-Lunch-Theoreme für seine umstrittenen Hypothesen der spezifizierten Komplexität angewandt, die seiner Meinung nach mathematische Schranken für Evolutionsprozesse formulieren. Dembski verwendet diese Schranken als Argument gegen die Evolutionstheorie und für ein Intelligent Design.

Diese Argumentation wird jedoch allgemein als nicht wissenschaftlich seriös betrachtet. Neben anderen Einwänden wird hauptsächlich angeführt, dass Evolutionsprozesse nicht als eine Suche nach einem bestimmten von vornherein vorgegebenen optimalen Element innerhalb einer Such-Menge betrachtet werden können, wie es die No-free-Lunch-Theoreme voraussetzen. Die darwinsche Evolution ist im Allgemeinen eher als eine „Vermeidungsstrategie“ statt als „Suchstrategie“ zu betrachten, da hauptsächlich Überleben und Reproduktion zählen und nur solche Evolutionsschritte sicher ausgeschlossen sind, die zu Arten führen, welche dazu prinzipiell nicht in der Lage sind. Die No-free-Lunch-Theoreme sind also gar nicht anwendbar.

Ein weiterer Einwand besagt, dass die Theoreme eine Aussage über den Durchschnitt aller denkbaren Probleme machen. In der Evolutionstheorie bedeutet das: gemittelt über alle möglichen Fitnesslandschaften. Über die Effektivität des Prozesses aus Mutation und Selektion für die tatsächlich vorkommenden Fitnesslandschaften können die Theoreme nichts aussagen. Insbesondere sind die Mehrzahl aller theoretisch denkbaren Fitnesslandschaften völlig regellos, während bereits die Naturgesetze eine gewisse Struktur voraussetzen.

Wolpert selbst verwirft Dembskis Ausführungen als unmathematisch (written in jello) und fügt zudem an, dass die Fitnessfunktion evolutionärer Systeme weder als in der Zeit konstant noch als für alle Individuen identisch angesehen werden kann. Dies ist aber eine wichtige Voraussetzung für die No-free-Lunch-Theoreme und macht daher ebenfalls eine Anwendung auf evolutionäre Prozesse unmöglich. Tatsächlich konnten Wolpert und Macready für eine bestimmte Klasse solcher ko-evolutionärer Systeme die Existenz optimaler Algorithmen beweisen.

Siehe auch

• Liste von Sätzen der Informatik

Literatur

• Delbaen, Schachermayer: What is ... a free lunch?, Notices of the AMS, Mai 2004

Weblinks

• David H. Wolpert, William G. Macready: , 31. Dezember 1996 (PDF-Datei; 343 kB)
• Artikel der 1995 International Conference on Genetic Algorithms (ICGA-95) in Pittsburgh
• Sammlung von Artikeln zum Thema No-free-Lunch