Subdifferential

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen

Das Subdifferential ist eine Verallgemeinerung des Gradienten auf nicht differenzierbare konvexe Funktionen. Das Subdifferential spielt eine wichtige Rolle in der konvexen Analysis sowie der konvexen Optimierung.

Sei eine konvexe Funktion. Ein Vektor heißt Subgradient von an der Stelle , wenn für alle gilt[1]

,

wobei das Standardskalarprodukt bezeichnet.

Das Subdifferential ist die Menge aller Subgradienten von im Punkt .[2]

Existieren die folgenden Grenzwerte so wird das Intervall aller Subgradienten das Subdifferential der Funktion bei genannt und wird als geschrieben.

Für eine konvexe Funktion gilt , für eine nicht konvexe Funktion braucht dies nicht zu gelten und dann ist .

Subgradienten einer konvexen Funktion

Intuitiv bedeutet diese Definition für , dass der Graph der Funktion überall über der Geraden liegt, die durch den Punkt geht und die Steigung besitzt:

Da die Normalengleichung von gerade

ist, ist die Normale an also .

Im allgemeinen Fall liegt über der Hyperebene, die durch den Fußpunkt und die Normale gegeben ist.

Wegen des Trennungssatzes ist das Subdifferential einer stetigen konvexen Funktion überall nichtleer.

Das Subdifferential der Funktion , ist gegeben durch:

Eine ähnliche Eigenschaft ist bei der Lasso-Regression für die Herleitung der Soft-Threshold-Funktion wichtig.

Beschränktheit

[Bearbeiten | Quelltext bearbeiten]

Sei stetig und sei beschränkt. Dann ist die Menge beschränkt.

Sei stetig und sei beschränkt. Setze wobei . Angenommen, ist nicht beschränkt, dann gibt es für ein und ein mit . Sei . Somit sind . Wir erhalten die Abschätzung

.

ist also kein Subgradient. Das ist ein Widerspruch.

Differenzierbarkeit

[Bearbeiten | Quelltext bearbeiten]

Ist die Funktion differenzierbar in , so gilt:

Siehe [3] für einen Beweis.

Zudem gilt: Ist das Subdifferential einelementig, so ist an der Stelle differenzierbar.[4]

  1. R. T. Rockafellar Convex analysis 1970., p.214
  2. R. T. Rockafellar Convex analysis 1970., p.215
  3. Yaron Singer: Advanced Optimzation. Abgerufen am 27. Januar 2022: „Proposition 4“
  4. R. T. Rockafellar: Convex Analysis. Band 28, 1970: „Theorem 25.1“