CMA-ES

Covariance Matrix Adaptation Evolution Strategy (kurz CMA-ES) ist ein Monte-Carlo-Algorithmus zum Lösen von Black Box Optimierungsproblemen. Der Schritt der Covariance Matrix Adaptation (CMA) in der Evolutionsstrategie (ES) ist ein derandomisiertes Verfahren zur Adaptation der Kovarianzmatrix der normalverteilten Mutationsverteilung. Die Kovarianzmatrix der multivariaten Normalverteilung beschreibt die paarweise Abhängigkeiten zwischen den Variablen. Die Adaptation der Kovarianzmatrix in der Evolutionsstrategie ist vergleichbar mit der Approximation der inversen Hesse-Matrix in der klassischen Optimierung, wie z. B. im Quasi-Newton-Verfahren.

Anwendung hat CMA-ES zum Beispiel in der Hyperparameteroptimierung gefunden.

Grundprinzip

Konzept von CMA-ES

Das Adaptationsprinzip beruht auf der Idee, die Wahrscheinlichkeit von vormals erfolgreichen Schritten zu erhöhen. Dazu wird die Kovarianzmatrix der Verteilung so verändert, dass sich die Wahrscheinlichkeit des selektierten Schrittes der letzten Generation vergrößert.

Weblinks

• The CMA Evolution Strategy (englisch)