Evolutionärer Algorithmus

Die Antenne der Space-Technology-5-Satelliten wurde mit einem EA entwickelt.

Evolutionäre Algorithmen (EA) sind eine Klasse von stochastischen, metaheuristischen Optimierungsverfahren, deren Funktionsweise von der Evolution natürlicher Lebewesen inspiriert ist.

In Anlehnung an die Natur werden Lösungskandidaten für ein bestimmtes Problem künstlich evolviert, EA sind also naturanaloge Optimierungsverfahren. Die Zuordnung zu den stochastischen und metaheuristischen Algorithmen bedeutet vor allem, dass EA meist nicht die beste Lösung für ein Problem finden, aber bei Erfolg eine hinreichend gute, was in der Praxis vor allem bei NP-vollständigen Problemen bereits wünschenswert ist. Die Verfahren verschiedener EA unterscheiden sich untereinander in erster Linie durch die genutzten Selektions-, Rekombinations- und Mutationsoperatoren, das Genotyp-Phänotyp-Mapping sowie die Problemrepräsentation.

Die ersten praktischen Implementierungen evolutionärer Algorithmen wurden Ende der 1950er Jahre veröffentlicht, allerdings äußerten sich bereits in den vorhergehenden Jahrzehnten Wissenschaftler zum Potenzial der Evolution für maschinelles Lernen.

Es gibt vier Hauptströmungen, deren Konzepte zumindest historisch voneinander zu unterscheiden sind:

• genetische Algorithmen
• Evolutionsstrategien
• genetische Programmierung und
• evolutionäre Programmierung

Heute verschwimmen diese Abgrenzungen zunehmend. Für eine bestimmte Anwendung wird ein EA geeignet entworfen, wobei in den letzten Jahrzehnten viele verschiedene Algorithmen und einzelne Operatoren entwickelt wurden, die heute benutzt werden können.

Die Anwendungen von EA gehen über Optimierung und Suche hinaus und finden sich auch in Kunst, Modellierung und Simulation, insbesondere auch bei der Untersuchung evolutionsbiologischer Fragestellungen.

Einführung

Evolutionäre Algorithmen werden vorrangig zur Optimierung oder Suche eingesetzt. Konkrete Probleme, die mit EA gelöst werden, sind äußerst divers, z. B.: die Entwicklung von Sensornetzen, Aktienmarktanalyse, RNA-Strukturvorhersage, Schedulingprobleme, Designoptimierung (siehe auch obiges Bild der Satellitenantenne) oder Roboterbahnplanung. Auch bei Problemen, über deren Beschaffenheit nur wenig Wissen vorliegt, können sie zufriedenstellende Lösungen finden. Dies ist auf die Eigenschaften ihres natürlichen Vorbildes zurückzuführen.

Natürliches Vorbild	Evolutionärer Algorithmus	Beispiel
Organismus	Lösungskandidat	Autotür
Fortpflanzungserfolg	Wert der Fitnessfunktion	Strömungswiderstand
Natürliche Mutation	Mutation	Änderung der Form

In der biologischen Evolution sind die Gene von Organismen natürlich vorkommenden Mutationen ausgesetzt, wodurch genetische Variabilität entsteht. Mutationen können sich positiv, negativ oder gar nicht auf Erben auswirken. Da es zwischen erfolgreichen Individuen zur Fortpflanzung (Rekombination) kommt, können sich Arten über lange Zeiträume an einen vorliegenden Selektionsdruck anpassen (z. B. Klimaveränderungen oder die Erschließung einer ökologischen Nische). Diese vereinfachte Vorstellung wird in der Informatik idealisiert und künstlich im Computer nachgebildet. Dabei wird die Güte eines Lösungskandidaten explizit mit einer Fitnessfunktion berechnet, sodass verschiedene Kandidaten vergleichbar sind.

Entsprechend dem natürlichen Vorbild gibt es bei den EAs Individuen, die aus einem Genom bestehen, welches die zu bestimmenden Eigenschaften der gesuchten Lösung in geeigneter Weise enthält. Ein Individuum entspricht einem Lösungskandidaten. Die durch die genetischen Operatoren erzeugten Individuen werden Nachkommen oder Kinder genannt. Eine Iteration des Verfahrens heißt entsprechend dem biologischen Vorbild Generation. Weitere Begriffsdefinitionen können in der VDI-Richtlinie VDI/VDE 3550 gefunden werden.

In der Praxis könnte z. B. die Form einer Autotür so optimiert werden, dass der aerodynamische Widerstand minimal wird. Die Eigenschaften einer potenziellen Lösung werden dabei im Rechner als Genom gespeichert. Häufige Problemrepräsentationen sind Genome aus binären oder reellen Zahlen oder eine Reihenfolge bekannter Elemente (bei kombinatorischen Problemen, z. B. Travelling Salesman).

Die starken Vereinfachungen, die im Vergleich zur Evolution getroffen werden, stellen ein Problem in Bezug auf die Erforschung evolutionsbiologischer Fragestellungen mit EA dar. Ergebnisse können nicht einfach auf die komplexere Natur übertragen werden.

Pseudocode

Das grobe Verfahren evolutionärer Algorithmen besteht meist aus einer Initialisierung und einer Generationsschleife, die solange durchlaufen wird, bis ein Abbruchkriterium erfüllt ist. Dazu nachfolgend ein Pseudocode, dessen Notation an die von Krasnogor angelehnt ist:

Pseudocode eines elitären EAs mit sexueller Reproduktion:

   Initialisierung: $t=0$;  // Initialisierung des Generationszählers
                    Erzeuge eine zufällige Startpopulation $P_{t}$;
                    Berechne die Fitness $f(p)\ \ \forall p\in P_{t}$;  // initiale Bewertung
   while Abbruchkriterien sind nicht erfüllt do
       Partnerwahl: Wähle entsprechend $f(p)$ eine Teilmenge von $P_{t}$ und speichere sie in $M_{t}$;
       Nachkommen:  Rekombiniere und mutiere Individuen $p\in M_{t}$ und speichere sie in $M'_{t}$;
       Bewertung:   Berechne die Fitness $f(p')\ \ \forall p'\in M'_{t}$;
       Nachfolgegeneration: Erzeuge $P_{t+1}$ durch fitnessbasierte Auswahl von Individuen aus $P_{t}$ und $M'_{t}$;
       $t:=t+1$;  // erhöhe Generationszähler
   end while
   Ergebnis: Liefere bestes Individuum $p\in P_{t}$ als Ergebnis ab;

Bei der Initialisierung der Startpopulation werden die Individuen zufällig erzeugt, um eine möglichst breite Abdeckung des Suchraums und eine hohe genotypische Diversität zu erhalten. In Abweichung davon kann es aber auch zielführend sein, einen kleinen Teil (maximal 20 %) der initialen Individuen durch geeignete (Meta-)Heuristiken, eventuell basierend auf Lösungen ähnlicher Aufgaben, zu generieren.

Die Bestimmung von $M_{t}$, Partnerwahl oder Elternselektion genannt, erfolgt bei den meisten EAs fitnessbasiert und gehört zusammen mit der Auswahl der Individuen zur Bildung der nächsten Generation zu den Selektionsmechanismen des Verfahrens, welche der evolutionären Suche die Richtung geben. Es gibt eine Vielzahl von Methoden zur Partnerwahl, darunter die einfache fitnessproportionale Selektion, die Turnierselektion und die häufiger verwendete rangbasierte Selektion.

Meist werden die Nachkommen durch Rekombination zweier Eltern aus $M_{t}$ mit anschließender Mutation erzeugt, was der geschlechtlichen Reproduktion im biologischen Vorbild entspricht. Die asexuelle Reproduktion würde einer Mutation von Elter-Klonen entsprechen. Durch mehrfache Ausführung dieser Operatoren können je nach Ausgestaltung des EAs auch mehr als nur zwei Nachkommen pro Paarung erzeugt werden.

Bei der Bewertung wird jedem Nachkommen entsprechend seiner Güte ein Wert der Fitnessfunktion zugewiesen. Die Fitness steuert die Reproduktionswahrscheinlichkeit der Individuen und kann zusammen mit der nachfolgend beschriebenen Selektion als die Umsetzung von Darwins „natürliche Auslese“ angesehen werden.

Die Nachfolgegeneration, also die Menge $P_{t+1}$ mit $\mu$ Individuen, wird fitnessbasiert entweder aus der Menge der $\mu$ Eltern in $P_{t}$ und der $\lambda$ Nachkommen in $M'_{t}$ (sogenannte Plus-Strategie) oder nur aus der Menge $M'_{t}$ (Komma-Strategie) ausgewählt. Da bei der Plus-Strategie das beste Elternindividuum im Gegensatz zum biologischen Vorbild überleben kann, wird ein EA mit dieser Selektionsform auch als elitär bezeichnet. Auf die damit verbundene Problematik wird im Abschnitt Konvergenz eingegangen.

Als Abbruchkriterien werden häufig die Anzahl durchlaufener Generationen, die vergangene Zeit oder die erreichte Lösungsqualität herangezogen. Außerdem kann die Stagnation erfasst werden, z. B. in dem man die Generationen ohne Verbesserung des besten Nachkommen oder ohne Übernahme eines Nachkommen in die Nachfolgegeneration zählt.

Bestandteile

Evolutionäre Algorithmen unterscheiden sich untereinander vor allem in der jeweiligen genetischen Repräsentation, der Fitnessfunktion und den genutzten genetischen Operatoren: Mutation, Rekombination und Selektion.

Die Rastrigin-Funktion ist eine multimodale Funktion, da sie viele lokale Extrema aufweist. Dies stellt einen Nachteil für den Rekombinationsoperator dar.

Mutation und Rekombination sind die Suchoperatoren evolutionärer Algorithmen, mit denen der Suchraum erkundet wird. Ihre Anwendung auf Lösungskandidaten kann keine Verbesserung garantieren, allerdings erhält der Suchprozess durch die Selektion eine Richtung, die bei erfolgreicher Konzeption zum globalen Optimum oder zumindest in dessen Nähe führt. Während mit dem Mutationsoperator völlig neue Bereiche des Suchraums erschlossen werden können, ermöglicht die Rekombination vor allem die Zusammenführung erfolgreicher Teillösungen oder Schemata bei den klassischen genetischen Algorithmen (Building-Block-Hypothese). Eine erfolgreiche Suche basiert also auf der Kombination beider Suchoperatoren. Der Erfolg eines Rekombinationsoperators hängt von der Beschaffenheit der Fitnesslandschaft ab. Je mehr lokale Optima die Fitnesslandschaft aufweist, desto wahrscheinlicher erzeugt die Rekombination aus zwei Individuen, die sich auf benachbarten lokalen Optima befinden, einen Nachfahren im Tal dazwischen. Mutationen sind von dieser Eigenschaft der Fitnesslandschaft nahezu unabhängig.

Der Entwurf der verschiedenen Komponenten bestimmt, wie sich der evolutionäre Algorithmus bei der Optimierung des gegebenen Problems in Bezug auf Konvergenzverhalten, benötigte Rechenzeit und die Erschließung des Problemraums verhält. Insbesondere müssen die genetischen Operatoren sorgfältig auf die zugrunde liegende Repräsentation abgestimmt sein, sodass sowohl die bekannten, guten Regionen des Problemraums genutzt, als auch die unbekannten Regionen erkundet werden können. Dabei spielen die Beziehungen zwischen Such- und Problemraum eine Rolle. Im einfachsten Fall entspricht der Suchraum dem Problemraum (direkte Problemrepräsentation).

Theoretische Grundlagen

No-free-Lunch-Theorem

→ Hauptartikel: No-free-Lunch-Theoreme

Das No-free-Lunch-Theorem der Optimierung besagt, dass alle Optimierungsstrategien gleich effektiv sind, wenn die Menge aller Optimierungsprobleme betrachtet wird. Unter der gleichen Voraussetzung ist auch kein evolutionärer Algorithmus grundsätzlich besser als ein anderer. Dies kann nur dann der Fall sein, wenn die Menge aller Probleme eingeschränkt wird. Genau das wird in der Praxis auch zwangsläufig getan. Ein EA muss also Problemwissen ausnutzen (z. B. durch die Wahl einer bestimmten Mutationsstärke). Werden also zwei EAs verglichen, dann wird diese Einschränkung impliziert. Darüber hinaus kann ein EA Problemwissen nutzen, indem z. B. ein Teil der Startpopulation nicht zufällig generiert wird, sondern einige Individuen durch Heuristiken oder andere Verfahren erzeugt werden. Eine weitere Möglichkeit besteht darin, geeignete Heuristiken, lokale Suchverfahren oder andere problembezogene Verfahren bei der Erzeugung der Nachkommen zu beteiligen. Diese Form der Erweiterung eines EAs ist auch als Memetischer Algorithmus bekannt. Beide Erweiterungen spielen bei praktischen Anwendungen eine große Rolle, da sie den Suchprozess beschleunigen und robuster machen können.

Konvergenz

Für elitäre EAs (siehe Abschnitt Pseudocode) gibt es einen allgemeinen Konvergenzbeweis unter der Voraussetzung, dass ein Optimum existiert. Ohne Beschränkung der Allgemeinheit wird für den Beweis von einer Maximumsuche ausgegangen:

Aus der Eigenschaft elitärer Nachkommensakzeptanz folgt, dass pro Generation k mit einer Wahrscheinlichkeit P > 0 eine Verbesserung der Fitness 𝑭 des jeweils besten Individuums 𝒙′ auftreten wird. Also:

𝑭(𝒙′_𝟏) ≤ 𝑭(𝒙′_𝟐) ≤ 𝑭(𝒙′_𝟑) ≤ ⋯ ≤ 𝑭(𝒙′_𝒌) ≤ ⋯

D. h., die Fitnesswerte stellen eine monoton nicht fallende Zahlenfolge dar, die wegen der Existenz des Optimums beschränkt ist. Daraus folgt die Konvergenz der Zahlenfolge gegen das Optimum.

Da der Beweis keinerlei Aussage über die Konvergenzgeschwindigkeit macht, hilft er bei der praktischen Anwendung von EAs wenig. Aber er begründet die Empfehlung, elitäre EAs zu verwenden. Bei Verwendung des üblichen panmiktischen Populationsmodells neigen elitäre EAs jedoch stärker zur vorzeitigen Konvergenz als nichtelitäre. Bei einem panmiktischen Populationsmodell ist die Partnerwahl (siehe Abschnitt Pseudocode) so gestaltet, dass jedes Individuum der gesamten Population als Partner in Frage kommt. Das generelle Risiko zur vorzeitigen Konvergenz elitärer EAs kann demgegenüber durch geeignete Populationsmodelle deutlich verringert werden.

Schematheorem

→ Hauptartikel: Schematheorem

Das Schematheorem von John H. Holland wird allgemein als Erklärung des Erfolgs von einem Grundtyp evolutionärer Algorithmen, nämlich den klassischen genetischen Algorithmen, gesehen. Es besagt vereinfacht, dass sich kurze Bitmuster mit überdurchschnittlicher Fitness schnell in einer Generation ausbreiten, die durch einen genetischen Algorithmus evolviert wird. So können Aussagen über den langfristigen Erfolg eines genetischen Algorithmus getroffen werden. Über die praktische Bedeutung des Schematheorems und der damit zusammenhängenden Building-Block-Hypothese für die Gestaltung von EAs, die nicht auf Bitstrings beruhen, herrscht Uneinigkeit. Das Buch von Volker Nissen fasst die Kritik und die Auseinandersetzung dazu fundiert zusammen.

Virtuelle Alphabete

Mit der Theorie der virtuellen Alphabete zeigte David E. Goldberg 1990, dass durch eine Repräsentation mit reellen Zahlen ein EA, der klassische Rekombinationsoperatoren (z. B. uniformes oder n-Punkt Crossover) nutzt, bestimmte Bereiche des Suchraums nicht erreichen kann, im Gegensatz zu einer Repräsentation mit binären Zahlen. Daraus ergibt sich, dass EA mit reeller Repräsentation arithmetische Operatoren zur Rekombination nutzen müssen (z. B. arithmetisches Mittel oder die intermediäre Rekombination). Mit geeigneten Operatoren sind reellwertige Repräsentationen entgegen der früheren Meinung effektiver als binäre.

Anwendungsgebiete

Die Bereiche, in denen evolutionäre Algorithmen praktisch eingesetzt werden, sind nahezu unbegrenzt und reichen von Industrie, Technik, Roboterbahnplanung und Landwirtschaft über Forschung bis zur Kunst (evolutionäre Kunst). Die Anwendung eines evolutionären Algorithmus erfordert vom unerfahrenen Anwender ein gewisses Maß an Umdenken, da die Herangehensweise an eine Aufgabenstellung mit Hilfe eines Suchalgorithmus anders ist als bei traditionellen exakten Verfahren und eher nicht zum Curriculum von Ingenieuren oder anderen Fachrichtungen gehört. Es gibt daher einige Publikationen, die den Anfänger als Zielgruppe haben und ihm oder ihr dabei helfen wollen, Anfängerfehler zu vermeiden und ein Anwendungsprojekt zum Erfolg zu führen. Dazu gehört auch die Klärung der grundlegenden Frage, wann man einen EA zur Lösung einer Aufgabenstellung anwenden soll und wann besser nicht. Die Konferenzserie Applications of Evolutionary Computation kann einen Überblick über die vielfältigen Anwendungen geben und dabei unterstützen, Veröffentlichungen zur eigenen Problemstellung zu finden.

Wirtschaft

EA werden zur Verifikation und Optimierung von Prototypen eingesetzt. Zum Beispiel werden die Geschwindigkeit von Mikroprozessoren, der Stromverbrauch von Mobiltelefonen oder die Wiederverwendbarkeit von Produkten (Recycling) optimiert. Auch bei dem Entwurf von Telekommunikationsnetzen, Infrastruktur allgemein oder Sensornetzen. In der Finanzwelt werden mit EA Aktienmärkte analysiert, spieltheoretische Analysen oder agentenbasierte Simulationen entworfen und Portfolios für maximalen Gewinn und minimales Risiko optimiert. Sogar zur Optimierung von landwirtschaftlichen Betrieben werden sie genutzt, um langjährige Auswirkungen zu testen, Managementstrategien zu entwickeln oder praktisch nicht ausführbare Experimente zu simulieren. Ein weiteres großes Anwendungsgebiet ist Scheduling, Designoptimierung oder andere Engineering-Aufgaben. Zum Problemfeld der Schedulingaufgaben gehören neben den klassischen Produktionsplanungsaufgaben, Job-Scheduling in Rechnernetzen, Stundentafelerstellung oder die Einsatzplanung von Energieerzeugern und Verbrauchern in Smart Grids.

Forschung

Vor allem in der Molekularbiologie, wo enorme Datenmengen (Big Data) anfallen und Zusammenhänge nicht ohne Computerunterstützung erkannt werden können, werden mit evolutionären Algorithmen Sequenzanalyse, Sequenzalignment, die Erstellung phylogenetischer Bäume, Proteinstrukturvorhersage, Suche nach codierenden Bereichen oder die Visualisierung umfangreicher Daten betrieben.

EA werden benutzt, um künstliche neuronale Netze aufzubauen, ein populärer Algorithmus ist NEAT. Robert Axelrods Versuch, mittels genetischer Algorithmen geeignete Strategien für das iterierte Gefangenendilemma zu finden, gab den Anstoß zur Entwicklung des Konzepts der evolutionären Spieltheorie. Aufgrund ihrer Populationsbasiertheit können evolutionäre Algorithmen auch in der agentenbasierten Modellierung sozialer oder ökonomischer Systeme eingesetzt werden.

In der Spektroskopie werden genetische Algorithmen genutzt, um vieldimensionale Optimierungsprobleme zu lösen. Hierbei wird ein experimentelles Spektrum, zu dessen Beschreibung eine große Anzahl an Parametern benötigt werden, mit Hilfe evolutionärer Strategien an ein berechnetes Modellspektrum angepasst. Als Fitnessfunktion wird oft die Kreuzkorrelation zwischen experimentellem und theoretischem Spektrum angewandt.

Kunst und Musik

→ Hauptartikel: Evolutionäre Kunst

Mit der Hilfe evolutionärer Algorithmen können komplexe Strukturen oder Tonfolgen entworfen werden, die auf Menschen ästhetisch wirken. Dies geschieht teils automatisiert und oft mit menschlicher Interaktion, wobei Menschen dem EA die Entscheidung abnehmen, was sie als schön empfinden.

Geschichte

George Friedman entwarf 1956 für seine Masterarbeit an der University of California, Los Angeles eine Maschine, die mit dem Prinzip der natürlichen Selektion Schaltkreise entwickeln sollte, allerdings wurde diese Maschine nie gebaut. Auch künstliches Leben wurde früh mit EA erforscht. Der Italiener Nils Barricelli (1912–1993) entwickelte 1954 ein Konzept, bei dem durch Zahlen repräsentierte Wesen auf einem zweidimensionalen Gitter „leben“ und durch Mutation und Reproduktion zu neuen Generation geformt werden. Er zeigte, dass sich selbstreplikative Strukturen bilden, also Strukturen, die sich selbst in die nächste Generation kopieren. Bezüglich maschinellen Lernens schrieb der britische Informatiker Alan Turing schon 1950:

„Man muss mit dem Unterrichten einer Maschine herumexperimentieren und schauen, wie gut sie lernt. […] Es gibt einen offensichtlichen Zusammenhang zwischen diesem Prozess und Evolution […] Man darf allerdings hoffen, dass dieser Prozess schneller abläuft.“

– Alan Turing: Computing Machinery and Intelligence

Anfang der 1950er schlug der britische Statistiker George Box vor, die Produktion in Chemiefabriken zu optimieren, indem mit massivem Trial and Error Parameter wie Temperatur oder chemische Zusammensetzungen variiert und die potenziellen Verbesserungen per Hand ausgewertet werden, um danach mit den gefundenen Verbesserungen wieder zu variieren. Obwohl die Entscheidungsträger zuerst nicht davon begeistert waren, an einer laufenden Produktion zu experimentieren, wurde das Konzept, das Box Evolutionary Operation taufte, bis Anfang der 1960er in mehreren Chemiefabriken zur Steigerung der Produktivität genutzt. Viele praktische Probleme ging man in der Folge mit evolutionären Algorithmen an, es bildeten sich vor allem die Evolutionsstrategie in Europa (Ingo Rechenberg und Hans-Paul Schwefel) und der genetische Algorithmus (John H. Holland) in den USA heraus, wobei Letzterer der bis heute populärste Ansatz ist und der Begriff genetischer Algorithmus oft pauschalisierend für alle EA genutzt wird. Dies hat aber keine praktische Bedeutung für die Auswahl eines konkreten Konzeptes. Spätestens mit der rasant steigenden Verfügbarkeit von Rechenleistung fanden sich evolutionäre Algorithmen in allen erdenklichen Bereichen wieder, wo sie zur Optimierung und Suche eingesetzt wurden. Insbesondere auch in der Kunst und Musik, sowie in der Erforschung von künstlichem Leben (Avida).

Heute sind nicht nur die ursprünglichen Konzepte stark miteinander verwachsen, sondern auch viele andere Ansätze und Mischkonzepte entstanden. EA stellen wichtige Werkzeuge für Industrie und Forschung dar.

Typen evolutionärer Algorithmen

Durch die Problemstellung des Optimierungsproblems sind eine Zielfunktion sowie ein Problemraum, der potenzielle Lösungen enthält, gegeben. Der Unterschied zwischen dem Problemraum der Anwendung und dem Suchraum des Algorithmus besteht darin, dass ein EA eine Lösung anders darstellen kann, um sie besser zu verarbeiten und später wieder in ursprünglicher Form auszugeben (Genotyp-Phänotyp-Mapping, künstliche Embryogenese). Dies bietet sich vor allem dann an, wenn die Darstellung einer möglichen Lösung deutlich vereinfacht werden kann und nicht in ihrer Komplexität im Speicher verarbeitet werden muss. Verschiedene evolutionäre Algorithmen unterscheiden sich vornehmlich in den folgenden Eigenschaften (vergleiche auch das einleitende Ablaufschema):

• Suchraum (z. B. Binärzahlen, reelle Zahlen, Baumstrukturen)
• Suchoperatoren (z. B. Mutation und Rekombination)
• Fitnesszuweisung und Selektion auf Basis der Zielfunktion
• Art und Weise, in der vorherige Generationen in die Selektion mit einbezogen werden (Elterngeneration ein-/ausschließen)
• Beziehung zwischen dem Suchraum und dem Problemraum (Genotyp-Phänotyp-Mapping)

Klassische Varianten

Die vier historisch zuerst entstandenen Verfahren sind heute in der Form nicht mehr zu unterscheiden, insbesondere werden oft die Namen einzelner Typen als Synonym für das gesamte Gebiet der evolutionären Algorithmen genutzt. Dazu kommt, dass es heute eine Fülle weiterer Verfahren und unüberschaubar viele Kombinationen gibt, für die keine einheitliche Benennung existiert. In der folgenden Darstellung werden die klassischen Konzepte in der historischen Form beschrieben. Ein guter und theoretisch fundierter Vergleich zwischen den klassischen bit-codierten und den reell-codierten GAs, der ES und der EP kann z. B. bei Whitley gefunden werden.

Genetische Algorithmen (GA)

Ausprägung des Genotyps in einer Zelle

Genetische Algorithmen wurden vor allem durch die Arbeiten John H. Hollands berühmt. Sie nutzen binäre Problemrepräsentation und benötigen deshalb meist ein Genotyp-Phänotyp-Mapping. Das bedeutet, dass binär repräsentierte Lösungskandidaten zuerst umgewandelt werden müssen, um mit der Fitnessfunktion evaluiert werden zu können. Wegen dieser Eigenschaft sind sie dem biologischen Vorbild von allen evolutionären Algorithmen am nächsten. Das Erbgut natürlicher Organismen ist ähnlich binären Zahlen in vier Nukleinsäuren codiert. Auf dieser Basis geschehen natürliche Mutation und Rekombination. Das Erscheinungsbild (Phänotyp) ist aber nicht das Erbgut selbst, sondern entsteht aus diesem durch einen vielschrittigen Prozess. Das Prinzip Genotyp-Phänotyp-Mapping verläuft in vereinfachter Form analog. Die binäre Repräsentation eignet sich zur schnellen Verarbeitung in Computern. Im Laufe der Forschung im Gebiet der EA hat sich dies aber nicht als klarer Vorteil gegenüber anderen Verfahren und Problemrepräsentationen erwiesen.

Die Auswahl der sich fortpflanzenden Individuen erfolgt bei GA mit fitnessproportionaler Selektion, die Fortpflanzung selbst durch n-Punkt-Crossover. Auch die Rekombination von mehr als zwei Elterngenomen ist möglich und führt in manchen Fällen zu besseren Ergebnissen. Die Mutation bei GA kann man sich anschaulich gut vorstellen, da die Genome aus einzelnen Bits bestehen, die invertiert, dupliziert oder gelöscht werden können (auch ganze Sequenzen). Eine theoretische Untersuchung des Konvergenzverhaltens Genetischer Algorithmen liefert das Schematheorem von John H. Holland, das allerdings umstritten ist.

Evolutionsstrategien (ES)

Evolutionsstrategien nutzen direkte Problemrepräsentationen (insbesondere reelle Zahlen). Problem- und Suchraum sind also identisch. Ihre Besonderheit ist die Selbstadaption der Mutationsschrittweiten und die damit verbundene Koevolution. Die ES wird anhand der Standardform kurz vorgestellt, wobei darauf hingewiesen wird, dass es viele Varianten gibt. Das Chromosom enthält neben den $n$ Entscheidungsvariablen noch $n'$ Mutationsschrittweiten ${\sigma }_{j}$, wobei gilt: $1\leq j\leq n'\leq n$. Häufig wird eine Mutationsschrittweite für alle Entscheidungsvariablen genutzt oder jede hat ihre eigene Schrittweite. Die Partnerwahl zur Erzeugung von $\lambda$ Nachkommen erfolgt zufallsbedingt, also unabhängig von der Fitness. Zuerst werden pro Paarung neue Mutationsschrittweiten durch intermediäre Rekombination der elterlichen ${\sigma }_{j}$ mit anschließender Mutation gebildet. Als Nächstes erfolgt eine diskrete Rekombination der Entscheidungsvariablen gefolgt von Mutationen mit den neuen Mutationsschrittweiten. Dadurch erfolgt eine evolutionäre Suche auf zwei Ebenen: Zum einen auf der Problemebene selbst und zum anderen auf der Ebene der Mutationsschrittweiten. So kann gewährleistet werden, dass die ES in immer feineren Schritten ihr Ziel sucht. Es besteht aber auch die Gefahr, größere unzulässige Gebiete im Suchraum nur schlecht überspringen zu können.

Die ES kennt zwei Varianten der Bestenselektion zur Bildung der nächsten Elternpopulation: Bei der $(\mu ,\lambda )$-ES finden nur die $\mu$ besten Nachkommen Verwendung, während bei der elitären $(\mu +\lambda )$-ES die $\mu$ besten aus Eltern und Kindern ausgewählt werden.

Bäck und Schwefel empfehlen, dass der Wert von $\lambda$ das siebenfache der Populationsgröße $\mu$ betragen soll, wobei $\mu$ wegen des starken Selektionsdrucks nicht zu klein gewählt werden darf. Geeignete Werte für $\mu$ sind anwendungsabhängig und müssen experimentell bestimmt werden.

Für ES-Varianten ohne die geschilderte selbstadaptive Schrittweitensteuerung empfiehlt Rechenbergs 1/5-Erfolgsregel, dass der Quotient aus den erfolgreichen Mutationen (also Mutationen, die eine Verbesserung der Fitness bewirken) zu allen Mutationen etwa ein Fünftel betragen sollte. Ist der Quotient größer, so sollte die Varianz der Mutationen erhöht werden, bei einem kleineren Quotienten sollte sie verringert werden.

Genetische Programmierung (GP)

Darstellung einer Funktion als Ausdrucksbaum. Teilbäume können umgehängt, geändert oder gelöscht (Mutation) und komplette Bäume kombiniert (Rekombination) werden.

Das Ziel der genetischen Programmierung ist die Erzeugung von Strukturen, die eine bestimmte Eingabe in eine festgelegte Ausgabe umwandeln sollen (Computerprogramme, Schaltkreise oder mathematische Funktionen). Die Lösungskandidaten werden durch Bäume repräsentiert.

Beim Problem der symbolischen Regression wird eine bestimmte Funktion $X\to Y$ gesucht (z. B. ein Polynom wie $4x^{4}-3x^{2}+17$). Gegeben sind Paare mit je einem Wert aus $X$ und dem zugehörigen Wert aus $Y$. Es ist also bekannt, wie die gesuchte Funktion Werte abbildet. Mit GP werden Baumstrukturen evolviert, die die symbolische Funktion meist exakt nachbilden.

Eine grundlegende Arbeit zur Genetischen Programmierung verfasste John Koza. Er erkannte auch die Möglichkeit, symbolische Regression mit GP zu lösen. In der Erforschung von GP wurde dieses Problem oft als Benchmarktest genutzt.

Evolutionäre Programmierung (EP)

Ähnlich wie bei der GP werden Strukturen wie Computerprogramme gesucht, die aber nicht durch Bäume, sondern durch endliche Automaten repräsentiert werden. Nur die numerischen Eigenschaften der Automaten werden variiert, ihre Struktur ist fest. Gesucht wird ausschließlich über Mutation, Rekombination findet nicht statt. Einzelne Individuen werden sozusagen als unterschiedliche Spezies betrachtet. Evolutionäre Programmierung wurde nach ihrer Entstehung wenig weiterentwickelt.

EAs im Vergleich zu Monte-Carlo-Verfahren

Beide Verfahrensklassen haben gemeinsam, dass ihre einzelnen Suchschritte zufallsbestimmt sind. Der wesentliche Unterschied besteht aber darin, dass die EAs, wie viele andere Metaheuristiken auch, aus den vergangenen Suchschritten lernen und diese Erfahrung in die Ausführung der nächsten Suchschritte in einer verfahrensspezifischen Form einfließt. Dies geschieht bei den EAs wie in Abschnitt Pseudocode dargestellt erstens durch die fitnessbasierten Selektionsoperatoren zur Partnerwahl und zur Bildung der nächsten Generation. Und zweitens durch der Art der Suchschritte: Beim EA gehen sie von einer aktuellen Lösung aus und verändern diese oder sie mischen die Information zweier Lösungen. Im Gegensatz dazu besteht beim Auswürfeln neuer Lösungen bei den Monte-Carlo-Verfahren in der Regel kein Zusammenhang zu bereits existierenden Lösungen.

Wenn der Suchraum aufgabenbedingt so aussieht, dass es nichts zu lernen gibt, sind Monte-Carlo-Verfahren ein probates Mittel, da sie keinerlei Overhead enthalten, der aus der bisherigen Suche geeignete Schlüsse ziehen soll. Ein Beispiel dafür ist eine Fitnesslandschaft, die eine flache (Hyper-)Ebene mit einer einsamen schmalen Spitze darstellt. Solange die Spitze nicht gefunden wurde, haben alle betrachteten Lösungen die gleiche Fitness, und es fehlt jeder Hinweis, ob und wo es bessere Lösungen geben könnte.

Siehe auch

• Evolutionär stabile Strategie
• CMA-ES
• Memetischer Algorithmus
• Naturanaloge Optimierungsverfahren
• Survival of the Fittest
• Bionik

Literatur

Evolutionäre Algorithmen allgemein

• Ingrid Gerdes, Frank Klawonn, Rudolf Kruse: Evolutionäre Algorithmen: genetische Algorithmen – Strategien und Optimierungsverfahren – Beispielanwendungen. Vieweg, Wiesbaden 2004, ISBN 3-528-05570-7.
• Volker Nissen: Einführung in evolutionäre Algorithmen: Optimierung nach dem Vorbild der Evolution. Vieweg, Braunschweig 1997, ISBN 3-528-05499-9 , doi:10.1007/978-3-322-93861-9.
• Hartmut Pohlheim: Evolutionäre Algorithmen: Verfahren, Operatoren und Hinweise für die Praxis. Springer, Berlin 1999, ISBN 3-540-66413-0.
• Karsten Weicker: Evolutionäre Algorithmen. Springer Vieweg, Wiesbaden, 2015. ISBN 978-3-658-09957-2. doi:10.1007/978-3-658-09958-9
• Agoston E. Eiben, Jim E. Smith: Introduction to Evolutionary Computing. Springer, Berlin, Heidelberg, 2003. doi:10.1007/978-3-662-44874-8
• Kenneth A. de Jong: Evolutionary Computation: A Unified Approach. MIT Press, Cambridge, MA 2006, ISBN 0-262-04194-4.
• Thomas Bäck, David Fogel, Zbigniew Michalewicz (Hrsg.): Evolutionary Computation 1: Basic Algorithms and Operators. CRC Press, Bristol 1999, ISBN 978-0-7503-0664-5,
• Thomas Bäck, David Fogel, Zbigniew Michalewicz (Hrsg.): Evolutionary Computation 2: Advanced Algorithms and Operators. CRC Press, Bristol 2000, ISBN 978-0-7503-0665-2, doi:10.1201/9781420034349
• VDI/VDE-Richtlinie 3550, Blatt 3: Evolutionäre Algorithmen – Begriffe und Definitionen. Weißdruck, (in Deutsch und Englisch) Beuth-Verlag, Berlin, 2003.
• VDI/VDE-Richtlinie 6224, Blatt 1: Bionische Optimierung – Evolutionäre Algorithmen in der Anwendung. Weißdruck, (in Deutsch und Englisch), Beuth-Verlag, Berlin, 2012.

Genetische Algorithmen

• David E. Goldberg: Genetic Algorithms in Search, Optimization, and Machine Learning. Addison-Wesley, 1989, ISBN 0-201-15767-5.
• J. Heistermann: Genetische Algorithmen. Teubner, Stuttgart 1994. doi:10.1007/978-3-322-99633-6
• Melanie Mitchell: An Introduction to Genetic Algorithms. MIT Press, Cambridge MA 1996. ISBN 978-0-262-63185-3

Evolutionsstrategien

• Ingo Rechenberg: Cybernetic Solution Path of an Experimental Problem (1965). In: D.B. Fogel (Hrsg.): Evolutionary Computation – The Fossil Record. IEEE Press, 1998, ISBN 0-7803-3481-7.
• Ingo Rechenberg: Evolutionsstrategie. Optimierung technischer Systeme nach Prinzipien der biologischen Evolution. Frommann Holzboog, 1973, ISBN 3-7728-0373-3 (Diss. von 1970).
• Ingo Rechenberg, Evolutionsstrategie ’94. Frommann Holzboog, 1994, ISBN 3-7728-1642-8.
• Hans-Paul Schwefel: Evolution and Optimum Seeking. Wiley & Sons, New York 1995, ISBN 0-471-57148-2.
• Hans-Georg Beyer: The Theory of Evolution Strategies. Springer, Berlin / Heidelberg / New York 1998, ISBN 3-540-67297-4.
• Hannes Geyer et al.: Vergleich zwischen klassischen und verschachtelten Evolutionsstrategien am Beispiel einer nichtlinearen Regression an Oberflächenspannungen in R². Interner Bericht CI-66/99 des Sonderforschungsbereichs 531: „Design und Management komplexer technischer Prozesse und Systeme mit Methoden der Computational Intelligence“, Dortmund 1999, PDF

Genetische Programmierung

• John R. Koza: Genetic Programming. On the Programming of Computers by Means of Natural Selection. The MIT Press, 1992, ISBN 0-262-11170-5.
• Wolfgang Banzhaf, Peter Nordin, Robert E. Keller, Frank D. Francone: Genetic Programming – An Introduction. Morgan Kaufmann, San Francisco, CA, USA, 1997. ISBN 3-920993-58-6
• William B. Langdon, Riccardo Poli: Foundations of Genetic Programming. Springer, 2002, ISBN 3-540-42451-2.
• Riccardo Poli, William B. Langdon, Nicholas Freitag McPhee: A Field Guide to Genetic Programming. Lulu.com, 2008.

Evolutionäre Programmierung

• Laurence J. Fogel, Alvin J. Owens, Michael John Walsh: Artificial Intelligence through Simulated Evolution. John Wiley, 1966. doi:10.1109/9780470544600.ch7
• David. B. Fogel: Blondie24: Playing at the Edge of AI. Morgan Kaufmann Publishers, San Francisco CA 2002, ISBN 1-55860-783-8.

Weblinks

Commons: Evolutionärer Algorithmus – Sammlung von Bildern, Videos und Audiodateien

Evolutionäre Algorithmen allgemein

• Thomas Weise: Global Optimization Algorithms - Theory and Application , 2009. (PDF; 13,14 MB)
• EvA2 (Java), umfassendes Framework für EA und heuristische Optimierung mit GUI.

Genetische Algorithmen

• Genetische Algorithmen. Wikiversity-Kurs.
• JGAP – Freies Java Framework zur Implementierung genetischer Algorithmen, unterstützt auch die Genetische Programmierung; sehr viele Unit Tests zur Qualitätssicherung, umfangreiche Javadoc-Dokumentation
• EvoJ – Kleines aber effektives und verbreitbares Java Framework für genetischer Algorithmen.
• Jenetics – in Java 11 geschriebener, genetischer Algorithmus und nutzt die Java Stream API zur Evaluierung der einzelnen Generationen.
• HeuristicLab – Freies .NET Environment für heuristische Optimierung (genetische Algorithmen, Evolutionsstrategien, Nachbarschaftssuche etc.)
• Boxcar2D, ein genetischer Algorithmus, der ein 2-dimensionales Fahrzeug konstruiert, um ein Gelände zu überwinden

Hybrid-Algorithmen

• Geneva („Grid-enabled evolutionary algorithms“), eine freie Bibliothek (Affero GPLv3) zur Optimierung mit Evolutionsstrategien, Genetischen- und Schwarmalgorithmen sowie Simulated Annealing und Parameter Scans. Unterstützt Problembeschreibungen mit gemischten Parametersätzen sowie die Optimierung in Clustern sowie Grid und Cloud