Remove ads
Algorithmen der linearen Optimierung Aus Wikipedia, der freien Enzyklopädie
Pivotverfahren (auch Basisaustauschverfahren) sind Algorithmen der mathematischen Optimierung, insbesondere der linearen Optimierung. Für ein vorgegebenes System linearer Gleichungen in nichtnegativen Variablen (im Wesentlichen dasselbe wie ein System linearer Ungleichungen) wird nach der bestmöglichen von vielen Alternativlösungen (einer sogenannten Optimallösung) gesucht und auf dieser Suche das Gleichungssystem Schritt für Schritt umgewandelt, ohne dabei die Lösungsmenge zu verändern. Wichtige Pivotverfahren sind die Simplex-Verfahren und die Criss-Cross-Verfahren.
Pivotverfahren spielen für die Behandlung von linearen Ungleichungen eine analoge und ähnlich wichtige Rolle wie das gaußsche Eliminationsverfahren für die Lösung linearer Gleichungssysteme in unbeschränkten Variablen. Hauptanwendungsgebiet der Pivotverfahren ist die lineare Optimierung: sie gehören zu den meistverwendeten Lösungsmethoden in der Unternehmensforschung, der Wirtschaftswissenschaft, dem Gütertransport und sie werden auch in vielen anderen Gebieten wie im Ingenieurbau (Strukturoptimierung), in der Statistik (Regressionsanalyse) und in der Spieltheorie zunehmend eingesetzt.[1] Aufgaben mit zehntausenden Variablen und Ungleichungen sind an der Tagesordnung.[2]
Ein Pivotverfahren geht immer von einem besonders gearteten linearen Gleichungssystem aus, in dem alle Variablen, außer vielleicht einer, nichtnegative Werte annehmen sollen. Jedes System linearer Ungleichungen oder Gleichungen, und auch jede lineare Optimierungsaufgabe, lässt sich nämlich in folgende (englisch dictionary genannte[3]) Buchform bringen:
Hier sind reelle Zahlen (in der Praxis meist Bruchzahlen). Die obige Notation soll aussagen, dass eine Lösung in den Unbekannten gesucht wird, welche die entsprechenden Gleichungen und Ungleichungen erfüllt und dabei die sogenannte Zielvariable so groß wie möglich wählt.
Mit Hilfe der Indexmengen
lässt sich diese Aufgabe auch wie folgt in kompakter Form ausdrücken:
In jedem Schritt eines Pivotverfahrens ist wie oben eine Teilmenge der Variablen als unabhängig hervorgehoben, während die restlichen Variablen, Basisvariablen genannt, als linear-affine Funktionen der unabhängigen Variablen ausgedrückt werden. In aufeinanderfolgenden Schritten wechselt immer eine der Variablen von unabhängig auf Basisvariable und eine zweite in die umgekehrte Richtung; solche Variablenpaare werden Pivots genannt.
Falls im oben aufgestellten linearen Gleichungssystem die beiden folgenden Optimumbedingungen erfüllt sind,
dann kann man eine Lösung für die obige Aufgabe erhalten, indem man die unabhängigen Variablen auf die Werte setzt. Zum einen sind die Werte der freigelegten Variablen dann nichtnegativ, wie gefordert. Zum anderen dürfen sonstige mögliche Lösungen nur unabhängige Variable mit ebenfalls nichtnegativen Werten enthalten, so dass für jede dieser Lösungen die Ungleichung gilt.
Falls die Optimumbedingungen nicht erfüllt sind, was in der Regel der Fall sein wird, lässt sich das obige lineare Gleichungssystem aber auch andersartig ausdrücken, indem man an Stelle von eine andere, gleich große Teilmenge der Unbekannten auswählt und diese freilegt. Es sei eine Umstellung der Indizes. Anhand folgender Aufteilung der Variablen,
in neue unabhängige Variablen mit und neue Basisvariablen mit , wird das Gleichungssystem nun umgewandelt zu
wobei zu beachten ist, dass Einträge wie nur für Indexpaare mit und definiert sind. Die Einträge des so umgewandelten Gleichungssystems lassen sich nun erneut auf die Optimumbedingungen überprüfen,
was wiederum unter Umständen zu einer Lösung der Aufgabe führt.
Ein Standardergebnis der linearen Optimierung sagt aus[3][1], dass für jede lösbare Aufgabe ein Satz Basisvariablen existiert, der zu einer Lösung führt. Bei erfüllten Optimumbedingungen bilden die Basisvariablen eine sogenannte Optimalbasis des Systems.
Jedes nichtverschwindende des obigen Gleichungssystems, dem Pivotsystem, nennt sich Pivotelement und erlaubt es, die unabhängige Variable an Stelle der Basisvariablen freizulegen, um so weiter nach einer Lösung zu suchen. Das ist die Vorgehensweise eines allgemeinen Pivotverfahrens, wobei aber nicht irgendwelche Pivotelemente gewählt werden, sondern nur erlaubte (admissible) Pivots , die Folgendes erfüllen müssen:
Die Beschränkung auf erlaubte Pivots verhindert, dass derselbe Pivot zweimal hintereinander ausgewählt wird. Die Regeln, nach denen in jedem Schritt eines dieser erlaubten Pivotelemente ausgewählt wird, hängen vom jeweiligen Verfahren ab; ein Mindestanspruch ist dabei natürlich, dass das Verfahren nach endlich vielen Schritten anhält, was bei ungeeigneter Auswahl von erlaubten Pivots nicht der Fall ist. Fukuda & Terlaky haben 1999 bewiesen, dass für jede lösbare Aufgabe und für jede Ausgangsbasis eine Folge von maximal erlaubten Pivots existiert, die zu einer Optimalbasis führt.[4] Leider liefert ihr Beweis keine Vorgehensweise, um diese Pivots in jedem Optimierungsschritt auch zu finden.
Wie aus der Definition zu ersehen ist, haben Optimalbasen keine erlaubten Pivots, das Verfahren kann in so einem Fall gar nicht fortgeführt werden. Anderseits kann anhand von Argumenten wie im obigen Abschnitt leicht gezeigt werden, dass eine nichtoptimale Basis ohne erlaubte Pivots immer zu einer Aufgabe gehört, die gar keine Lösung hat; entweder, weil das System der Gleichungen und Ungleichungen überhaupt keine Lösung hat (unzulässige Aufgabe), oder, weil sich Lösungen mit beliebig großem finden lassen (unbeschränkte Aufgabe).
Um Rundungsfehler zu vermeiden, kann mit Bruchzahlen und gemeinsamen Nenner für sämtliche Einträge gearbeitet werden. Um in jedem Schritt einen gemeinsamen Nenner für das Gesamtsystem zu finden, müssen wir die Einträge nicht zusätzlich untersuchen. Falls das Startsystem ganzzahlig ist (was sich normalerweise durch Erweiterung erreichen lässt), gilt die Regel:
Wenn die Einträge des Folgesystems mit diesem gemeinsamen Nenner multipliziert werden, erhält man ganzzahlige Werte. Bei der Aufstellung des Folgesystems veraltet der gemeinsame Nenner des Vorgängersystems, weshalb sämtliche Einträge des Folgesystems ungeprüft durch diesen veralteten Nenner gekürzt werden können.
Eine Tabelle mit den Einträgen eines Pivotsystems wird oftmals Tableau genannt. Das folgende Schema zeigt an, wie sich die Einträge der Pivotsysteme von einem Schritt auf den nächsten verändern:
|
|
Das Zeichen steht hier für den gemeinsamen Nenner des Gleichungssystems, das Zeichen für den Zähler des Pivotelements, für einen sonstigen Eintrag der Pivotzeile, für einen sonstigen Eintrag der Pivotspalte, und für einen beliebigen Eintrag abseits von Pivotzeile und Pivotspalte. Einträge der Zielbeitragszeile () und der Basiswertspalte () werden nach denselben Regeln umgewandelt.
Die Bilder zu den Schritten in den folgenden Beispielen zeigen alle dasselbe Gleichungssystem in verschiedenen orthogonalen Koordinaten; dabei gilt:
Wir wählen vorerst ein Beispiel ohne Zielvariable, das heißt, mit . In so einem Fall wird keine der Variablen maximiert; es werden nur beliebige (nichtnegative) Werte für die Unbekannten gesucht, die ein vorgegebenes Gleichungssystem erfüllen. In jedem Schritt wollen wir dann den erlaubten Pivot nach folgender Regel wählen:
Diese (nicht besonders effiziente) Auswahlregel fällt wegen mit der weiter unten angegebenen Kleinster-Index-Pivotauswahl zusammen; es lässt sich beweisen, dass diese Auswahl bei jeder lösbaren Aufgabe mit zu einer Optimalbasis führt.[5]
Wir suchen nun Werte für die Unbekannten , die das Gleichungssystem
erfüllen. Die erlaubten Pivots im obigen Gleichungssystem sind und ; aufgrund der obigen Auswahlregel legen wir die unabhängige Variable an Stelle der Basisvariablen frei:
Wir erhalten nun das folgende, umgewandelte Gleichungssystem:
Im neuen System sind die erlaubten Pivots und ; dieses Mal legen wir legen wir an Stelle von frei:
Wir erhalten nun das folgende System:
Der einzige erlaubte Pivot hier ist ; deshalb können wir nur an Stelle von freilegen:
Nun erhalten wir
Dieses System erfüllt die Optimalitätsbedingungen und hat dementsprechend auch keine erlaubten Pivots. Indem wir sämtliche unabhängige Variablen auf Null setzen, erhalten wir die folgende Lösung:
Es folgt nun ein Beispiel einer ungeeigneten Pivotauswahl; bei ungeeigneter Pivotwahl kann ein Pivotverfahren nämlich in einen unendlichen Kreislauf (eine Endlosschleife) geraten. Es sei wieder Wie bei folgender Regel vorgeschlagen, könnten wir beispielsweise der Versuchung erliegen, die Pivotzeile nur unter den "meistverletzten" Nebenbedingungen auszuwählen, und dabei "meistverletzt" als diejenigen mit den am weitesten negativen Konstanten verstehen:
Um zu zeigen, dass so etwas falsch gehen kann, starten wir mit dem System:
Wir wählen hier und legen an Stelle dessen frei. Dadurch erhalten wir das System:
Wir wählen Basisvariable , legen an deren Stelle frei, und erhalten:
Die Einträge in diesem Gleichungssystem sind dieselben wie im Startsystem, weshalb sich bei ähnlicher Pivotfolge auch die Einträge der folgenden Systeme alle zwei Schritte wiederholen werden. Nach Auswahl der Basisvariablen um an deren Stelle freizulegen erhalten wir:
Nach der kreislauffreien Regel im vorherigen Beispiel müssten wir nun wählen um freizulegen. Anstelle dessen folgen wir der abgewandelten Regel und wählen dafür die Basisvariable , was zu folgendem System führt:
Dieses Gleichungssystem hat dieselben Einträge wie das Startsystem. Weil diese nun anderen Variablen zugeordnet sind, ist die Endlosschleife nach diesen 4 Schritten freilich noch nicht beendet, aber die Umformung der Einträge ist hier unabhängig von deren Zuordnung zu Variablen, und nach endlich vielen Schritten (in diesem Falle 12) wird wieder das Startsystem erreicht. Das Gesamtsystem von Gleichungen und Ungleichungen hat in Wirklichkeit gar keine Lösung, doch kann das Pivotverfahren das mit der oberen Pivotwahl nicht herausfinden.
Die Reihenfolge, in der Variable und Gleichungen eines Pivotsystems aufgelistet werden, ist grundsätzlich willkürlich. Dennoch wurden die ersten Pivotauswahl-Strategien, die Variablen und Gleichungen unabhängig von deren Darstellung im Pivotsystem behandeln (und dazu noch leicht umsetzbar waren), erst 1977 von Bland [6] vorgestellt. In der Anfangszeit der Pivotverfahren (1950–1970), als noch nicht streng zwischen Algorithmen und Datenstrukturen unterschieden wurde, hat man Pivotauswahl-Strategien eher anhand von Datenstrukturen (der sogenannten Tableaus) beschrieben, und bei dieser Art Strategien konnte die Endlichkeit des Verfahrens ohne Zusatzberechnungen meist nicht gewährleistet werden.
Jeder linearen Optimierungsaufgabe, welche in diesem Zusammenhang auch Primalaufgabe genannt wird, lässt sich von der obigen Buchform abhängig eine zweite Optimierungsaufgabe zuordnen; die Koeffizientenmatrix dieser sogenannten dualen Aufgabe ist die negative Transponierte der Koeffizientenmatrix der ursprünglichen Aufgabe:
In gedrungener Form wird das zu:
Wie gleich gezeigt wird, ist das Maximum der Dualaufgabe (soweit vorhanden) genau das negative Maximum der Primalaufgabe.
Die obige Beziehung der Koeffizienten zwischen Primalaufgabe und Dualaufgabe gilt nicht etwa nur für die Ausgangsbasis, sondern bleibt erhalten, solange die Basisvariablen nach denselben Pivots umgewandelt werden. Es gilt
Diese Dualitätsbeziehung lässt sich am leichtesten an einem Pivotsystem betrachten, das ausschließlich zwei unabhängige Unbekannte und zwei freigelegte Unbekannte enthält. Wir erhalten dasselbe System, wenn wir zuerst zwei der Unbekannten austauschen und danach die duale Aufgabe herleiten, oder wenn wir diese Schritte in umgekehrter Reihenfolge tun; das folgende kommutative Diagramm stellt diesen Zusammenhang dar:
|
| |
|
|
Aus der Dualbeziehung folgt, dass ein Optimalsystem für die Primalaufgabe auch ein Optimalsystem für die duale Aufgabe liefert.
Zur Aufgabe im ersten Rechenbeispiel gehört folgende duale Aufgabe (die Nullen stammen von ):
Der obige Algorithmus führt dann zum Optimalsystem
und die optimale Lösung dazu ist natürlich für alle . Die Primalaufgabe hatte eine implizite Zielfunktion ; sämtliche Optimallösungen der primalen und auch der dualen Aufgabe hätten deshalb, soweit vorhanden, einen Zielwert . Das ist derselbe Wert, den auch schon die Anfangslösung der dualen Aufgabe hatte, doch ist die Existenz einer Optimallösung aus dem ersten Gleichungssystem allein nicht ersichtlich: es hätte grundsätzlich auch Lösungen mit unendlich großem und somit gar keine Optimallösung geben können.
Eine theoretisch bedeutsame Folge der Dualitätstheorie ist: Wir brauchen nicht unbedingt einen Maximierungs-Algorithmus, um lineare Optimierungsprobleme zu lösen; es genügt dazu jeder Algorithmus, der Systeme linearer Ungleichungen löst. Aus der Dualitätsbeziehung folgt nämlich, dass jede Optimalbasis der ursprünglichen Aufgabe auch unmittelbar eine Optimalbasis für die duale Aufgabe liefert; der optimale Wert der Zielvariable ist dann das Negative des Optimalwerts von . Für zulässige Lösungspaare der beiden Aufgaben gilt demzufolge
und für optimale Lösungspaare gilt
Daraus folgt, dass die optimalen Lösungen beider Aufgaben genau die Lösungen der obigen Gleichungssysteme mit folgenden Ungleichungen sind:
Ausgeschrieben ist das
In der Praxis ist so ein Vorgehen freilich nur dann konkurrenzfähig, wenn die gemeinsame Datenstruktur beider Aufgaben auch ausgenützt wird.
Die einfachsten aller Pivotverfahren gehören zu den Criss-Cross-Verfahren[5], die in den 80er Jahren für Aufgabenstellungen im Kontext orientierter Matroide entwickelt wurden. Die wesentlich komplexeren Simplexverfahren[3][1] wurden aber bereits 1947 von George Dantzig für die Lösung linearer Optimierungsprobleme veröffentlicht und haben danach dank ihrer weiten Verbreitung die Suche nach Criss-Cross-Verfahren maßgeblich motiviert. Weitere Pivotverfahren wurden für das lineare Komplementaritätsproblem mit suffizienten Matrizen (einschließlich quadratischer Programmierung) und für linear-fraktionale Optimierungsprobleme entwickelt.
Bei der Ausarbeitung verschiedener Pivotverfahren geht es in der Hauptsache darum, die Anzahl der Pivotschritte und damit auch die Laufzeit des Verfahrens gering zu halten. Während die derzeit bekannten Simplexverfahren alle eine überpolynomial beschränkte Laufzeit beanspruchen – das ist eine Laufzeit, die sich nicht durch ein Polynom in der Datenspeichergröße beschränken lässt – sind Laufzeitschranken für die Criss-Cross-Verfahren ein (bis 2010) noch offenes Forschungsthema.[7] Zusammenfassend lässt sich darüber sagen, dass Criss-Cross-Verfahren mehr Freiheitsgrade aufweisen als Simplexverfahren, und dass ein Criss-Cross-Verfahren genau aus diesem Grund bei einer guten Pivotauswahl schneller[4] und bei einer schlechten Pivotauswahl langsamer[8] als Simplexverfahren sein kann.
Primale Simplexverfahren (meist nur Simplexverfahren genannt) gehen von einer sogenannten zulässigen Basis mit für alle aus und untersuchen ausschließlich zulässige Basen, bis eine Optimalbasis gefunden wird. Eine wichtige Eigenschaft der primalen Simplexverfahren ist, dass der Wert der Zielvariablen, also , mit jedem Schritt monoton anwächst; würde er streng monoton anwachsen, wäre die Endlichkeit des Verfahrens gesichert.
Ein primales Simplexverfahren muss seine Pivots wie folgt wählen:
Um eine zulässige Ausgangsbasis zu erhalten, muss in einer sogenannten Phase 1 eine Hilfsaufgabe gelöst werden. Dies kann geschehen, indem man eine neue Zielfunktion mit beliebigen nichtpositiven Einträgen einfügt und die duale Aufgabe, bei der die Startlösung nun zulässig ist, maximiert. Statistisch gesehen ist es von Vorteil, die Einträge der neuen Zielfunktion zufallsverteilt negativ auszuwählen.[1]
Ein Standardergebnis der linearen Optimierung besagt[3][1], dass für jede lösbare Aufgabe und für jede zulässige Basis eine Folge erlaubter Pivots existiert, die über ausschließlich zulässige Basen zu einer Optimalbasis führt; unbekannt ist dagegen, ob es eine Folge dieser Art gibt, deren Länge sich polynomial in der Speichergröße der Daten beschränken lässt.
Duale Simplexverfahren sind Pivotverfahren, die von einer sogenannten dual-zulässigen Basis mit für alle ausgehen und in ihrer Suche nach einer Optimalbasis ausschließlich dual-zulässige Basen untersuchen; der Wert der Zielvariablen nimmt dabei monoton ab.
Ein duales Simplexverfahren wählt seine Pivots wie folgt:
Duale Simplexverfahren erzeugen die gleichen Pivotfolgen wie die auf die duale Aufgabe angewandten primalen Simplexverfahren und haben deshalb auch grundsätzlich die gleichen Eigenschaften wie die primalen Verfahren. Dass sie für die Lösung vieler angewandter Aufgaben trotzdem den Primalverfahren vorgezogen werden, liegt daran, dass es für viele angewandte Aufgaben leichter ist, eine dual-zulässige Ausgangsbasis zu finden.
Criss-Cross-Verfahren (englisch: kreuz und quer) sind allgemeine Pivotverfahren, die von einer beliebigen Basis ausgehen[5]; in der Regel wird dieser Name für kombinatorische Pivotverfahren verwendet, das heißt, für Pivotverfahren, welche nur die Vorzeichen der Systemkoeffizienten und nicht die Koeffizienten selbst für die Pivotauswahl in Betracht ziehen.
Das bekannteste aller Criss-Cross-Verfahren erweitert die Kleinster-Index-Pivotauswahl aus dem ersten Beispiel.[5] Dafür werden die Unbekannten in einer mehr oder weniger festen Reihenfolge angeordnet und die Pivots wie folgt ausgewählt (wie üblich sei das Minimum der leeren Menge unendlich groß):
Das lässt natürlich die Frage offen, wie die Variablen angeordnet werden sollen.
Im folgenden Beispiel benutzen wir die obige Kleinster-Index-Pivotauswahl. Es sollen Werte für die Variablen gefunden werden, die das Gleichungssystem
erfüllen und dabei die zusätzliche Zielvariable auf ein Maximum bringen. Wir benutzen dazu die oben angeführte Pivotauswahl des kleinsten Index.
In unserem Ausgangssystem sind sämtliche Pivots erlaubt; die Auswahlregel schreibt aber vor, dass wir freilegen und gegen austauschen:
Das führt zum neuen Gleichungssystem:
Hier sind die Pivots , und , erlaubt; anhand der Auswahlregel legen wir an Stelle von frei:
Wir erhalten das System:
Die erlaubten Pivots dieses Gleichungssystems sind und ; wir legen darum an Stelle von frei:
Nun erhalten wir das System:
Dieses Gleichungssystem ist optimal; die Werte der Unbekannten für die dazugehörige Lösung sind
Eine Implementierung der Pivotverfahren für praktische Aufgaben ist oft weit von trivial entfernt.[9] Die Einträge großer Gleichungssysteme – mit zehntausenden von Variablen – weisen so gut wie immer irgendeine Struktur auf, die es auszunutzen gilt, um die Berechnung derselben schnell und rundungsfehlerarm durchzuführen:
Nichtsdestominder kommen in der Praxis auch kleinere Aufgaben vor, für welche die oben beschriebene Direktumsetzung durchaus sinnvoll ist.
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.