09.01.16 - hab mal versucht nen roten faden für die aufteilung zu finden - es muss alles noch bearbeitet werden - müssen die nächsten tage mal wegen der Vortragsaufteilung/Gliederung sprechen - evtl habt ihr ja noch ideen was noch rein kann/muss - ich würde gern den abschnitt matroide/unabhängigkeitssysteme machen

Greedy-Heuristiken

Der Unterschied zwischen einer Greedy-Heuristik und einem Greedy-Verfahren ist hauptsächlich die Qualität der Lösungen, da ein Greedy-Verfahren eine exakte Lösung und eine Greedy-Heuristik nur eine Näherungslösung, welche jedoch in den meisten Fällen recht nah an der exakten Lösung liegt, liefert. Ein Greedy-Verfahren benötigt, anders als eine Greedy-Heuristik, zur Angabe einer exakten Lösung ein Matroid als zugrunde liegende algebraische Struktur. Es ist beispielsweise beim Bruchteil-Rucksackproblem der Fall, dass die zugrunde liegende algebraische Struktur ein Matroid ist, jedoch nicht beim 0/1-Rucksackproblem. Wendet man trotz dem nicht vorhandenem Matroid beim 0/1-Rucksackproblem ein Greedy-Verfahren an, so erhält man eine Näherungslösung und man spricht dann von einer Greedy-Heuristik.

Greedy-Heuristiken zeichnen sich dadruch aus, dass sie immer nach einem lokalem Optimum suchen und weder bereit sind eine Entscheidung zu revidieren noch eine lokale Verschlechterung zu ermöglichen.

Wenn man zum Beispiel eine Greedy-Heuristik zur Lösung des Traveling-Salesman-Problem verwenden möchte so wird man versuchen gerade den Knoten einzubinden, der den größten Gewinn, also hier die kürzeste Rundreise beschert. Beispielsweise könnte man auf die Idee kommen immer den Knoten einzubinden, welcher dem gerade betrachteten am nächsten liegt. Diese Strategie nennt man nearest neighbor heuristic. Sie ist jedoch in den meisten Fällen nicht wirklich hilfreich, da die Ergebnisse meist unbrauchbar sind oder zumindest ziemlich weit vom Optimum abweichen. Bessere Resultate erhält man zum Beispiel mit der farthest insertion. Bei der farthest insertion beginnt man die Knoten mit dem geringstem Abstand zu verbinden oder man erstellt einen Konvexe Hülle (eine Erläuterung findet man hier) und erweitert die Tour dann um den Knoten, dessen Minimalabstand zu einem bereits auf der Rundreise liegendem Knoten maximal ist. Diese Technik führt zu ebenso guten Ergebnissen wie die random insertion, bei der ein unbenutzter Knoten zufällig ausgewählt wird und so integriert wird, dass die daraus resultierende Länge der Rundreise minimal wird. Ein weiteres Greedy-Verfahren ist die nearest insertionoder auch cheapest insertion genannt. Bei diesem Verfahren wird der Knoten eingebunden, der die geringste Verlängerung der daraus resultierenden Teilroute zur Folge hat.

Es wurde mitlerweile bewiesen, dass größere Schritte besser sind als kleine, desshalb werden also anstelle kleine Veränderungen beim TSP zu betrachten möglichst große gewählt. Dies führt zu einem weiteren Greedy-Verfahren, der best insertion. Bei diesem Verfahren geht man vor wie bei einem Bombenabwurf, es werden in einem kreisförmigen Gebiet alle Städte zerstört und dann nacheinander wieder aufgebaut, wobei man sie mittels der Farthest-Insertion-Methode in den Rundweg integriert, was best insertion genannt wird. Nach diesem Verfahren aus dem Ruin-and-recreate-Bereich ist die entstandene Länge des Rundweges im allgemeinen kürzer als vorher.

Zwei schöne Applets für Greedy Heuristiken finden sie auf dieser Seite von Stephan Mertens.

Matroide, die Theorie der Unabhängigkeitsysteme

• Motivation: Ein Greedy-Algorithmus findet für ein Optimierungsproblem auf Unabhängigkeitssystemen genau dann die optimale Lösung, wenn die zulässigen Lösungen die unabhängigen Mengen eines Matroids sind.

  Sonst führt der Algorithmus lediglich zu einem lokalen Optimum. Ein Unabhängigskeitssystem ist umgekehrt genau dann ein Matroid, wenn ein Greedy-Algorithmus zu jeder Gewichtsfunktion immer Basen mit minimalen/maximalen Gewicht berechnen kann.



• Herkunft: Der Begriff Matroid entstammt der Untersuchung der Unabhängigkeit der Spaltenvektoren einer Matrix. Er ist eine Verschmelzung der Wörter "Matrix" und "Oides"(griech. ~ Ähnlichkeit).

Ein Unabhängigkeitssystem ist in der Kombinatorik eine Verallgemeinerung der mathematische Struktur des Matroides.

Definition: Unabhängigkeitssystem

Sei E eine beliebige endliche Grundmenge und \mathcal I ein System von Teilmengen von E (also \mathcal I\subseteq \mathcal{P} (E) ), dann ist das Paar (E,\mathcal{I}) ein Unabhängigkeitssystem, wenn die folgenden Bedingungen erfüllt sind:

1. \emptyset \in \mathcal{I} (Nicht zu verwechseln mit \emptyset \subseteq \mathcal{I}, was trivial wäre, da die leere Menge Teilmenge jeder Menge ist.)
2. A \subseteq B, B\in \mathcal{I} \Rightarrow A\in \mathcal{I} (\mathcal{I} ist nach unten \subseteq-abgeschlossen.)

1. ist äquivalent zu der Forderung dass \mathcal{I} nicht leer ist.





• Lineare Unabhängigkeit
  

  In der linearen Algebra wird eine Familie von Vektoren eines Vektorraums linear unabhängig genannt, wenn sich der Nullvektor nur durch eine Linearkombination der Vektoren erzeugen lässt, in der alle Koeffizienten der Kombination auf den Wert null gesetzt werden. Äquivalent dazu ist, dass sich keiner der Vektoren als Linearkombination der anderen darstellen lässt.



• Unabhängigkeit in Matchingsystemen
  

  Die Elemente einer Menge in einem Matchingsystem sind Unabhängig wenn diese gleichzeitig gematcht werden können.



• Unabhängigkeit von Gleichungen
  

  Eine Menge von Gleichungen ist unabhängig wenn sich aus der Kombination dieser kein Ergebnis herleiten lässt.



• Unabhängigkeit von gerichteten Kanten
  

  ???







Durch Hinzufügen der sogenannten Austauscheigenschaft entsteht aus einem Unabhängigkeitssystem ein Matroid.




Definition: Matroid

Sei E eine endliche Menge und \mathcal I eine Teilmenge von \mathcal P(E). Ein Matroid ist ein Paar (E;\mathcal I) für welches folgende Bedingungen erfüllt sind:

1. \emptyset \in \mathcal I

2. \forall A \in \mathcal I\, \forall B \in \mathcal P(E) \colon B \subseteq A \Rightarrow B \in \mathcal I

3. \forall A; B \in \mathcal I \colon \left| B \right| < \left| A\right| \Rightarrow (\exists x \in A \setminus B \colon B \cup \{x\} \in \mathcal I)

Dabei ist \left| A \right| die Kardinalität der Menge A.

Die Elemente von E bilden die Grundmenge. Die Elemente von \mathcal I bilden die unabhängigen Teilmengen, auch Set´s genannt, aus E.




Definition: Basis

Als Basis wird eine unabhängige Menge bezeichnet, welche in ihrer Kardinalität nicht weiter vergrößert werden kann.

• Für endlichdimensionale Vektorräume entspricht die Kardinalität der Basen der Anzahl der Dimensionen.
• Für Gleichungen entspricht die Kardinalität der Basen der Anzahl der unbekannten Variablen

Beispiele: Unabhängigkeit










Aufgaben/Beispiele	Matrix	Fragen	Antworten
Bilde die Menge der unabhägigen Vektoren!	\left( \begin{array}{cccccc} 1 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 1/2 & 1 & 0 \\ 0 & 0 & 1 & 1/2 & 1 & 0 \\ \end{array} \right)	Welcher Vektor ist nicht wie die anderen? Welcher andere Vektor ist nicht wie die anderen? Welches Vektorenpaar ist nicht wie die anderen?	A, immer wählbar ohne Abhängige Sets zu erzeugen F, da 0-Vektor, kein "Ortswechsel" mit ihm möglich DE, zeigen in die selbe Richtung / erfüllen den selben Zweck
Welche Kantenzüge sind unabhängig?	\left( \begin{array}{cccccc} 1 & 0 & 0 & 0 & 0 & 0 \\ 1 & 1 & 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 1 & 1 & 0 \\ 0 & 0 & 1 & 1 & 1 & 0 \\ \end{array} \right)	Welche Kante ist nicht wie die anderen? Welche andere Kante ist nicht wie die anderen? Welches Kantenpaar ist nicht wie die anderen?	A, da ohne ihn der Graph in 2 Teile zerfällt F, da kein "Ortswechsel" mit ihm möglich DE, haben die selbe Funktion(Zwillinge)
Bilde die Menge aller möglichen Matchings!	\left( \begin{array}{cccccc} 1 & 0 & 0 & 0 & 0 & 0 \\ 1 & 1 & 1 & 0 & 0 & 0 \\ 1 & 1 & 1 & 1 & 1 & 0 \\ \end{array} \right)	Welcher Knoten ist nicht wie die anderen? Welcher andere Knoten ist nicht wie die anderen? Welches Knotenpaar ist nicht wie die anderen?	A, da er immer Wählbar ist F, da er niemals Wählbar ist DE, sind niemals gleichzeitig Wählbar







Ergebnis	Frage	Antwort
{leere Menge} {a,b,c,d,e} {ab,ac,ad,ae,bc.bd,be,cd,ce} {abc,ace,abe,abd,acd} -> letzteres = Basen = unabhängige Mengen welche in ihrer Kardinalität nicht weiter wachsen können	Handelt es sich bei der Ergebnismenge um ein Matroid?	Ja. Es gibt zb. für jede Menge mit einer Kardinalität von 2 mindestens ein Element aus den Mengen mit einer Kardinalität von 3 welches noch hinzugefügt werden kann, sodass die Unabhängigkeit weiterhin besteht




Evtl weglassen oder als zusatzaufgabe. Aufgabe/Beispiel: Gleichungen

• a=z^3
• b=x+y
• c=x-y
• d=xy
• e=x^2y^2
• f=1

Greedy-Algorithmen

ca 15min-20min ---was sind greedy algorithmen? ---Wie ist der allgemeine Aufbau? ---Template zeigen und auf Bsp anwenden ---evtl Beispiele für extremfälle vorstellen-globales optimum kruskal, lokales optimum rucksack0/1, fall in dem der greedy algorithmus versagt gerichteter graph

Greedy-Algorithmen oder auch gierige Algorithmen zeichnen sich dadurch aus, dass sie schrittweise und ohne zurückzusetzen, eine Lösung aufbauen indem sie anhand lokaler Informationen den Folgezustand auswählen, welcher zum Zeitpunkt der Wahl das beste Ergebnis verspricht. Es werden dabei nicht mehr Teillösungen konstruiert als unbedingt nötig. Die Basis eines Greedy-Algorithmus ist eine bereits (absteigend) vorsortierte Liste. Wird diese erweitert, werden die entsprechenden Elemente direkt an die richtige Stelle einsortiert.

1. • Vorteil: sehr schnell, gute (Näherungs-)Lösung.
   • Nachteil:
   • keine Berücksichtigung früherer Lösungen; keine Revision einmal getroffener Entscheidungen.

1. • Endlösung möglicherweise nicht optimale Lösung. Greedy-Algorithmen sind oft schnell, lösen viele Probleme aber nicht optimal.

Aufbau

Im Allgemeinen besteht ein Greedy-Algorithmus aus folgenden Bestandteilen:

1. eine sich verbrauchende Kandidatenliste
2. eine sich aufbauende Resultatliste
3. Funktionen
   • loesung?, die kontrolliert, ob die aktuelle Resultatliste eine Lösung des Problems darstellt
   • okay?, die kontrolliert, ob die Erweiterung einer Resultatliste durch den nächsten Kandidaten zulässig ist
   • ziel, die den Wert einer Lösung angibt
4. Auswahlfunktion
   • nächster, die aus der Kandidatenliste den jeweils besten "Happen" auswählt
5. Modifikationsfunktionen
   • modify+, die die Kandidatenliste im positiven Fall, also wenn die Erweiterung zu einer zulässigen Liste führt, modifiziert
   • modify-, die die Kandidatenliste im negativen Fall, also wenn die Erweiterung nicht zu einer zulässigen Liste führen würde, modifiziert

Greedy Template

Bestandteile des Algorithmus:

• eine (sich verbrauchende) Kandidatenliste,
• eine (sich aufbauende) Resultatliste,
• Funktionen:
  • loesung?, die überprüft, ob die aktuelle Resultatliste eine Lösung des Problems darstellt,
  • okay?, die überprüft, ob die Erweiterung einer Resultatliste durch den nächsten Kandidaten zulässig ist,
  • naechster, die den besten Kandidaten aus der Liste auswählt,
  • modify+, die die Kandidatenliste im positiven Fall modifiziert,
  • modify-, die die Kandidatenliste im negativen Fall modifiziert,
  • ziel, die die Lösung angibt.

Anwendungsbeispiel Geldwechsel

Die Verwendung dieser Greedy-Schablone illustrieren wir am folgenden Beispiel der Prozedur geldwechsel.

Einem Kunden wird Wechselgeld herausgegeben, wobei möglichst wenige Münzen verwendet werden sollen.

• Die Kandidatenliste besteht aus allen verfügbaren Euro-Münzen (1-, 2-, 5-, 10-, 20-, 50-Cent und 1- und 2-Euro-Münzen), die wir seit 01.01.2002 zusammen mit den Euro-Scheinen in Europa als Zahlungsmittel benutzen. Die Münzen werden mit absteigendem Cent-Wert vorsortiert.
• loesung? gibt #t zurück, wenn die Summe der verwendeten Münzen genau den auszuzahlenden Betrag ergibt.
• okay? gibt an, wenn eine Menge ausgewählter Münzen okay ist, wenn deren Summe höchstens dem zu zahlenden Betrag entspricht.
• Ist dies nicht der Fall, wird dieser Wert aus der Liste der (aussichtsreichen) Kandidaten entfernt. Dies erledigt die Prozedur modify-.
• modify+ lässt die Kandidatenliste unverändert. Dadurch wird erreicht, dass sich potenziell unendlich viele Münzen jeden Wertes in der Kandidatenliste befinden, so dass jeder beliebige Restbetrag immer ausgezahlt werden kann.
• Die Prozedur naechster wählt unter den verbleibenden Münzen die jenige mit dem jeweils höchsten Wert aus, ganz gleich, ob damit der zu zahlende Betrag überschritten wird oder nicht. (Dafür gibt es ja okay?) Es wird immer das erste Element zurückgegeben, da zu jedem Zeitpunkt die Kandidatenliste absteigend sortiert ist.
• Die Funktion ziel gibt die Liste der verwendeten Münzen zurück.

Die Prozedur wird benutzt um 12,93 Euro (1293 Euro-Cent) herauszugeben.

Beispiele

ca 15-20min ---Algorithmen aus vorangegangenen Vorträgen vorstellen und erklären warum das ergebnis ein globales Optimum ist ---evtl weitere übungen um in kleineren graphen zu erkennen ob greedy ein lokales oder globales optimum liefern wird

Kruskal-Algorithmus

Der Mathematiker Joseph Kruskal entwickelte einen Algorithmus zur Suche nach einem minimalen Spannbaum. Durch seine Effizienz arbeitet der Algorithmus in \mathcal{O}\left( m \log n\right), wobei m die Anzahl der Kanten und n die Anzahl der Knoten darstellen. Sollte m \leq n gelten, so arbeitet der Algorithmus in \mathcal{O}\left( n \log n\right), für sehr wenige m, d. h. m \leq \frac{n}{2}\left( n-1\right), in \mathcal{O}\left( n^2 \log n\right).

Der Algorithmus lässt sich wie folgt beschreiben:

• Alle Kanten werden in aufsteigender Länge in einer Liste sortiert.
• Die erste Kante bildet mit ihren anschließenden Knoten den Startgraphen. Existeren mehrere Kanten gleicher Länge, werden alle verwendet.
• Solange noch nicht alle Knoten verbunden sind, wird dieses Verfahren wiederholt.
• Würde durch die Hinzunahme einer Kante ein Kreis entstehen, wird diese Kante aus der Liste gestrichen und mit der nächsten fortgefahren.

Am Beispiel wird der Algorithmus deutlich. Als Basis dient wieder der bereits weiter oben verwendete Graph.

Wir suchen uns die Kanten mit den geringsten Werten. Dies wären $\overline{BC}$, $\overline{DE}$ und $\overline{DG}$. Welche wir wählen, ist egal.

Wir wählen die Kante $\overline{BC}$ mit ihren zugehörigen Knoten als Startgraph.

Die beiden anderen Favoriten kommen ebenfalls hinzu.

Die nun kürzeste Strecke ist die Strecke $\overline{AB}$, die nun an den Graphen "angeschlossen" wird.

Mit der Strecke $\overline{BG}$ sind nun fast alle Knoten verbunden.

Als letzte noch fehlende Strecke kommt die Strecke $\overline{AF}$ hinzu und vervollständigt den minimalen Spannbaum.

Prim-Algorithmus

Ein weiterer Algorithmus zur Ermittlung des minimalen Spannbaums wurde 1930 vom Mathematiker Vojtěch Jarník entwickelt, 1957 von Robert Prim und 1959 von Edsger Dijkstra wiederentdeckt. Auf Basis des Dijkstra-Algorithmus arbeitet dieser Algorithmus in \mathcal{O}\left( n^2\right).

Die Funktionsweise des Algorithmus lässt sich wie folgt beschreiben:

• Ein beliebiger Knoten eines Graphen wird gewählt.
• Nun wird die angrenzende Kante mit dem geringsten Wert gewählt und der angrenzende Knoten verbunden.
• Dieses Verfahren wird so lange wiederholt, bis alle Knoten verbunden sind. Es werden nun aber alle Kanten an allen verbundenen Knoten betrachtet.
• Würde durch die Hinzunahme einer Kante ein Kreis entstehen, wird diese Kante aus der Liste gestrichen und mit der nächsten fortgefahren.

Die Erweiterung der Dijkstra-Algorithmus ergibt sich dann wie folgt:

/* 
 * S: Lösungsmenge
 * s: Startknoten
 * V: Menge aller Knoten des Graphen
 */
S := {s};
Distanz(s) := 0;
for all v \in V\backslash \lbrace s\rbrace do {
    Distanz(v) := Kante(s, v);
    Vorgänger(v) := s;
}
while S \neq V do {
    Finde u \in V\backslash S mit Distanz(u) = min{Distanz(v) | v \in V\backslash S};
    S := S \cup \lbrace u\rbrace;
    for all v \in V\backslash S do {
        if Kante(u, v) < Distanz(v)
        then {
            Distanz(v) := Kante(u, v);
            Vorgänger(v) := u;
        }
    }
}

Auch hier soll wieder ein Beispiel des Algorithmus verdeutlichen.

Wir starten wieder mit dem bereits oben verwendeten Graphen und suchen einen Startknoten.

In diesem Beispiel wählen wir den Knoten ''A'' als Startknoten und betrachten die an ''A'' angrenzenden Kanten.

Die Strecke $\overline{AB}$ ist die kürzeste und folglich wird ''B'' in den Graphen eingebunden. Zur Menge der nun in Frage kommenden Strecken kommen die an ''B'' angrenzenden Strecken hinzu.

Aus der Menge der an ''A'' oder ''B'' angrenzenden (noch nicht verwendeten) Kanten ist die Strecke $\overline{BC}$ am kürzesten und wird hinzugefügt. Ebenso sind nun die an ''C'' angrenzenden Kanten zu mit betrachten.

Die nun kürzeste Strecke ist die Strecke $\overline{BG}$ und folglich wird ''G'' hinzugefügt.

Die nächste kürzeste angrenzende Strecke ist $\overline{GD}$ und wird hinzugefügt.

Fast vollständig ist der Spannbaum, wenn die jetzt kürzeste Strecke $\overline{DE}$ hinzugefügt wird.

Als letzte noch fehlende Strecke kommt die Strecke $\overline{AF}$ hinzu und vervollständigt den minimalen Spannbaum.