Teile und Herrsche 1 SS10

Aus ProgrammingWiki

< AuK
Wechseln zu: Navigation, Suche

Loading
Autoren:


Inhaltsverzeichnis

Was bedeutet Divide and Conquer (DaC)?

In vielen Programmiersprachen wird die Gliederung von Computerprogrammen in Prozeduren, Funktionen, Module, Objekte, Komponenten, Prozesse und Threads nach dem Prinzip teile und herrsche umgesetzt.

DaC (eng. "Divide and Conquer") auf deutsch "Teile und Herrsche" genannt und in lat. "divide et impera", angeblich ein Ausspruch des französischen Königs Ludwigs XI., soll aber sogar auf Julius Caesar zurückgehen, bezeichnet eine Strategie für Algorithmen. Es beschreibt folgendes Vorgehen bei Problemen:

  1. Teile das Problem in eine Anzahl von Teilproblemen auf. (divide)
  2. Beherrsche die Teilprobleme durch rekursives Lösen. Wenn die Teilprobleme ausreichend klein sind, dann löse die Teilprobleme sofort. (conquer)
  3. Verbinde die Lösungen der Teilprobleme zur Lösung des Ausgangsproblems. (konkatenieren)


Ziele von DaC

Ziel dieser Methode ist es eine Effiziensverbesserung zu erreichen. Der Lösungsaufwand soll minimiert werden durch die Zerlegung des Hauptproblems in Teilprobleme, welche dem Hauptproblem ähneln. Sind die Teilprobleme noch zu aufwändig in der Lösung, werden diese weiter in noch kleinere Teilprobleme zerlegt, bis alle mit einem geringem Aufwand lösbar sind. Umso weniger "Zeitverlust" desto besser.

Vorteile von DaC

Ein großer Vorteil von der Technik Divide and Conquer, ist die Zerlegung der Probleme. Dadurch wird es möglich die Probleme in mehreren Instanzen, also sie parallel, zu lösen. Beispielweise können, je nach Aufwand des Problems, dafür Multicore Prozessoren oder gar mehrere PC's verwendet werden. Die heutigen MultiCore Prozessoren arbeiten nach dem Schema DaC. Die einzelnen Kerne teilen sich den Speicher und die Aufgaben, dies geschieht mit dieser DaC Technik.

MultiCore.jpg

Grundsätzliche Kommunikationsparadigmen

MultiCore-Prozessoren greifen kommunikativ über einen gemeinsamen Speicher zu , sogenanten shared memory. Dies geschieht über ein Verbindungsnetz (BUS). Jeder Austausch von Nachrichten erfolgt über message passing, d.h. jeder Prozessor verfügt über einen eigenen Speicher (LevelCache), auf den nur er Zugriff hat. Diese Nachrichten erlauben keinen direkten Zugriff auf entfernten Speicher.

Leistungsgewinn ist bei MultiCore-Prozessoren dadurch zu verzeichnen, da eine dynamische Lastverteilung erfolgt. Wenn ein Prozessor am Limit seiner Leistung angekommen ist, übernimmt der nächste Prozessor diese Arbeit. Diese Divide and Conquer Methode führt zu schnelleren Abläufen, bei Leistungsstarken Rechenaufgaben, Suchverfahren oder sonstigen Aufgaben. Ein einzelner Kern, würde das Betriebssystem einfrieren und im Hintergrund die Arbeit versuchen allein zu bewälltigen, wenn nicht eine Fehlermeldung auftritt.

Eigenschaften und Folgen verteilter Systeme

Nebenläufigkeit

  • Viele Prozesse mit unterschiedlicher Ablaufgeschwindigkeit
  • Viele Ereignisse passieren gleichzeitig
  • Abläufe sind nicht reproduzierbar
  • Mechanismen zur Koordination und zur Synchronisation von Aktivitäten

Multicore.jpg


Auf der linken Seite ist zu sehen, dass der SingleCore-Prozessor, alle Prozesse allein durchlaufen muss. Hingegen der MultiCore-Prozessor mit "3 Kernen" läuft alle Prozesse mit je einem einzelnen Kern durch.


Aufwandsbetrachtung von DaC

In der untenstehenden Formel wird erklärt, wie sich der Gesamtaufwand eines Algorithmus aus den Teilproblemen multipliziert mit der Größe von Teilproblemen plus den Teiler von im rekursiven Aufruf ergibt. Dies alles wird dann anschließend mit einem Aufwand in verbunden.



Es tritt eine Effiziensverbesserung von 25% auf, jedoch ist zubeachten das immer ein rekursiver Aufruf enthalten sein muss. Leider ist zu sehen, dass wir immer noch einen quadratischen Aufwand verzeichnen. Erst wenn der Exponent fällt, kann der Faktor für große wieder in Betracht gezogen werden. Jedoch sollten wir diese Lösung der Teilprobleme rekusiv überprüfen mit einem weiteren Algorithmus.
Mit dem Algorithmus , werden nun die obenen angenommenen Teilprobleme bearbeitet. Der oben genannte Basisfall , wird nun von übernommen. Somit kommen wir zu folgender Aufwandsbeziehung.



Die Anwendung der Meistermethode ergibt folgendes Ergebnis:


Es ergibt sich eine bezeichnende Effizinzverbesserung gegenüber dem quadratischen Aufwand. Die Verwendung dieser beiden Algorithmen bringt uns zu dem Ergebnis, dass DaC immer aus Effiziensgründen mit Rekursion arbeitet.
Um die Problemlösung rekursiv zu formulieren, muss neben dem Allgemeinen ein Basisfall verwendet werden. Eine geringere Problemgröße haben die Teilprobleme mit der gleichen Problematik, als das zu lösende Ausgangsproblem. Je nach konkreten Problemen, kann es mehrere Basisfälle geben.

Das schnelle Sortieren

Das Musterbeispiel für Divide and Conquer, nennt sich Quicksort. Dies dient der Sortierung von Listen. Die zu sortierende Liste wird geteilt, so dass zwei Teillisten entstehen. Das wird solange ausgeführt bis die Teillisten nur noch aus einem oder keinem Element bestehen. Sobald der Elementarfall erreicht ist, werden die Einzellisten wieder zusammengeführt.

Quicksort wendet folgende DaC Technik an:

  1. Zerlege das Problem genau in zwei Teilprobleme (möglicherweise leer), linkes Problem und rechtes Problem. Alle Elemente in und , als das Pivotelement (Vergleichselement).
  2. Sortiere die beiden Teilprobleme und durch rekursiven Aufruf von Quicksort.
  3. Das sortierte Grundproblem setzt sich wie folgt zusammen:
    • Pivotelement

Exakt in dieser Reihenfolge.

Grundprinzip

Quicksort nimmt eine Liste Zahlen und teilt sie mit Hilfe eines Hilfselements (Pivotelement) auf. Dabei werden 2 Teillisten erzeugt. Diese beiden Teillisten werden wie folgt gefüllt. In die sogenannte linke Liste kommen alle Zahlen, die kleiner als das Pivotelement sind, hinein. Jede Zahl die größer oder gleich dem Vergleichselement sind kommen in die rechte Teilliste. Das Pivotelement, kann auf verschiedene Art und Weise gewonnen werden. Beispielsweise nimmt man sich willkürliche eine Zahl aus der Gesamtliste herraus oder man berechnet das Element, in dem alle Elemente der Liste mit einander addiert und durch die gesamte Anzahl der Listenelemente teilt, also man das Durchschnittselement berechnet. Dies hat je nach Wahl des Pivotelements Auswirkungen auf die Effizienz von Quicksort, was aber nur im Worst Case eine Rolle spielt. Die Teilung der Listen wird solange rekursiv durchgeführt, bis nur noch Einzelelemente in den Teillisten übrig sind. Diese einzelnen Listen werden dann von links nach rechts wieder zusammengefügt und man erhält somit eine sortierte Liste.

Datenfluss

Der folgende Pseudocode illustriert die Arbeitsweise des Algorithmus, wobei daten das zu sortierende Feld ist. Dabei hat beim ersten Aufruf von quicksort (oberste Rekursionsebene) der Parameter linke Liste (l) den Wert 0 (Index des ersten Feld-Elements) und rechte Liste(r) den Wert n-1 (Index des letzten Feld-Elements). Die Bezeichnungen l und r beziehen sich auf die Anordnung des Felds: daten[0], daten[1], ... , daten[n-1].

funktion quicksort(l, r)
    l := linke Liste
    r := rechte Liste
    falls l < r dann
        teiler := teile(l, r)
        quicksort(l, teiler-1)
        quicksort(teiler+1, r)
    ende
ende
funktion teile(l, r)
    l := linke Liste 
    // Starte mit r links vom Pivotelement
    r := rechte Liste - 1
    pivot := daten[r]
    wiederhole
        // Suche von linke Liste ein Element, welches größer als das Pivotelement ist
        wiederhole solange daten[l] ≤ pivot und l < r
            l := l + 1  
        ende 
        // Suche von rechte Liste ein Element, welches kleiner als das Pivotelement ist
        wiederhole solange daten[r] ≥ pivot und r > l
             r := r - 1 
        ende  
        falls l < r dann 
            tausche daten[l] mit daten[r]
        ende
    solange l < r 
    // solange l an r nicht vorbeigelaufen ist 
    // Tausche Pivotelement (daten[r]) mit neuer endgültiger Position (daten[l])   
    falls daten[l] > pivot dann
            tausche daten[l] mit daten[r] 
    ende     
    // gib die Position des Pivotelements zurück    
    antworte l
ende
funktion append(l, v, r)
    l := linke Liste
    r := rechte Liste
    v := Pivotelement
    // nehme linke sortierte Liste und setze diese an erste Stelle
    quicksort(l)
    // gewähltes Pivotelement nehmen und setze dieses hinter die erste Stelle
    quicksort(l) + v
    // nun setze rechte sortierte Liste an letzte Stelle
    + quicksort(r)
    // gib gelöstes Gesamtproblem zurück
    quicksort(l) + v + quicksort(r)
ende

Quicksort Bildlich

QuickSort.png
QuickSort.png

Schemeumsetzung Quicksort

Javaumsetzung Quicksort

Hier geht es zur Javaumsetzung:

JavaQuick


Interne Suchverfahren

Interne Suchverfahren verbrauchen keinen weiteren Speicher. Es wird nur der Speicher verbraucht der durch die Eingabe benötigt wird. Dies ist bei der Prozedur mv-quicksort nicht gegeben, da es zu einer Aufteilung in 2 Teillisten kommt, die auch in zwei neuen Listen gespeichert werden, ergo zusätzlicher Speicherplatzverbrauch. Um dies zuverhindern werden die Werte im Schlüsselfeld hinterlegt und als Vektor implementiert.

>(define a(vector 34 65 23 6 32 7 43 765 2 1))
>a
#10(34 65 23 6 32 7 43 765 2 1) // Dieser Vector hat 10 Elemente.

Man muss beachten, das bei vielen Programmiersprachen die Zählung der Vektoren bei beginnen. Es gilt:

Das letzte Element hat also den sogenannten Index von . In unserem Beispiel wäre dies der Index .

Das Pivotelement nehmen wir von dem Index . Zusätzlich setzen wir zwei Zeiger auf folgende Startpositionen:

  1. Zeiger
  2. Zeiger .

In Einzelschritten erfolgt nun die Zeigerverschiebung. Der Zeiger wird nun solange verschoben bis und wird solang nach links verschoben, bis . und werden mit einander getauscht, wenn gilt und die Suche wird fortgesetzt. Sollte jedoch mit getauscht werden wird die Suche beendet und Vektor zurückgegeben. Somit steht an der richtigen Position und alle Elemente links/rechts von sind jetzt dementsprechend kleiner oder größer als .



Mergesort

Ein treffender Begriff hierfür ist "einfädeln", was man aus dem Straßenverkehr kennt. Zusammenführen ist auch recht treffend. "Sortieren durch Mischen" ist jedoch irreführend, weil hierbei das Prinzip von Mergesort nicht erfasst wird.

Grundprinzip

  1. Divide:
    Das Verfahren teilt die Große Liste in zwei etwa gleichgroße Teillisten, was ohne Vergleichselement geschieht. Die Spaltung der Listen wird mit Hilfe von realisiert ( steht für die ganzzahlige Division).
  2. Conquer:
    Dieses Verfahren, sortiert zwei Teillisten rekursiv mit Hilfe von einfädeln. Ausnahme sind kleine Unterprobleme, diese werden direkt gelöst.


Der folgende Pseudocode illustriert die Arbeitsweise des Algorithmus, wobei Liste (ls) die zu sortierenden Elemente enthält.

funktion mergesort(ls);
  ls := Liste
  lls := linke Liste
  rls := rechte Liste
  falls (Größe von ls <= 1) dann antworte ls
  sonst
      halbiere die ls in lls, rls
      antworte merge(mergesort(lls), mergesort(rls));
ende
funktion merge(lls, rls);
   lls := linke Liste
   rls := rechte Liste
   neueListe
   solange (lls und rls nicht leer)
        falls (erstes Element der lls <= erstes Element der rls)
        dann füge erstes Element lls in die neueListe hinten ein und entferne es aus lls
        sonst füge erstes Element rls in die neueListe hinten ein und entferne es aus rls
   solange_ende
   solange (lls nicht leer) 
        füge erstes Element lls in die neueListe hinten ein und entferne es aus lls
   solange_ende
   solange (rls nicht leer) 
        füge erstes Element rls in die neueListe hinten ein und entferne es aus rls
   solange_ende
   antworte neueListe
ende

Mergesort Bildlich

Merge sort animation2.gif
Mergesort.gif


Schemeumsetzung Mergesort

Javaumsetzung Mergesort

Hier geht es zur Javaumsetzung:

JavaMerge


Funktionsorientierte Beschreibung mit Multiple-value-context

Die Implementation im Multiple-value-context für Mergesort, erfolgt nach dem Vorbild von Quicksort.
Funktion teillisten2 ist nach der Quicksort teillisten nachempfunden. Ihre Aufgabe besteht darin, die als Parameter übergebene Liste in der Mitte zu teilen um so 2 gleich große Teillisten zu erhalten. Falls eine ungerade Anzahl an Elementen in der Ausgangsliste existiert, wird die linke Liste (lls) um 1 kleiner sein als die rechte Liste (rls).
Dies geschieht aufgrund von (floor()), es gibt die Ganzzahl zurück.

Funktion verbinden erwartet 2 aufsteigend sortierte Listen als Parameter, welche nun zu einer Gesamtliste verbunden werden.

Die Implementation von Mergesort ähnelt der von Quicksort. Multiple-Value-Kontext wird ebenfalls verwendet, welches das abstrakte Arbeiten ermöglicht. Positiv ist auch der eben verwendete Multiple-Value-Kontext muss sich nicht um Beschränkungen, wie z.b. nur ein Rückgabewert je Funktion, kümmern.

Vergleich Quicksort und Mergesort

Aufwand Quicksort

Die Wahl des Pivotelementes bestimmt im wesentlichen die Laufzeit von Quicksort, somit ergeben sich die drei Fälle Best-, Average- und Worst Case.

Sind die beiden Teillisten stets in etwa gleichgroß, Aufgrund einer guten Wahl des Pivotelementes, handelt es sich um den sogenannten Best Case. Daraus folgt: für die asymptotische Laufzeit. Für den Average Case gilt ein ähnlicher Aufwand, wie im Best Case. Der Durchschnitsfall lautet: . Im schlechtesten Fall kann es passieren, dass das Pivotelement immer so gewählt wird, das es jeweils das größte oder das kleinste Element der Liste ist. Folglich ist eine der zu sortierenden Teillisten immer schon sortiert. Als Folge daraus verringert sich der Rekursionsschritt immer nur um 1 und es ergibt sich ein Aufwand von .

Aufwand Mergesort

Dieser Algorithmus ist in der Betrachtung des Aufwandes im Best-, Average- und im Worst Case gleich. Es gilt also immer: .

Zeitaufwand


Die vollständige Tabelle findet ihr hier:

Hinweis - Ihr solltet bei der angegebenen Seite etwas runterscrollen!

Vergleich

Es gilt für den Worst Case für Quicksort : , jedoch spielt das für diesen Algorithmus kaum eine Rolle, da dieser Fall sehr selten eintritt. Er tritt meist nur auf, wenn man eine bereits sortierte Liste mittels Quicksort ordnen möchte. Betrachten wir Mergesort, stellen wir fest, das immer gilt. Mergesort scheint somit besser zu sein, wie Quicksort, aber da bei Quicksort der Worst Case selten eintritt, erweist sich Quicksort als effizienter.

Übungen


Links, Quellen und Danksagungen

Internet-Links

  1. Algorithm Design - Internet Examples
  2. APL Center
  3. Dein Programm
  4. Homepage von Tino Hempel
  5. Informatik Bildungsserver
  6. Intel Labs - Pittsburgh
  7. Massachusetts Institute of Technology
  8. TU-Clausthal
  9. TU-Ilmenau
  10. UCSD Jacobs School
  11. Uni Greifswald
  12. Uni-Paderborn
  13. Uni Potsdam
  14. Uni Münster
  15. University of Glasgow
  16. Wikipedia - DaC
  17. Wikipedia - Mergesort
  18. Wikipedia - Quicksort

Quellen

[1] Wagenknecht, Christian
Algorithmen und Komplexität.- Fachbuchverlag Leipzig, 2003.
[2] Cormen, Th. H.; Leiserson, Ch. E.; Rivest, R.; Stein, C.
Algorithmen - Eine Einführung, 2. Auflage.- Oldenburg Wissensch. Vlg., 2007

Danksagung

Ein besonderer Dank geht an Prof. Dr. rer. nat. Christian Wagenknecht, für die schnelle Hilfe bei der Wiki-Arbeit und bessere Umsetzung. Desweiteren danken wir Dipl.-Inf.(FH) Michael Hielscher für seine Hilfe, bei der Umsetzung mit dem Quellcode und Hilfestellung bei dem Umgang mit Wiki. Und gleichfalls geht ein Dank an unseren Mitkommilitonen Felix Deutschmann, für die Hilfe bei dem Java-Code.

Persönliche Werkzeuge