Teile und Herrsche 1 SS10

Aus ProgrammingWiki
< AuK
Archivierte Version vom 2010-04-10T18:48:55+00:00. Aktuelle Version

Inhaltsverzeichnis

Autoren:


Was bedeutet Divide and Conquer (DaC)?

In vielen Programmiersprachen wird die Gliederung von Computerprogrammen in Prozeduren, Funktionen, Module, Objekte, Komponenten, Prozesse und Threads nach dem Prinzip teile und herrsche umgesetzt.

DaC (eng. "Divide and Conquer") auf deutsch "Teile und Herrsche" genannt und in lat. "divide et impera". Es beschreibt folgendes Vorgehen bei Problemen:

  1. Teile das Problem in eine Anzahl von Teilproblemen auf. (divide)
  2. Beherrsche die Teilprobleme durch rekursives Lösen. Wenn die Teilprobleme ausreichend klein sind, dann löse die Teilprobleme sofort. (conquer)
  3. Verbinde die Lösungen der Teilprobleme zur Lösung des Ausgangsproblems. (konkatenieren)


Ziele von DaC

Ziel dieser Methode ist es eine Effiziensverbesserung zu erreichen. Der Lösungsaufwand soll minimiert werden durch die Zerlegung des Hauptproblems in Teilprobleme, welche dem Hauptproblem ähneln. Sind die Teilprobleme noch zu aufwändig in der Lösung, werden diese weiter in noch kleinere Teilprobleme zerlegt, bis alle mit einem geringem Aufwand lösbar sind. Umso weniger "Zeitverlust" desto besser.

Vorteile von DaC

Ein großer Vorteil von der Technik Divide and Conquer, ist die Zerlegung der Probleme. Dadurch wird es möglich die Probleme in mehreren Instanzen, also sie parallel zu lösen. Beispielweise können, je nach Aufwand des Problems, dafür Multicore Prozessoren oder gar mehrere PC's verwendet werden. Die heutigen MultiCore Prozessoren arbeiten nach dem Schema DaC. Die einzelnen Kerne teilen sich den Speicher und die Aufgaben, dies geschieht mit dieser DaC Technik.

MultiCore.jpg

Aufwandsbetrachtung von DaC

In der untenstehenden Formel wird erklärt, wie sich der Gesamtaufwand T\left( n \right) eines Algorithmus B aus den Teilproblemen multipliziert mit der Größe von Teilproblemen \ \frac{n}{2} \ plus den Teiler von n im rekursiven Aufruf ergibt. Dies alles wird dann anschließend mit einem Aufwand in \mathcal{O} \left( n \right) verbunden.


\begin{array}{ccl} T_B \left( n \right) & = & 3T_A\left(\left\lceil \frac{n}{2}\right\rceil\right)+d\cdot n\\\\ & \leq & 3 \cdot c \cdot \left( \frac{n+1}{2}\right)^2+d\cdot n\\\\ & \leq & 3 \cdot c \cdot \left( \frac{n}{2} + \frac{1}{2} \right)^2+d \cdot n\\\\ & \leq & 3 \cdot c \cdot \left( \frac{n^2}{4}+2\frac{n}{4}+\frac{1}{4} \right)+d \cdot n\\\\ & \leq & \frac{3}{4}cn^2+\frac{3}{2}cn+\frac{3}{4}c+d \cdot n\\\\ & \leq & \frac{3}{4}cn^2+\left(\frac{3}{2}c+d\right)n+\frac{3}{4}c \end{array}


Es tritt eine Effiziensverbesserung von 25% auf, jedoch ist zubeachten das immer ein rekursiver Aufruf enthalten sein muss. Leider ist zu sehen, dass wir immer noch einen quadratischen Aufwand verzeichnen. Erst wenn der Exponent fällt, kann der Faktor für große n wieder in Betracht gezogen werden. Jedoch sollten wir diese Lösung der Teilprobleme rekusiv überprüfen mit einem weiteren Algorithmus.
Mit dem Algorithmus C, werden nun die obenen angenommenen Teilprobleme bearbeitet. Der oben genannte Basisfall n \ \leq \ n_0, wird nun von A übernommen. Somit kommen wir zu folgender Aufwandsbezeichnung.


T_C \left( n \right) \ = \ \left\lbrace\left \ T_A \left( n \right) \text{ , wenn} \ n \ \leq \ n_0 <br> 3 \cdot T_C \left( \frac{n}{2}\right) \text{ , sonst}


Die Anwendung der Meistermethode ergibt folgendes Ergebnis:

T_C(n) \ = \ \mathcal{O}(n^{1,59})


Es ergibt sich eine bezeichnende Effizinzverbesserung gegenüber dem quadratischen Aufwand. Die Verwendung dieser beiden Algorithmen bringt uns zu dem Ergebnis, dass DaC immer aus Effiziensgründen mit Rekursion arbeitet.
Um die Problemlösung rekursiv zu formulieren, muss neben dem Allgemeinen ein Basisfall verwendet werden. Eine geringere Problemgröße haben die Teilprobleme mit der gleichen Problematik, als das zu lösende Ausgangsproblem. Je nach konkreten Problemen, kann es mehrere Basisfälle geben.


Das schnelle Sortieren

Das Musterbeispiel für Divide and Conquer, nennt sich Quicksort. Dies dient der Sortierung von Listen. Die zu sortierende Liste wird geteilt, so dass zwei Teillisten entstehen. Das wird solange ausgeführt bis die Teillisten nur noch aus einem oder keinem Element besteht. Sobald der Elementarfall erreicht ist, werden die Einzellisten wieder zusammengeführt.

Quicksort wendet folgende DaC Technik an:

  1. Zerlege das Problem ganau in zwei Teilprobleme (möglicherweise leer), L linkes Problem und R rechtes Problem. Alle Elemente in L\ < und R\ > , als das Pivotelement (Vergleichselement).
  2. Sortiere die beiden Teilprobleme L und R durch rekursiven Aufruf von Quicksort.
  3. Das sortierte Grundproblem G_s_o_r_t_i_e_r_t setzt sich wie folgt zusammen:
    • L_s_o_r_t_i_e_r_t
    • v Pivotelement
    • R_s_o_r_t_i_e_r_t

Exakt in dieser Reihenfolge.

Grundprinzip

Quicksort nimmt eine Liste Zahlen und Teilt sie mit Hilfe eines Hilfselements (Pivotelement) auf. Dabei werden 2 Teillisten erzeugt. Diese beiden Teillisten werden wie folgt gefüllt. In die Sogenannte linke Liste kommen alle Zahlen die kleiner als das Pivotelement sind hinein. Jede Zahl die größer oder Gleich dem Vergleichselement sind kommen in die rechte Teilliste. Das Pivotelement, kann auf verschiedene Art und Weise gewonnen werden. Beispielsweise nimmt man sich willkürliche eine Zahl aus der Gesamtliste herraus oder man berechnet das Element in dem alle Elemente der Liste mit einander addiert und durch die gesamte Anzahl der Listenelemente Teilt, also man das Durchschnittselement berechnet. Dies hat je nach wahl des Pivotelements Auswirkungen auf die Effizienz von Quicksort, was aber nur im Worstcase eine Rolle spielt. Die Teilung der Listen wird solange rekursiv durchgeführt, bis nur noch einzel Elemente in den Teillisten übrig sind. Diese einzelnen listen werden dann von links nach rechts wieder zusammengefügt und erählt somit eine sortierte Liste.

Der folgende Pseudocode illustriert die Arbeitsweise des Algorithmus, wobei daten das zu sortierende Feld ist. Dabei hat beim ersten Aufruf von quicksort (oberste Rekursionsebene) der Parameter linke Liste (l) den Wert 0 (Index des ersten Feld-Elements) und rechte Liste(r) den Wert n-1 (Index des letzten Feld-Elements). Die Bezeichnungen l und r beziehen sich auf die Anordnung des Felds: daten[0], daten[1], ... , daten[n-1].

funktion quicksort(l, r)
    l := linke Liste
    r := rechte Liste
    falls l < r dann
        teiler := teile(l, r)
        quicksort(l, teiler-1)
        quicksort(teiler+1, r)
    ende
ende
funktion teile(l, r)
    l := linke Liste 
    // Starte mit r links vom Pivotelement
    r := rechte Liste - 1
    pivot := daten[r]
    wiederhole
        // Suche von linke Liste ein Element, welches größer als das Pivotelement ist
        wiederhole solange daten[l] ≤ pivot und l < r
            l := l + 1  
        ende 
        // Suche von rechte Liste ein Element, welches kleiner als das Pivotelement ist
        wiederhole solange daten[r] ≥ pivot und r > l
             r := r - 1 
        ende  
        falls l < r dann 
            tausche daten[l] mit daten[r]
        ende
    solange l < r 
    // solange l an r nicht vorbeigelaufen ist 
    // Tausche Pivotelement (daten[r]) mit neuer endgültiger Position (daten[l])   
    falls daten[l] > pivot dann
            tausche daten[l] mit daten[r] 
    ende     
    // gib die Position des Pivotelements zurück    
    antworte l
ende
funktion append(l, v, r)
    l := linke Liste
    r := rechte Liste
    v := Pivotelement
    // nehme linke sortierte Liste und setze diese an erste Stelle
    quicksort(l)
    // gewähltes Pivotelement nehmen und setze dieses hinter die erste Stelle
    quicksort(l) + v
    // nun setze rechte sortierte Liste an letzte Stelle
    + quicksort(r)
    // gib gelöstes Gesamtproblem zurück
    quicksort(l) + v + quicksort(r)
ende

Quicksort Bildlich

QuickSort.png
QuickSort.png

Schemeumsetzung Quicksort

<eval id="4bbc796487c77">(quicksort '( 2 8 9 13 30 21 7 1 3 6 18 14 20 16 10 12 15 19 25 11 4 5 17 ))</eval>

Javaumsetzung Quicksort

Hier geht es zur Javaumsetzung:

JavaQuick

Mergesort

Ein treffender Begriff hierfür ist "einfädeln", was man aus dem Straßenverkehr kennt. Zusammenführen ist auch recht treffend. "Sortieren durch Mischen" ist jedoch irreführend, weil hierbei das Prinzip von Mergesort nicht erfasst wird.

Grundprinzip

  1. Divide:
    Das Verfahren teilt die Große Liste in zwei etwa gleichgroße Teillisten, was ohne Vergleichselement geschieht. Die Spaltung der Listen wird mit Hilfe von n = |G| \div 2 = m \div 2 realisiert (\div steht für die ganzzahlige Division).
  2. Conquer:
    Dieses Verfahren, sortiert zwei Teillisten rekursiv mit Hilfe von Sortieren durch Mischen. Ausnahme sind kleine Unterprobleme, diese werden direkt gelöst.


Der folgende Pseudocode illustriert die Arbeitsweise des Algorithmus, wobei Liste (ls) die zu sortierenden Elemente enthält.

funktion mergesort(ls);
  ls := Liste
  lls := linke Liste
  rls := rechte Liste
  falls (Größe von ls <= 1) dann antworte ls
  sonst
      halbiere die ls in lls, rls
      antworte merge(mergesort(lls), mergesort(rls));
ende
funktion merge(lls, rls);
   lls := linke Liste
   rls := rechte Liste
   neueListe
   solange (lls und rls nicht leer)
        falls (erstes Element der lls <= erstes Element der rls)
        dann füge erstes Element lls in die neueListe hinten ein und entferne es aus lls
        sonst füge erstes Element rls in die neueListe hinten ein und entferne es aus rls
   solange_ende
   solange (lls nicht leer) 
        füge erstes Element lls in die neueListe hinten ein und entferne es aus lls
   solange_ende
   solange (rls nicht leer) 
        füge erstes Element rls in die neueListe hinten ein und entferne es aus rls
   solange_ende
   antworte neueListe
ende

Mergesort Bildlich

Merge_sort_animation2.gif
Mergesort.gif


Schemeumsetzung Mergesort

<eval id="4bbdf2704047a">(merge-sort &lt; '(1 5 2 8 3 9 4 -2))</eval>

Javaumsetzung Mergesort

Hier geht es zur Javaumsetzung:

JavaMerge

Vergleich Quicksort und Mergesort

Aufwand Quicksort

Die Wahl des Pivotelementes bestimmt im wesentlichen die Laufzeit von Quicksort, somit ergeben sich die drei Fälle Best-, Average- und Worst Case.


Sind die beiden Teillisten stets in etwa gleichgroß, Aufgrund einer guten Wahl des Pivotelementes, handelt es sich um den sogenannten Best Case. Daraus folgt: \mathcal{O}( n \cdot \log (n)) für die asymptotische Laufzeit. Für den Average Case gilt ein ähnlicher Aufwand, wie im Best Case. Der Durchschnitsfall lautet: \frac {1}{n} \cdot \sum_{i=0}^{n-1} i= \frac{n-1}{2} . Im schlechtesten Fall kann es passieren, dass das Pivotelement immer so gewählt wird, das es jeweils das größte oder das kleinste Element der Liste ist. Folglich ist eine der zu sortierenden Teillisten immer schon sortiert. Als Folge daraus verringert sich der Rekursionsschritt immer nur um 1 und es ergibt sich ein Aufwand von \mathcal{O}(n^2) .

Aufwand Mergesort

Dieser Algorithmus ist in der Betrachtung des Aufwandes im Best-, Average- und im Worst Case gleich. Es gilt also immer: \Theta( n \cdot \log (n)) .

Zeitaufwand

\begin{array}{|c|c|c|c|c|c|c|} \hline & \text Rechenzeit in sek. f\ddot ur n\\ \hline T(n) & n = 10 & n = 100 & n = 1000 & n = 10000 & n = 100000 & n = 1000000\\ \hline n & 10^{-5} & 10^{-4} & 10^{-3} & 0,01 & 0,1 & 1\\ \hline n^2 & 10^{-4} & 0,1 & 1 & 100 & 10000 \approx 2,8 d & 1000000 \approx 277 h 45 min \\ \hline n \cdot \log_2(n) & \approx 3,2 \cdot 10^{-5} & \approx 6,6 \cdot 10^{-4} &\approx 1,0 \cdot 10^{-2} & \approx 0,13 & \approx 1,7 & \approx 20 \\ \hline \end{array}


Die vollständige Tabelle findet ihr hier:

Hinweis - Ihr solltet bei der angegebenen Seite etwas runterscrollen!

Übungen


Links, Quellen und Danksagungen

  1. Algorithm Design - Internet Examples
  2. APL Center
  3. Dein Programm
  4. Homepage von Tino Hempel
  5. Informatik Bildungsserver
  6. Intel Labs - Pittsburgh
  7. Massachusetts Institute of Technology
  8. TU-Clausthal
  9. TU-Ilmenau
  10. UCSD Jacobs School
  11. Uni-Paderborn
  12. Uni Potsdam
  13. Uni Münster
  14. University of Glasgow
  15. Wikipedia - DaC
  16. Wikipedia - Mergesort
  17. Wikipedia - Quicksort


Quellen

[1] Wagenknecht, Christian
Algorithmen und Komplexität.- Fachbuchverlag Leipzig, 2003.
[2] Cormen, Th. H.; Leiserson, Ch. E.; Rivest, R.; Stein, C.
Algorithmen - Eine Einführung, 2. Auflage.- Oldenburg Wissensch. Vlg., 2007

Danksagung

Ein besonderer Dank geht an Prof. Dr. rer. nat. Christian Wagenknecht, für die schnelle Hilfe bei der Wiki-Arbeit und bessere Umsetzung. Desweiteren danken wir Dipl.-Inf.(FH) Michael Hielscher für seine Hilfe, bei der Umsetzung mit dem Quellcode und Hilfestellung bei dem Umgang mit Wiki. Und gleichfalls geht ein Dank an unseren Mitkommilitonen Felix Deutschmann, für die Hilfe bei dem Java-Code.