Teile und Herrsche 1 SS10

Aus ProgrammingWiki

Autoren:

• Raffael Thomas Lang (siralang@stud.hs-zigr.de)
• Sebastian Kramer (sisekram@stud.hs-zigr.de)

Inhaltsverzeichnis 1 Was bedeutet Divide and Conquer (DaC)? 1.1 Ziele von DaC 1.2 Vorteile von DaC 1.2.1 Grundsätzliche Kommunikationsparadigmen 1.2.2 Eigenschaften und Folgen verteilter Systeme 1.3 Aufwandsbetrachtung von DaC 2 Das schnelle Sortieren 2.1 Grundprinzip 2.2 Quicksort Bildlich 2.3 Schemeumsetzung Quicksort 2.4 Javaumsetzung Quicksort 2.5 Interne Suchverfahren 3 Mergesort 3.1 Grundprinzip 3.2 Mergesort Bildlich 3.3 Schemeumsetzung Mergesort 3.4 Javaumsetzung Mergesort 3.5 Funktionsorientierte Beschreibung mit Multiple-value-context 4 Vergleich Quicksort und Mergesort 4.1 Aufwand Quicksort 4.2 Aufwand Mergesort 4.3 Zeitaufwand 4.4 Vergleich 5 Übungen 6 Links, Quellen und Danksagungen 6.1 Internet-Links 6.2 Quellen 6.3 Danksagung

Was bedeutet Divide and Conquer (DaC)?

In vielen Programmiersprachen wird die Gliederung von Computerprogrammen in Prozeduren, Funktionen, Module, Objekte, Komponenten, Prozesse und Threads nach dem Prinzip teile und herrsche umgesetzt.

DaC (eng. "Divide and Conquer") auf deutsch "Teile und Herrsche" genannt und in lat. "divide et impera", angeblich ein Ausspruch des französischen Königs Ludwigs XI., soll aber sogar auf Julius Caesar zurückgehen, bezeichnet eine Strategie für Algorithmen. Es beschreibt folgendes Vorgehen bei Problemen:

1. Teile das Problem in eine Anzahl von Teilproblemen auf. (divide)
2. Beherrsche die Teilprobleme durch rekursives Lösen. Wenn die Teilprobleme ausreichend klein sind, dann löse die Teilprobleme sofort. (conquer)
3. Verbinde die Lösungen der Teilprobleme zur Lösung des Ausgangsproblems. (konkatenieren)

Ziele von DaC

Ziel dieser Methode ist es eine Effiziensverbesserung zu erreichen. Der Lösungsaufwand soll minimiert werden durch die Zerlegung des Hauptproblems in Teilprobleme, welche dem Hauptproblem ähneln. Sind die Teilprobleme noch zu aufwändig in der Lösung, werden diese weiter in noch kleinere Teilprobleme zerlegt, bis alle mit einem geringem Aufwand lösbar sind. Umso weniger "Zeitverlust" desto besser.

Vorteile von DaC

Ein großer Vorteil von der Technik Divide and Conquer, ist die Zerlegung der Probleme. Dadurch wird es möglich die Probleme in mehreren Instanzen, also sie parallel, zu lösen. Beispielweise können, je nach Aufwand des Problems, dafür Multicore Prozessoren oder gar mehrere PC's verwendet werden. Die heutigen MultiCore Prozessoren arbeiten nach dem Schema DaC. Die einzelnen Kerne teilen sich den Speicher und die Aufgaben, dies geschieht mit dieser DaC Technik.

Grundsätzliche Kommunikationsparadigmen

MultiCore-Prozessoren greifen kommunikativ über einen gemeinsamen Speicher zu , sogenanten shared memory. Dies geschieht über ein Verbindungsnetz (BUS). Jeder Austausch von Nachrichten erfolgt über message passing, d.h. jeder Prozessor verfügt über einen eigenen Speicher (LevelCache), auf den nur er Zugriff hat. Diese Nachrichten erlauben keinen direkten Zugriff auf entfernten Speicher.

Leistungsgewinn ist bei MultiCore-Prozessoren dadurch zu verzeichnen, da eine dynamische Lastverteilung erfolgt. Wenn ein Prozessor am Limit seiner Leistung angekommen ist, übernimmt der nächste Prozessor diese Arbeit. Diese Divide and Conquer Methode führt zu schnelleren Abläufen, bei Leistungsstarken Rechenaufgaben, Suchverfahren oder sonstigen Aufgaben. Ein einzelner Kern, würde das Betriebssystem einfrieren und im Hintergrund die Arbeit versuchen allein zu bewälltigen, wenn nicht eine Fehlermeldung auftritt.

Eigenschaften und Folgen verteilter Systeme

Nebenläufigkeit

• Viele Prozesse mit unterschiedlicher Ablaufgeschwindigkeit
• Viele Ereignisse passieren gleichzeitig
• Abläufe sind nicht reproduzierbar
• Mechanismen zur Koordination und zur Synchronisation von Aktivitäten

Auf der linken Seite ist zu sehen, dass der SingleCore-Prozessor, alle Prozesse allein durchlaufen muss. Hingegen der MultiCore-Prozessor mit "3 Kernen" läuft alle Prozesse mit je einem einzelnen Kern durch.

Aufwandsbetrachtung von DaC

In der untenstehenden Formel wird erklärt, wie sich der Gesamtaufwand eines Algorithmus aus den Teilproblemen multipliziert mit der Größe von Teilproblemen plus den Teiler von im rekursiven Aufruf ergibt. Dies alles wird dann anschließend mit einem Aufwand in verbunden.

Es tritt eine Effiziensverbesserung von 25% auf, jedoch ist zubeachten das immer ein rekursiver Aufruf enthalten sein muss. Leider ist zu sehen, dass wir immer noch einen quadratischen Aufwand verzeichnen. Erst wenn der Exponent fällt, kann der Faktor für große wieder in Betracht gezogen werden. Jedoch sollten wir diese Lösung der Teilprobleme rekusiv überprüfen mit einem weiteren Algorithmus.
Mit dem Algorithmus , werden nun die obenen angenommenen Teilprobleme bearbeitet. Der oben genannte Basisfall , wird nun von übernommen. Somit kommen wir zu folgender Aufwandsbeziehung.

Die Anwendung der Meistermethode ergibt folgendes Ergebnis:

Es ergibt sich eine bezeichnende Effizinzverbesserung gegenüber dem quadratischen Aufwand. Die Verwendung dieser beiden Algorithmen bringt uns zu dem Ergebnis, dass DaC immer aus Effiziensgründen mit Rekursion arbeitet.
Um die Problemlösung rekursiv zu formulieren, muss neben dem Allgemeinen ein Basisfall verwendet werden. Eine geringere Problemgröße haben die Teilprobleme mit der gleichen Problematik, als das zu lösende Ausgangsproblem. Je nach konkreten Problemen, kann es mehrere Basisfälle geben.

Das schnelle Sortieren

Das Musterbeispiel für Divide and Conquer, nennt sich Quicksort. Dies dient der Sortierung von Listen. Die zu sortierende Liste wird geteilt, so dass zwei Teillisten entstehen. Das wird solange ausgeführt bis die Teillisten nur noch aus einem oder keinem Element bestehen. Sobald der Elementarfall erreicht ist, werden die Einzellisten wieder zusammengeführt.

Quicksort wendet folgende DaC Technik an:

1. Zerlege das Problem genau in zwei Teilprobleme (möglicherweise leer), linkes Problem und rechtes Problem. Alle Elemente in und , als das Pivotelement (Vergleichselement).
2. Sortiere die beiden Teilprobleme und durch rekursiven Aufruf von Quicksort.
3. Das sortierte Grundproblem setzt sich wie folgt zusammen:
   • 
   • Pivotelement
   • 

Exakt in dieser Reihenfolge.

Grundprinzip

Quicksort nimmt eine Liste Zahlen und teilt sie mit Hilfe eines Hilfselements (Pivotelement) auf. Dabei werden 2 Teillisten erzeugt. Diese beiden Teillisten werden wie folgt gefüllt. In die sogenannte linke Liste kommen alle Zahlen, die kleiner als das Pivotelement sind, hinein. Jede Zahl die größer oder gleich dem Vergleichselement sind kommen in die rechte Teilliste. Das Pivotelement, kann auf verschiedene Art und Weise gewonnen werden. Beispielsweise nimmt man sich willkürliche eine Zahl aus der Gesamtliste herraus oder man berechnet das Element, in dem alle Elemente der Liste mit einander addiert und durch die gesamte Anzahl der Listenelemente teilt, also man das Durchschnittselement berechnet. Dies hat je nach Wahl des Pivotelements Auswirkungen auf die Effizienz von Quicksort, was aber nur im Worst Case eine Rolle spielt. Die Teilung der Listen wird solange rekursiv durchgeführt, bis nur noch Einzelelemente in den Teillisten übrig sind. Diese einzelnen Listen werden dann von links nach rechts wieder zusammengefügt und man erhält somit eine sortierte Liste.

Datenfluss

Der folgende Pseudocode illustriert die Arbeitsweise des Algorithmus, wobei daten das zu sortierende Feld ist. Dabei hat beim ersten Aufruf von quicksort (oberste Rekursionsebene) der Parameter linke Liste (l) den Wert 0 (Index des ersten Feld-Elements) und rechte Liste(r) den Wert n-1 (Index des letzten Feld-Elements). Die Bezeichnungen l und r beziehen sich auf die Anordnung des Felds: daten[0], daten[1], ... , daten[n-1].

funktion quicksort(l, r)
    l := linke Liste
    r := rechte Liste
    falls l < r dann
        teiler := teile(l, r)
        quicksort(l, teiler-1)
        quicksort(teiler+1, r)
    ende
ende

funktion teile(l, r)
    l := linke Liste 
    // Starte mit r links vom Pivotelement
    r := rechte Liste - 1
    pivot := daten[r]
    wiederhole
        // Suche von linke Liste ein Element, welches größer als das Pivotelement ist
        wiederhole solange daten[l] ≤ pivot und l < r
            l := l + 1  
        ende 
        // Suche von rechte Liste ein Element, welches kleiner als das Pivotelement ist
        wiederhole solange daten[r] ≥ pivot und r > l
             r := r - 1 
        ende  
        falls l < r dann 
            tausche daten[l] mit daten[r]
        ende
    solange l < r 
    // solange l an r nicht vorbeigelaufen ist 
    // Tausche Pivotelement (daten[r]) mit neuer endgültiger Position (daten[l])   
    falls daten[l] > pivot dann
            tausche daten[l] mit daten[r] 
    ende     
    // gib die Position des Pivotelements zurück    
    antworte l
ende

funktion append(l, v, r)
    l := linke Liste
    r := rechte Liste
    v := Pivotelement
    // nehme linke sortierte Liste und setze diese an erste Stelle
    quicksort(l)
    // gewähltes Pivotelement nehmen und setze dieses hinter die erste Stelle
    quicksort(l) + v
    // nun setze rechte sortierte Liste an letzte Stelle
    + quicksort(r)
    // gib gelöstes Gesamtproblem zurück
    quicksort(l) + v + quicksort(r)
ende

Quicksort Bildlich

QuickSort.png

Schemeumsetzung Quicksort

(define tl (lambda (ls v) (if (null? ls) (values '() '()) (call-with-values (lambda () (tl (cdr ls) v)) (lambda (li re) (let ((x (car ls))) (if (< x v) (values (cons x li) re) (values li (cons x re))))))))) (define quicksort (lambda (ls) (if (or (null? ls)(null? (cdr ls))) ls (let ((v (car ls))) (call-with-values (lambda () (tl (cdr ls) v)) (lambda (li re) (append (quicksort li) (list v) (quicksort re))))))))

(quicksort '( 2 8 9 13 30 21 7 1 3 6 18 14 20 16 10 12 15 19 25 11 4 5 17 ))

ausführen

Javaumsetzung Quicksort

Hier geht es zur Javaumsetzung:

JavaQuick

Interne Suchverfahren

Interne Suchverfahren verbrauchen keinen weiteren Speicher. Es wird nur der Speicher verbraucht der durch die Eingabe benötigt wird. Dies ist bei der Prozedur mv-quicksort nicht gegeben, da es zu einer Aufteilung in 2 Teillisten kommt, die auch in zwei neuen Listen gespeichert werden, ergo zusätzlicher Speicherplatzverbrauch. Um dies zuverhindern werden die Werte im Schlüsselfeld hinterlegt und als Vektor implementiert.

>(define a(vector 34 65 23 6 32 7 43 765 2 1))
>a
#10(34 65 23 6 32 7 43 765 2 1) // Dieser Vector hat 10 Elemente.

Man muss beachten, das bei vielen Programmiersprachen die Zählung der Vektoren bei beginnen. Es gilt:

Das letzte Element hat also den sogenannten Index von . In unserem Beispiel wäre dies der Index .

Das Pivotelement nehmen wir von dem Index . Zusätzlich setzen wir zwei Zeiger auf folgende Startpositionen:

1. Zeiger
2. Zeiger .

In Einzelschritten erfolgt nun die Zeigerverschiebung. Der Zeiger wird nun solange verschoben bis und wird solang nach links verschoben, bis . und werden mit einander getauscht, wenn gilt und die Suche wird fortgesetzt. Sollte jedoch mit getauscht werden wird die Suche beendet und Vektor zurückgegeben. Somit steht an der richtigen Position und alle Elemente links/rechts von sind jetzt dementsprechend kleiner oder größer als .

(define split (lambda (a) (let ((v (vector-ref a 0)) (swap (lambda (pos1 pos2) (let ((helper 'nothing)) (set! helper (vector-ref a pos1)) (vector-set! a pos1 (vector-ref a pos2)) (vector-set! a pos2 helper))))) (letrec ((loop (lambda (l r) (cond ((> l r) (swap 0 r) a) ((< (vector-ref a l) v)(loop(+ l 1) r)) ((not (< (vector-ref a r) v))(loop l (- r 1))) (else (swap l r) (loop (+ l 1)(- r 1))))))) (loop 1 (- (vector-length a) 1)))))) (define a (vector 34 65 23 6 32 7 43 765 2 1))

(split a)

ausführen

Mergesort

Ein treffender Begriff hierfür ist "einfädeln", was man aus dem Straßenverkehr kennt. Zusammenführen ist auch recht treffend. "Sortieren durch Mischen" ist jedoch irreführend, weil hierbei das Prinzip von Mergesort nicht erfasst wird.

Grundprinzip

1. Divide:
   Das Verfahren teilt die Große Liste in zwei etwa gleichgroße Teillisten, was ohne Vergleichselement geschieht. Die Spaltung der Listen wird mit Hilfe von realisiert ( steht für die ganzzahlige Division).
2. Conquer:
   Dieses Verfahren, sortiert zwei Teillisten rekursiv mit Hilfe von einfädeln. Ausnahme sind kleine Unterprobleme, diese werden direkt gelöst.

Der folgende Pseudocode illustriert die Arbeitsweise des Algorithmus, wobei Liste (ls) die zu sortierenden Elemente enthält.

funktion mergesort(ls);
  ls := Liste
  lls := linke Liste
  rls := rechte Liste
  falls (Größe von ls <= 1) dann antworte ls
  sonst
      halbiere die ls in lls, rls
      antworte merge(mergesort(lls), mergesort(rls));
ende

funktion merge(lls, rls);
   lls := linke Liste
   rls := rechte Liste
   neueListe
   solange (lls und rls nicht leer)
        falls (erstes Element der lls <= erstes Element der rls)
        dann füge erstes Element lls in die neueListe hinten ein und entferne es aus lls
        sonst füge erstes Element rls in die neueListe hinten ein und entferne es aus rls
   solange_ende
   solange (lls nicht leer) 
        füge erstes Element lls in die neueListe hinten ein und entferne es aus lls
   solange_ende
   solange (rls nicht leer) 
        füge erstes Element rls in die neueListe hinten ein und entferne es aus rls
   solange_ende
   antworte neueListe
ende

Mergesort Bildlich

Mergesort.gif

Schemeumsetzung Mergesort

(define split (lambda (ls) (letrec ([split-h (lambda (ls ls1 ls2) (cond [(or (null? ls) (null? (cdr ls))) (cons (reverse ls2) ls1)] [else (split-h (cddr ls) (cdr ls1) (cons (car ls1) ls2))]))]) (split-h ls ls '())))) (define merge (lambda (pred ls1 ls2) (cond [(null? ls1) ls2] [(null? ls2) ls1] [(pred (car ls1) (car ls2)) (cons (car ls1) (merge pred (cdr ls1) ls2))] [else (cons (car ls2) (merge pred ls1 (cdr ls2)))]))) (define merge-sort (lambda (pred ls) (cond [(null? ls) ls] [(null? (cdr ls)) ls] [else (let ([splits (split ls)]) (merge pred (merge-sort pred (car splits)) (merge-sort pred (cdr splits))))])))

(merge-sort < '(1 5 2 8 3 9 4 -2))

ausführen

Javaumsetzung Mergesort

Hier geht es zur Javaumsetzung:

JavaMerge

Funktionsorientierte Beschreibung mit Multiple-value-context

Die Implementation im Multiple-value-context für Mergesort, erfolgt nach dem Vorbild von Quicksort.
Funktion teillisten2 ist nach der Quicksort teillisten nachempfunden. Ihre Aufgabe besteht darin, die als Parameter übergebene Liste in der Mitte zu teilen um so 2 gleich große Teillisten zu erhalten. Falls eine ungerade Anzahl an Elementen in der Ausgangsliste existiert, wird die linke Liste (lls) um 1 kleiner sein als die rechte Liste (rls).
Dies geschieht aufgrund von (floor()), es gibt die Ganzzahl zurück.

(define teillisten2 (lambda (ls) (let ((k (floor (/ (length ls ) 2)))) (letrec ((helfer (lambda (ls i) (if (= i 0) (values '() ls) (call-with-values (lambda () (helfer (cdr ls) (- i 1))) (lambda (links rechts) (values (cons (car ls) links) rechts))))))) (helfer ls k)))))

Funktion verbinden erwartet 2 aufsteigend sortierte Listen als Parameter, welche nun zu einer Gesamtliste verbunden werden.

(define verbinden (lambda (lls rls) (cond ((null? lls) rls) ((null? rls) lls) (else (let ((x (car lls)) (y (car rls))) (if (<= x y) (cons x (verbinden (cdr lls) rls)) (cons y (verbinden lls (cdr rls)))))))))

Die Implementation von Mergesort ähnelt der von Quicksort. Multiple-Value-Kontext wird ebenfalls verwendet, welches das abstrakte Arbeiten ermöglicht. Positiv ist auch der eben verwendete Multiple-Value-Kontext muss sich nicht um Beschränkungen, wie z.b. nur ein Rückgabewert je Funktion, kümmern.

(define mergesort (lambda (ls) (if (or (null? ls) (null? (cdr ls))) ls (call-with-values (lambda () (teillisten2 ls)) (lambda (ls1 ls2) (verbinden (mergesort ls1) (mergesort ls2)))))))

(mergesort '(9 2 16 7 12 8 15 4 18 10 20 3 17 14 6 13 5 11 1 19))

ausführen

Vergleich Quicksort und Mergesort

Aufwand Quicksort

Die Wahl des Pivotelementes bestimmt im wesentlichen die Laufzeit von Quicksort, somit ergeben sich die drei Fälle Best-, Average- und Worst Case.

Sind die beiden Teillisten stets in etwa gleichgroß, Aufgrund einer guten Wahl des Pivotelementes, handelt es sich um den sogenannten Best Case. Daraus folgt: für die asymptotische Laufzeit. Für den Average Case gilt ein ähnlicher Aufwand, wie im Best Case. Der Durchschnitsfall lautet: . Im schlechtesten Fall kann es passieren, dass das Pivotelement immer so gewählt wird, das es jeweils das größte oder das kleinste Element der Liste ist. Folglich ist eine der zu sortierenden Teillisten immer schon sortiert. Als Folge daraus verringert sich der Rekursionsschritt immer nur um 1 und es ergibt sich ein Aufwand von .

Aufwand Mergesort

Dieser Algorithmus ist in der Betrachtung des Aufwandes im Best-, Average- und im Worst Case gleich. Es gilt also immer: .

Zeitaufwand

Die vollständige Tabelle findet ihr hier:

• Zeitkomplexität

Hinweis - Ihr solltet bei der angegebenen Seite etwas runterscrollen!

Vergleich

Es gilt für den Worst Case für Quicksort : , jedoch spielt das für diesen Algorithmus kaum eine Rolle, da dieser Fall sehr selten eintritt. Er tritt meist nur auf, wenn man eine bereits sortierte Liste mittels Quicksort ordnen möchte. Betrachten wir Mergesort, stellen wir fest, das immer gilt. Mergesort scheint somit besser zu sein, wie Quicksort, aber da bei Quicksort der Worst Case selten eintritt, erweist sich Quicksort als effizienter.

Übungen

• Computerübung

Links, Quellen und Danksagungen

Internet-Links

1. Algorithm Design - Internet Examples
2. APL Center
3. Dein Programm
4. Homepage von Tino Hempel
5. Informatik Bildungsserver
6. Intel Labs - Pittsburgh
7. Massachusetts Institute of Technology
8. TU-Clausthal
9. TU-Ilmenau
10. UCSD Jacobs School
11. Uni Greifswald
12. Uni-Paderborn
13. Uni Potsdam
14. Uni Münster
15. University of Glasgow
16. Wikipedia - DaC
17. Wikipedia - Mergesort
18. Wikipedia - Quicksort

Quellen

[1] Wagenknecht, Christian

Algorithmen und Komplexität.- Fachbuchverlag Leipzig, 2003.

[2] Cormen, Th. H.; Leiserson, Ch. E.; Rivest, R.; Stein, C.

Algorithmen - Eine Einführung, 2. Auflage.- Oldenburg Wissensch. Vlg., 2007

Danksagung

Ein besonderer Dank geht an Prof. Dr. rer. nat. Christian Wagenknecht, für die schnelle Hilfe bei der Wiki-Arbeit und bessere Umsetzung. Desweiteren danken wir Dipl.-Inf.(FH) Michael Hielscher für seine Hilfe, bei der Umsetzung mit dem Quellcode und Hilfestellung bei dem Umgang mit Wiki. Und gleichfalls geht ein Dank an unseren Mitkommilitonen Felix Deutschmann, für die Hilfe bei dem Java-Code.