Teile und Herrsche

Aus ProgrammingWiki

Archivierte Version vom 2016-01-12T09:06:21+00:00. Aktuelle Version

Inhaltsverzeichnis

1 '''Teile und herrsche (Divide and conquer)'''
2 Quicksort
3 '''Mergesort'''
4 Suchalgorithmen
- 4.1 Sequenzielle Suche
- 4.2 Binäre Suche
5 Zusammenfassung
6 Übungen
7 Quellen

Teile und herrsche (Divide and conquer)

Definition

Das Entwurfsverfahren Teile und Herrsche dient dem Entwurf rekursiver Algorithmen.
Die Idee ist es, ein Problem der Groeßen in mehrere gleichartige aber kleinere Teilprobleme zu zerlegen ( divide).
Aus rekursiv gewonnenen Lösungen der Teilprobleme ( conquer) gilt es dann, eine Gesamtlösung für das ursprüngliche Problem zusammenzusetzen .
Ziel dieser Methode ist es eine Effiziensverbesserung zu erreichen.

Entwurfsmethode für Algorithmen

1. Teile das Problem in kleinere Unterprobleme (Divide)
2. Löse rekursiv die entstehenden Unterprobleme (Conquer)
3. Setze die Lösungen zusammen.

Eigenschaften

kann bei konzeptionell schwierigen Problemen hilfreich sein
kann effiziente Lösungen realisieren
für Parallelverarbeitung geeignet

Effizienzbetrachtung

Die folgende Rechnung dient als Beweis, dass eine Effizienzverbesserung auftritt:
Wir nehmen an, dass ein bestimmter Algorithmus A ein Problem mit O\left(n^2\right), also T_A\leq c \cdot n^2, löst. Für ein Algorithmus B, der drei dieser Probleme der Größe \frac{n}{2} mit A bearbeitet und mit O\left( n \right) zusammenfügt gilt:

\begin{align} \begin{array}{rcl} T_{B} \left( n \right) & = & 3 \cdot T_{A} \cdot\left( \left\lceil \frac{n}{2} \right\rceil \right) + d \cdot n\\\\

                & \leq & 3 \cdot c \cdot \left( \frac{n+1}{2}\right) ^{2} + d \cdot n\\\\
                & \leq & 3 \cdot c \cdot \left( \frac{n+1}{2}\right) \left( \frac{n+1}{2}\right) + d \cdot n\\\\
                & \leq & 3 \cdot c \cdot \left( \frac{n^{2} + 2n + 1}{4}\right) + d \cdot n\\\\
                & \leq & 3 \cdot c \cdot \left( \frac{n^{2}}{4} + \frac{2n}{4} + \frac{1}{4}\right) + d \cdot n\\\\
                & \leq & \frac{3cn^{2}}{4} + \frac{6cn}{4} + \frac{3c}{4} + d \cdot n\\\\
                & \leq & \frac{3}{4}cn^{2} + \frac{3}{2}cn + \frac{3}{4}c + d \cdot n\\\\
                & \leq & \frac{3}{4}cn^{2} + \left(\frac{3}{2}c + d\right) \cdot n + \frac{3}{4} c\\\\

\end{array} \end{align} Man erkennt an den führenden Summanden, dass sich tatsächlich eine Effizienzsteigerung von ca. 25% ergibt. Allerdings liegt noch immer ein quadratischer Aufwand mit \mathcal{O}\left(n^{2}\right) vor. Daher betrachten wir nun einen Algorithmus \mathcal{C}, welcher das Problem auf rekursive Art löst.

\begin{align} \mathit{T}_{\mathcal{C}}\left(n\right) = \begin{cases} \mathit{T}_{\mathcal{A}}\left(n\right), \mbox{wenn}\ n\leq n_{0} \\ \mathit{3\ T}_{\mathcal{C}}\left(\dfrac{n}{2}\right), \mbox{sonst}\end{cases} \end{align}

Nach dem Lösen dieser Formel kommen wir zu dem Ergebnis \mathit{T}_{\mathcal{C}}\left(n\right)=\mathcal{O}\left(n^{1.59}\right).

Beispiel: Die Türme von Hanoi

Wenn die Anzahl der Scheiben 1 beträgt, ist die Lösung des Problems trivial.
Bei mehr als einer Scheibe läßt sich das Gesamtproblem in drei Teilprobleme zerlegen:

Transportiere n-1 Scheiben vom Anfangsplatz auf den Hilfsplatz.
Transportiere die letzte Scheibe vom Anfangsplatz auf Zielplatz.
Transportiere n-1 Scheiben vom Hilfsplatz auf den Zielplatz.

Übung: Die Türme von Hanoi

Transportiere n Scheiben vom Anfangsplatz auf den Zielplatz, verwende einen Hilfsplatz.

Spiel http://www.gf-webdesign.de/tuerme-von-hanoi/tuerme-von-hanoi.htm

Quicksort

Das Verfahren

Quicksort ist ein schneller Sortieralgorithmus auf der Basis rekursiver Vergleiche von Elementen, welcher von C.A.O Hoare im Jahre 1960 entwickelt wurde.

Das Prinzip ist eine gegebene Gesamtliste G so in zwei Teillisten L und R auf zuteilen (divide), dass alle Elemente von L kleiner (oder gleich) als ein Vergleichselement (Pivotelement) v \in G
und alle Elemente von R größer (oder gleich) als v sind.

Es existieren zwei Basisfälle:
1. : G ist leer
2. : G enthält nur ein einziges Element

Wird nun der Quicksortalgorithmus auf jede der enstandenen Teillisten angewandt, ergibt sich dadurch die rekursive Verarbeitung. Und es wird dann nach endlich vielen Zerlegungen einer der beiden Basisfälle erreicht.
Das bedeutet die Teillisten liegen dann sortiert vor (conquer). Letztlich setzt man die einzelnen Teillisten zu der sortierten Gesamtliste G_sortiert zusammmen (combine) und zwar genau in der Form: G_sortiert = L_sortiert v R_sortiert

funktionaler Aufbau

(define teillisten
       (lambda (ls v)
           (if (null? ls)
               (values '() '())
               (call-with-values
               (lambda () (teillisten (cdr ls) v))
               (lambda (l r)
                   (let ((x (car ls)))
                      (if (< x v)
                          (values (cons x l) r)
                          (values l (cons x r)))))))))

Durch diese Prozedur entstehen die zwei Teillisten L und R, die für die Unterscheidung der Relation in Bezug auf das Pivotelement benötigt werden.

Um nun den Algorithmus richtig anwenden zu können, bedarf es einer weiteren Prozedur, die die Vorhergehende immer wieder rekursiv aufruft und dabei jeweils auf L und R quicksort anwendet um diese zu sortieren.

(define quicksort
    (lambda (ls)
        (if (or (null? ls) (null? (cdr ls)))
            ls
            (let ((v (car ls)))
                (call-with-values
                    (lambda () (teillisten (cdr ls) v))
                    (lambda (l r)
                        (append
                           (quicksort l)
                           (list v)
                           (quicksort r))))))))

interne Suchverfahren

Quicksort kann in die Kategorie der internen Suchverfahren eingeordnet werden. Das sind Algorithmen die in-place arbeiten, was bedeutet sie benötigen keinen zusätzlichen Speicherplatz, da sie die Eingaben intern verarbeiten und diese dann mit den Ausgaben überschreiben.
Bei der vorherigen Implementierung wurde dies zu gunsten der Veranschaulichung vernachlässigt. So wurden die Elemente von G, die die jeweilige Relation (>= v oder <= v) erfüllen, in eine der beiden erzeugten Listen eingetragen. Im Erzeugen von L und R liegt also hier das Problem.

Um die Bedingung des Quicksort Algorithmus (l <= v <= r) erfüllen zu können und den genannten Nachteil zu eliminieren, nutzt man die Idee, die die folgende Implementierung verfolgt. Zunächst um der Speicherplatzbildung entgegenzuwirken muss die Bildung der Teillisten in G erfolgen. Um auf jedes Element zugreifen zu können, wird in der folgenden Implementierung ein Vektor a verwendet.
Das Pivot erhält die erste Poition, also a[0]. Zusätzlich werden zwei Zeiger l und r initiiert, wobei l = a[1] und r = a[n-1].

(define split
  (lambda (a)
    (let
        ((v (vector-ref a 0))
         (swap
          (lambda (pos1 pos2)
            (let ((helper 'nothing))
                  (set! helper (vector-ref a pos1))
                  (vector-set! a pos1 (vector-ref a pos2))
                  (vector-set! a pos2 helper)))))
         (letrec
             ((loop
               (lambda (l r)
                 (cond
                   ((> l r) (swap 0 r) a)
                   ((< (vector-ref a l) v)(loop(+ l 1) r))
                   ((not (< (vector-ref a r) v))(loop l (- r 1)))
                   (else
                    (swap l r)
                    (loop (+ l 1)(- r 1)))))))
           (loop 1 (- (vector-length a) 1))))))

In Einerschritten wird:

1. l solange nach rechts verschoben bis a[l] > v und
   r solange nach links verschoben bis a[r] < v
2. wenn jeweils ein Element gefunden wurde, wird a[l] mit a[r] getauscht und die Zeigerbewegung fortgesetzt
3. ansonsten wird a[r] mit a[0] vertauscht und a ausgegeben 
4. Insofern die Elemente links bzw. rechts vom Pivotelement aus noch unsortiert sind wiederhole bei 1.

Viualisierung

Die folgende Animation zeigt den verbildlichten Ablauf des Algorithmus:

roter Balken = Pivotelement p der jeweiligen Teilliste
blaue Linie = Wert von p

Beispiel

Sortieren von (natürlichen) Zahlen:

In diesem Beispiel soll eine Liste L [6,13,3,7,9,7,2,1,15,10,5,6] mit Quicksort sortiert werden.
Es folgt eine ausführliche Lösung zum Erhalt der sortierten Liste:

Effizienz von Quicksort

Wegen Gründen der Vereinfachung zwecks Erklärung, wurde im Beispiel das letzte Element als Pivotelement gewählt, aber bei Anwendung des Algorithmus sollte man auf die Wahl achten.
Denn wie effizient der Quicksort-Algorithmus ist, hängt in erster Linie von der Wahl des Pivotelementes ab.

Best Case

Im besten Fall wird das Pivotelement so gewählt, dass dieses in der sortierten Liste genau in der Mitte liegt und somit die Gesamtliste G aus (etwa) zwei gleich großen Listen besteht. Somit ist die Anzahl der Vergleiche minimal.

T(0) = 0

T(n) = 2 * T (\frac{n}{2}) + c * n

Nach Auflösung mit der Meistermethode ergibt das einen Aufwand T(n) = \mathcal{O}(n \ \log_{2} \ n) .

Average Case

Im Durchnitt nimmt man an, dass die Permutation aller Elemente n gleich wahrscheinlich ist. Somit ist die Wahl des Pivotelementes ebenso wahrscheinlich.

Worst Case

Im schlechtesten Fall wird das Pivotelement so gewählt, dass dieses in der sortierten Liste entweder am Anfang oder am Ende liegt und somit auf der einen Seite das Pivotelement v und auf der anderen Seite der Rest von G liegt.
Dies ist z.B. der Fall, wenn G vor Anwendung von Quicksort bereits sortiert ist, das zu einem sehr langsamen Quicksort führt, was zum einen aus Definitionssicht wiedersprüchlich erscheint und zum anderen aus Anwendersicht für Konfusion sorgt.

T(0) = 0

T(n) = \underbrace{T(0)}_\text{= 0} + T(n-1) + c * n

Anwendung der Iterationsmethode ergibt:

T(n-1) = T(n-2) + c(n-1)

T(n-2) = T(n-3) + c(n-2)

T\underbrace{( n-k )}_{\text{=1 \curvearrowright k = n - 1}} = T(0) + c(n-k)

Einsetzen aller Ausrücke in darüberstehender Zeile:

T(n) = c * \sum\limits_{k=0}^{n-1} (n-k)

\ \ \ \ \ \ \ \ = c * (\sum\limits_{k=0}^{n-1} (n) - \sum\limits_{k=0}^{n-1} (k))

\ \ \ \ \ \ \ \ = c (n^2 - \frac{n-1}{2}((n-1) + 1))

\ \ \ \ \ \ \ \ = c (\frac{n^2}{2} + \frac{n}{2})

T(n) = \mathcal{O}(n^2)

Dies entspricht der Anzahl der Vergleiche in Bezug auf die Elemente.

Anpassung

Die bereits erwähnte Abhängigkeit des Algorithmus von der Wahl des Pivotelementes führt zu den eben berechneten Laufzeiten.
Dabei kann man die Wahl von v durchaus beeinflussen, sodass z.B. die Wahrscheinlichkeit des Auftretens des Worst Cases verringert werden kann.
Außer Acht wird hierbei die Wahl des ersten oder letzten Elementes der Liste gelassen, da dies aus praktischer Sicht unzuverlässig ist.

Möglichkeit 1:	v als das mittlerste Element der Liste wählen
Möglichkeit 2:	v als ein zufällig gewähltes Element setzen
Möglichkeit 3:	das erste, das mittlerste und das letzte Element der Liste nehmen und den Median dieser drei als v bestimmen.

Liste L = [10,3,25,6,8,17,1,2,18,5]

Median aus den drei: [10,8,5] -> [5,8,10] ->8

Mergesort

Definition

Das Sortierverfahren Mergesort erzeugt eine sortierte Folge durch Verschmelzen sortierter Teilstücke.
Das Verfahren beruht auf dem Divide-and-Conquer-Prinzip Erklärung.
Die zu sortierende Folge wird zunächst in zwei Hälften aufgeteilt (divide), die jeweils für sich sortiert werden (conquer).
Dann werden die sortierten Hälften zu einer insgesamt sortierten Folge verschmolzen (combine).
Dieses Verfahren bietet die Möglichkeit einer iterativen Implementierung.

Vorteile

Geschickter Einsatz der Teile-und-Herrsche Technik.
Gutes Laufzeitverhalten für große Eingabegrößen
Die Stabilität

Die relative Ordnung zweier Elemente , welche gleich sind , wird beibehalten.

Abarbeiten Daten sequentiell.

Nachteile

der zusätzlich benötigte Speicher

Anwendung

Der Mergesort wird vor allem dann verwendet, wenn man eine große sortierte Datenmenge verwalten möchte.

Effizienzanalysen

Im Gegensatz zur Effizienzanalyse von Quicksort, gibt es bei Mergesort keine Unterscheidung zwischen Worst-, Best- und Average-Case, da hierbei nicht mit einem Pivot-Element gearbeitet wird, sondern "stupide" die Listen immer in der Mitte geteilt werden.Der Algorithmus arbeitet immer gleich, egal ob eine Liste bereits sortiert ist oder nicht.
Je nach Implementierung erhält man für die Komplexität von MergeSort folgende Rekursionsgleichung (n = Zahl der Listenelemente):

                Sei \mathit{T}\left(n\right) die Laufzeit von Merge-Sort.
                Das Aufteilen braucht \mathcal{O}\left(n\right) Schritte(bei Implementierung als List mit divide in \mathcal{O}\left(n\right)) oder \mathcal{O}\left(0\right) Schritte(bei Implementierung als Array mit divide in \mathcal{O}\left(1\right)).
                Die rekursiven Aufrufe brauchen 2\cdot \mathit{T}\left(\frac{n}{2}\right) Schritte.(ein Problem halbiert wird und man dadurch zwei halbe Probleme hat.)
                Das Mischen braucht \mathcal{O}\left(n\right) Schritte.
                Um Mergesort zu analysieren, ist die Rekursionsgleichung : \mathit{T}\left(n\right) = 2\cdot \mathit{T}\left(\frac{n}{2}\right) + \mathcal{O}\left(n\right), wenn n > 1
                Basisfall : \mathit{T}\left(1\right) = 0 , also :

Best-Case: \mathit{T}\left(n\right) = \mathcal{O}\left(n \log n\right)
Average-Case: \mathit{T}\left(n\right) = \mathcal{O}\left(n \log n\right)
Worst-Case: \mathit{T}\left(n\right) = \mathcal{O}\left(n \log n\right)

Viualisierung , Simulation, Animation

http://palash90.in/tools.html#/algorithms/mergeSort http://www.ee.ryerson.ca/~courses/coe428/sorting/mergesort.html

Pseudocode

funtion mergesort( liste ):
  if liste.laenge <= 1 then 
      return liste;
  else
      linkeListe = liste[0] bis liste[laenge/2];
      rechteListe = liste[laenge-(laenge/2)] bis liste[laenge-1];
      linkeListe =mergesort(linkeListe);
      rechteListe=mergesort(rechteListe);
  return merge(linkeListe, rechteListe);
end

Beispiele

Beispiel 1

Im folgenden soll ein Array mit Mergesort sortiert werden:

Beispiel 2

Suchalgorithmen

Sequenzielle Suche

Die sequenzielle Such oder auch als Lineare Suche ist die Einfachste aller Suchmethoden. Bei dieser Methode wird von Anfang bis Ende jeder einzelne Eintrag nacheinander mit dem gesuchten Element e verglichen. Sobald ein Listenelement mit e übereinstimmt endet der Algorithmus, sonst wird solange weitergesucht bis das Ende der Liste erreicht ist.

e=11

Im Worst Case hat der Algorithmus hierbei ein Aufwand T(n)=O(n) , da er jedes Element der Liste durchgehen muss.

Im Best Case einen Aufwand O(1), da bereits das erste Element mit e übereinstimmen kann.

Binäre Suche

Das Binäre Suchen ist ein Teile-und-Herrsche-Verfahren. Dieses Verfahren ähnelt der linearen Suche jedoch benötigt das binäre Suchen eine aufsteigend geordnete Liste.

Ablauf

1. Teile die Liste G in der Mitte sodass 2 gleichgroße Teillisten L=(a_1,a_2,...,a_t), R=(a_{t+1},...,a_n) entstehen.
Für t gilt t=\frac{n}{2} wobei t ganzzahlig ist. Wenn t nicht ganzzahlig ist wird abgerundet.
2. Vergleiche das erste Element der Teilliste R mit e.

Falls e = a_{t+1}, dann wurde das Element gefunden.

Falls e < a_{t+1}, dann prüfe ob L = null, wenn ja dann wurde das Element e nicht gefunden, sonst gehe zu Schritt 1 und verwende L als neue Liste G.

Falls e > a_{t+1}, dann prüfe ob R = null, wenn ja dann wurde das Element e nicht gefunden, sonst gehe zu Schritt 1 und verwende den Rest der Liste R als neue Liste G.

Suchen des Elementes e=11:

Effizienz

Best-Case

Der Best-Case endet wie beim sequenziellen Suchen mit dem ersten verglichenen Eintrag in der Liste. Somit haben diese beide Algorithmen den gleichen Aufwand im Best-Case von T(n)=O(1)

Average-/Worst-Case

Die Listen werden immer in der Hälfte geteilt. Somit können immer die Hälfte der Werte ausgeschlossen werden. Geht man dabei vereinfacht von einer Anzahl von n^2 Elementen aus, so ist der Aufwand durch die permanente Teilung der Listen T(n)=O(log_2 n). Dies gilt sowohl für den Worst-, als auch für den Average-Case.

Implementierung in Scheme

Die Funktion teillisten spaltet die Liste G in 2 Teillisten. binSuche ist für die binäre Suche zuständig.

(define teillisten
  (lambda (ls)
    (let ((k (floor (/ (length ls) 2))))
    (letrec 
        ((helfer
          (lambda (ls i)
            (if (= i 0)
                (values '() ls)
                (call-with-values
                 (lambda () (helfer (cdr ls) (- i 1)))
                 (lambda (links rechts)
                   (values (cons (car ls) links) rechts)))))))
         (helfer ls k)))))
    
(define binSuche
  (lambda (element G)
    (call-with-values
     (lambda () (teillisten G))
     (lambda (L R)
       (cond
         ((null? R) "Element ist nicht in der Liste enthalten")
         ((= element (car R)) "Element ist in der Liste enthalten")
         ((< element (car R))
             (binSuche element L))
         (else
          (if (null? (cdr R))
              "Element ist nicht in der Liste enthalten"
              (binSuche element R))))))))

Zusammenfassung

Teile und Herrsche - Zerlegung größerer Aufgaben oder Probleme in kleinere Aufgaben oder Probleme, die einfacher zu bewältigen oder leichter gelöst werden können.
Mergesort - ein schnelleres (und rekursives) Sortierverfahren.
- Ein Feld wird in zwei Teilfelder aufgeteilt, die dann rekursiv sortiert werden. Anschließend werden diese sortierten Teilfelder wieder zu einem Feld zusammengefügt. Dabei macht man sich zu nutze, daß die beiden Teilfelder bereits sortiert sind.
- Mit einer Zeitkomplexität von Θ(n log(n)) ist das Verfahren immer optimal.

Übungen

Übung 1 : Hanoi Java-Code

Pseudo - Code

procedure turm(ap,zp,hp,n:byte);  
begin 
if n=1 then  
writeln(' Scheibe von Platz ',ap,' auf Platz ',zp)
        else begin  
        turm(ap,hp,zp,n-1);  
        writeln(' Scheibe von Platz ',ap,' auf Platz ',zp);  
        turm(hp,zp,ap,n-1);
     end;  
end;

Java-Code

Auf der Grundlage diese Pseudocode schreiben Sie Java-Code für Hanoi.
Denken Sie auch an der Klasse Main, welche wird die Methode turm benutzen.

...

Übung 2

Sortieren Sie eine Array indem zwei Teilarrays sortiert und dann gemischt werden.

Übung 3

Sortieren Sie die Buchstaben in der Zeichenkette aus Ihrem zusammengeschriebenen Vor- und Nachnamen mit Merge Sort.

Übung 4

int rightLength = 0;
        if (input.length % 2 == 0) {
            rightLength = middle;
        } else {
            rightLength = middle - 1;
        }
        int[] right = new int[rightLength];

        int leftIndex = 0;
        int rightIndex = 0;

        for (int i = 0; i < input.length; i++) {
            if (i < middle) {
                left[leftIndex] = input[i];
                leftIndex++;
            } else {
                right[rightIndex] = input[i];
                rightIndex++;
            }
        }

        left = mergeSort(left);
        right = mergeSort(right);

while (leftIndex < left.length || rightIndex < right.length) {
            if (leftIndex < left.length && rightIndex < right.length) {
                if (left[leftIndex] < right[rightIndex]) {
                    result[resultIndex] = left[leftIndex];
                    leftIndex++;
                    resultIndex++;
                } else {
                    result[resultIndex] = right[rightIndex];
                    rightIndex++;
                    resultIndex++;
                }
            } else if (leftIndex < left.length) {
                for (int i = resultIndex; i < result.length; i++) {
                    result[i] = left[leftIndex];
                    leftIndex++;
                }
            } else if (rightIndex < right.length) {
                for (int i = resultIndex; i < result.length; i++) {
                    result[i] = right[rightIndex];
                    rightIndex++;
                }
            }
        }

http://www.sorting-algorithms.com/

Quellen

Wagenknecht, 2003, Algorithmen und Komplexität
Cormen, Leierson, Rivest und Stein, 2004, Algorithmen - Eine Einführung
http://www.inf-schule.de/
http://www.awb1.ch/
http://www.ki.informatik.uni-frankfurt.de/
http://ddi.cs.uni-potsdam.de/
http://thm.de/
http://de.wikiversity.org/
http://www.roland-illig.de/