Einleitung

Sortieren

Einführung

Elementare Sortierverfahren

Selection Sort

Selection Sort (Sortieren durch Auswählen) wählt wiederholt das kleinste Element im Feld aus.

Ablauf Man sucht das kleinste Element im Feld und tauscht es mit dem an der ersten Stelle befindlichen Element. Im nächsten Schritt wählt an das zweitkleinste Element und tauscht es mit dem Element an der zweiten Stelle aus. Dieser Vorgang wird sooft wiederholt bis das komplette Feld sortiert ist, also bis das komplette Feld einmal durchlaufen wurde.

Leistungsfähigkeit Selection Sort besitzt im Worstcase und im Average-Case einen quadratischen Aufwand \mathcal O(n^2). Die Ausführung dieses Verfahrens benötigt keinen zusätzlichen Speicherplatz. Der Durchlauf benötigt ca. \frac{n^2}{2} Vergleiche und n Austauschoperationen, da für jedes Feld von 1 bis n-1 jeweils 1 Austausch und insgesamt (n-1)+(n-2)+...+2+1 Vergleiche notwendig sind. Dies ist jedoch unabhängig von den Eingabedaten, abhängig ist nur die Anzahl der Wertwechsel von Minimum. Im Average-Case liegt die Laufzeit dieser Anzahl in \mathcal O(n \log n), so dass man sagen kann, dass die Laufzeit von Selektion Sort relativ unempfindlich gegenüber der Eingabedaten ist.

Insertion Sort

Insertion Sort (Sortieren durch Einfügen) ist flexibler als Selection Sort.

Ablauf Man betrachtet ein Element nach dem anderen und fügt jedes Element an seinem Platz zwischen den bereits betrachteten Elementen (links von ihm) ein. Das Einfügen wird durch Verschieben der größeren Elemente nach rechts realisiert. Das Feld ist vollständig sortiert, wenn das rechte Ende des Feldes erreicht wurde.

Leistungsfähigkeit Die Laufzeit des Insertion Sort ist Abhängig von Inversionen. Inversionen beschreiben den Abstand eines Elementes von dessen Postion nach der Sortierung. Um diesen Abstand zu bestimmen zählt man die Anzahl der Elemente links von betrachteten Element, welche größer sind. Im Bestcase besitzt das Verfahren eine Laufzeit von \mathcal O(1), da das Feld nur einmal durchgegangen werden muss um festzustellen, dass es bereits sortiert ist. Im Average-Case benötigt das Verfahren ca. \frac{n^2}{4} Vergleiche und \frac{n^2}{8} Austausche. Im WorstCase verdoppeln sich diese Anzahlen im Vergleich zum Average-Case.

Bubble Sort

(Sortieren durch Austauschen)

Ablauf Man durchläuft das Feld immer wieder und tauscht benachbarte Elemente, wenn nötig. Das Feld ist sortiert, wenn in einem Felddurchlauf kein Austausch mehr nötig ist.

Leistungsfähigkeit Bei diesem Verfahren ist die Laufzeit abhängig von den Eingabedaten.

• Im Bestcase beträgt sie 1, da nur ein Durchlauf benötigt wird um zu erkennen das die Daten bereits sortiert sind.
• Im Worstcase Fall werden \frac{n^2}{2} Vergleiche und ebenso viele Austauschoperationen benötigt.
• Der Average-Case arbeitet nicht wirklich besser als der schlechteste, eine genaue Analyse ist jedoch schwierig.

Shellsort

Shellsort ist eine Art Erweiterung von Insertion Sort, wobei auch der Tausch von weit entfernten Elementen ermöglicht wird. Die Elemente werden so umsortiert, dass wenn man jedes h-te Element entnimmt ein sortiertes Feld vorliegt, man nennt dies h-sortiert. Das so entstandene Feld besteht aus h unabhängig sortierten Teilfeldern, welche sich überlagern. Durch das Sortieren von großen h wird das sortieren für kleine h erleichtert. Diese Prozedur wird mit einer beliebigen Zahlenliste ausgeführt, wobei die Liste mit 1 enden muss.

Ablauf

Leistungsfähigkeit

Distribution Counting

Für sehr spezielle Situationen:

• "Sortiere eine Datei von n Datensätzen, die nur Schlüssel enthält, deren Werte voneinander verschiedene Zahlen zwischen 1 und n sind." Für dieses Problem kann man sehr leicht einen Algorithmus angeben:

• "Sortiere eine Datei der Größe n, deren Schlüssel ganze Zahlen zwischen 0 und m−1 sind" Falls m nicht zu groß ist, kann die Sortierung mittels Verteilungszählen realisiert werden. Dabei sind mehrere Schleifendurchgänge notwendig:

1. Ein Feld count[] wird mit 0 initialisiert. (Da in Java primitive Typen mit 0 vorbelegt sind, würde dies wegfallen)
2. Dem Wert des Feldes in count[] wird die Anzahl der jeweiligen ganzen Zahlen zugeordnet.
3. Die Zahlen der einzelnen Werte werden aufaddiert.

Diese aufaddierten Werte können nun genutzt werden um das Eingabefeld zu sortieren. Man untersucht das Feld beginnend von hinten (wieder mittels einer Schleife) und setzt den untersuchten Wert jeweils an die Stelle im Feld dessen Index durch count[untersuchter Wert] besitzt. Danach wird der Wert von count[untersuchter Wert] dekrementiert und mit dem nächsten Wert des Eingabefeldes fortgefahren.

Quicksort

Suchen

Einführung

Das Suchen nach Daten ist eine der wichtigsten Aufgaben eines Computers, da es weitere grundlegende Operationen wie das Ersetzen, Löschen oder Ändern von Daten erst ermöglicht. Aufgrund dieser hohen Priorität sind Suchverfahren sehr gut hinsichtlich ihres Aufwandes erforscht. Suchen ist dabei das Finden von Mustern oder Objekten mit bestimmten Eigenschaften in einem Suchraum. Beispiele sind Zeichenketten aus einem Text oder Zahlen aus einer Liste von Zahlen. Betrachtet werden auch die Datenstrukturen, auf welche die Verfahren angewendet werden können (elementare oder effizientere, wie Bäume). Außerdem ist zu prüfen, ob eine Vorsortierung des Suchraumes notwendig, effizienzverbessernd oder unnötig ist. In diesem Kapitel werden verschiedene Suchverfahren mit ihren Aufwänden vorgestellt, von einfachen schrittweisen Suchen und deren Verbesserungen hin zu komplexen Suchvorgängen in Bäumen. Es sei hierbei auf das No-free-Lunch-Theoreme verwiesen, welches besagt, dass es kein universelles Optimierungsproblem angewandt auf alle Problemmengen gibt. Für die Suchalgorithmen bedeutet dies, dass die Suchverfahren für den speziellen Anwendungszweck besser sein können als andere, nicht aber für alle Anwendungsbereiche.

Lineare Suche

Die Lineare oder sequentielle Suche ist nur (effizient) anwendbar auf kleine Suchräume und selten stattfindenen Suchoperationen. Dafür ist sie sehr leicht zu implementieren und auf unsortierte Suchräume anwendbar. Nötig ist ein Element e, welches mit dem Suchschlüssel s verknüpft ist. Dieser kann als Attribut des Elements gewertet werden. Es wird immer nach dem Suchschlüssel gesucht! Bei Zahlen wird der Suchschlüssel meist dem Zahlenwert entsprechen, doch kann beispielsweise einem Buchstabe eine Zahl zugeordnet werden und durch Suche nach einer bestimmten Zahl erhält man den Buchstaben. Bei der Linearen Suche wird nun der Suchraum sequentiell, d.h. Element für Element, betrachtet und der Suchschlüssel mit dem Suchschlüssel des zu suchenden Elements verglichen.

Der Bestcase ist offensichtlich: Das erste Element ist das gesuchte, die Laufzeit liegt in \mathcal O(1). Umgekehrt der Worstcase, wobei keins oder das letzte Element den Suchschlüssel besitzen: \mathcal O(n). Der average-Case lässt sich ebenso leicht bestimmen: Sucherfolg bei der halben Feldlänge, also \frac{n}{2} = 0.5\cdot n=\mathcal O(n). Geht man davon aus, dass jeder Datensatz gleichwahrscheinlich gesucht wird, ergibt sich für den Average-Case ebenfalls die Formel \frac{1}{n}\cdot \sum_{i=1}^{n} i = \frac{n+1}{2}. Das entspricht \mathcal O(n).

Binäre Suche

Die Binäre Suche stellt eine Erweiterung der Linearen Suche dar. Das Ziel war es, die nötigen Vergleichsschritte zu minimieren. Angewandt wird das Verfahren bei häufigen Suchoperationen mit statischem Suchraum, da für die Binäre Suche eine Vorsortierung notwendig ist. Bei der Binären Suche wird der Suchschlüssel des Elements in der Mitte des Suchraumes zum Vergleich herangezogen. Je nach Ergebnis des Vergleiches wurde entweder das gesuchte Objekt gefunden (Laufzeit \mathcal O(1)) oder es wird mit einem der Teilbereiche weitergearbeitet.

Übung: Wie viele Teilungen müssen durchgeführt werden?
Suchraum = {1,2,3,4,5,6,7,8,9,10}, Suchschlüssel = 4

Beim Worstcase muss solange geteilt werden, bis nur noch ein Element im Suchraum vorhanden ist. Wichtigster Teil der Binären Suche ist das Halbieren des Suchraumes, was auch rekursiv definiert werden kann. Mit Hilfe der rekurrenten Beziehung C_N=C_{N/2}+1 mit C_1=0 ist ungefähr \lg N ergibt sich für das Binäre Suchen eine Laufzeit in \mathcal O(\lg n). Da für das Löschen oder Einfügen eines Elementes jedoch das Feld neu sortiert werden muss, d.h. die Zahl der Vertauschungen linear ist (Laufzeit in \mathcal O(n)), ist auch die Binäre Suche noch nicht optimal.

Fibonacci Suche

Dieses Verfahren stellt eine Variation der Binären Suche da und arbeitet nach einer ähnlichen Vorgehensweise. Da die Laufzeit aber nicht besser ist wird es nur in Grundzügen dargestellt. Der Suchraum wird dabei nicht symetrisch geteilt, sondern asymetrisch. Da die Teilbereiche den Suchraum überdecken müssen, muss zumindest der zweite Teil des Suchbereiches berechnet werden. Dies geschieht durch Subtraktion, es ist keine Division mehr notwendig. Die Bildung der Teilbereiche geschieht dabei ebenso wie bei der Binären Suche solange, bis das Element bei der Teilung gefunden wurde beziehungsweise nur noch ein Element in einem Teilbereich vorhanden ist. Durch die Berechnung der Fibonacci-Zahlen wird der Algorithmus nicht nur komplizierter (Stichwort kognitive Effizienz), sondern die Berechnung fließt auch in die Laufzeit mit ein. Der Bestcase ist wie beim Binären Suchen in \mathcal O(1), der Average-Case ergibt sich aus der Berechnung der Fibonacci-Zahlen \mathcal O(\log_{1.618}(n+1))=O(\log_2 n).

Binäre Suchbäume

Die genutzte Datenstruktur wird nun vom Feld in einen Baum geändert. In den Knoten des Baumes werden die Datensätze beziehungsweise die Suchschlüssel abgespeichert. Damit ein Binärbaum ein binärer Suchbaum ist, muss jeder seiner Knoten die Suchbaum-Eigenschaft erfüllen. Diese besagt, dass der Suchschlüssel eines jeden Knotens im linken Teilbaum des betrachteten Knotens kleiner sein muss als der Suchschlüssel des betrachteten Knotens. Ebenso ist der Suchschlüssel des betrachteten Knotens kleiner als alle Suchschlüssel der Knoten im rechten Teilbaum. Die folgenden Abbildungen veranschaulichen die Suchbaum-Eigenschaft.

Ebenfalls wird deutlich, dass eine Reihe von Werten durch mehrere binäre Suchbäume dargestellt werden können, der Unterschied liegt in der Höhe h der Bäume. Ein binärer Suchbaum kann als verkettete Liste implementiert werden, wobei jeder Knoten Verweise auf andere Knoten als Attribute erhält. Nötig sind die Verweise auf die zwei direkten Kinder sowie den Vaterknoten oder Parentnode. Gibt es keinen Kind- oder Vaterknoten, erhält das zugehörige Attribut den Wert NIL. Die Wurzel eines Binärbaumes ist also der Knoten, bei dem das Attribut Vaterknoten den Wert NIL besitzt. Die Laufzeit aller Operationen auf dem Baum ist immer abhängig von seiner Höhe. Für die Suche eines Elements benötigt man maximal \mathcal O(h) Schritte. Besonders gut deutlich wird dies bei der Suche nach dem Maximum oder dem Minimum: Es wird immer am linken Teilbaum entlanggegangen, die Höhe h legt die Schritte fest. Auch Operationen wie das Einfügen oder das Löschen von Datensätzen findet in Abhängigkeit der Baumhöhe statt.

Übung:
Fügen Sie in dem linken der obigen Bäume einen Knoten mit dem Schlüssel 7 ein. Wie viele Schritte sind notwendig?

Interessant zu wissen wäre natürlich die Abhängigkeit der Laufzeit von n. Dies ist aber schwierig zu sagen, da, wie bereits erwähnt, verschiedene Bäume für die gleiche Eingabe möglich sind. So kann im Worstcase (Baum erstellt nach sortierter Eingabe beginnend beim kleinsten Element) die Laufzeit durchaus in \mathcal O(n) liegen (degenerierter Baum). Ziel muss es also sein, möglichst ausbalancierte Bäume zu bekommen. Diese werden in den folgenden Abschnitten vorgestellt.

AVL-Bäume

höhenbalancierte

Rot-Schwarz-Bäume

Um den Worstcase der Binärbäume zu verhinden, entwickelte R. Bayer 1972 die Rot-Schwarz-Bäume. Jeder Knoten besitzt dabei ein zusätzliches Attribut (Bit), durch das seine Farbe beschrieben wird. Diese kann Rot oder Schwarz sein. Die näherungsweise Ausbalancierung wird nun dadurch erreicht, dass ein Pfad von der Wurzel bis zu einem Blatt nur eine festgelegte Färbung besitzen darf. Damit ein Binärbaum ein Rot-Schwarz-Baum ist, muss er folgende Eigenschaften erfüllen.

1. Jeder Knoten ist entweder rot oder schwarz
2. Die Wurzel und jedes Blatt sind schwarz
3. Ist ein Knoten rot, sind seine beiden Kinder schwarz
4. Für jeden Knoten k gilt: Alle Pfade, die an k starten und in einem Blatt des Teilbaums von k enden, besitzen die gleiche Anzahl schwarzer Knoten

Entlang des Pfades von einem Knoten x zu einem Blatt bezeichnet man die Anzahl der schwarzen Knoten als die Schwarzhöhe bh(x). x wird dabei nicht mitgezählt. Die Schwarzhöhe eines ganzen Baumes bezeichnet man als Schwarzhöhe seiner Wurzel. Desweiteren werden Blätter in den Betrachtungen weggelassen, da nur die inneren Knoten die Suchschlüssel enthalten.

Lemma:
Die maximale Höhe für einen Rot-Schwarz-Baum mit n Knoten beträgt 2\cdot \lg(n+1)

Hashing

Extern

Intern

String-Matching

Interpolationssuche

Übungen

Literaturverzeichnis

• Cormen, Thomas; Leiserson, Charles; Rivest, Ronald; Stein, Clifford: Algorithmen, eine Einführung,Oldenbourg Verlag, 2007
• Sedgewick, Robert: Algorithmen, Addison-Wesley, 1992
• Heun, Volker: Grundlegende Algorithmen, Vieweg, 2000
• Mehlhorn, Volker: Datenstrukturen und effiziente Algorithmen Band 1 Sortieren und Suchen, B. G. Teubner Stuttgart, 1988

Kontakt

Sollten während der Nacharbeitung der Vorlesung Fragen auftreten, können diese gern gestellt werden.

Dana Müller

Robert Stricker