Einführung

Eine Prioritätswarteschlange ist eine spezielle abstrakte Datenstuktur und, wie der Name bereits vermuten lässt, eine erweiterte Variante einer Warteschlange(queue). Die Elemente der Warteschlange haben Schlüssel, die ihre Priorität bestimmen. Prioritätswarteschlangen lassen sich mit verschiedenen Datenstrukturen implementieren. Hier werden sie anhand von Heaps vorgestellt.

Amortisierte Laufzeitanalyse

Eine amortisierte Laufzeitanalyse betrachtet die mittlere Laufzeit pro Operation über eine Sequenz von Operationen. Im Gegensatz zur bisher verwendeten Laufzeitanalyse wird also nicht nur der Worst Case betrachtet. Es ist möglich, dass dieser zwar eine sehr schlechte Laufzeit hat, aber nur wenige Male im Ablauf des Algorithmus vorkommt. Alle anderen Fälle können dagegen sehr günstig sein. Durch diese Alternative Betrachtung kommt es oft zu einer besseren oberen Schranke für die Laufzeit.

Es gibt drei unterschiedliche Methoden:
Aggregat-Methode Zeigt, dass eine Sequenz von n (beliebigen) Operationen für alle n im worst case Zeit T(n) benötigt. Damit sind die mittleren (amortisierten) Kosten pro Operation T(n)/n. Diese amortisierten Kosten gelten für jede Operation, auch wenn in der Sequenz verschiedene Operationstypen auftreten.

Account-Methode Verschiedenen Operationen werden verschiedene Kosten zugeordnet, diese können auch größer oder kleiner als die tatsächlichen Kosten sein. Übersteigen die amortisierten Kosten die tatsächlichen, wird die Differenz speziellen Objekten in der Datenstruktur als Kredit zugewiesen. Dieser kann später verwendet werden, wenn die tatsächlichen Kosten höher als die amortisierten sind. Dabei ist zu beachten, dass der Gesamtkredit niemals negativ sein darf.

Potenzial-Methode Verschiedenen Operationen werden verschiedene Kosten zugeordnet, diese können auch größer oder kleiner als die tatsächlichen Kosten sein. Hier wird die Differenz zwischen amortisierten und tatsächlichen Kosten der Datenstruktur als Ganzes in Form eines Potenzials zur Verfügung gestellt. Dieses wird bei Operationen benötigt, deren Kosten höher sind als die amortisierten. Eine Potentialfunktion bildet jede Datenstruktur auf eine reelle Zahl ab, die dem Potenzial entspricht. Diese Potentialfunktion ist zu Beginn immer gleich 0, danach nie negativ.

Normale Warteschlangen

Prozess des hinzufügens und herausnehmens von Elementen aus einer Warteschlange

Anwendung findet die normale Warteschlange vor allem bei verteilten Systemen bei bei der Synchronisation von Prozessen/Threads. Dies lässt sich am Beispiel der Warteschlange bei Druckaufträgen vorstellen. Wenn ein Druckauftrag gesendet wurde, der Drucker jedoch bereits in benutzung ist, so wird der Druckauftrag in eine Warteschlange gesteckt. So kann der Drucker die anstehenden Aufträge seriell abarbeiten, ohne, dass der Nutzer warten muss bis der Drucker wieder frei ist.

Eine gute Analogie, um die normalen Warteschlangen zu beschreiben ist "Wer zuerst kommt mahlt zuerst" (oder in unserem Beispiel "druckt zuerst").

Benötigte Methoden

Um mit normalen Warteschlangen arbeiten zu können benötigt man mindestens zwei Methoden:

• Enqueue: Zum Hinzufügen neuer Elemente.
• Dequeue: Zum Herausnehmen des "ersten" Elements.

Binäre Heaps

Zum besseren Verständis beim Umgang mit Heaps wird der Heapsort Algorithmus erläutert. Ein binärer Heap kann als ein fast vollständiger binärer Baum angesehen werden. Jeder Knoten entspricht dabei einem Element des Feldes. Die niedrigste Ebene des Baumes ist von links her bis zu einem bestimmten Punkt, der Rest vollständig gefüllt. Ist A ein Feld, dass einen Heap repräsentiert, dann hat es zwei Eigenschaften: länge[A], die Anzahl der Elemente des Feldes, und heap-größe[A], die Anzahl der Elemente im Heap. Es ist also kein Element hinter A[heap-größe(A)] mit heap-größe[A] \leq länge[A] ein Element des Heaps. Die Wurzel des Baumes ist A[1]. Bei gegebenem Index i lassen sich die Indizes des Vaters Vater(i) und die des rechten und linken Kindes Right(i), bzw. Left(i) berechnen.

Vater(i)
\lfloor return' i/2 \rfloor

Right(i)
return 2i

Left(i)
return 2i+1

Die Höhe eines Knoten ist als die Anzahl der Kanten des längsten einfachen absteigenden Pfades zu einem Blatt definiert. Die Höhe des Heaps ist die Höhe seiner Wurzel. Ein Heap mit n Elementen hat die Höhe \theta(lg n), da er auf einem vollständigen binären Baum basiert.

Arten binärer Heaps

Es gibt zwei Arten binärer Heaps: Max-Heaps und Min-Heaps. Beide erfüllen eine spezifische Heap-Eigenschaft. Die Max-Heap-Eigenschaft besteht darin, dass für jeden Knoten i außer der Wurzel gilt: A[Vater(i)] \geq A[i], d.h. der Wert eines Knotens ist stets höchstens so groß, wie der seines Vaters. In einem Max-Heap liegt das größte Element also in der Wurzel.

Ein Min-Heap ist entgegengesetzt aufgabaut. Hier gilt: A[Vater(i)] \leq A[i]. Hier liegt in der Wurzel das kleinste Element. Für Heapsort werden Max-Heaps verwendet, für Prioritätswarteschlangen Min-Heaps.

Grundlegende Operationen

Max-Heapify

Sorgt für die Aufrechterhaltung der Heap-Eigenschaft. Erhält ein Feld A und einen Index i. Es wird angenommen, dass die Bäume, die von Left(i) und Right(i) ausgehen die Max-Heap-Eigenschaft erfüllen, A[i] dagegen kann kleiner als seine Kinder sein, was die Heap-Eigenschaft verletzen würde. Max-Heapify lässt den Wert von A[i] im Heap nach unten sinken, sodass der von i ausgehende Teilbaum zu einem Max-Heap wird.

Max-Heapify(A,i)
l\leftarrowLeft(i)
r\leftarrowRight(i)
if l \leq heap-größe[A] und A[l] > A[i]
  then maximum \leftarrow l
  else maximum \leftarrow i
if r \leq heap-größe[A] und A[r] > A[maximum]
  then maximum \leftarrowr
if maximum \neq i
  then vertausche A[i] \leftrightarrow A[maximum]
       Max-Heapify(A,maximum)

Abbildung

Laufzeit

Die Laufzeit setzt sich zusammen aus \Theta(1) um die Beziehungen zwischen A[i], A[Left(i)] und A[Right(i)] zu bestimmen, sowie der Zeit für die Ausführung von Max-Heapify auf einen von i ausgehenden Teilbaum. Die von den Kindern ausgehenden Teilbäume haben höchstens die Größe \frac{2n}{3}. Der schlechteste Fall tritt ein, wenn die letzte Ebene des Baumes exakt halb gefüllt ist. Die Rekursionsgleichung T(n) \leq T(\frac{2n}{3})+\Theta(1) beschreibt die Laufzeit von Max-Heapify. Nach dem Mastertheorem ist die Lösung T(n)=O(lg (n)). Die Laufzeit auf einen Knoten der Position h kann auch mit O(h) angegeben werden.

Build-Max-Heap erzeugt einen Max-Heap aus einem ungeordneten Feld O(n)

Build-Heap

Um ein Feld A[1..n] mit n=länge[A] in einen Max-Heap zu überführen kann die Prozedur Max-Heapify bottom-up angewendet werden. Alle Elemente im Teilfeld A[(\lfloor \frac{n}{2} \rfloor +1)..n] sind Blätter des Baumes, daher sind sie zu Beginn einelementige Heaps. Build-Max-Heap durchläuft alle übrigen Knoten und führt dort Max-Heapify aus.

Build-Max-Heap(A)
heap-größe[A] \leftarrow länge[A]
for i \leftarrow \lfloorlänge[A]/2 \rfloor  downto 1
   do Max-Heapify(A,i)

Eine obere Schranke für die Laufzeit von Build-Max-Heap lässt sich grob abschätzen. Max-Heapify kostet Zeit O(lg n) und wird O(n) mal aufgerufen. Die dadruch abgeschätzte Schranke O(n lg n) ist allerdings nicht sehr genau. Um eine schärfere Schranke herzuleiten nutzt man aus, dass die Laufzeit von Max-Heapify mit der Höhe des Knotens variiert und dass die Höhe meißtens klein ist. Ein n-elementiger Heap hat die Höhe \lfloor lg n \rfloor und es gibt höchstens \lceil n/2^{h+1} \rceil Knoten mit Höhe h. Da die Zeit von Max-Heapify auf einen Knoten der Höhe h O(h) ist, kann für Build-Max-Heap die obere Schranke

angegeben werden. Sei x=1/2, dann ist

Damit kann man die Laufzeit durch O (n \sum\limits_{h=0}^{\lfloor lg n \rfloor} \frac{h}{2^{h}} = O(\sum\limits_{h=0}^{\infty}\frac{h}{2^{h}} = \frac{1/2}{(1-1/2)^{2}}) =O(n) abschätzen.

Übungsaufgaben

• Mastertheorem Anwendung für die Rekursionsgleichung von Max-Heapify (T(n) \leq T(\frac{2n}{3})+\Theta(1))

Allgemeine Form des Mastertheorems:
T(n) = a \sdot T(\textstyle \frac{n}{b}) + f(n)

• Was ist die maximale und minimale Anzahl von Elementen in einem Heap der Höhe h?

• In einem max heap, wo befindet sich das kleinste element, wenn alle paarweise verschieden sind?

• Ist [5,4,1,3,2] ein max heap?

• Was macht Max-Heapify(A,i), wenn A[i] größer als seine Kinder ist

Prioritätswarteschlangen

Wie bei Heaps gibt es auch hier zwei Varianten Max-Prioritätswarteschlangen und Min-Prioritätswarteschlangen. Im folgenden werden Min-Prioritätswarteschlangen verwendet.

Prioritätswarteschlange

Eine Prioritätswarteschlange ist eine Datenstruktur für die Speicherung einer Menge S, deren Elementen jeweils ein Wert zugeordnet ist, den man als Schlüssel bezeichnet.

Grundoperationen

decrease-key(S,x,k)

Verringert den Wert des Schlüssels von Element x auf den neuen Wert k. Da so die Heap-Eigenschaft verletzt werden kann, dürchläuft die Prozedur anschließend vom Knoten i beginnend den Heap bis zur Wurzel um die richtige Position zu finden.

decrease-key(S,i,k)
if k > A[i]
then return "neuer Schlüssel ist größer als der aktuelle Schlüssel"
A[i]\leftarrowk
while i > 1 und A[Vater(i)] > A[i]
    do A[i]\leftrightarrowA[Vater(i)]
      i\leftarrowVater(i)

Laufzeit auf einem Heap mit n Elementen ist O(lg n), da der Pfad vom Knoten i bis zur Wurzel die Länge O(lg n) hat.

Insert(S,x)

Fügt das Element x in die Menge S ein. Die Operation kann als S \leftarrow S \bigcup {x} geschrieben werden. Zunächst wird der Heap erweitert, indem ein neues Blatt mit dem Platzhalter Schlüssel "X" eingefügt wird. Anschließend wird mittels Heap-Decrease-Key der korrekte Schlüssel eingefügt und gegebenenfalls die Heap-Eigenschaft wiederhergestellt,

Insert(S,x)
heap-größe[A]\leftarrowheap-größe[A]+1
A[heap-größe[A]]\leftarrowX
Heap-Decrease-Key(A,heap-größe[A],x)

Laufzeit auf einem Heap mit n Elementen ist O(lg n).

Minimum(S)

gibt das Element mit dem kleinsten Schlüssel zurück

Minimum(s)
return A[1]

Laufzeit trivial \theta(1).

Extract-Min(S)

entfernt das kleinste Element und gibt es zurück

Extract-Min(S)
if heap-größe[S]<1
  then return "Heap Unterlauf"
min\leftarrowS[1]
S[1]\leftarrowS[heap-größe(S)]
heap-größe(S)\leftarrowheap-größe(S)-1
Min-Heapify(S,1)
return min

Die Laufzeit von Extract-Min(S) ist O(lg n), da zusätzlich zu Min-Heapify nur eine konstante Zeit kommt.

Übung

Extract-Min([Heap])

Insert(H,10) A=[]

Adressierbare Prioritätswarteschlangen

Die Struktur binärer Heaps ist zu unflexibel für die Implementierung adressierbarer Prioritätswarteschlangen, daher werden hierfür andere Formen von Heaps verwendet. Diese versprechen schnellere Laufzeiten für insert, decreaseKey, remove und merge. Durch diese Operationen können sehr schlecht struktuierte bäume entstehen, daher werden bei einigen Varianten zusätzliche rebalancing Methoden verwendet. Der Einzelne binäre Baum wird ersetzt durch eine Sammlung von Bäumen (einem sogenannten Wald) mit willkürlicher Struktur. Dabei erfüllen die einzelnen Bäume natürlich immernoch die Heap-Eigenschaft. Weiterhin wird ein Zeiger auf jedes Heap Element im Speicher behalten. Dabei zeigt minPtr auf das kleinste Element. Der Wald wird mit drei Operationen verwaltet: Einen neuen Baum hinzufügen, zwei Bäume verbinden und einen Teilbaum abschneiden.

Binominal Bäume

Im Gegensatz zu Binären-Heaps können Binomial-Heaps effizient vereinigt werden. Alle Operationen lassen sich mit einer Worst-Case-Laufzeit von O(log n) implementieren. Die Bäume eines Binomial-Heaps sind rekursiv definiert.

• Ein Binomial-Baum der Ordnung 0 besteht aus einem einzelnen Knoten.
• Ein Binomial-Baum der Ordnung k besitzt eine Wurzel mit Grad k deren Kinder genau die Ordnung k-1, k-2, ..., 0 (in dieser Reihenfolge) besitzen.

Damit lässt sich ein Binomial-Baum der Ordnung k leicht aus zwei Binomial-Bäumen der Ordnung k-1 erstellen. Dabei wird einer der beiden Bäume zum am weitesten links stehenden Kind des anderen gemacht. Daraus lässt sich ableiten, dass ein Binomial-Baum der Ordnung k genau 2^{k} Knoten und Höhe k hat.

Operationen

merge(H1,H2)

Die Verschmelzung zweier Heaps ist die zentrale Operation bei binomial-Heaps, da sie bei allen anderen Operationen aufgerufen wird. Dazu werden simultan die Listen der beiden Heaps beginnend bei den Bäumen niedrigster Ordnung durchlaufen. In einer speziellen Variablen wird – ähnlich der bitweisen Addition – ggf. ein Übertrag (in Form eines Baumes) festgehalten. Anfangs ist dieser Übertrag leer. Sei x die höchste Binärstelle von n_{1}+n_{2} ungleich 0, das heißt x=log_{2}(n_{1}+n_{2}+1)-1. Zu jeder natürlichen Zahl k mit 0\leq k\leq x wird nun in aufsteigender Reihenfolge die Anzahl der Bäume mit Ordnung k in beiden Heaps und in der Übertragsvariablen betrachtet. Ist diese

• 0 es passiert nichts.
• 1 der entsprechende Baum wird in den neuen Heap übernommen und der Übertrag geleert.
• 2 der Baum mit dem größeren Schlüssel in der Wurzel wird zum am weitesten links stehenden Kind des anderen Baumes gemacht. Der entstehende Baum mit Ordnung k+1 wird als Übertrag behalten.
• 3 der Baum aus dem Übertrag wird in den neuen Heap übernommen und von den beiden Bäumen in den Heaps wird der Baum mit dem größeren Schlüssel in der Wurzel zum am weitesten links stehenden Kind des anderen Baumes. Der entstehende Baum mit Ordnung k+1 wird als Übertrag behalten.

Jeder dieser Schritte lässt sich in konstanter Zeit durchführen. merge(H1,H2) benötigt maximal logarithmische Zeit, da maximal \log_2(n_1+n_2+1) derartige Schritte getätigt werden.

remove(H,k)

Der Wert von k wird mittels decreaseKey zum kleinsten Element im Heap gemacht und anschließend mit extractMin(H) gelöscht.

insert(H,k)

Erzeugt einen neuen Heap, der nur k enthält. Dieser wird mit merge(H,k) mit dem Heap verbunden. Durch merge ist die Laufzeit O(log n). Die amortisierte Laufzeit ist O(1).

extractMin(H)

Die kleinste Wurzel wird gesucht und mit remove(H,min) entfernt und zurückgegeben. Die dadurch entstehenden Teilbäume werden zu einem neuen Heap H'. Dieser wird mit merge(H,H'). Da jeder Baum maximal log n Kinder hat, benötigt das Anlegen des neuen Heaps eine Zeit von O(log n). Das Zusammenfügen geschieht ebenfalls in Zeit O(log n). Die Laufzeit für extractMin(H) ist damit O(log n).

decreaseKey(H,k,x)

Der Schlüssel k wird zunächst entfernt und anschließend mit dem neuen Wert x wieder eingefügt. Die Laufzeit ist O(log n), da ein binomial Baum die maximale Höhe log n hat.

Übung

Laufzeit von remove?

Pairing-heaps

Fibonacci Heaps haben zwei Schwächen. Ihre Implementierung ist sehr kompliziert und sie haben sich in der Praxis als weniger effizient erwiesen, als theoretisch schwächere Formen von Heaps. Dies ist darauf zurückzuführen, dass sie in der einfachsten Variante Speicher für vier Zeiger pro Knoten benötigen. Im vergleich dazu werden sonst nur zwei bis drei Zeiger verwendet. entwickelt um fibonacci heaps in theorie und praxis zu schlagen komplette analyse felht bisher

Pairing Heaps sind eine selbstverwaltende Variante der binomialen Heaps. Es wird angenommen, dass sie theoretisch genauso Effizient sind, wie Fibonacci Heaps. Dies wurde jedoch bisher nicht bewiesen. Die beste Analyse im Orginalpaper liefert eine Zeit von O(log n) für jede Heap Operation wichtigste operation ist delete min, da nur hier die heapsturktur gewartet wird. andere operationen: make heap(h) neuer leerer baum h find min(h) return root insert x,h) x wird einelementiger baum + linken mit h meld(h1,h2) linken h1, h2 decrease key(i,x,h) subtrahiere i vom schlüssel von element x. wenn x nicht die wurzel ist: schneide kante, die x mit vater verbindet ab und linke di ebeiden bäume delete(x,h) ist x die wurzel von h, delete min(h) sonst kante, die x mit vater verbindet abschneiden, x baum delete min, linken Die zugrunde liegende Datensturktur ist ein Binärbaum. Jeder Knoten hat einen linken Zeiger, der auf das erste Kind zeigt und einen rechten Zeiger, der auf den nächstgrößeren Knoten zeigt. Damit decrease key und delete effizient sind wird ein dritter Zeiger benötigt, der auf den Vaterknoten zeigt. Dieser Zeiger kann eingespart werden, indem man einen Zeiger auf das linke Kind und einen auf den rechten Geschwisterknoten, bzw. den Elternknoten richtet. Dies geschieht auf Kosten einen konstanten Faktors in der Laufzeit.

make heap, find min, insert, meld und drecrease key haben O(1) worst case delete braucht O(1)+ delete min -> delete und delete min sind die einzigen, die in nicht konstanter zeit laufen delete min in heap eigenschaft erfüllendem baum wurzel löschen, entsteht eine gruppe heaps (erfüllen eigenschaft), linken der einzelnen bäume zu einem neuen reihenfolge ist wichtig wie man die kombination auch gestaltet, /theta(n) worst case grenze, da jeder n-knotige baum, speziell der mit wurzel und n-1 knoten durch eine reihe von O(n) make tree, insetr und meld operationen aufgebaut werden kann eine amortisierte laufzeit von O(log n) ist möglich primitive variante: einen baum auswählen und die anderen einen nach dem anderen linken benötigt /theta(n) zeit schnellere variante 1. durchlauf bäume zu paaren linken 2. dl bäume mit einem ausgewählten linken sind paare beim ersten durchlauf schlecht gewählt ist \theta(sqrt(n)) amortisierte zeit möglich bild 6 zeigt, dass es möglich ist insert, gefolgt von delete min in omega srt n zeit, dabei wird heap sturktur wiederhergestellt analyse liefert O(sgrt n) amortisierte obere schrnake -> besser als primitive lösung obere schranke berechnen \tbd s6 technik sleator

varianten optional ab s13

Fibonacci-Heaps

Ein Fibonacci-Heap besteht aus einer Liste von Bäumen mit geordneten Nachfolgern, deren Knoten Schlüssel und möglicherweise eine Markierung enthalten. Der Schlüssel wird hierbei als Priorität gesehen. Wie bei allen anderen Heaps muss die Heap-Eigenschaft vorhanden sein.

Ein Fibonacci-Heap wird normalisiert genannt, wenn alle Bäume unterschiedliche Wurzelränge (Prioritäten) haben.

Besonderheit

Im Gegensatz zu anderen Heaps weisen die Fibonacci-Heaps eine besondere Struktur auf. Diese Besonderheit war ebenfalls namensgebend.

Die Zahlen der Folge repräsentieren bei den Fibonacci-Heaps die Anzahl der Knoten.

Aufbau der Fibbonacci-Heaps illustriert anhand der Anzhal der Knoten

Benötigte Methoden

Fibonacci-Heaps unterstützen die Operationen:

• insert: Einfügen eines Elementes.
• remove: Entfernen eines Elemente.
• Min: Finden des Elements mit dem minimalen Schlüssel.
• extractMin: Rückgabe und Entfernen eines Elementes mit minimalem Schlüssel (In einem Min-Heap entspricht dies der höchsten Priorität).
• decreaseKey: Verringern des Schlüssels eines Elementes.
• merge: Verschmelzen zweier Heaps.

insert

remove

Min

extractMin

decreaseKey

merge

Laufzeiten

(*)Amortisierte Kosten. Worst-Case ist O(n)

Beispiel-Anwendung

• Simulation eines Fibonacci-Heaps (Java-Applet)