Probabilistische Algorithmen SS11
Inhaltsverzeichnis |
Einleitung
Probabilistische Algorithmen werden auch randomisierte oder stochastische Algorithmen genannt. Das Ergebnis dieser Art von Algorithmen ist vom Zufall abhängig. Sie bringen oft eine Effiziensverbesserung mit sich, da Entscheidungsfragen zufällig beantwortet werden, bei denen die Zeit zur Berechnung des korrekten Resultates untragbar lang wäre. Probabilistische Algorithmen können sich, mehrfach auf ein und dasselbe Problem angewandt, unterschiedlich verhalten. Die Ausführungszeiten und die Ergebnisse können teilweise deutlich voneinander abweichen.
Um probabilistische Algorithmen zu erstellen werden Zufallszahlen benötigt. Diese werden mit Hilfe von Generatoren erstellt.
Pseudozufallszahlen
Definition von Zufallszahlen:
Spricht man von Zufallszahlen so meint man in diesen Sinne eine Zahl die man nicht vorhersehen kann und die keinem Bildungsgesetz unterliegt.Im Duden findet man daher auch folgende Definition . „Eine Zahl ,die rein statistisch(zufällig) aus einer Menge von Zahlen herausgegriffen wird .Eine (unendliche ) Folge von Zahlen ohne (algorithmisches) Bildungsgesetz heißt Zufallszahlenfolge.“
Als kleines Beispiel dafür kann man Eine Münze als sehr einfachen Zufallsgenerator sehen der entweder Kopf = 1 , oder Zahl = 0 ausgibt.
20 Münzwürfe hintereinander :
(1) 1.1.1.1.1.1.0.0.1.0.0.1.1.0.0.0.0.1.1.0 hierbei ist kein Bildungsgesetz zu erkennen
Somit hat man eine Reihe von „echten Zufallszahlen „ erschaffen.
Im Gegensatz zur „echten Zufallszahlen „ sind „Pseudozufallszahlen „ deterministisch erzeugte Zahlen die den Anschein erwecken sollen sie seien rein zufällig gewählt worden. Da in einem deterministischen Algorithmus jeder Schritt fest bestimmt ist , kann die Zahl von vorn herein bestimmt werden und ist somit nicht zufällig.
Bei probabilistischen Algorithmen spielen Zufallszahlen eine besondere Rolle. Höhere Programmiersprachen verfügen über Sprachelemente für Zufallszahlen. In Java gibt es beispielsweise die Klasse Random. Es wird eine natürliche Zahl n als Argument erwartet. Die Ausgabe ist eine natürliche Zahl r mit 0 \le r < n. Die Transformation in ein abgeschlossenes Intervall [a,b] natürlicher Zahlen lässt sich leicht bewerkstelligen. Wie folgendes Beispiel zeigt.
Die Erzeugnung von Zahlen nach obigen Beispiel erfolgt jedoch nicht rein zufällig. Sie werden deterministisch berechnet d.h. es gibt Prozduren, die in der Lage sind, lange Folgen von Werten zu generieren, die scheinbar die Eigenschaften zufälliger Folgen haben.
Ein Verfahren zum erzeugen von Zufallszahlen ist die Kongruenzmethode, die 1948 von D. H. Lehmer entwickelt wurde. Ausgehend von einem Startwert, dem sogenannten Seed wird folgende rekursive Vorschrift angewand.
z_{n} = (a * z_{n-1} + b) mod c
dabei sind
- a ein Multiplikator, der eine möglichst große Primzahl sein sollte
- b eine Konstante (im Fall von c = 0 spricht man von multiplikativer Kongruenz)
- c ist das Argument der Modulo Funktion und sollte möglichst einen hohen Wert besitzen, da es die Länge der Zahlenfolge angibt
Dabei ist zu beachten, dass der selbe Seed immer die selbe Zahlenfolge liefert. Um unterschiedliche Folgen zu erhalten ist es notwendig unterschieliche Seeds zu wählen. Oftmals wird der Seed in Abhängigkeit der Tageszeit gewält.
Kongruenzmethode in abhängigkeit der Systemzeit:
Numerische probabilistische Algorithmen
Algorithmen dieser Art produzieren eine Näherungslösung mit wählbarer Genauigkeit.
Ein Beispiel für diese Klasse von Algorithmen ist die Bestimmung einer Näherung für die Zahl \pi durch "Zufallsregen".
Es wird angenommen, dass jeder Punkt im Quadrat exakt dieselbe Wahrscheinlichkeit hat, von einem Tropfen getroffen zu werden. Ist der Radius des Kreises r, so ist seine Fläche \pi r^2, wobei die Fläche des Quadrats 4r^2 ist. Somit ist der durchschnittliche Anteil der Tropfen, die innerhalb des Kreises landen, \pi r^2 / 4r^2 = \pi / 4. Damit kann \pi mit \pi \approx 4 k / n geschätzt werden.
Codebeispiel eines Algorithmus, der mit "Zufallsregen" arbeitet. Je höher n gewählt wird umso genauer lässt sich \pi abschätzen.
Ein weiteres bekanntes Beispiel für diese Klasse von Algorithmen, die "Zufallsregen" verwenden ist die numerische Integration.
Las Vegas Algorithmus
Grundlage:
Ein solcher Algorithmus (randomisierter Algorithmus ) folgt dem einfachen Prinzip immer ein richtiges Ergebnis auszugeben. So erklärt sich der Name des Las Vegas Algorithmus aus der Tatsache das Casinos immer gewinnen (bezogen auf ein korrektes Ergebnis). Es kann jedoch der Fall eintreten das die Zufallssteuerungen in Sackgassen(nicht zulässige Ergebnissen ) landen. In diesen Fall gibt es kein Ergebnis. Dies kann aber durch wiederholen des Algorithmus mit einer neuen Zufallszahl auf ein richtiges Ergebnis kommen. Das Bedeutet es ist extrem Unwahrscheinlich das nach einer bestimmten Anzahl von Versuchen kein Ergebnis Eintritt.
Analyse des Aufwands:
Im Fall der Las Vegas Algorithmen muss man von der Möglichkeit ausgehen das eine Anzahl n von versuchen benötigt wird um ein richtiges Ergebnis auszugeben. Um nun den Zeitaufwand t(x) zu berechnen , brach man die Variablen success(x) im Fall des erfolgreichen Findens eines Ausgabewertes und failure(x) im Fall keines Erfolgreichen Ergebnisses. Des weiteren muss noch die Zeit eingerechnet werden ,die gebraucht wird um aus einer „Sackgasse“ wieder raus zukommen ,bezeichnet mit der Variable p(x) . Man geht bei p(x) von 0 < p(x) < 1 aus.
Gleichung:
t(x)=p(x) \cdot success(x)+(1-p(x)) \cdot (failure(x)+t(x))Beispiel:
Monte-Carlo-Algorithmen
Algorithmen dieser Art geben mit hoher Wahrscheinlichkeit das korrekte Ergebnis aus. Können sich jedoch gelegentlich irren. Irren bedeutet hier das Ergebnis ist falsch und nicht "knapp daneben". Im Falle eines Fehlers liefert der Algorithmus ülicherweise keine Warnung. Dies nimmt man jedoch in Kauf um Probleme zu lösen, die sonst nur schwer oder in keiner angemessenen Zeit gelöst werden könnten.
Ein Monte-Carlo-Algorithmus wird p-korrekt genannt, wenn er eine richtige Lösung mit einer Wahrscheinlichkeit nicht kleiner als p liefer. Dabei ist p eine reele Zahl mit 1/2 < p < 1. Desweiteren wird von einem konsistenten Algorithmus gesprochen, wenn er nie zwei verschiedene richtige Lösungen für dasselbe Problem liefert.
Es gibt auch Monte-Carlo-Algorithmen, welche nicht nur den zu lösenden Fall als Argument akzeptieren, sondern auch eine obere Schranke für die zulässige Wahrscheinlichkeit eines Fehlers. Die benötigte Rechenzeit lässt sich dann als Funktion der Größe des zu bearbeitenden Falls und des Kehrwerts der zulässigen Fehlerwahrscheinlichkeit ausdrücken.
Um die Erfolgswahrscheinlichkeit eines Monte-Carlo-Algorithmuses heraufzusetzen muss er nur mehrmals ausgeführt werden und anschließend das häufigste Ergebnis ausgewählt werden.
Äquivalenz zweier Multimengen
Ein Beispiel für einen Monte-Carlo-Algorithmus ist der Test zweier Multimengen auf Äquivalenz. In Multimengen können mehrere gleiche Elemente enthalten sein. Im Beispiel werden Multimengen betrachtet, deren Elemente natürliche Zahlen aus [1, k] (mit k \in N) sind.
zum Beispiel:
- M_1 = \lbrace 2,3,4,2,2,3 \rbrace
- M_2 = \lbrace 3,4,2,3,2,2 \rbrace
- M_3 = \lbrace 3,4,2,3,3,2 \rbrace
Der klassische Weg eine Entscheidung über die Äquivalenz der Multimengen zu treffen, wäre sie zu sortieren und anschließend elementweise zu vergleichen. Dies kostet jedoch im Mittel O~(n~log~n). Mit einem probabilistischen Algorithmus ist man in der Lage das Problem in \theta~(n) zu lösen.
Dazu wird der Multimenge M_1~=~(x_1,x_2,~...~,x_n) ein Polynom p_m_1 mit p_m_1(x)~=~(x~-~x_1)(x~-~x_2)~...~(x~-~x_n) und
der Multimenge M_2~=~(y_1,y_2,~...~,y_n) ein Polynom p_m_2 mit p_m_2(x)~=~(x~-~y_1)(x~-~y_2)~...~(x~-~y_n) zugeordnet.
Die (evtl. mehrfachen) Nullstellen von p_m_1~(x) heißen x_1,x_2,~...~,x_n und die von p_m_2~(x) sind y_1,y_2,~...~,y_n. Diese Darstellung ist für jede ganzrationale Funktion eindeutig. Demzufolge gilt M_1~\equiv~M_2 genau dann wenn p_m_1~(x)~=~p_m_2(x).
Mit folgendem Code kann der Polynomwert einer Multimenge bestimmt werden.
Berechnet und vergleicht man nun die Polynomwerte zweier Multimengen mit einer beliebiegen Testzahl x' und erhält verschiedene Werte für p_m_1~(x') und p_m_1~(x') so weiß man definitiv das M_1~\not\equiv~M_2 .
Um das Gegenteil zu beweisen wählt man zum Berechnen das Polynomwertes ein zufälliges x. Weiterhin wiederholt man den Test bei Erfolg mehrere Male. Somit ist es möglich, dass richtige Ergebnis mit hoher Wahrscheinlichkeit zu erhalten.
Primzahltest von Solovay und Strassen
Dieser Test wurde 1977 entwickelt und findet heute vor allem in der Kryptographie Anwendung, da er Geschwindigkeitsvorteile gegenüber derterministischen Tests mit sich bringt. Bis 2002 existierte kein deterministischer Algorithmus der in der Lage war in polynominellem Zeitaufwand eine Zahl auf ihre Primzahleigenschaften zu testen.
Es wird zuerst zufällig ein a < n mit ggt(a,n) = 1 gewählt. Anschließend berechnt man die Jacobi-Funktion, die wie folgt definiert ist.
Wie das Beispiel zeigt kann die Jacobi-Funktion nur die Werte +1 oder -1 annehmen.
vollständigen Java Code
Nun gilt folgender Satz:
Wenn n eine Primzahl ist, dann gilt für alle a \in N (mit 1 \le a \le n - 1 und ggT(a,n) = 1):
J(a,n) \equiv a \frac{n-1}{2} mod~n.
Quellen
- Christian Wagenknecht: Algorithmen und Komplexität, Fachbuchverlag Leipzig, 2003,
- Brassard, Gilles; Bratley, Paul: Algorithmik: Theorie und Praxis, Attenkirchen: Wolfram, 1993