Probabilistische Algorithmen SS11

Einleitung

Probabilistische Algorithmen werden auch randomisierte oder stochastische Algorithmen genannt. Das Ergebnis dieser Art von Algorithmen ist vom Zufall abhängig. Sie bringen oft eine Effiziensverbesserung mit sich, da Entscheidungsfragen zufällig beantwortet werden, bei denen die Zeit zur Berechnung des korrekten Resultates untragbar lang wäre. Probabilistische Algorithmen können sich, mehrfach auf ein und dasselbe Problem angewandt, unterschiedlich verhalten. Die Ausführungszeiten und die Ergebnisse können teilweise deutlich voneinander abweichen.

Um probabilistische Algorithmen zu erstellen werden Zufallszahlen benötigt. Diese werden mit Hilfe von Generatoren erstellt.

Pseudozufallszahlen

Definition von Zufallszahlen:

Spricht man von Zufallszahlen so meint man in diesen Sinne eine Zahl die man nicht vorhersehen kann und die keinem Bildungsgesetz unterliegt.Im Duden findet man daher auch folgende Definition . „Eine Zahl ,die rein statistisch(zufällig) aus einer Menge von Zahlen herausgegriffen wird .Eine (unendliche ) Folge von Zahlen ohne (algorithmisches) Bildungsgesetz heißt Zufallszahlenfolge.“

Als kleines Beispiel dafür kann man Eine Münze als sehr einfachen Zufallsgenerator sehen der entweder Kopf = 1 , oder Zahl = 0 ausgibt.

20 Münzwürfe hintereinander :

(1) 1.1.1.1.1.1.0.0.1.0.0.1.1.0.0.0.0.1.1.0 hierbei ist kein Bildungsgesetz zu erkennen

Somit hat man eine Reihe von „echten Zufallszahlen „ erschaffen.

Im Gegensatz zur „echten Zufallszahlen „ sind „Pseudozufallszahlen „ deterministisch erzeugte Zahlen die den Anschein erwecken sollen sie seien rein zufällig gewählt worden. Da in einem deterministischen Algorithmus jeder Schritt fest bestimmt ist , kann die Zahl von vorn herein bestimmt werden und ist somit nicht zufällig.

Bei probabilistischen Algorithmen spielen Zufallszahlen eine besondere Rolle. Höhere Programmiersprachen verfügen über Sprachelemente für Zufallszahlen. In Java gibt es beispielsweise die Klasse Random. Es wird eine natürliche Zahl n als Argument erwartet. Die Ausgabe ist eine natürliche Zahl r mit 0 \le r < n. Die Transformation in ein abgeschlossenes Intervall [a,b] natürlicher Zahlen lässt sich leicht bewerkstelligen. Wie folgendes Beispiel zeigt.

Die Erzeugnung von Zahlen nach obigen Beispiel erfolgt jedoch nicht rein zufällig. Sie werden deterministisch berechnet d.h. es gibt Prozduren, die in der Lage sind, lange Folgen von Werten zu generieren, die scheinbar die Eigenschaften zufälliger Folgen haben.

Ein Verfahren zum erzeugen von Zufallszahlen ist die Kongruenzmethode, die 1948 von D. H. Lehmer entwickelt wurde. Ausgehend von einem Startwert, dem sogenannten Seed wird folgende rekursive Vorschrift angewand.

z_{n} = (a * z_{n-1} + b) mod c

dabei sind

• a ein Multiplikator, der eine möglichst große Primzahl sein sollte
• b eine Konstante (im Fall von c = 0 spricht man von multiplikativer Kongruenz)
• c ist das Argument der Modulo Funktion und sollte möglichst einen hohen Wert besitzen, da es die Länge der Zahlenfolge angibt

Dabei ist zu beachten, dass der selbe Seed immer die selbe Zahlenfolge liefert. Um unterschiedliche Folgen zu erhalten ist es notwendig unterschieliche Seeds zu wählen. Oftmals wird der Seed in Abhängigkeit der Tageszeit gewält.

Kongruenzmethode in abhängigkeit der Systemzeit:

Numerische probabilistische Algorithmen

Algorithmen dieser Art produzieren eine Näherungslösung mit wählbarer Genauigkeit.

Ein Beispiel für diese Klasse von Algorithmen ist die Bestimmung einer Näherung für die Zahl \pi durch "Zufallsregen". Dabei werden n Regentropfen auf eine quadratische Fläche fallen gelassen, in der sich ein Kreis befindet. Anschließend werden die Regentropfen gezählt, die innerhalb des Kreises gefallen sind.

Es wird angenommen, dass jeder Punkt im Quadrat exakt dieselbe Wahrscheinlichkeit hat, von einem Tropfen getroffen zu werden. Ist der Radius des Kreises r, so ist seine Fläche \pi r^2, wobei die Fläche des Quadrats 4r^2 ist. Somit ist der durchschnittliche Anteil der Tropfen, die innerhalb des Kreises landen, \frac{\pi r^2}{4r^2} = \frac{\pi}{4}. Damit kann \pi mit \pi \approx \frac{4 k} {n} geschätzt werden.

Codebeispiel eines Algorithmus, der mit "Zufallsregen" arbeitet. Je höher n gewählt wird umso genauer lässt sich \pi abschätzen.

Ein weiteres bekanntes Beispiel für diese Klasse von Algorithmen, die "Zufallsregen" verwenden ist die numerische Integration.

Las Vegas Algorithmus

Grundlage:

Ein solcher Algorithmus (randomisierter Algorithmus ) folgt dem einfachen Prinzip immer ein richtiges Ergebnis auszugeben. So erklärt sich der Name des Las Vegas Algorithmus aus der Tatsache das Casinos immer gewinnen (bezogen auf ein korrektes Ergebnis). Es kann jedoch der Fall eintreten das die Zufallssteuerungen in Sackgassen(nicht zulässige Ergebnissen ) landen. In diesen Fall gibt es kein Ergebnis. Dies kann aber durch wiederholen des Algorithmus mit einer neuen Zufallszahl auf ein richtiges Ergebnis kommen. Das Bedeutet es ist extrem Unwahrscheinlich das nach einer bestimmten Anzahl von Versuchen kein Ergebnis Eintritt.

Beispiel:

Das n-Damen Problem ist eines der bekanntesten in der Mathematik und besteht darin auf einen Schachbrett mit n*n Feldern eine Anzahl von n Damen so zu verteilen das sich niemals zwei Damen schlagen können. In der Informatik wurde dieses Problem auf mehrere Arten gelöst wie Beispielsweise mit Backtracking. Dieses Problem kann man jedoch auch mithilfe der Probabilistischen Algorithmen lösen.

Lösung des Problems mit Las Vegas Algorithmen (Pseudocode):

1.for i = 1 to n:

Wenn in Reihe i alle Felder bedroht sind, Abbruch. Anderenfalls wähle zufällig eines der nicht bedrohten Felder.

2.Wiederhole (1), bis eine Lösung gefunden ist.

Dieser Algorithmus terminiert nicht immer.Wird aber eine Lösung gefunden ist diese mit Wahrscheinlichkeit 1 richtig.

Analyse des Aufwands:

Gehen wir davon aus es gibt einen Las Vegas Algorithmus LV(x) der eine Eingabe x nimmt und als Ausgabe ein Scheme-paar (y , Erfolg ) gibt. Dabei kann Erfolg entweder true "Ergebnis wird gefunden" ,oder false "Berechnung landet in Sackgasse und gibt nach (vorher vereinbarten) Anzahl von Erfolglosen versuchen false aus". Das y ist der Wert der bei der Erfolgreichen suche rauskommt.

Um nun eine Aufwandsanalyse zu machen ,benötigt man eine Prozedur (LV-loop) bei der LV(x) solange arbeitet bis ein Ergebnis herauskommt(hartnäckiger Algorithmus).

Code:

(define LV-loop
(lambda (x)
 (let* ((resultat (LV x))
       (y(car resultat))
       (Erfolg (cdr resultat)))
   (if Erfolg
    y
     (LV-loop)))))

Im Fall der Las Vegas Algorithmen muss man von der Möglichkeit ausgehen das eine Anzahl n von versuchen benötigt wird um ein richtiges Ergebnis auszugeben. Um nun den Zeitaufwand t(x) zu berechnen , brach man die Variablen success(x) im Fall des erfolgreichen Findens eines Ausgabewertes und failure(x) im Fall keines Erfolgreichen Ergebnisses. Des weiteren muss noch die Zeit eingerechnet werden ,die gebraucht wird um aus einer „Sackgasse“ wieder raus zukommen ,bezeichnet mit der Variable p(x) . Man geht bei p(x) von 0 < p(x) < 1 aus.

Gleichung:

Beispiel:

Sherwood-Algorithmen

Sherwood-Algorithmen sind eine Spezielle Form der Las-Vegas Algorithmen ,welche immer ein richtiges Ergebnis ausgeben. Das Bedeute es gibt keine Berechnungen die in Sackgassen führen. Sherwood-Algorithmen sind deterministisch (das bedeutet das determinstische Algorithmen zu probabilistischen Algorithmen umgeformt werden).

Dieser Algorithmus wird besonders gern bei Problemen mit großer Aufwandsdifferenz zwischen den best- ,average-, und worst-case genutzt ,da er die besonder Eigenschaft besitzt die großen Aufwandsdifferenzen so "abzufedern" das immer ein Mittlerer Aufwand entsteht.Das bedeutet zwar nicht das der best-case oder der worst-case völlig ausgeschlossen sind,jedoch sind diese durch den zufälligen Faktor sehr unwahrscheinlich. Diese Negation der Aufwandsdifferenz wird auch als "Robin Hood Effekt" bezeichnet, da dieser von den reichen nahm und den armen gab (in diesen Fall so gedeutet das von den hohen Aufwand genommen wurde und dem niedrigen Aufwand gegeben wurde)und sich somit die Aufwandsdifferenz aufhebt. Daher kommt auch der Name der Sherwood-Algorithmen ,da Robin Hood im Sherwood Forrest lebte.

Beispiel

Monte-Carlo-Algorithmen

Algorithmen dieser Art geben mit hoher Wahrscheinlichkeit das korrekte Ergebnis aus. Können sich jedoch gelegentlich irren. Irren bedeutet hier das Ergebnis ist falsch und nicht "knapp daneben". Im Falle eines Fehlers liefert der Algorithmus ülicherweise keine Warnung. Dies nimmt man jedoch in Kauf um Probleme zu lösen, die sonst nur schwer oder in keiner angemessenen Zeit gelöst werden könnten.

Ein Monte-Carlo-Algorithmus wird p-korrekt genannt, wenn er eine richtige Lösung mit einer Wahrscheinlichkeit nicht kleiner als p liefer. Dabei ist p eine reele Zahl mit 1/2 < p < 1. Desweiteren wird von einem konsistenten Algorithmus gesprochen, wenn er nie zwei verschiedene richtige Lösungen für dasselbe Problem liefert.

Es gibt auch Monte-Carlo-Algorithmen, welche nicht nur den zu lösenden Fall als Argument akzeptieren, sondern auch eine obere Schranke für die zulässige Wahrscheinlichkeit eines Fehlers. Die benötigte Rechenzeit lässt sich dann als Funktion der Größe des zu bearbeitenden Falls und des Kehrwerts der zulässigen Fehlerwahrscheinlichkeit ausdrücken.

Um die Erfolgswahrscheinlichkeit eines Monte-Carlo-Algorithmuses heraufzusetzen muss er nur mehrmals ausgeführt werden und anschließend das häufigste Ergebnis ausgewählt werden.

Äquivalenz zweier Multimengen

Ein Beispiel für einen Monte-Carlo-Algorithmus ist der Test zweier Multimengen auf Äquivalenz. In Multimengen können mehrere gleiche Elemente enthalten sein. Im Beispiel werden Multimengen betrachtet, deren Elemente natürliche Zahlen aus [1, k] (mit k \in N) sind.

zum Beispiel:

• M_1 = \lbrace 2,3,4,2,2,3 \rbrace
• M_2 = \lbrace 3,4,2,3,2,2 \rbrace
• M_3 = \lbrace 3,4,2,3,3,2 \rbrace

Der klassische Weg eine Entscheidung über die Äquivalenz der Multimengen zu treffen, wäre sie zu sortieren und anschließend elementweise zu vergleichen. Dies kostet jedoch im Mittel O~(n~log~n). Mit einem probabilistischen Algorithmus ist man in der Lage das Problem in \theta~(n) zu lösen.

Dazu wird der Multimenge M_1~=~(x_1,x_2,~...~,x_n) ein Polynom p_m_1 mit p_m_1(x)~=~(x~-~x_1)(x~-~x_2)~...~(x~-~x_n) und

der Multimenge M_2~=~(y_1,y_2,~...~,y_n) ein Polynom p_m_2 mit p_m_2(x)~=~(x~-~y_1)(x~-~y_2)~...~(x~-~y_n) zugeordnet.

Die (evtl. mehrfachen) Nullstellen von p_m_1~(x) heißen x_1,x_2,~...~,x_n und die von p_m_2~(x) sind y_1,y_2,~...~,y_n. Diese Darstellung ist für jede ganzrationale Funktion eindeutig. Demzufolge gilt M_1~\equiv~M_2 genau dann wenn p_m_1~(x)~=~p_m_2(x).

Mit folgendem Code kann der Polynomwert einer Multimenge bestimmt werden.

Berechnet und vergleicht man nun die Polynomwerte zweier Multimengen mit einer beliebiegen Testzahl x' und erhält verschiedene Werte für p_m_1~(x') und p_m_1~(x') so weiß man definitiv das M_1~\not\equiv~M_2 .

Um das Gegenteil zu beweisen wählt man zum Berechnen das Polynomwertes ein zufälliges x. Weiterhin wiederholt man den Test bei Erfolg mehrere Male. Somit ist es möglich, dass richtige Ergebnis mit hoher Wahrscheinlichkeit zu erhalten.

Primzahltest nach FERMAT

Algemein:

Unter einer Primzahl versteht man eine Zahl die nur durch 1 und sich selbst teilbar ist. Mit Probeteilern ist es natürlich möglich herauszufinden ob eine Zahl als Primzahl gedeutet werden kann oder nicht . Diese Form der Primzahlfindung bringt jedoch bei Zahlen mit hoher stelligkeit sehr wenig und würde sehr zeitaufwändig werden.

Eine viel effizientere Lösung bringt der "Primzahltest nach Fermat".Diesen Test kann man durch einfügen von Zufallszahlen(randomisieren) zu einen Monte-Carlo-Algorithmus umwandeln . Um die Basis dafür zu schaffen benötigt man zu aller erst den "Satz von EULER"

Satz von Euler

Für alle natürlichen Zahlen n und a mit n \geq 2 und 1 \leq a < n, wobei ggt(a,n)=1, gilt a^{\varphi(n)}\equiv 1\ mod\ n

Auf diesen Satz kann man nun den "kleinen Satz von Fermat " anwenden.

kleiner Satz von Fermat

Wenn n eine Primzahl ist, dann gilt für alle natürlichen Zahlen a (mit 1\geq a \geq n - 1)
a^{primzahl}\equiv a (mod\ prim)

Hat man diese beiden Sätze nun kann man auf folgenden Satz daraus Bilden:

a^{primzahl-1}\equiv 1 (mod\ prim)

Primzahltest von Solovay und Strassen

Dieser Test wurde 1977 entwickelt und findet heute vor allem in der Kryptographie Anwendung, da er Geschwindigkeitsvorteile gegenüber derterministischen Tests mit sich bringt. Bis 2002 existierte kein deterministischer Algorithmus der in der Lage war in polynominellem Zeitaufwand eine Zahl auf ihre Primzahleigenschaften zu testen.

Es wird zuerst zufällig ein a < n mit ggt(a,n) = 1 gewählt. Anschließend berechnt man die Jacobi-Funktion, die wie folgt definiert ist.

Wie das Beispiel zeigt kann die Jacobi-Funktion nur die Werte +1 oder -1 annehmen.

Nun gilt folgender Satz:

Wenn n eine Primzahl ist, dann gilt für alle a \in N (mit 1 < a \le n - 1 und ggT(a,n) = 1):

J(a,n) \equiv a \frac{n-1}{2} mod~n.

Falls n eine Primzahl ist liefert der Test definitiv das korrekte Ergebnis. Andernfalls mit einer Wahrscheinlichkeit von <~\frac{1}{2} ein falsches Ergebnis. Durch mehrfaches Ausführen lässt sich die Fehlerwahrscheinlichkeit bei k Versuchen auf \frac{1}{2^k} reduzieren.

Quellen

• Christian Wagenknecht: Algorithmen und Komplexität, Fachbuchverlag Leipzig, 2003,
• Brassard, Gilles; Bratley, Paul: Algorithmik: Theorie und Praxis, Attenkirchen: Wolfram, 1993