Motivation SS12
Inhaltsverzeichnis |
Gibt es etwas Besseres als ...?
Algorithmen sind die leistungsfähigsten Problemlösungswerkzeuge, die wir kennen. Da Computer Algorithmen viel schneller und wesentlich zuverlässiger ausführen können als wir Menschen, findet man sie als Programme in zahlreichen Geräte, wie in Taschenrechnern, Laptops, elektrischen Haushaltgeräten und Autos.
Im Hinblick auf die Berechnungsgeschwindigkeit und den Speicherbedarf gibt es Unterschiede zwischen den Programmen. Hat man die Wahlmöglichkeit, so wird man sich für die Verwendung des Algorithmus' entscheiden, der das gewünschte Ergebnis schneller ermittelt als alle anderen, die es zur Lösung des betrachteten Problems gibt.
Der dadurch insgesamt erzielte Effekt kann beachtlich sein. Dies gilt insbesondere dann, wenn eine zeitsparendere Berechnung in anderen Kontexten wiederholt ausgeführt wird. Wie wir später sehen werden, geht es dabei mitunter nicht um ein paar Millisekunden, sondern um Tage, Monate oder sogar um Zeitabschnitte, die die Existenz unseres Sonnensystems übertreffen. Im letzten Fall werden Berechnungen durch bessere Algorithmen überhaupt erst möglich, falls man solche findet.
Im folgenden Kapitel betrachten wir Algorithmen zur Multiplikation zweier natürlicher Zahlen. Hierfür haben wir in der Schule ein schriftliches Verfahren kennengelernt. Es ist eher von kulturhistorischem Wert, denn man benutzt es praktisch nicht mehr. Taschenrechner erledigen das viel schneller. Fraglich ist allerdings, ob sie auch diese Schulbuchmethode verwenden. Oder geht es noch schneller? Letzteres wäre insofern interessant, als das Multiplikationen in beliebiger Anwendungssoftware millionenfach vorkommen. Schon kleine Effizienzverbesserungen hätten einen enormen Einfluss.
Algorithmen zur Multiplikation
Multiplikation großer Zahlen
In der Tat gibt eine bessere Methode zur Multiplikation zweier natürlicher Zahlen als die, die in der Schule gelehrt wird.
Doch was bedeutet "besser" und warum ist das wichtig?
- Ein besserer Multiplikationsalgorithmus benötigt weniger Zeit als andere Verfahren mit gleichem Resultat.
- Dadurch können alle Operationen, die zwei Zahlen großer Stelligkeit multiplizieren, viel schneller ausgeführt werden. Beispiele sind: Computeralgebrasysteme und Geometrieprogramme.
- Konsequenzen hat das auch für die Kryptografie.
Als erstes suchen wir eine Art Messmethode, mit der wir die Berechnungsgeschwindigkeiten ermitteln und untereinander vergleichen können.
Primitive Basisoperationen
Wir gehen davon aus, dass die folgenden beiden Elementaroperationen vorhanden sind und für die entsprechenden Eingaben stets mit konstantem Zeitaufwand ausgeführt werden.
- Addition dreier Ziffern (sog. Volladdierer)
Eingaben: x und y sowie der Übertrag c
Resultat: zwei Ziffern, nämlich die Ergebnisziffer und der neue Übertrag - Multiplikation zweier Ziffern
Eingaben: x und y
Resultat: zwei Ziffern, nämlich die Ergebisziffer und der Übertrag
Für diese beiden Operationen wird im Folg. je eine Scheme-Prozedur prim-add und prim-mult definiert. In diesen Definitionen wird die Basis B der Zahlendarstellung durch den Wert der Variablen basis festgelegt. Die Voreinstellung ist B=10. Für den Fall, dass ein anderes Stellenwertsystem verwendet werden soll, ist diese Angabe anzupassen.
Die primitive Addition zweier Ziffern und eines Übertrags liefert ein Paar, dessen erstes Element die Einerstelle und das zweite den neuen Übertrag darstellt. Beispielsweise wird für 7+8+0=15 das Paar (5 . 1) zurück gegeben.
Ein weiteres Aufrufbeispiel gilt der Multiplikation: 9\cdot 8=72
Da die beiden primitiven Operationen mit komplexeren Scheme-Sprachelementen definiert wurden, macht es keinen Sinn, zur Aufwandsanalyse darauf aufbauender Operationen eine Zeitmessung durchzuführen. Sinnvoll ist es, als Aufwandsmaß die Gesamtanzahl der Aufrufe primitiver Basisperationen heranzuziehen. Hierfür wird eine globale Variable anzahl-prim-op als Zähler bereitgestellt und mit 0 initialisiert.
Hinweis
Es ist zu beachten, dass anzahl-prim-op bei jedem Prozeduraufruf mit 0 initialisiert wird.
Addition und Multiplikation n-stelliger natürlicher Zahlen
Die Stelligkeit n einer natürlichen Zahl ist eine Eigenschaft, die von deren Darstellung abhängt. Bereits in der Grundschule lernt man eine Methode zur Zahldarstellung durch die entsprechenden Ziffern in einem Stellenwert- oder Positionssystem mit einer gewählten Basis B. Typische Beispiele sind B=10 (Dezimalsystem), B=2 (Dualsystem) und B=16 (Hexadezimalsystem).
Die allgemeine Darstellung ist:
a_{n-1}a_{n-2}\ldots a_1 a_0 = \sum_{i=0}^{n-1} a_i \cdot B^i, \text{ mit } n\in\mathbb{N}, n>0, \text{ und } a_i\in\{0,1,\ldots,B-1\}Für B=2 gilt a_i\in\{0,1\}. Für B=10 gilt a_i\in\{0,1,2,3,4,5,6,7,8,9\}. Für B=16 gilt a_i\in\{0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F\}.
Mit zwei Ziffern können alle Zahlen aus dem Intervall [0,B^2-1] dargestellt werden, denn (B-1)\cdot B^1+(B-1)\cdot B^0=(B+1)\cdot (B-1)= B^2-1.
Wir führen nun die Addition und Multiplikation n-stelliger Zahlen auf diese primitiven Operationen zurück.
Addition zweier n-stelliger natürlicher Zahlen
Beispiel: n=7
Typische Handrechnung Ausführlich: mit Übertrag
1827634 a 1827634 a
8294678 b 8294678 b
-------- 11111110 c Übertrag
10122312 s --------
10122312 sJetzt ist klar, weshalb die primitive Addition für zwei Ziffern und eine Übertragsziffer ausgelegt wurde. Für die Addition a_i+b_i+c_i=s_i ergibt sich ein Übertrag c_{i+1}=1, wenn s_i\geq B, ansonsten ist c_{i+1}=0. Nehmen wir die größtmöglichen Summanden B-1 und B-1, gilt a_i+b_i-B=(B-1)+(B-1)-B=B-2, was offensichtlich mit einer Ziffer aus [0,B-1] darstellbar ist.
Die Operation add kann nun angewandt werden, um die obige simple Beispielrechnung auszuführen. Die Ziffern finden sich als Elemente einer Liste wieder:
Für die Addition zweier n-stelliger Zahlen werden n Elementaradditionen benötigt. Auch dies gilt für das Beispiel.
ÜA: Modifizieren Sie das Beispiel und evaluieren Sie die zugehörigen Additionen usw.
Multiplikation einer n-stelligen natürlichen Zahl mit einer einstelligen
Für die Multiplikation zweier n-stelliger natürlicher Zahlen benötigen wir einen Zwischenschritt, um die primitive Addition geeignet einzubeziehen. Wir betrachten zunächst die Multiplikation einer n-stelligen natürlichen Zahl mit einer einstelligen.
Beispiel: n=5
25367 * 5
---------
005505 links mit Null aufgefüllt, Primitivaddition zu ermöglichen
+ 121330 Übertrag, rechts mit Null aufgefüllt
------
126835 durch Elementaraddition gewonnenDer Übertrag c_{i+1} kann hier größer ausfallen als bei der Addition. Offenbar gilt:
z = a_i\cdot b_j \leq (B-1)^2 = B^2 - 2B +1
z = c_{i+1}\cdot B + d_i \leq (B-2)\cdot B + 1
Der Kooeffizientenvergleich liefert c_{i+1}\leq B-2, d.h. 0\leq c_{i+1}\leq B-2. (Natürlich gilt c_0=0.)
Das obige Ergebnis für die Beispielrechnung erhalten wir auch mit der vorbereiteten Operation mult1. mult1 nimmt eine Liste mit den Ziffern des ersten Faktors a=a_{n-1}a_{n-2}\ldots a_1 a_0 und eine Ziffer b_j als zweiten Faktor und liefert das Produkt a\cdot b_j.
Auch hierfür können wir die Zahl der Elementaroperationen (prim-add und prim-mult) bestimmen:
Wir rechnen nach:
- n Elementarmultiplikationen
- n+1 Elementaradditionen
Zusammen sind das 2n+1 primitive Basisoperationen, für n=5 sind das gerade 11 Stück.
Multiplikation zweier n-stelliger natürlicher Zahlen
Nun folgt der Übergang zur vollen Multiplikation. Wir erinnern uns an die Schulbuchmethode zur schriftlichen Multiplikation. Aufgrund des Taschenrechnereinsatzes wird sie nur noch selten ausgeführt.
Beispiel: n=4
8643 * 9915 ----------- 77787000 = mult1(8643,9) und rechts mit Nullen aufgefüllt 07778700 = mult1(8643,9) und links/rechts mit Nullen aufgefüllt 00086430 = mult1(8643,1) und links/rechts mit Nullen aufgefüllt 00043215 = mult1(8643,5) und links mit Nullen aufgefüllt -------- 85695345 = add(add(add(77787000,07778700),00086430),00043215) = mult(8643,9915)
Wir rechnen nach:
Natürlich interessieren wir uns für die Anzahl der primitiven Basisoperationen:
Die Multiplikation zweier n-stelliger natürlicher Zahlen nach der im Beispiel angewandten Methode führt zu n Summanden. Jeder Summand entsteht als Teilprodukt und erfordert - wie wir weiter oben gezeigt haben - 2n+1 Basisoperationen. Das ergibt für alle Summanden n\cdot (2n+1) = 2n^2+n Elementaroperationen.
Die n Summanden sind jeweils höchstens 2n-stellig, denn der erste Summand ist ohne Auffüllnullen höchstens n+1-stellig. (Im Beispiel ist das der Fall.) Dann folgen n-1 weitere Summanden und folglich ebenso viele Rechtsverrückungen um eine Stelle. Das ergibt zusammen: n+1+n-1=2n. Die Auffüllung mit Nullen ist notwendig, um die Summanden gleichstellig zu machen.
Die n-1 Additionen je eines höchstens 2n-stelligen Summandens mit der jeweils aktuellen höchstens 2n-stelligen Zwischensumme erfordert (n-1)\cdot 2n = 2n^2-2n Elementaroperationen.
Insgesamt bescheinigt diese Abschätzung der Schulbuch-Multiplikationsmethode für n-stellige Faktoren einen Aufwand von 2n^2+n + 2n^2-2n = 4n^2-n primitiven Basisoperationen.
Für unser Beispiel ergibt sich:
Zur Analyse des Berechnungsaufwandes der betrachteten Multiplikationsmethode brauchen wir eine Prozedur zufallsliste zur Herstellung einer Liste mit n zufällig gewählten Ziffern aus [0;9].
Der folgende Aufruf liefert eine Liste mit 30 Zufallsziffern.
In folgendem Code kann die Stelligkeit der beiden Zufallszahlen (repräsentiert durch eine n-stellige Zufallsliste) durch Veränderung des Wertes für n leicht modifiziert werden. Bei jedem Aufruf werden neue Zufallslisten gebildet.
Wiederholte Ausführungen bestätigen, dass der Multiplikationsaufwand zwar von der Stelligkeit n jedoch nicht von den konkreten Faktoren abhängt. Die Anzahl der erforderlichen primitiven Operationen bleibt für ein festes n stets unverändert.
Schließlich wird der Aufwand mittels mult zur n-stelliger natürlicher Zahlen in Abhängigkeit von n grafisch dargestellt. Zum Vergleich wird der Graph der Funktion n\mapsto 4n^2-n hinzugefügt.
Die Ergebnisse des Experiments stimmen mit den theoretischen Vorhersagen überein.
Rekursive Form der Multiplikation nach der Schulbuchmethode
Die beiden jeweils n-stelligen Faktoren a und b, mit a,b\in\mathbb{N}, zerlegen wir in je zwei Teile. Für a=123456 sind das 123 (höherwertiger Teil) und 456 (niederwertiger Teil). Offensichtlich ist k=\frac{n}{2}=\frac{6}{2}=3 und somit a=123\cdot 10^3+456=123456.
Allgemein gilt mit k=\lfloor\frac{n}{2}\rfloor:
\begin{eqnarray} a &=& a_1 B^k + a_0 \\ b &=& b_1 B^k + b_0 \\ \hline \\ a\cdot b &=& a_1\cdot b_1B^{2k}+(a_1\cdot b_0+a_0\cdot b_1)B^k+a_0\cdot b_0 \end{eqnarray}ÜA: Rechnen Sie den für a\cdot b angegebenen Ausdruck nach.
Offensichtlich werden zur Berechnung von a\cdot b nach der obigen Zerlegung 4 Multiplikationen lceil\frac{n}{2}rceil-stelliger und 3 Additionen höchstens 2n-stelliger Zahlen benötigt. Dies gilt für (vorzugsweise gerade) n\geq 2. Falls n=1 reduziert sich der Aufwand auf die Ausführung einer Elementarmultiplikation mit Aufwand 1. Die folgende sog. rekurrente Gleichung fasst dies zusammen:
T(n) = \begin{cases} 1, & \text{wenn } n = 1 \\ 4\cdot T\left(\left\lceil\frac{n}{2}\right\rceil\right)+3\cdot 2n, & \text{wenn } n \geq 2 \end{cases}Genau genommen müsste wir eine Ungleichung angeben, denn der rechte Ausdruck beschränkt den Aufwand, also den Wert von T(n) nach oben und stellt somit einen Maximalwert dar.
Da solche rekurrenten Beziehungen den Aufwand rekursiver Verfahren unmittelbar beschreiben und deshalb recht oft vorkommen, lohnt es sich über deren Lösungsmethoden nachzudenken. Wir profitieren hier von diesen Methoden indem wir das folgenden Resultat zitieren. Es gilt:
T(n) = \begin{cases} 7n^2, & \text{wenn } n \text{ eine Zweierpotenz ist}\\ 28n^2, & \text{für alle anderen } n \end{cases}wobei wir es auch hier wieder mit dem Maximalaufwand zu tun haben.
Fazit: Leider müssen wir feststellen, dass die rekursive Methode der Schulbuchmultiplikation gegenüber der ersten Variante keinen Effizienzvorteil bietet. Beide arbeiten mit quadratischem Aufwand.
Die Karatsuba-Methode
Dem sowjetische Mathematiker Karatsuba fiel 1962 auf, dass die Berechnung von a\cdot b bei gleicher Zerlegung wie oben auch anders organisieren kann. Der von ihm angegebene Ausdruck
\begin{eqnarray} a\cdot b &=& a_1\cdot b_1B^{2k}+((a_1+a_0)\cdot (b_1+b_0) - (a_1\cdot b_1+a_0\cdot b_0))B^k+a_0\cdot b_0 \end{eqnarray}enthält 3 Multiplikationen \frac{n}{2}-stelliger und 6 Additionen (inkl. einer Subtraktion) höchstens 2n-stelliger Zahlen. Das Besondere an diesem Term ist, dass einige Produkte, nämlich a_1\cdot b_1 und a_0\cdot b_0 mehrfach auftauchen. Sie müssen nur einmal berechnet werden. Auf diese Weise kann eine (teure) Multiplikation mit drei (billigeren) Additionen erkauft werden.
ÜA: Überprüfen Sie den für a\cdot b angegebenen Ausdruck durch Rechnung.
Dies ergibt einen Aufwand, der sich durch folgende Rekurrenz beschreiben lässt:
T(n) = \begin{cases} 3n^2+2n, & \text{wenn } n \leq 3 \text{ (Schulbuchmethode)}\\ 3\cdot T\left(\left\lceil\frac{n}{2}\right\rceil\right)+1)+6\cdot 2n, & \text{wenn } n \geq 4 \end{cases}Die Lösung dieser Gleichung ist
T(n) = 99 n^{\log_23} + 48n + 48 \log_2n\text{ für alle } n.ÜA: Berechnen Sie \log_23 und vergleichen Sie das Ergebnis mit 2.
Insbesondere für große n ist diese Methode von Vorteil. Um festzustellen, ab welchem Wert n_0 die Karatsuba-Multiplikation der Schulbuchmethode überlegen ist, stellen wir beide in einem Diagramm grafisch dar.
Hinweis zum Logarithmieren
Es kann sein, dass das Rechenwerkzeug (Taschenrechner oder Computerprogramm) die gewünschte Logarithmusfunktion nicht anbietet. Dann hilft die folgende einfache Umrechnung: Gesucht ist z=\log_2y, also der Wert von z in 2^z=y. Vorhanden ist jedoch nur \log_{b}x mit b\neq 2. Typische Angebote sind b=e und b=10. Wenn wir 2^z=y auf beiden Seiten logarithmieren folgt \log_{b}2^z=\log_{b}y und schließlich z=\frac{\log_{b}y}{\log_{b}2}.
Fazit: Ab n_0=70 ist die Karatsuba-Multiplikation zweier n-stelliger natürlicher Zahlen die effizientere Methode.