Komplexitätstheorie. Grenzen der Effizienz von Algorithmen

Springer-Lehrbuch

Springer Berlin Heidelberg New York Hongkong London Mailand Paris Tokio

Ingo Wegener

Komplexitatstheorie Grenzen der Effizienz von Algorithmen

Mit 18 Abbildungen

Springer

Prof. Dr. Ingo Wegener Universitat Dortmund Lehrstuhl Informatik II 44221 Dortmund

wegenerielss.cs.uni-dortmund.de

Bibliografische Information Der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet uber abrufbar.

ISBN3-540-00161-1 Springer-Verlag Berlin Heidelberg NewYork Dieses Werk ist urheberrechtlich geschiitzt. Die dadurch begriindeten Rechte, insbesondere die der Ubersetzung, des Nachdrucks, des Vort rags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfaltigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfaltigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland Yom 9. September 1965 in der jeweils geltenden Fassung zulassig, Sie ist grundsatzlich vergiitungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes . Springer-Verlag Berlin Heidelberg New York ein Unternehmen der BertelsmannSpringer Science+Business Media GmbH http://www.springer.de © Springer-Verlag Berlin Heidelberg 2003

Printed in Germany Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutzgesetzgebung als frei zu betrachten waren und daher von jedermann benutzt werden diirften. Text und Abbildungen wurden mit groBter Sorgfalt erarbeitet. Verlag und Autor konnen jedoch fur eventuell verbliebene fehlerhafte Angaben und deren Foigen weder eine juristische Verantwortung noch irgendeine Haftung iibernehmen. Satz: Druckreife Aufsichtsvorlagen des Autors Druck und Bindearbeiten: Strauss Offsetdruck, Morlenbach Umschlaggestaltung: design & production GmbH, Heidelberg Gedruckt auf saurefreiem Papier 33/3142PS - 5 4 3 210

Vorwort

Spat est ens seit der Ent wicklung der NP- Vollst andigkeit stheorie ist die Komplexit atstheorie ein zentrales Lehr- und Forschungsgebiet der Informat ik. Mit dem NP#P-Problem beinhaltet sie eine der gro Ben int ellekt uellen Her au sforderungen der Gegenwart . 1m Gegensat z zu anderen Gebi et en der Inform at ik, in de nen oft sugge riert wird , dass mit Rechnerhilfe nahezu alle P robleme losbar sind, werden in der Kornpl exit at stheor ie Ergebnisse erzielt, die zeigen, was Rechner nich t konnen . Die Grenze zwischen effizient und nur mit unver tretbarem Aufwand losb aren P roblemen zu markieren , ist eine pr ak t isch relevante Frage, aber auch die strukture lle Frage, was die Kornpl exit at oder vielleicht sogar deu tlicher Kompliziertheit von P roblemen ausmac ht . Die Entwicklung der Kornplexitatstheorie wird in diesem Bu ch im Wesent lichen als Reaktion au f algorit hmische Entw icklungen dargestellt . Dah er steht die Unters uchung praktisch wichtiger Op timierungsp robleme im Vorde rgr und. Aus dieser algorithmisch gepragten Sichtweise ste llen sich Red ukt ionskonze pte als Method en dar , urn P ro bleme mit Hilfe von Algorithmen fur ande re P rob leme zu losen . Dara us ergibt sich im Umkehrschluss, dass wir die Schwierig keit von Problemen aus der Schwierigkeit ande rer Problem e ableiten konnen. In diese m Buch wird ein unublicher Zugang zum zentralen Konzept des Nicht determinismus gewa hlt , Die fur Studierende eher ver wirrende Beschreibun g durch Rechner, die den richti gen Rechenweg raten oder fur die ein passende r Rechenweg exist iert, wird durch eine Ei nfuhrung in randomisierte Algorithmen erse tzt . Nichtdet erminismu s erwe ist sich als de r Spez ialfall einseit iger Fehl er , bei de m die Fehlerwahrsc heinlichkeit grofier sein darf, als es in den Anwendungen to lera be l ist . Dami t sind nichtdet erministi sche Algorit hme n a uf normalen Rechnern a usfuhrba r, ohne aber ein befriedigend es Verh alt en fur die P roblem losung zu hab en. Es besteht die auf E rfahrungen basieren de Hoffnun g, dass dieser algorit hmische Einstieg es St udierend en erleichtert , das Konzep t des Nichtdet ermi nismu s zu begreifen. Da hier kein e For schungsmonogr aphie vorgelegt wird , wur de der St off auf E rge bnisse eingeschrankt , die fur alle Studierenden der Info rm at ik nu t zlich und wichtig sind . Das Leh rbuch richt et sich explizit auch an die St udier ende n, die sich Grundlagen der Komplexit at stheorie aneignen wollen , ohne sich in diesem Ge biet zu spezialisieren. Da her wurde ein besonderer Wert auf in-

VI

Vorvvort

form elle Beschreibungen del' Beweisldeen gelegt, auf die nattirlich vollstandige Beweise folgen. Moderne T he me n wie das P CP-Theor em , Approximationsproblem e , Randomisier ung und Kommunikat ionskomplexit at wu rd en auf Kosten del' st rukt urellen und abst rakten Komplexit at stheori e in den Mittelpunkt gestellt. Die ersten neun Kapit el beschreib en das Fundam ent del' Kornplexit atst heorie. Darauf a ufbaue nd konnen Leh rende Schwerpunkt e auswahlen : - Kapit ell0, 13 und 14 beschreib en einen ehe r klassisch ori enti ert en Einstieg in die Komplexi t at stheori e, - Kap it el 11 und 12 beschaftigen sich mit del' Kornplex it at von Ap proximationspro bleme n und - Kapitel 14, 15 und 16 mit del' Komplexitat bool escher Funktionen . In dieses Leh rbuch sind viele Id een eingeflossen, die sich aus C esprachen ergeben haben . Da oft nicht mehr nachvollziehbar ist , vvo, wann und mit wern diese Gesp rache gefiih rt wurden , rnocht e ich mich bei allen bed anken , die mit mil' tiber Wi ssenschaft im Allgem einen und Kornpl exit atstheori e im Besonderen diskuti er t haben . Beat e Bollig, Stefan Dro st e, Oliver Giel, Thom as Hofm eist er , Martin Sauerhoff un d Carst en Witt haben mein Manuskript gelesen und mit kritischen Anmerkungen zu Verbesserungen beigetragen . Dafti r rnochte ich mich bei ihnen ebe nso her zlich bed anken wie bei Alice Czerniejewski , Danny Rozyn ski , Marion Scheel, Nicole Skarad zinski und Dirk Sudholt fur die sorgfalt ige Erstellung del' Druckvorl age. Die hoffentlich kurze List e del' ers t nach Erschein en des Buches ent deckten Fehl er ist unter ls2-www .cs .uni-dortmund .de/monographs/kt zu find en. SchlieBlich danke ich Christa dafiir , dass sie mil' kein e Gren zen fur die Zeit, d ie ich an dem Buch arbe iten konn t e, gesetzt hat . Dortmund/Bielefeld , J anuar 2003

Ingo W egener

Inhaltsverzeichnis

1.

Einleitung .. . . . . . . ... . ... . . . . . . .... . .. . . . . . .. . . . . . . . . . . . .. 1 1.1 Was ist Komplexit atstheorie? .......... 1 1.2 Zum didak tischen Hintergrund . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.3 Ub erblick . . . .. . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .. 7 1.4 Weiterfuhrende Lit er atur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.

Algorithmische Probleme und ihre Komplexltat 2.1 Was sind algorit hmische Probleme? . . . . . . . . . . . . . . . . . . . . . .. 2.2 Einige wichtige algorit hmische Probleme. . . . . . . . . . . . . . . . . . . 2.3 Wi e wird die Rechenzeit eines Algori thmus gemessen? . . . . . . . 2.4 Die Kornplexitat algorit hmischer Probleme

13 13 15 20 25

3.

Die 3.1 3.2 3.3

29 29 31

4.

5.

grundlegenden Komplexittitsklassen . . . . . . . . . . . . . . . . . . Die Sonderrolle polynomieller Rechen zeit en . . . . . . . . . . . . . . . . Randomisierte Algorithmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Die grundlegenden Komplexit atsklassen fur algorit hmische Probleme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Die gru ndlegende n Komplexitatsklassen fur Entscheidungsprobleme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 3.5 Nicht de te rminismus als Spezialfall von Randomisierung .. . ..

R eduktionen - algorithmische Beziehungen zwischen Problemen 4.1 Wann sind sich Probleme algorit hmisch ahn lich? 4.2 Reduktionen zwischen den verschiedenen Vari anten eines Problems . . . . . . . . . . . . . . . . .. . .. .. . . . . . . . . . . . . . .. . . 4.3 Reduktionen zwischen verwandten Problemen . . . . . . . . . . . . . . 4.4 Reduktionen zwischen nicht verw andten Problemen . . . . . . . .. 4.5 Die Sonderrolle pol yn omi eller Reduktionen Die 5.1 5.2 5.3

NP-Vollstandlgkeitstheorie .... Grundlegende Ub erlegungen Probleme in NP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Alternative Charakterisierunge n von NP . . . . . . . . . . . . . . . . . . .

35 40 44

47 47 50 53 58 65

69 69 73 75

VIII

Inhal tsverzeichn is

5.4 Das Theorem von Cook

. . . . . . . . . 77

6.

NP-vollsUindige und NP-aquivalente Probleme ..... 6.1 Grundlegend e Ub erlegun gen . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 6.2 Rundreiseprobl eme . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Ru cksackprobleme. . .. . . ... . . .. .. . ... .. . . ... . ... . . . . .... 6.4 Auft eilungsprobleme und Last verteilun gsprobleme . . . . . . . . .. 6.5 Cliquenprobleme ... . . . . .. . .. .. .. . ... . .. . .. . . . . ...... . .. 6.6 Teambildungsprobleme. ... .. . . . . . . .. . .. ... ... . .. .. . . . ... 6.7 Meist erschaft sprobl eme ... . ... . . .. ... . .. . . . ... . . . . .. . .. . .

83 83 83 84 87 87 89 91

7.

Die Komplexitatsanalyse von Problemen 7.1 Die Trennlinie zwischen einfachen und schwierigen Varianten eines P robl ems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2 P seud opolynomielle Algorithmen und starke NP -Vollst andigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.3 Bin Ube rblick tiber die betrachteten NP- Vollst andigkeit sbeweise

95 95 99 102

8.

Die Komplexitat von Approximationsproblemen - klassische Resultate 105 8.1 Kornpl exit atsklassen 105 8.2 App roxim ationsalgorit hmen 109 8.3 Die Ltickentechnik 113 8.4 Approximationserh alt end e Redukti onen 116 8.5 Vollst andi ge Approximati onsprobleme 119

9.

Die 9.1 9.2 9.3

Komplexitat von Black-Box-Problemen Black-Box-Op timierung Das Minim ax-Prinzip von Yao Unt ere Schr ank en fur die Black-Box-Komplexit at

123 123 126 129

10. W eitere Komplexitatsklassen und B eziehungen zwischen den Komplexitatsklassen 135 10.1 Grundlegende Uberlegungen 135 10.2 Die Komplexit atsklassen inn erh alb von NP und co-NP 136 10.3 Or akelklassen 138 10.4 Die polynomielle Hierarchie 140 10.5 BP P, NP und die polynom ielle Hierarchie 147 11. Interaktive Beweise 11.1 Grundlegend e Ub erlegun gen 11.2 Int eraktive Beweissyst eme 11.3 Zur Kompl exit at des Gr aphenisomorphieprobl ems 11.4 Beweissyst eme, die kein Wissen preisgeben

153 153 154 156 163

Inhaltsverzeichnis

IX

12 . D a s P CP-The o r e m u n d die K o rn ple x it a t von Approximationsproblemen 169 169 12.1 Randomisierte Verifikation von Beweisen 12.2 Das PCP-Theorem 172 182 12.3 Das PCP-Theorem und Nicht approximierbarkeitsresultat e 12.4 Das PCP-Theorem und APX-Vollst andigkeit 186 13. Weitere klassische T h e m e n der Komplexitatstheorie 13.1 Ub erblick 13.2 Spei cherplat zb asierte Komplexitatsklassen 13.3 PSPACE-vollstandige Probleme 13.4 Nichtdet erminismus und Det erminismus be i Pl atzschranken .. 13.5 Nichtdet erminismus und Komplementbildung bei pr azisen Platzschranken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.6 Komplexitatsklassen innerhalb von P 13.7 Die Kornplexitat von Anzahlproblemen

195 195 196 199 202

14. D ie 14.1 14.2 14.3

K o m ple xit a t von n ic ht u n ifo r m e n P roblemen Grundlegend e Ub erl egungen Simu lationen von Turingmaschinen durch Schaltkreise Simul ationen von Schaltkreisen durch nichtuniforme Turingmaschinen Branchingprogramme und Platzbedarf Po lynomielle Schaltkreise fur Probleme in BPP Komplexitatsklassen ftlr Ber echnungen mit Hilfsinformationen Gibt es polynomielle Schaltkreise fur alle Probleme in NP ? . .

213 213 216

15 . Kommunikationskomplexitat 15.1 Das Kommunikationsspiel 15.2 Untere Schranken fur die Kommunikationskornpl exitat 15.3 Nicht determinist ische Kommunikationsprotokolle 15.4 Randomisierte Kommunikationsprotokolle 15.5 Kommunikationskomplexitat und VLSI-S chaltkreise 15.6 Komrnunikationskomplexitat und die Rechenzeit von Turingmaschin en . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

231 231 236 245 251 260

16. D ie 16.1 16.2 16.3 16.4 16.5 16.6 16.7

265 265 266 269 274 279 282 286

14.4 14.5 14.6 14.7

K o m ple x it a t boolescher Funktionen Grundlegend e Ub erlegungen Die Gr oBe von Schaltkreisen Die Tiefe von Schaltkreisen Die GroBe von t iefenbeschrankten Schaltkreisen Die GroBe von ti efenb eschrankten Thresholdschaltkreisen Die GroBe von Br anchingprogrammen Reduktionskonzepte

203 206 209

218 222 224 226 227

261

X

Inhaltsverzeichnis

Schlussbemerkungen

293

A. Anhang A.l Crofenordnungen und die O-Not ation A.2 E rge bnisse a us der Wah rscheinli chkeit stheorie

295 295 299

Literaturverzeichnis

311

Sachverzeichnis

315

1. Einleitung

1.1 Was ist K orn plexit a t stheorie ? Komplexitatstheorie - ist das eine Disziplin fur der Welt ent rlickte Theoretiker od er ein Kerngebiet der modernen In formatik? In diesem einftihrenden Lehrbuch wird die Komplexit at stheorie als akt uelles Gebiet der Informatik vorgest ellt , dessen E rgebnisse Auswirkungen auf die Entw icklung und den Einsatz von Algori thmen hab en . Dab ei ergeben sich Erkenntnisse tiber die St ruktur wichtiger Optimierungsp robl eme und es werden die Grenzen des algorit hmisch mit realistischen Ressourcen "Machbaren" ausgelotet . Da sich dieses Lehrbuch auch besonders an diejenig en richt et, die die Komplexitat stheorie nicht zu ihrem Schwerpunk t mach en wollen , werden Er gebnisse, die (noch) keinen Bezug zu algorit hmischen Anwendungen hab en, a usgeblendet . Die Gebi et e Komplexitatstheorie einerse its und Entwurf und Analyse effizienter Algorithmen andererseits betracht en algorit hmische Probleme von zwei entgegengeset zte n Seit en. Ein effiziente r Algorithmus lasst sich direkt zur Problemlosung einsetzen und ist ein Nachweis fur die effiziente Losbarkeit des Problems . In der Komplexitatstheorie ist es dagegen das Ziel, fur schwierige Problem e nach zuweisen , dass sie nicht mit geringem Ressourcenb edarf zu losen sind. Ub erbringer von schlechten Nachrichten sind selt en willkommen und so sind die Ergebnisse der Kornplexitat stheorie schwerer vermittelb ar als ein besserer Algorithmus fur ein wichti ges Problem . Haufig geste llte Fragen an diejenigen , die Komplexitatstheorie betreib en , sind: - "W ieso freust du dich ub er den Beweis, dass ein Problem algorithmisch schwierig ist? Es ware do ch schon, wenn es effizient zu losen war e." - "Was nlitzt dieses E rgebnis? Ich brauche fur mein konkret es Anwendungsproblem eine algorit hmische Losung. Was mache ich jet zt ?" Nat urlich ist es fur un s angenehmer, wenn sich ein Problem als algorit hmisch effizient losbar erweist . Nur , ob dies der Fall ist , liegt nicht in unserer Hand. Nachdem wir uns auf die Spielregeln (grob gesagt : Computer, abe r dazu spat er mehr) geeinigt haben, hat jedes Problem eine wohld efiniert e algorit hmische Kornplexitat. Komplexitatstheorie und Algorithmentheorie bemlihen sich urn die Abschatzung dieser algorit hmischen Kornplexitat und I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

2

1. Einleitu ng

damit urn die "E nt deckung der Wahrheit " . Somit ist die Freude tiber den Nachweis, dass ein Problem nicht effizient lasbar ist , gena uso wie die Freud e tiber den Entwurf eines effizient en Algorithmus die Freude , etwas mehr tiber die wahre algorit hmische Komplexit at herausgefunden zu haben . Dennoch ist unsere Reaktion auf die Ent deckung von Wah rh eit en davon abha ngig, ob Hoffnungen erfullt werden oder sich BefUrchtungen best atigen . Was hat es fur Konsequenzen , wenn wir herau sfinden , dass das von un s unt ersucht e Problem nicht effizient losbar ist ? Zunachst die un mittelbare und ganz pra kt ische Kon sequenz , dass wir die Suche nach einem effiziente n AIgorit hmus mit gutem Grund einste llen konn en . Immerhin ver schwenden wir un sere Zeit nicht meh r mit dem Versuch, unerreichbar e Ziele anz ustreben. Dies kennen wir auch aus anderen Wi ssenschaften . Verutinftige Leute bau en nicht mehr am "Perpet uum mobile" und versuchen nicht mehr, a us einem Kreis mit Hilfe von Zirkel und Lineal ein Qu adrat mit gleicher Fl ache zu konstruier en (die sprichwort lich gewordene Qu ad ra tur des Kr eises) . Allgemein tun sich Menschen aber mit Unmoglichkeit sergebnissen schwer. Dies lasst sich an den vielen Kons trukt ionsvorschlagen fur ein Perpetuum mobil e und den vielen Losungsver suchen fur die Qu adratur des Kr eises fest st ellen , die imm er noch unternommen werden. Nachdem wir eingesehe n haben , dass wir auch negati ve Result at e akzept ieren mtissen und sie un s unntit ze Arb eit ers pa ren, bleibt die Frage, was dan n zu tun ist . Schlie£lich hab en wir es mit einem algorithmischen Problem zu tun, dessen Losung fur eine bestimmte Anwendung wichtig ist. Glticklicherweise sind Probleme in den meist en Anwendungen nicht un ab anderlich fest gelegt . Es ist oft nah e liegend, ein Problem in sehr allgemeiner Form zu formulieren und st arke Anfor derungen an die Qualitat der Losung zu stellen. Wenn dann eine effiziente Losung moglich ist - prim a . Im negativen Fall lasst sich das Problem oft spezialisieren (Gr aphen , die StraBensyst eme modellieren , hab en nur einen kleinen Gr ad , da die Anzahl der StraBen, die an einer Kr euzung zusammentreffen , beschr ankt ist) od er es gentigen schwachere Anforderungen an die Losung (fast optima l ist gut genug). Uns st ellen sich also.. neue algorit hmische P robl eme, die vielleicht effizient losbar sind. Ein effizienter Algorithmus fur ein eingeschra nktes Problem lasst sich sogar besser "verkaufen", wenn wir wissen , dass das allgemeinere Problem nicht effizient las bar ist. So finden wir auch mit Hilfe von Unmoglichkeit sbeweisen , also negativen Resultat en , die algorithmisch gerade noch effizient losbar en Probleme. Komplexitat stheorie und Entwurf und Analyse effizienter Algorithmen sind also die zwei Gebiete der Inform atik, die die Grenze zwischen dem mit realist ischem Ressourcenb edarf Machbaren und dem nicht effizient Machbaren a usloten. Dab ei befru cht en sich die Gebiet e gegense it ig. So hat mancher Versuch, die Unmoglichkeit der effiz ienten Losbarkeit eines Problems zu zeigen , die P robl emstruktur so erhellt, dass sich ein effiz iente r Algorithmus ergab. Ande rerseits zeigen die Beispiele, an denen Versuche des Entwurfs

1.1 Was ist Komplexitatstheori e?

3

effizienter Algorithmen scheite rn, was die Schwierigkeit des betrachtet en Problems ausmacht. Daraus ergeben sich Beweisideen , urn die Schwierigkeit des Problems zu beweisen. Es kommt durchaus haufig vor , dass man mit einer falschen Vermutung tiber den Schwierigkeit sgrad des Problems startet . Wir diirfen bei der Untersuchung der Kornplexitat von Problemen also mit ub erraschenden Ergebnissen rechnen. Als Ergebnis der einleitenden Diskussion halten wir fest :

Das Ziel der K omplexit iitsth eorie ist es, fur wichtige Problem e nachzuweisen, dass zu ihrer Losutu; bestimmte Mindestressourcen notig sind . Die Ergebnisse der Komplexitiitstheorie haben konkrete Auswirkungen auf die Entwicklung von Algorithmen fur praktische Anwendung en. Nachdem wir bisher die Beziehungen zwischen den Gebieten Komplexitatstheorie und Algorithmenentwurf betont haben , wollen wir nun die Unterschiede herausarbeit en . Beim Algorithmenentwurf milssen wir "nur" einen Algorithmus entwickeln und analysieren. Dies fuhrt zu einer oberen Schrank e fur die zur Losung des betrachteten Problems minimal ben6tigten Ressourcen . Die Kornplexitatstheorie soll untere Schranken fur den minimal ben6 tigt en Ressourcenbedarf liefern, also Mindestressourcen angeben, die jeder Algorithmus zur Losung des Problems verbrauchen muss. Fur den Beweis einer oberen Schr anke genugt es also, einen Algorithmus zu entwerfen und zu analysieren (wobei der Algorithmenentwurf die spatere Analyse unterstiitzen kann) . Jede untere Schr anke ist aber eine Auss age iiber alle Algorithmen , die das betrachtete Problem losen . Die Menge aller Algorithmen fur ein Problem ist eine wenig strukturierte Menge . Ihr einziges Strukturmerkmal ist , dass das Problem gelost wird. Wie konnen wir dieses Strukturmerkmal einse tze n? Es ist nahe liegend, aus der Struktur des Problems Aussagen abzuleit en , die die Menge zu betrachtender Algorithmen einschr anken . Ein konkretes Beispiel: Es scheint klar zu sein , dass die best en Algorithmen zur Ma trixmultiplikation nicht damit beginnen, Matrixelemente voneinander zu subtrahieren. Wie beweist man dies? Oder ist ein Beweis iiberfliissig, wei! die Auss age so offensichtlich ist? Ganz im Gegentei!: Die besten bekannten Algorithmen zur Matrixmultiplikation beginnen damit , Matrixelement e voneinander zu subtrahieren (siehe z. B. Wegener (1996)) . Dies zeigt deutlich die Gefahr, sehr anscha ulichen, ab er falschen Schlussfolgerungen zu erliegen. Also:

Um na chzuweisen, dass zur Losutu; eines Problems bestimmte Mindestressourcen notig sind, miissen alle Algorithmen fur das Problem beachtet werden. Darin liegt die Haupt schwierigkeit auf dem Weg zu den Zielen der K omplexitiitstheorie. Wir wissen jetzt, welche Ergebnisse wir anst reben, und wir ha ben erlautert, dass es schwierig ist, diese Ergebnisse t atsachlich zu erre ichen. Dies

4

1. Einleitung

klingt , als wollten wir im Voraus ausbleib ende Erfol ge erklaren, Und so ist es a uch gem eint.

Von den wichtigsten Problem en der K omplexitiitstheorie ist kein es qeliist, aber auf dem Weg zur Lo sunq der zentralen Fragen sind beachtliche Ergebni sse erzielt worden. Wie hab en wir uns das vorzustellen ? In dem klassischen Buch von Hopcroft und Ullm an (1979) , das a uch eine Einftihrung in die Komplexit at stheorie ent halt , zeigt das Titelbild, wie mit Hilfe der Ergebnisse der Vorhan g vor der Sammlung der Wahrheit en der Komplexitat stheorie hoch gezogen wird und den Blick auf die E rgebnisse freigibt. Aus meiner Sicht der Komplexitatst heorie wurde der Vorh ang bisher nur am Rande etwas beiseit e geschoben, so dass wir einige "kleinere Wahrheit en " ganz sehen . Ansonsten wurde der blickdichte Vorhan g durch einen dunneren Vorhan g ersetz t, durch den wir einen GroBteil der Wahrheit schemenhaft erkennen konnen , ohn e un s ganz sicher zu sein , nicht einer optis chen T aus chung zu erliegen. Was heiBt dies konkret? F ur Probleme, die als schwierig angesehen werden , wurde zwar nicht bewiesen, das s sie schwierig sind, aber es wurde gezeigt, dass t au send e von Problemen im Wesentlichen (dies wird spa te r genauer spezifizier t) gleich schwierig sind. Ein effizienter Algorithmus fur eines dieser Problem e impli ziert effiziente Algorithmen fur aile anderen Probleme. Od er anders ausgedrtickt: Der Nachweis, dass eines dieser Probleme nicht effizient losbar ist , implizier t , dass keines effizient losbar ist. Aus tausenden von Geh eimnissen wurde ein groBes Myst erium, dessen Enttarnung aile Geheimnisse aufdeckt. Damit ist jedes kleine dieser Geheimnisse gena uso zent ral wie je des andere und so wichti g wie das groBe Mysterium, das wir spater als NPfP-P roblem bezeichn en . Irn Gegensat z zu vielen anderen Geb iet en der Info rm atik gilt :

Die Komplexitiit sth eorie hat mit dem NPfP-Problem eine zentrale Herausfo rderung. Der Vort eil eines der artig wichtigen und zent ralen Problems best eht darin , dass auf dem Weg zur Losung des Problems viele wichtige Er gebnisse, Methoden und sogar Forschungsgebiet e ent deckt werden . Der Nacht eil ist , dass es lange bis zur Losung des zent ralen Problems dau ern kann. Dies konnen wir aus der 350 J ahre dau ernden Suche nach einem Beweis der fermatschen Vermutung (dazu sei Singh (1998) empfohlen) lernen . Auf dem Weg zur Losung wurden t ief liegende mathem atische T heorien entwickelt, abe r auch etl iche Irrwege beschri tten. Nur wegen der Bertihmtheit von Ferm at s letztem Sat z wurden so viele Kr afte a uf die Losung des Problems gebtindelt. Das NPfPProblem hat in der Informatik eine ahnliche Rolle eingenommen - mit einem bed au ernswerten Unterschied . Die fermatsche Vermutung (zur Erinnerung:

1.1 Was ist Kornpl exit atsth eorie?

5

es gib t kein e nat urli chen Zahlen x, y, z und n 2: 3 mit x" + yn = zn ) ist fur einen GroBt eil der Bevolkerung ver st andlich. Es ist faszinier end, dass eine so einfac h zu formuli erend e Behauptung die Welt der Mathematik fur Jahrhunderte beschafti gt hat . Fur die Rolle der Informatik war e es schon, wenn es ebenso einfach ware, die Komplexitat sklassen P und insb esondere NP und die Bedeutung des NPfP-P roblems einem groBen Teil der Bevolkerung erklaren zu konnen . Es wird sich zeigen, dass im Umfeld des NPf P-P roblems wichtige und schone Er gebnisse erzielt worden sind. Ab er wir miissen a uch befur cht en , dass noch viel Zeit vergeht , bis das NPf P-P roblem gelost wird. Dah er ist es nicht unb edingt die best e Strat egie, die Losung des Problems direkt anzusteuern . Yao (2001) hat unsere Ausgan gsposit ion mit der Situation derjenigen verglichen, die vor 200 J ahren davon t raumten, au f den Mond zu gelangen. Die Strat egie, auf den nachst en Baum ode r hochst en Berg zu steigen, bringt uns zwar dem Mond nah er, aber nicht dem Ziel, auf den Mond zu gelangen. Die besser e Strat egie war es, imm er bessere Fortbewegungsmitt el (Fahrrad , Auto , Flugzeug, Raket e) zu entwickeln. Jeder dieser Zwischenschritte stellte im Wort sinn eine weltbewegende Entdeckung dar . F ur die Komplexitatstheorie am Beginn des dr itten J ah rt aus ends heiBt dies ebe nfalls, geeignete (Um)wege zu find en , wobe i wir nie sicher sein konnen , dass sie zum Ziel ftihr en . So wie diejenigen , die an der ferm at schen Vermutung arbe iteten, "sicher" war en , dass die Vermutung korrekt ist , so glaube n heu t e die Expe rt innen und Experten , dass NP f P ist und damit aile der ob en betracht et en im Wesent lichen gleich schwierigen Probleme nicht effizient losbar sind . War um ist dies so? Aus der gegenteiligen Annahme NP = P wurden Folgerungen abgeleitet , die im Widerspruch zu all unseren Uberzeugungen stehen, die aber nicht beweisb ar falsch sind. St rassen (1986) ist deshalb so weit gegangen, den St atus der NP fP- Vermutung tiber den Stat us einer mathem ati schen Vermutung zu stellen und sie mit physikalischen Geset zen (wie E = m c 2 ) zu vergleichen . Dies lasst ubrigens auch die Moglichkeit offen , dass die Hypo these NP f P wahr, abe r im Ra hmen un serer Beweist echniken nicht beweisbar ist . Wir sind an dieser St elle allerdings weit davon entfe rnt , diese n Hint ergrund erns t haft zu diskutieren. Unsere Schlu ssfolgerung ist, dass es sinnvoll ist , eine Theorie unt er der Hyp othese NP f P aufzubauen. Viele Erge bnisse der K omplexitiitsth eori e setzen solide begriindet e, aber unbewiesene Hypoth esen wie N P f P voraus.

Und was ist , wenn doch NP = P ist ? J a, dann miissen wir viele unserer Vorst ellungen grund legend revidieren. Viele der hier disku tiert en Er gebni sse erha lten dann eine neue Int erpret ation , aber die meisten werden nicht wertl os. Insgesamt bildet die Komplexit atstheorie eine int ellektuelle Her au sforderung, die sich von den Anforderungen anderer Gebi et e der Informatik unt erscheidet. Sie ordnet sich in der Wi ssenschaft sland schaft in die Reihe der

6

1. Einleitun g

Disziplinen ein, in denen die

Grenzen des mit den vorhandenen Ressourcen Machbaren ausgelotet werd en . Hier sind es Ressourcen wie Rechenzeit und Sp eicherplatz. Wer also an den Grenzen dessen , was mit Rechnern praktisch machbar ist , int eres siert ist , fur den gibt die Komplexit iitstheorie wichtige Antwort en . Ab er a uch wer nur pragmatisch wissen will, ob ein sie od er ihn int eressierendes Problem effizient losb ar ist , ist bei der Komplexitatstheorie an der richtigen Adresse.

1.2 ZUlli didaktischen Hintergrund Das Haupt ziel dieses Leh rbuches ist es, moglichst vielen einen komfortabl en Zugang zur modernen Komplexitatstheorie zu errnoglichen. Dazu wurden einige Entscheidungen get roffen, so dass sich dieses Lehrbuch von anderen unterscheidet. Da die Komplexitiit stheorie eine a usgefeilte und weit verzweigt e Theorie ist , war es un au sweichlich, eine Themen aus wahl vorzun ehmen . Es wurde darauf Wert gelegt, Er gebnisse a uszuwa hlen, die einen konkret en Bezug zu algorit hmischen P roblemen hab en . Am Ende soll die Bedeutung der Komplexitiitstheorie fur eine moderne Informat ik deutli ch geworden sein . Dies geht auf Kosten der st ru kt ure llen und der abst rakten Zweige der Komplexitatstheori e. In Kap it el 1.3 werden die behandelt en Themen nah er erliiute rt . Wir hab en die Schwierigkeit en im Umgan g mit negativen Resultat en bereits ebe nso diskutiert wie die Bezuge zum Gebiet Entwurf von Algori thmen . Mit einer konsequ ent algorithmisch gepriigte n Sichtweise wollen wir, wo immer es moglich und sinnvoll ist, Ergebnisse von der positiven Seit e darste llen und erst dann Kon sequenzen filr Negativres ultate ableite n. Dazu werden wir viele oft nur qu alit ativ dar gest ellt e Resultat e qu antifizieren . SchlieBlich ist es der Begriff des Nicht determinismus , der eine groBe Hilrde dar st ellt, urn in die Komplexit iit stheorie einzusteigen. Zuniichst wird meist ens von nicht det erministischen Rechnern gesprochen, die den richtigen Rechenweg " raten" , urn dann zu ergiinze n, dass derartige Rechner nicht konstruierbar sind . St attdessen wahlen wir den Weg, Randomisierung als Schlusselkonzept zu pr asenti eren . Randomisierte Algorithmen konnen a uf normalen Rechnern realisiert werden und die moderne Algorithmenentwicklung hat den Vorteil randomisierter Algorithmen deutli ch nachgewiesen (siehe Motwani und Raghavan (1995)) . Nicht determinismus erweist sich als Sp ezialfall von Randomi sierung un d damit als algorit hmisch realisierbar es Kon zept, wenn auch eines mit inakzeptabler Fehlerwahrscheinlichkeit (siehe dazu auch Wegener (2002)) . Hieraus lassen sich die ubli chen Cha ra kte risieru ngen des Nicht dete rminismus spa te r leicht ableite n.

1.3 Uberblick

7

Natiirlich werden wir die Ergebnisse vollst andig und formal beweisen, aber oft sind es hassliche Details , die die Beweise lang und unanschaulich ma chen . Dagegen sind die wesentlichen Ideen meistens kurz zu beschreib en und anschaulicher. Wir werd en dah er neb en den Beweisen a uch die Id een , Methoden und Konz epte diskutieren und haben die Hoffnung, dass das Zusammenspiel aller Komponent en den Einstieg in die Komplexitatstheorie erleichtert.

1. 3 Uberblick In Kapitel 1.1 hab en wir es uns sehr leicht gemacht, indem wir einfach davon ausgegan gen sind , dass ein Problem algorithmisch schwierig od er effizient losbar ist . Alle nicht form al definierten Begriffe miissen eind eutig spezifiziert werden. Dies beginnt schon mit dem Begriff eines algorithmischen Problems . Hangt die Schwierigkeit eines Problems nicht auch davon ab , wie man es formuliert und wie man die benotigten Daten bereitstelIt ? Daher klar en wir in Kapitel 2 wesentliche Begriffe wie algorit hmisches Problem, Rechn er , Rechenzeit und algorithmische Komplexitat. Damit wir tiber Beispielprobleme reden konnen, werden wichtige algorithmische Probleme mit ihr en Problemvarianten vorgestellt und motiviert. Urn den Lesefluss nicht zu storen, wird eine ausftihrliche Einflihrung in die O-Notation in einen Anhang verl agert. In Kapitel 3 st ellen wir das Schliisselkonz ept Randomisierung vor. Wir diskuti eren, warum randomisierte Algorithmen eine in den Anwendungen auferst niitzliche Verallgemeinerung det erministischer Algorithmen darstellen - solange die Wahrscheinlichkeit unerwiinscht er Ereignisse (zu lange Rechenzeit, falsches Ergebnis) verschwindend klein ist . Die hierfur benotigt en Ergebnisse aus der Wahrscheinlichkeitstheorie werd en in einem Anhang vorgestellt , bewiesen und erklart. Am Ende erh alten wir Klassen von Problemen , die wir als effizient losbar bezeichnen . Die An zahl pr aktisch relevanter algorit hmischer Probleme geht in die Tausende und wir miisst en verzweifeln , wenn wir die Probleme un abhangig voneinander behandeln miissten. Neben algorithmischen Techniken wie der dynamis chen Programmierung, die a uf viele Probleme anwendbar sind , gibt es viel engere Beziehungen zwischen verschiedenen Problemen. Dies erstaunt nicht, wenn wir verschiedene Var ianten eines Problems betracht en , abe r selbst Probleme, die sehr verschieden aussehen, konnen in folgendem Sinn e eng verwandt sein. Das Problem A lasst sich mit Hilfe eines Algorithmus fur Problem B losen, wob ei der Algori thmus fur Problem B nicht sehr oft a ufger ufen wird und der zusat zliche Aufwand ert rag lich ist . Dies impli ziert, dass A recht effizient losba r ist , wenn B effizient losbar ist. Anders ausgedriickt: B kann nicht effizient Iosbar sein, wenn A algorit hmisch schwierig ist . Damit haben wir ein algorithmisches Kon zept, spater Reduktion gen annt , benutzt , urn die algorit hmische Schwierigkeit eines Problems aus der Schwierigkeit eines anderen Problems ab zuleiten. In Kapitel 4 wird dieser Ansatz formalisiert und an vers chiedenen Beispielen eingeiibt. Von besonderem Interesse sind Klassen

8

1. Einleit ung

von Problem en , von den en in der obigen Beschreibung jedes die Roll e von A und jed es die Roll e von B ub ernehmen kann. Dann sind ent wede r all diese Problem e effizient losb ar oder keines von ihn en . Die in Kapit el 5 vor gestellt e NP -Vollstandig keitst he orie fuhrt zu der bereit s in Kap it el 1:1 d iskut ierten Kl asse von Problemen , zu der t ausende von prak tisch relevanten Problem en gehoren und di e alle effizient lasbar sind oder alle nich t effizient lasbar sind. Die erste Moglichkeit ist aquivalent zu der Eigenschaft NP = P und die zweite zu NP =I P . Damit wird deutlich , warum das NP=lP-Problem die angeklind igte zentrale Roll e spielt . E inige der in Kapit el 4 ber eits vorgestellt en Reduktion en bekommen jetzt ihre wah re Bede ut ung, da sie implizier en , dass di e betrachteten Problem e zu der genannten Kl asse von P roblem en gehoren . In Kapitel 6 wird der E nt wurf der artiger Reduktionen systematischer beh andel t . K ap it el 7 und 8 wid men sich der Komplexit at sanalyse schwieriger Probleme. Es wird untersucht , wie man in de r Men ge de r Problemvari anten die Grenz e zwischen effizient losb aren und schwierigen Problemvariant en find en kann. Fur den wichti gen Sp ezialfall der Approximationsprobleme hab en wir K apitel 8 reserviert . Bei Optimierungsproblemen lasst sich di e Forderung der Ber echnung einer optimalen Losung d ahin gehend abschwache n, dass wir mi t fast op timalen Losungen zufriede n sind, wob ei wir " fast " qu antifizieren mii ssen. Ftir einige wenige Probleme erhalten wir aus den fruher en K apiteln relativ leicht auch E rge bnisse fur Approximati on sproblem e. Um weiter e Ergebnisse tib er Reduktionen zu erhalten, mu ss ein erweiterter Begriff app roximations erhalt ender Reduktionen einge flihrt werden . Auf diese Weise lassen sich schon recht viele Approximationsproblem e beh andeln - allerdings ent ziehe n sich auc h wichtige , als schwierig vermutete Approximationsp roblem e all di esen Methoden . Die klassische Ko mplexit atstheorie ist an dieser St elle an ein lan ge Zeit un tib erwindliches Hindernis gest oBen . Die neu eren E ntwicklungen werden in Kapitel 11 und 12 d argest ellt . Die Komplexitat stheorie mu ss auf alle E nt wicklunge n bei m Entwurf effizienter Algorithmen reagier en , so auch auf den ver mehrten Einsat z nicht problemsp ezifischer randomisier t er Su chheuristiken wie Simulated Annealing und evolut ionare r Algor it h men. Wenn Algori thmen nicht probl em sp ezifisch arbei ten, ist unser anso nsten ange messenes problem sp ezifisches Szen ario nicht mehr ange mes sen . Das zuge ho rige Black-Box-Szen ario wird in Kapit el g einge flihrt . In diesem Szen ario haben wir die Moglichkeit, die Schwieri gkeit von Problemen direkt, also ohne eine komplexit at stheor eti sche Hyp othese nachzuweisen . Erst nach gewa ltigen An strengungen sehr vieler Wissenschaftl erinnen und Wissen schaftler ist es Anfang der gOer J ahre des vorigen J ahrhunderts gelungen, das ob en diskutierte H indernis bei der Beh andlung von Approximation sproblemen mit dem so genan nten PCP-Theorem (probabilisticall y chec kable proofs) zu ub erwinden, Ab er selbst mehr als 10 J ah re nach der Ent deckung d ieses gru nd legende n T heorems sin d no ch nicht alle Konsequen zen daraus ge-

1.3 Uberblick

9

zogen worden und wird das Result at no ch verscharft . Auf der anderen Seite gibt es no ch kein en Beweis selbst der Basisvariante des PCP-Theorems , der sich in eine m Lehrbuch darstellen lasst (ein e Beh andlung in einer Sp ezialv orlesung hat 12 Doppelstunden in Anspruch genommen ). Hier werd en der Weg zum PCP-Theorem und die auf diesem Weg erzielten zent ra len Ergebnisse beschrieb en . Zun achst wird in Kapitel 10 ein kurzer Blick in die strukturelle Komplexitatstheorie geworfen. Dabei untersu chen wir die innere Struktur der Komplexitatskl asse NP und entwickeln ein e logiko rientierte Sicht auf NP. Daraus lassen sich E rweit erungen von NP ableiten, die d ie polynomielle Hierarchie bilden . Wir konnen dann die St ellun g der Komplexitat sklassen , die auf randomisierten Algo rithmen be ruhe n, besser einordne n und er halten neue Hypothesen, die gut, a ber nicht so gut fundier t sind wie die NP;;t:P -Hypot hese . Sp ater (K ap it el 11 und 14) werden wir Aussagen tib er prak tisch wichti ge Problem e au f diese Hypothesen stii tz en . Beweise hab en die E igenschaft , viel einfache r verifi zierbar als konstruierbar zu sein . So lasst sich ein ga nzes Leh rbuch in ange messene r Zeit versteh en , wob ei fur die Entdeckung der Erge bnisse viele Person en viele J ah re gea rbeit et haben . Beweise werden nicht form al und logisch korrekt pr asenti ert (nur abgestii tzt auf Axiome und weni ge erlaubte Schlussfolgerungen) , sondern der Autor ver sucht die Leserinnen und Leser mit Argumenten zu tibe rze uge n. Eine interaktive Kommunikation (der eine Vorlesung wesentlich nah er kommen kann als ein Lehrbuch oder e-lea m ing ) wurde diese Ub er zeu gungsarbeit erle ichtern . Schon Sokrates hat mit seinen Schtilern Beweise durch Dialoge gefuhrt . K apitel 11 ent halt eine EinfUh rung in int er aktive Beweissyst em e. Was hat dies mit der Komplexitat von Problem en zu tun? Wir messen die Kornplex itat daran, wie viel Kommunikat ion (gem essen in Bits und Kommunikationsrunden , in denen die Rolle zwischen Zuh6 rer und Rednerin wechselt ) und R andomisierung ausreichen , so dass je mand, der unbeschr ankt e Ressourcen hat und den Beweis einer Ei gen schaft (wie zum Beispi el eine billige Tour im Travelin g Salesp erson P roblem ) kennt, jemanden mit realisti sch beschr ankten Ressourcen von der Eigenschaft tib er zeugen kann. Dieses zu nac hst ori gin ell, abe r nu tzlos klin gende Spiel hat enge Beztige zu der von uns unter sucht en Kornplexit at von Problem en . Es gibt sogar Beweisdi aloge, bei den en d ie zweite Person von der betracht eten Eigensch aft ilber zeu gt werden kann, ohne irgendetwas Neues tiber den Beweis zu erfahren (ZeroKnowledge-Beweis) . Eine Anwendung liegt dann nah e. Der Beweis kann als Kennwort (p assword) benu tz t werden. Das Kennwort lasst sich effizient tiberprufen, ohne dass es sein en geheime n Charakter verliert . Nach d iesen Vorb ereitungen wird in Kapitel1 2 das P CP-Theor em erla utert und es werden zent rale Beweisid een diskutiert. In sbesondere wird das P CP-Theor em benutzt , urn bessere Ergebnisse tib er die Komplexitat zentraler Approximationsproblem e a bzuleiten.

10

1. Einleitung

Kapitel 13 bietet einen Einblick in weitere Themen der klassischen Komplexitatstheorie: speicherplatzbasierte Komplexitiitsklassen, die komplexitatstheoretische Klassifikation kontextsensitiver Sprachen, die Satze von Savitch sowie Immerman und Szelepcsenyi, PSPACE-Vollstiindigkeit, P-Vollstiindigkeit, also Probleme, die effizient losbar, aber inharent sequenziell sind, und #P-Vollstiindigkeit , bei der es urn die Komplexitat von Problemen geht , bei denen wir an der Anzahl der Losungen interessiert sind. Kaoitel l d behandelt den komplexitiitstheoretischen Unterschied zwischen Software und Hardware. Ein Algorithmus (Software) arbeitet auf Eingaben beliebiger Lange, wiihrend ein Schaltkreis (Hardware) nur Eingaben einer bestimmten Lange verarbeiten kann. Insbesondere gibt es fur jede boolesche Funktion mit der disjunktiven Normalform (DNF) eine Schaltkreislosung, wahrend es nicht losbare algorithmische Probleme gibt (Halteproblem, Softwareverifikation) . Hier stellt sich die Frage, ob es fiir algorithmisch schwierige Probleme kleine Schaltkreise geben kann. Kapitel 15 enthalt eine EinfUhrung in das Gebiet der Kommunikationskomplexitat. Friiher wurde Informatik als Wissenschaft der Informationsverarbeitung definiert, aber heute ist die zentrale Rolle der Kommunikation unbestritten. Mit der Theorie der Kommunikationskomplexitiit ist es gelungen, viele sehr verschiedene Probleme auf ihren gemeinsamen Kommunikationskern zu reduzieren. Wir werd en die grundlegenden Methoden dieser Theorie vorstellen und exemplarisch anwenden. Boolesche (oder allgemeiner) endliche Funktionen spielen in der Informatik offensichtlich eine zentrale Rolle. Zu ihrer Berechnung oder Darstellung gibt es wichtige Modelle (Schaltkreise, Formeln, Branchingprogramme (auch binary decision diagrams oder kurz BDDs genannt)) . Ihr Vort eil ist , dass sie von kurzfristigen Technologieiinderungen unabhiingig sind und wir daher klar spezifizierte Referenzmodelle haben . Dies macht konkrete Schr anken fur die Komplexitiit bestimmter Funktionen interessant. Auch hier sind untere Schranken nur schwer zu erzielen. In Kapitel 16 werden zent rale Beweismethoden vorgestellt und zusa mmen mit den Methoden aus der Kommunikationskomplexitat auf konkrete Funktionen angew endet .

1.4 Weiterflihrende Literatur Da wir uns in diesem Lehrbuch auf eine Einfiihrung in die Komplexitatstheorie beschriinken und dabei insbesondere die strukturelle Komplexitatstheorie nur knapp behandeln, soll hier auf eine Auswahl ergiinzender Lehrbiicher hingewiesen werden. Am Beginn sollen zwei klassische Monographien genannt werden, die groBen Einfluss gehabt haben. Dazu gehort die Einfuhrung in alle Bereiche der t heoret ischen Informatik von Hopcroft und Ullman (1979) mit dem beriihmt gewordenen Titelbild (eine akt ualisierte Fassung stellt das Buch von Hopcroft, Motwani und Ullman (2001) dar) . Das Bu ch von Garey und Johnson (1979) war lange Zeit das NP-Vollstiindigkeitsbuch und es ist

1.4 Weiterftihrende Literatur

11

heute noch wegen der groBen Zahl beh andelt er P roblem e ein sehr gut geeignetes Nachschlagewerk. Das von van Leeuwen (1990) her ausgegeb ene Handbuch biet et vor allem auch eine gute Einordnung der Komplexitatstheorie in die theoretische Inform atik und beh andelt ebe nso wie P ap adimitriou (1994) , Reischuk (1999) und Sipser (1997) viele Aspekte der Komplexitat stheorie. Wer Lehrbiicher mit einem Schwerpunkt in der st ru kt urellen Kornplexitatstheorie und den zugehorigen Spezialgebiet en sucht , sei auf Balcazar , Diaz und Gab arro (1988), Hem aspaandra und Ogihara (2002) , Hom er (2001) , Wagner (1994) , Wagn er und Wechsung (1986) und Wechsung (2000) verwiesen . Weite rgehende Inform ationen zum P CP-Theorem finden sich in der von Mayr, Prornel und Steger (1998) herau sgegeb enen Aufsat zsammlung. Auf die Behandlung von Approxim ationsproblemen ist das Bu ch von Au siello, Cr escenzi, Gambosi, Kann , Marchet t i-Spaccamela und P rotasi (1999) spez ialisiert . Hrornkovic (1997) und Reischuk (1999) beh andeln die Aspekt e von Par allelrechn ern und Multiprozessorsystemen besonders ausfuhr lich. Die Komplexitat boolescher Funktionen beziiglich Schaltkreisen und Formeln wird von Wegener (1987) und Clote un d Kr an akis (2002) und beziiglich Bran chingpro gram men und BDDs von Wegener (2000) dar gestellt . Die St andardwerke zur Komrnunikationskomplexitat sind Hromkovic (1997) und Ku shilevitz und Nisan (1997).

2. Algorithmische Probleme und ihre Komplex it at

2.1 Was sind algorithmische Probleme? Es ist sicherlich unmoglich, den Begriff "P roblem" abzugrenze n oder ga r zu form alisieren. Unte r einem "algorit hmischen Problem " wollen wir ein Problem verst ehen , das fur eine Bearbeitung mit Rechn ern geeignet ist und fur das die Menge korrekter E rgebnisse wohldefiniert ist. Das Problem , ein gerecht es Urt eil fur einen Angeklagt en zu finden , ist schon desh alb nicht algorithmisch, weil es aus recht sphilosophi schen Grtinden nicht fur die Bearbeitung mit einem Rechner geeignet ist. Dagegen ist das Problem , einen deutschen Text in eine ande re Spr ache zu tiberset zen, fur eine Bearbeitung mit Rechnern geeignet , allerdings ist nicht klar a bgegrenzt, welche E rgebnisse korr ekt sind . Im Sinne der Komplexitiitstheorie ist also auch das Ubersetzungsproblem kein algorit hmisches Problem. Ein Must erbeispiel eines algorithmischen Problems ist die Berechnung eines ktir zest en Weges von s nach tin einem Gr aphen , in dem s und t zu den Knot en gehore n und die Kanten mit positiven Kost en (Distanzen oder Reisezeit en) bewertet sind . Ein algorithmisches Problem ist definiert dur ch - die Beschr eibung der Menge zulassiger Ein gab en , die sich als endliche Folgen tiber einem endlichen Alphab et (dem Zeichensat z un seres Rechn ers) dar st ellen lassen, und - die Beschreibung der Funktion, die jeder zulassigen Ein gabe die nicht leere Menge korr ekter Ausgab en (Antwort en , Ergebnisse) zuweist, wobei Ausga ben ebenfalls endliche Folgen tiber einem endlichen Alphab et sind . Mit der Einschra nkung auf endliche Folgen und endliche Alphabet e hab en wir un s den Moglichkeit en digitaler Rechner angepass t . Bei jeder Behandlung beliebiger reeller Zahl en mtissen diese auf die eine od er andere Weise approximiert werden . Algorithmische Probleme hab en oft, wie das Kiirzest er-WegP robl em , eine kurze informale Beschr eibung, die abe r das Ein gab eformat nicht festl egt . So konnen Gr aphen durch Adj azenzmatrizen od er Adj azenzlist en und Dist an zwerte in Dezirnal- od er Bin ardar st ellung dar gest ellt werd en . Der Entwurf guter Algorithmen kann stark vom Eingabeformat a bha ngen. Dies gilt insbesond ere, wenn wir die Rechenzeit sehr genau messen wollen . Es lasst sich aber festst ellen , dass oft alle "vern tinft igen" Einga beformate "eines" Problems zu algorit hmisch ahnlichen Problemen fuhr en (so Iasst sich I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

14

2. Algorithmische Probleme und ihre Kornplexitat

die Adj azenzmatrix eines Graphen recht effizient aus den Adj azenzli st en berechn en und umgekehrt) . Wir werd en dah er die Einga beformate stets nur so exakt wie notig beschr eiben . Insb esondere wer den wir angebe n, von welchen Par ametern wir die Rechenzeit abha ngig machen (An zahl der Knot en eines Graphen beim Eingab eformat Adjazenzmatrix oder Anzahl der Kno ten und Anzahl der Kanten beim Ein gab eform at Adj azenzlist en) . Kiinstliche Verl an gerungen der Eingab en wie die Verwendung der Una rda rstellung von Zahl en (n wird als Folge von n Einsen dargest ellt) werd en ausgeschlossen, solange nicht explizit etwas Gegenteiliges gesagt wird . Genau genommen muss fur je de Ein gab e ub erpruft werden , ob sie zulassig (synt akt isch korr ekt) ist. Da dies bei allen betracht et en Problemen effizient moglich ist , disku ti eren wir auch diesen Asp ekt nicht weit er . Wir werden versuchen , uns auf den Problemkern zu konzentrieren. Disku ssionswiirdig ist , dass nur zwischen korr ekten und nicht korrekten Ausgab en unt erschieden wird. Damit sind aIle korr ekten Ausgab en "g leich gut " . Dies spiegelt unser Ziel wider, die benotigt en Ressourcen , insbesondere die benoti gt e Rechenzeit , in den Mittelpunkt unserer Betrac ht ungen zu stellen. Natiirlich konnen zulassige Ausgab en (Wege von s nach t) eine un t erschiedliche Qu alitat (Lan ge) hab en . Dann ist es nah e liegend, nur zulass ige Au sgab en mit optimaler Qu alitat (kiir zest e Wege) als korr ekt zu bezeichnen . Bei schwierigen Problemen kon nen wir alle Ausgab en , deren Qualit at nur urn einen bestimmt en Prozentsat z vom Op timum abweicht, als korrekt bezeichnen (App roximationsprobleme) . Obwohl algorit hmische P robl eme meh rere korr ekt e Antwort en hab en konnen , gebe n wir uns ste ts mit der Ausgab e einer korr ekt en Antwort zufrieden. Wenn es zu viele korr ekte Antworten gibt, kan n die Aufli stung aller korr ekten Antworten zu aufwandig sein. So lassen sich St adtteile wie Manhat t an als Zahlengit ter {O, ... ,n} x {O, . . . , m } beschreiben , wob ei (i , j ) Kreuzungspunkte sind und die StraJ3en hori zont al und vertikal verlaufen . Wenn n ::; mist, gibt es mind est ens 2 n kiir zest e Wege von (0, 0) nach (n , m) und ihr e Aufli stung ist schon fur kleines n zu aufwandig. In den meist en Anwendungen sind wir mit der Beschr eibung eines kiirz est en Weges gut bedient. Wir konnen das P roblem abe r auch so aba ndern, dass wir nur die Beschreibung aller kiirzesten Wege als korrekte Ausgab e ansehen oder dass wir die Beschreibung von min {a, b} (a die Anz ahl kiir zest er Wege, b eine vorgegebene Schranke) verschiedenen kiir zest en Wegen als Ausgab e verlan gen. In jedem Fall suchen wir a us form aler Sicht nach einer von eventuell vielen korrekten Antworten und sp rechen dah er von einem Su chproblem (sear ch problem) . Falls wie bei der Berechnung eines kiirzest en Weges eine Losung mit grofster Qu alit at gesucht wird , bezeichnen wir das Problem als Optimierungsproblem (optimization pro blem). Oft geniigt es, den Wert einer optimalen Losung (z. B. die Lan ge eines kiir zest en Weges) zu berechnen. Diese Vari ant e wird Wertp roblem od er Auswertung sproblem (evaluatio n probl em ) genannt. Auswertungsprobleme sind eindeutig losb ar . Der Sonderfall, dass nur die Antwort en

°

2.2 Einige wichtige a lgorithmische Problem e

15

("n ein ") od er 1 ("j a") in Fr age kommen und wir entschei den mu ssen , welche der beiden Antwortrnoglichkeiten korrekt ist , wird als Entscheidungsproblem (decision problem) bezeichn et . Entscheidungsproblem e ergeben sich auf ga nz nat urli che Weise: Hat Weif3 bei ein er gege benen Situation beim Schach eine Gewinnstrategie? Ist die gege bene Zahl eine Primzahl ? Sind vorgegeb ene Bedin gungen erfiillbar? Der wichtige Spezialfall der syntakt ischen Korrektheit eines Progr amms bezuglich einer Progr ammiersp rache (das Wor t problem ) hat zu der alternativen Bezeichnung (formale) Sprache ((form al) langu age) fur Ent scheidungsprobleme gefuhrt. Optimierungsproblem e hab en auf nahe liegende Weise Var ianten , die Ent scheidungsprobleme sind: Ist die Lan ge eines kiir zest en Weges von s nach t durch I beschrankt?

Algorithmische Problem e (oder Suchproblem e) decken also alle Problem e ab, die wir mit R echn ern bearbeit en kotin en und bei den en eindeutig zwischen korrekt en und nicht korrekt en A usgaben untersc hieden werden kann. Dazu qehoren Optimierungsproblem e und eindeutig losbare Problem e wie A uswertung sproblem e und Entscheidungsproblem e. Verschiedene Eingabeformate [iir dieselbe Problemstellung fiihren zu verschiedenen algorithmischen Problem en, aber typ is cherweise sind sich diese P roblem e algorithmisch sehr iihnlich.

2.2 Einige wichtige algorithmische Probleme Urn genugend Beispiele zur Verfu gung zu hab en , wollen wir nun zehn wicht ige Problemfamilien vorst ellen :

- Rundreisep robleme (P roblem des Handlungsreisend en ), - Ru cksackprobl em e (b est e Au swahl von Objek ten) , - Aufteilungsprobleme (Verpackungsp robl eme, Stundenplanprobl eme, Last verteilungsprobleme) , - Uberwachungs pro bleme, - Cliquenpro blem e, - Teambildungsp robleme, - Optimierung von Flussen in Net zwerken , - Meist erschaft sp robl eme in Spo rtligen, - Verifikationsprobleme und - za hlentheoretische P robl eme (Test a uf P rimzahl eigen schaft , Fakt orisierung) . In dieser List e sind die am best en bekannt en algorit hmischen Probleme ent halten . Sie hab en eine einfache und anscha uliche Beschr eibung und zum tiberwiegenden Teil grof3e praktische Bedeu tung. Einige Probleme tauchen in ihrer " reinen Form" eher selte n auf, abe r man st ofit au f sie als Kernproblem , wenn man Probleme aus den Anwendungen bearbeiten will. Das Rundreiseproblem (Problem des Handlungsreisenden , fruh er t raveling salesman problem , heute t raveling salespe rson problem, TSP) ist das

16

2. Algorit hmische Probleme und ihre Komplexit at

Problem , eine ktirzest e Rundreise, die n vorgegebene Or t e erreicht und zum St artpunkt zurtick fiihrt, zu berechnen. Die Orte werden mit 1, . . . , n und die Distan zen zwischen zwei Orten mit di,j , 1 ::; i, j ::; n , i f:. i , bezeichn et . Die Dist anzen stammen aus N U {(X)} , wob ei der Wert (X) ande utet, dass es keine dir ekte Verb indung zwischen den betracht et en Or t en gibt . Ein e Rundreise ist eine Permut ation -tt a uf {I , . .. , n} , so dass die Orte in der Reihenfolge n(l) , n (2), . .. , n (n ), n (l ) besu cht werd en. Die Kost en einer Rundreise n bet ragen d1r( l ) ,1r(Z)

+ d1r(Z) ,1r(3) + ...+ d1r(n - l ) ,1r(n ) + d1r(n ) ,1r( l )

und es soli eine Rundreise mit minimalen Kosten berechnet werden . Hier zeigt sich schon die Vielfalt rnoglicher P robl emvari anten. Als TSP (oder TSP opd bezeichnen wir das allgemeine Optimierungsproblem , T SPeval und TSPdec sind die zugehorigen Auswertungs- und E ntscheidungspr obleme . Bei Let zt erem ent halt die Eingab e eine Schranke D und es ist zu entsc heiden, ob es eine Ru ndreise gibt, deren Kost en nicht grofier als D sind . Wir werd en folgend e eingeschrankte TSP-Vari anten betracht en : - T s psym: die Dist an zen sind symmet risch, also es ist di,j = dj,i , - TSpLo. : die Dist anz en er ftillen die Dreiecksungleichung, also es gilt di,j < di,k + dk,j , - TSpd-Euklid: die Orte sin d Punkte im euklidischen Raum IR d und die Distanzen entsprechen dem euklidischen Abstand (L z-Norm) , - TSp N : die Dist an zwert e stammen aus {l , .. . , N }, DHC (gericht et er hamil tonscher Kr eis, direct ed hamil tonian circuit ): die Distanzwert e stammen a us {l , (X)}, das ubli che Ein gab eformat ist dann ein gerichteter Gr aph, der nur die Kanten mit Kosten 1 ent ha lt , - HC = DHcsym: die sy mmetrische Vari ante von DHC , bei der das ubli che Eingabeformat ein un gericht eter Gr aph mit den Kan ten {i, j } ist, deren Kost en 1 betragen. Weit ere Varianten werden in der Monographie von Lawler, Lenstra, Rinnooy Kan und Shm oys (1985) , die sich nur mit dem TSP beschafti gt , vorgeste llt . F tir aile Versionen gibt es eine Op timierungsvariant e, eine Auswertungsvariant e und eine Entscheidungsvari ant e, wob ei wir fur DHC und HC nur die Entscheidungsvari ant e, ob der Gr aph einen hamiltonschen Kr eis ent ha lt, bet rac hte n. Die Eingabe n best ehen aus der Zahl n und den n( n - 1) Dist an zen . Ublich ist es, die Rechenzeit dennoch auf n zu beziehen . Bei den P robl emen DHC und HC ist a uch die Anz ahl m der Kanten relevant. Zu beachten ist , dass sowohl n als a uch m nicht die Lan ge der Eingab e tiber einem endlichen Alphab et messen. Diese han gt von der Grofe der Dist an zen di,j a b, bei einer Bin ardarst ellung nattirlicher Zahl en hat di,j die Lan ge 1I0g(d i,j + 1)1F tir das TSP hab en wir exemplarisch viele, wenn auch lan gst nicht aile Vari anten aufgelist et und wir hab en a uch die relevant en P ar am et er nah er diskutiert (n oder (n, m) od er im Wesentlichen die Bitl an ge der Eingabe ). Bei

2.2 Einige wichtige algorit hrnische P roblerne

17

den weiteren Problemen werden wir nur die wichtigsten Vari ant en vorstellen und die relevant en Par ameter nur nennen , wenn sie sich nicht auf ahnliche Weise wie beim T SP ergeben. Reisende, die die Gewi chtsgrenze von 20 kg im F lugzeug einhalten wollen , haben es mit dem Rucksackproblem (kn aps ack problem , KP) zu tun. Die Gewichtsgren ze G E N ist einzuhalten und es gibt n Obj ekte, die man gerne mitnehmen wiird e. Das i-te Ob jekt hat ein Gewicht von gi E N und einen Nutzen von a; E N. Es ist un zulassig, Objekte mit einem groferen Gesamtgewicht als G auszuwahl en . Anson st en besteht das Ziel darin, den Gesamtnutzen der ausgewa hlte n Obj ekt e zu maximieren . Auch hier gibt es die Vari ant en , bei denen die Gr oBe der Nutzenwert e und/oder Gewicht e beschr ankt ist . Im allgem einen Fall unterscheiden sich die Nut zen-pro-Gewichts einheit -Werte der Objekte. Mit KP * bezeichnen wir den Sp ezialfall ai = gi fiir alle Objekte. Dann besteht das Ziel nur no ch darin , die Gewichts grenz e moglichst gut von unten anzuna hern, Wenn dann no ch G = (gl + ... + gn)/2 ist und wir die Entscheidungsvari ante, ob wir die Gewicht sgrenze voll ausnut zen konnen , betrachten, ist dies aquivalent zur Fr age, ob wir die Menge der Objekte in zwei Gruppen mit demselben Gesam tgewicht eint eilen konnen, Dah er heiBt dieser Spezialfall Partitionsproblem (PARTITION) . Auch dem Ru cksa ckproblem ist eine Mono graphie gewidmet, siehe Mart ello und Tot h (1990) . Das P art itionsprobl em ist auch ein Spezialfall des A ujteilungsproblems (bin packing, BP) , bei dem Kisten der GroBe b bere itst ehen und wir n Objekte der Grofen a l , " " an in moglichst wenige Kist en verpacken wollen . Wir konnen BP aber au ch als sehr spezielles Lastvert eilungsproblem (Stundenplanproblem , scheduling problem) auffassen. Die Klasse der Lastverteilungsprobleme ist nah ezu uniiberschaubar (Lawler , Lenstra, Rinnooy Kan und Shmoys (1993) , P inedo (1995) ). St ets geht es darum, Aufgab en auf Personen oder Maschinen zu ver te ilen, wobei verschiedene Neb enb edingungen zu erfiillen sind . Nicht alle Person en sind fiir alle Aufgab en geeignet, sie konnen event uell zur Bearb eitung einer Aufgab e verschieden lange brau chen, es kann zwischen bestimmten Aufgab en eine vor gegebene Reihenfolge geben, in der sie bearbeit et werden miissen, es kann friihest e Anfan gszeit en und spatest e Beendigungszeit en (deadlines) gebe n un d dazu verschiedene Optimierungskrit erien . Im weit eren Verlauf des Bu ches werden einige spez ielle P robl eme eingefiihrt. Ein Uberwachungsproblem kan n darin best ehen , mit moglichst wenigen Kam er as ein Haus vollstandig zu iiberwachen . Wir beschr anken uns auf Ube rwachungsprobleme auf ungericht eten Graphen. Beim Knoieniiberdeckusiqsproblem (vertex cover, VC) iiberwacht jeder Knot en alle Kanten , die ihn beriihren , und es sollen alle Kanten mit moglichst wenigen Knoten iiberwacht werden. Beim Kantenuberdeckung sproblem (edge cover, EC) sind die Rollen vertauscht. J ede Kante iiberwacht die beiden anliegenden Knoten und es sollen alle Knot en mit moglichst wenigen Kant en iiberwacht werden.

18

2. Algorithmische Probleme und ihre Komplexitat

Gr aphen konnen mit ihr en Knoten Per sonen reprasentieren und mit ihren Kanten freundschaftli che Beziehungen ausdriicken. Eine Clique ist definiert als Gruppe, in der sich alle paarweise mogen . Die folgend en Probleme machen nicht den Eindr uck, wirklich anwendungs bezogen zu sein , sie ergeben sich a be r haufiger als Teilprobleme. Beim Cliqueniiberdeckungsproblem (clique cover, CC) soll die Knotenmenge in moglichst wenige Mengen eingete ilt werden , die alle Cliquen sind . Beim mit CLIQUE bezeichneten Cliquenproblem soll eine moglichst groBe Clique berechnet werden . Ein e Anticliqu e ("kein er mag kein en ", zwischen den Knot en gibt es keine einzige Kante) wird als unabha ngige Menge (ind ependent set ) bezeichnet und das Problem der Berechnung einer groflten Anticlique wird IS (indep endent set problem ) genannt. Teambildung kann bedeut en , Per sonen mit unt erschiedlichen Fahigkeite n in koop erative Teams einzute ilen, wobei die Mit glieder eines Teams harmonieren miissen . Beim k-DM (Bildung von Team s der GroBe k , k-dimens ional matchin g) hab en wir k Personeng ruppen gegebe n, die k verschiedene Fahi gkeit en reprasentieren , und eine List e moglicher Team s mit je einer Person aus j eder Gruppe. Das Ziel besteht in der Bildung moglichst vieler Teams, wob ei jede Person nur einem Team zugeordnet wird. 2-DM wird auch als Heiratsproblem bezeichnet , wobei die beiden "Fahigkeite n" durch die beiden Geschlechter ersetzt werden , rnogliche Team s " potenziell gliickliche" E hepaare sind und die Anz ahl pot enziell gliicklicher , hetero sexueller Ehen maximiert werden soll. Diese Beschreibung des Problems erfasst natiirlich nicht den konkret en Anwendungshintergrund. Die Bezeichnung Flussproblem (network flow, NF) steht fiir die Maximierung von Flussen in Netz werken, ebe nfalls eine groBe Klasse von Problemen , siehe Ahuj a, Magnan ti und a rlin (1993) . Uns interessiert nur das Basisp roblem , in dem in einem gerichte ten Gr aphen der Fluss von s nach t maximiert werden soll. Der Fluss f( e) auf der Kante e muss ganzzahlig, nicht negativ und nach ob en durch die Kap azit at c(e) der Kante beschr ankt sein. Aller Fluss, der einen Kno t en v tj. {s ,t} erre icht, also die Summe aller f( e) mit e = (., v) , muss gleich dem Fluss sein, der v verlasst , also gleich der Summe aller f( e) mit e = (v, ·) (Kirchhoff-Rege l). Der St ar tknot en (source) s wird von keiner Kante erreic ht, wahrend der Zielkn ot en (te rmina l) t von keiner Kante verlassen wird. Unt er diesen Nebenbedingu ngen soli der Flu ss von s nach t , also die Summe aller f( e) mit e = (s , .), maximiert werden . Ma n kann leicht argument ieren, dass diese Mod ellierung zur Maximierung des Verkehrsflusses ungeeignet ist . Wir werden sehen, dass Flussprobleme in ganz ande ren Zusammenh an gen auftauchen. Die bisher betrachteten Probleme hab en die Eigenschaft , dass die Optimieru ngsvaria nte n als die natii rlichen Vari anten erscheinen, wah rend die Auswer tungs- und E ntsc heidungsvarianten eingeschrankte Problem e sind, deren Losungen nur Teilasp ekte abdecken . Das Meisterschafts problem (championship problem , CP) ist vom Gru nde her ein Entscheidu ngsproblem. Ein Fan frag t sich zu einem Zeitpunkt der Saison, ob sein Lieblingsverein wenigstens

2.2 Einige wichtige algorithmische Probleme

19

noch theoretisch Meister werden kann. Es gibt also einen Punktestand fur jeden Verein und die List e noch au sstehender Spiele. Der a usgewahlte Verein kann noch Meister werden , wenn es Spielau sgan ge gibt, so dass am Ende kein anderer Verein mehr Punkte als er hat (notfalls hat der Lieb lingsv erein das beste Torverhaltnis) . Zusatzlich gibt es eine Regel, wie die Punkte in einem Spiel vergeben werd en: - Die a-Aufteilungsregel: In jedem Spiel werd en a Punkte (a E N) vergeben und jede Aufteilung in b Punkt e fur Team 1 und a - b Punkte fur Team 2 mit < b < a, b EN, ist m6glich. - Die (0, a, b)-Aufteilungsregel: Die Aufteilungen b:O (Heimsieg), a:a (Unentschieden) und O:b sind moglich,

°

Tat sachli ch werd en in den verschied enen Sportarten verschiedene Punkteregeln verwendet, die l -Aufteilungsregel in Sportarten ohne Unentschieden (Basketball , Volleyball, Baseball, Football, .. .), die 2-Auft eilungsregel, die aquivalent zur (0,1,2)-Aufteilungsregel ist, als klassische Regel in Sportarten mit Unentschieden (Handball, Hockey, FuBball , abe r in Deutschland nur bis zum Ende der Saison 1994/95) , die 3-Aufteilungsregel im Eishockey (DELRegel mit 3:0 Punkten fur einen Sieg in der regularen Spielzeit und 2:1 Punkt en fur einen Sieg in der Verlangerung oder im Penalty-SchieBen) und die (0,1,3)-Aufteilungsregel im heutigen FuBball. Weit ere Vari anten er gebe n sich , wenn wir ford ern, dass sich die noch a usste henden Spiele in Spielt age einteilen lassen, oder gar, dass sie sich in einen Spielplan nach DFB-Regeln einte ilen lassen (siehe Bernholt, Culich, Hofmeist er , Schmitt und Wegener (2002)) . Dieses auch an St ammtischen diskutierte Problem wird zu ub erraschend en Einsichten ftihren . Mit der Klasse der Verifikationsprobleme (siehe Wegener (2000)) wechseln wir in den Bereich der Hardware . Basis ist die Frage, ob Sp ezifikation S und Realisierung R eines Chips dieselbe boolesche Funktion beschreib en . Wir haben also Beschreibungen S und R boolescher Funktionen fund 9 und fragen uns, ob f(a) = g(a) fur aIle Ein gaben a ist . Da wir die Verifikation bitweise durchflihren, konnen wir f , g : {O, I} " ---. {O, I} annehmen. Die Eigenschaft f -I- gist aqulvalent zur Existenz eines a mit (J EEl g)(a) = 1 (EEl=EXOR). Wir fragen uns , ob h = f EEl 9 erfullbar (satisfiabl e) ist , also den Ausgab ewert 1 liefern kann. Dieses Entscheidungsproblem wird als Erjiillbarkeitsproblesri (sat isfiability problem) bezeichnet. Hier ist das Eingab eformat fur h relevant: - SAT C IR geht von der Ein gab e als Schaltkreis (circuit) aus, - SAT = SAT c F von einer Konjunktion (AND-Verk nlipfung) von Klauseln (OR-Verknlipfung von Lit eralen , das sind Vari ab len und negierte Variablen) , also einer konjunktiven Form (CF) , - SAT DF dagegen von einer Disjunktion (OR-Verknlipfung) von Monomen (AND-Verknlipfung von Lit eralen) , also einer disjunktiven Form (DF) . And ere Dar st ellungsformen werd en spater vorgestellt . Mit k-SAT wird der Spezialfall bezeichnet, in dem aIle Klauseln gena u k Lit er ale ent ha lte n. Fur

20

2. Algorit hmische Probleme und ihre Komplexit at

SAT und k-SAT gibt es die Optimierungsvari anten MAX-SAT und M AX-kSAT, be i denen es das Ziel ist , mit eine r Belegung der Variablen rnoglichst viele Kl auseln gleichze itig zu erfiillen, also moglichst viele Klauseln zu erhalt en , bei den en mindesten s ein Liter al de n Wert 1 hat . Diese Optimierungsvarianten sind durch Verifikationsproblem e nicht mehr motivierbar. Sie werde n aber bei der Beh andlung der Komplexit at von Approxim ationsproblem en die zent rale Rolle iibernehmen . Allgem ein werden wir sehen, dass neu e Teilb ereiche der Komplexitat stheorie historisch stets damit begonnen hab en , geeignet e Erfiillbarkeitsproblem e zu untersu chen. Somi t sind Erfiillbarkeitspr obleme durch ein wichtiges Anwendun gsproblem motiviert und stehe n zusatzlich als " P roblem an sich" im Mitt elpunkt. Die modern e Kryptogr aphie (siehe St inso n (1995)) ist eng mit za hlentheoret ischen Problem en verkniipft, wob ei mit sehr groBen Zahl en gearbeitet wird. Hier ist zu beachten , dass die Eingab e n in der Binardarstellung nur eine Lange von flog(n +1)1 hat . Schon in der Schule hab en wir bei der Addition von Briichen Hauptnenner berechnet und dab ei die Nenne r in ih re P rimfakt oren zerlegt . Dies ist das Problem der Faktorisierung (factoring, FACT) . Oft geniigt ein Prim zahltest (primality t esting, PRIMES) , also die Losung des Ent scheidungsproblems, ob n prim ist . Mit diesem bunten StrauB zent raler und pr akti scher algorit hmische r Problem e konnen wir die meist en kornp lexit at stheoretischen Fr agen d iskutieren.

2.3 Wie wird die Rechenzeit eines Algorithmus gemessen? Ein erster Versuch zur Defini tion der Komplexit at eines algorit hmische n Problems konnte folgendermaBen ausse hen:

Die K omplexitiit eines algorithmischen Problems ist die von einem optimalen Algorithmus benoiiqte Rechenzeit . Nach et was Nac hde nken erweist sich dieser Definiti onsversuch als un au sgereift : - Gibt es immer einen optimalen Algorithmus? - Was ist eigent lich die von einem Algorithmus benotigt e Rechen zeit ? - Ist iib erhaupt klar, was ein Algorithmus ist ? Diesen Fr agen miiss en wir nachgeh en , bevor wir eine Komplexit atstheori e algor it hmischer Problem e entwickeln konnen, Uns gen iigt ein weit gehe nd int uit iver Begriff von einem Algorithmus (algorit hm ) als einde utige Handlungsvorschrift, die in Abhangigkeit von der Eingabe fur das betracht et e algorit hmische Problem die Schritte festlegt , die ausge fiihrt werd en sollen , urn eine korrekte Au sgab e zu erzeugen. Der Algor it hmus heiBt deterministisch (det erminiert, determinist ic), wenn zu jedem Zeitpunkt der nachste Rechen schrit t

2.3 Wi e wird die Rechenzeit eines Algorithmus gemessen?

21

einde ut ig festgelegt ist . In Kapitel 3 werden wir den Algorithmusbegriff a uf randomisierte Algorithmen erweit ern, die den nachst en Rechenschritt von Zufallsbits abha ngig machen konnen. Die gewa hlte Beschreibung des Algorithmusbegriffs erla ubt die Freiheiten, die sich diejenigen , die neue Algorithmen entwickeln und der Offentlichkeit vorstellen , auch her ausnehm en . Die zu beobacht ende Rechenzeit t eines Algorithmus A fur ein algorit hmisches Problem han gt noch mindest ens von folgenden P ar ametern ab: -

der Eingabe x , dem gewahlten Rechner R , der gewa hlt en Programmiersprache S, der Implementierung I des Algorithmus.

Dass die Rechenzeit stark von der konkret en Ein gab e x abha ngt , ist unvermeidlich und sinnvoll. Es ist unmittelb ar klar , dass "gr6Bere Problem e" (etwa 106 Orte beim T SP ) wesentlich mehr Rechen zeit benotigen als "kleinere Probleme" (nur 10 Or t e). Wenn aber die Rechenzeit au ch essenziell von R , S, lund event uell weiter en Par ametern a bha ngt , lassen sich Algor ithmen nicht mehr sinnvoll vergleichen . Wir konnten dann best enfalls Aus sagen tiber die Rechen zeit eines Algorithmus in Bezug auf einen konkret en Rechn er und eine konkret e Programmiersp rache und Implementierung mach en. Der ar tige Aussagen sind aber ziemlich uninteressant. Schon nach sehr kurzer Zeit ist der betracht et e Rechner veraltet und auch Programmiersprachen hab en heutzutage oft nur eine kurz e Blu t ezeit und werden zudem st andig verandert. Zwar hangt die Rechenzeit zweifellos von diesen Paramet ern ab , ab er wir werd en sehen, dass diese Abhangigkeit beschrankt und kontrollierbar ist . Die Komplexit atstheorie und die Algorithmentheorie hab en folgend en Ausweg aus dem beschriebenen Dilemma gewa hlt:

Der B egrijj der Rechenzeit wird so uerqrobert, dass er nur noch vom Algorithmus und der Eingabe abhiingt. Konkret bedeutet dies, dass wir die Rechen zeit eines Algorithmus ang eben konnen , unabhan gig davon , ob ein 50 J ah re alte r Rechner od er ein heutiger Rechn er betracht et wird . Daruber hin aus sollen unsere Betrachtungen auch fur die in 50 J ah ren benutzten Rechner giilt ig sein. Ziel dieses Unterkapitels ist es nachzuweisen , dass es einen a bst rakten Begriff von Rechenz eit gibt, der die gewiinschten Eigenschaften hat. Aufgrund der bisherigen und auch noch zu erwarte nden Fortschritte auf dem Gebiet der Hardwar e werden wir die Rechenzeit " nicht in Zeit einheiten messen , sondern in der Anz ahl der durchgefUhrten Rechenschritte. Wir einigen un s dazu auf eine Menge zulassiger, elementarer Op erationen , darunter die a rit hmetischen Op er ationen , Zuweisungen , Speicherz ugriffe sowie auch die E rkennung des als nach st en auszufuhrenden Befehls . Formal lasst sich als Referenzmodell das Modell der Registermas chine (random access mach ine) definieren (siehe Wegener (1999)) . Wi r begnugen uns dami t fest zuh alten ,

22

2. Algorithmische Probleme und ihre Komplexitat

dass sich jedes Programm in jeder bekannten Programmiersprache fur jeden bekannt en Rechn er (strukturell einfach, ab er praktisch muhselig) in ein Programm fur Regist ermaschinen iibersetzen lasst, wobei der Rechenzeitverlust "gering" ist. Der Begriff "gering" lasst sich soga r qu antifi zieren. Fur die bekannten Programmiersprachen und Rechner gibt es jeweils eine Kon st ante c, so das s sich die Anzahl der Rechenschritte bei der Ubersetz ung in Programme fur Registermaschinen nur urn maximal den Faktor c vergrofert. Was aber gilt fur zukunft ige Rechner ? Sichere Aussagen sind unmoglich, aber man ist ub erzeugt, dass die moglichen Auswirkungen beschrankt sind. Diese Ub erzeugung lasst sich als erweit erte churchsche T hese zusammenfasse n. Die klassische churchsc he Th ese (Church's hypothesis) besagt , dass sich alle Rechnermodelle gegenseit ig simulieren konnen und dah er die Menge der algorit hmisch losbar en Probleme vom Rechnermodell (dies schlieBt Rechner und Programmiersprache ein) un abhan gig ist. Die eruieiterie churchsche Th ese geht einen Schri tt weit er : Fur je zwei R echn ermodelle R 1 und R 2 gibt es ein Polynom p, so dass t R echen schritte auf R 1 durch p(t) R echenschritte auf R 2 sim ulie rt werden konnen .

Es ist allerdings nicht fair , alle arit hmet ischen Op erationen als gleich te ure Rechenschritte zu bewerten. Wi r halten Division en (gerundet auf eine best immte Anzahl von St ellen) fur aufwandiger als Additionen. Zudem han gt der t at sachli ch benotigt e Aufwand von der Lan ge der bet eiligten Zahl en a bo Wenn wir auf die Biteb ene absteigen, braucht jede arit hmetische Op er at ion auf Zahl en der Bitl an ge 1sicher Q( l) Op er ationen. Fur Additionen und Subt raktionen genugen auch O(l) Oper atio nen , wahrend die best en bekannt en Algorithmen fur Multiplikation und Division 8(llog llog log l) Op erationen benotigen . (Die Notat ionen 0 , Q und 8 werden im Anhang A.I definiert .) Dah er ist es fair , wenn auch nicht exakt , arit hmet ischen Op era tionen auf Zahl en der Lan ge 1 die Kost en 1 zuzuweisen. Diese Bet rachtungsweise fuhrt un s a uf das logarithmische Ko st enmajJ (logari thmic cost mod el), das seine Bezeichnung er ha lten hat , weil die Zahl n eine Bitlange von [logj n + 1)1 hat . Dieses faire, a ber unh andliche Kostenmaf lohnt den Aufwand nur , wenn tat sachlich sehr groBe Zahl en betracht et werden. Werd en bei Ein gab elan ge 1 nur Zahl en bis zur Gr oBe s (l ) bet racht et, ub ertreffen die logarithmischen Kost en die Anzahl der Rechenschritte hochst ens urn einen Fakto r von (log s(l )). Selbst fur exponent iell groBe Zahl en ist dieser Faktor linear. Da wir keine Algorit hmen betracht en , die arit hmet ische Op er ationen auf groferen Zahl en du rchfuhren , konnen wir un s auf die Anzahl der Rechenschritte und damit auf das einheitliche Ko st enmajJ (uniform cost model) zuruckziehen . Nach dieser Disku ssion und Abst raktion konnen wir von der Rechenzeit t A(X) des Algor ithmus A auf der Ein gab e x sprechen. Wir akzeptie ren, dass

°

2.3 Wie wird die Rechenzeit eines Algorithmus gemessen?

23

wir dab ei implizit ein Referenzmodell verwend en . Dennoch beziehen sich Rechenzeiten wie 0 (n log n) fur Sorti er algorithmen od er 0 ( (n + m) log n) fur den Algori thmus von Dijkstra auf alle bekannten Rechner und Programmiersprac hen. Die erweiterte churc hsche T hese muss im Licht neuer Rechnertyp en tiberpruft werd en . Es gibt keinen Zweifel, dass sie im Bereich digitaler Rechner korrekt ist . Auch so genannte DNA-Rechner fuh ren " nur" zu kleineren Chips od er zu einem groferen Grad an Parallelismu s. Dies kann in der Praxis einen gewaltigen Fortschritt bedeuten , wirkt sich abe r auf die Anz ahl elementarer Op er ationen nicht aus. Ledi glich so genannte Qu antenrechn er, die Qu ant eneffekte ausnutzen sollen (es gibt zahlreiche Machbarkeitsstudien , abe r noch keinen einsatzfahigen Qu antenrechner) , erlauben einen neuen Typ von Algorit hmen, der sich als unvergleichli ch mit ubl ichen Algorithmen erweisen kann. F ur Qu antenrechner ist die Komplexit at stheorie der Kon struktion der Rechner weit vor au s. Dieser Zweig der Kom plexit atstheorie mus s jedo ch weit erfiihrend en Mono graphien vorbehalten bleiben (siehe Nielsen und Chuang (2000) ). 1m Bereich digit aler Rechner implizieren also (untere od er ob ere) Schranken fur die Rechenzeit von Regist ermaschin en ahnliche Schr anken fur aIle konk reten Rechner . Spater werden wir ein weit eres Referenzmodell beno tigen . Regist ermaschinen hab en den freien Zugriff (random access ) auf ihr en Speicher , bei Eingab e i kann der Inhalt der i-te n Speicherzelle, fruher auch Regist er gena nnt, gelesen werden. Dieser globale Zugriff auf den Speicher wird uns Probleme bereit en . Dah er wird ein sehr eingeschra nktes Rechnermodell als Zwischenmodell eingefUhrt. Bei ihm hab en einzelne Rechenschritte nur lokale Auswirkungen und genau dies wird es sein, was uns die Arb eit erleicht ert. Das Mod ell der Turingmaschine (Turing machine) geht auf den englischen Logiker Alan Turing zurilck. E r legte mit seinen Arbeit en nicht nur die Basis fiir den Bau von Rechnern, sondern leit ete im Zweit en Weltkrieg auch die Gruppe, die die deutsche Geheimchiffre "E nigma" knackt e. Wi e bei allen Rechnermodellen hab en wir es mit einem unbeschr ankten Sp eicher zur Speicheru ng von Dat en zu tun. Die Sp eicherzellen sind linear angeordnet und mit i E Z fortlaufen d nummeriert. Der Rechner hat zusa tz lich einen Sp eicher endlicher GroBe, auf dessen Inhalt er st et s zugreifen kan n (sein "Gedac ht nis" ), und zu jedem Zeitpunkt Zugriff auf eine Speicherzelle des unb eschr ankten Speichers. Die nac hste Aktion kann also nur von der im Gedachtnis und der in der bet racht et en Sp eicherzelle ent ha lte nen Information abha ngen. Die Turin gmaschine kann in einem Schrit t den Inhalt ihr es Ced achtnisses und der betracht et en Speicherzelle verandern und zur linken od er recht en Nachba rzelle wandern. Forma l best eht eine Tu ringmaschine aus den folgend en Kornponent en :

24

2. Algorithmische Probleme und ihre Komplexitat

- der endlichen Zustandsmenge (st ate space) Q, wobei jedes q E Q einen Zustand des Ged achtnisses wid erspiegelt, und somit kann ein C edachtnis, das k Bits speichern soll, durch Q = {O, l}k beschri eb en werden , - dem Anfangszust and (initial st ate) qo E Q, - dem endlichen Eingabealphabet E , - dem endlichen Arbeitsalphabet od er Bandalphab et das mindest ens E und zusatzlich ein Leerzeichen (blank) b ent ha lt , - der A rbeitsvorschrift (dem Programm) 0 : Q x T --7 Q x T x { -I , 0, +1} und - der M enge der Haltezust iinde (stopping states) Q' ~ Q, wobei o(q, a) = (q, a, 0) fur q E Q' und alle a E r ist , wah rend o(q, a) =1= (q, a, 0) fur q E Q - Q' und alle a E r ist .

r,

Die Arbeit sweise einer Th ringmaschine ist die folgende. Zu Beginn steht die Eingabe x = (Xl, "" X n ) E E n in den Speicherzellen 0, . .. , n - 1, alle ande ren Speicherzellen ent ha lte n das Leerz eichen. Das Gedachtnis ist im Zustand qo. Im erste n Schritt wird Speicher zelle 0 betracht et. Wird im Zustand q der Bu chstab e a in Speicherzelle i gelesen und ist o(q,a) = (q',a' , j) , dann wird der Buchstabe a in Sp eicherzelle i durch a' ersetzt, der Ced achtnisinhalt q durch q' ersetz t und als Nachst es Speicherzelle i + j betrachtet. Obwohl die Thringm aschine in Haltezust anden form al weit er arbeit et , wird als Rechenzeit der erste Zeitpunkt definiert, zu dem ein Haltezust and erreicht wird . Bei Suchproblemen findet sich die Ausgab e in den Sp eicherzellen 1, .. . , m, wenn Speicherzelle m + 1 die erste mit positiver Nummer ist , die das Leerzeichen ent halt . Bei Ent scheidungsproblemen konnen wir die Ausgab e in den Haltezustand integrieren. Es ist dann Q' = Q+ l:J Q- . Die Eingab e wird akzeptiert, wenn in einem Zustand q E Q+ angehalte n wird , und abgelehnt, wenn in einem Zust and q E Q- angeha lten wird. Thringmaschinen hab en die Eigensch aft , dass an einem Rechenschritt nur das Gedachtnis, die Lesep osition und die betracht et e Speicherzelle beteiligt sind. Es kann dan ach nur eine benachbarte Speicher zelle aufgesucht werden . Fur einen pr akt ischen Einsat z als Rechner ist dies ein gravierender Nachte il, fur eine An alyse der Auswirkungen eines Rechenschritts aber ein ent scheidender Vort eil. Die von uns eingefiihrte (Standa rd)turi ngmasc hine arbeite t mit einem linear angeordnete n Speicher, auch Band gena nnt. Ein e Erweit erung auf k Bander , wobei zu jedem Zeitpunkt je eine Speicherzelle jedes Bandes gelesen wird und die Bewegun gen auf den Bandern auch in verschiedene Richtungen verl aufen konnen, kann durch Programme 0: Q x r k --7 Q x r k x { - 1, 0, + l} k bes chrieben werden . Erstaunlicherweise konnen Regist ermaschinen mit nur sehr geringem Rechenzeitverlust durch Thringmaschin en mit einer kleinen Anzahl von Bandern simuliert werden (dazu siehe Schonhage, Gro t efeld und Vetter (1994)) . Diese Thringmaschin en konnen dann leicht mit qu adratischem Rechenzeitverlust durch Thringm aschinen mit einem Band simuliert werd en

2.4 Die Komplexitat algorithmische r Probleme

25

(siehe z. B . Wegener (1999)) . Damit gilt:

Fur jeden realen Rechnertyp gibt es ein Polynom p, so dass t Rechenschritt e beziiqlich. des logarithm ischen K ostenmajJes in p(t) Rechenschritten von einer Turingmaschine simuliert werden kotinen: Wenn wir auf der Basis der erweite rte n churc hschen T hese ar beite n, gilt dies au ch fur alle zukiinft igen digitalen Rechn er .

2.4 Die Komplexitat algorithmischer Probleme Mit t A (x) bezeichn en wir die Rechenzeit des Algorithmus A fur Eingab e x im einheit lichen Kost enrn af fiir ein ausgewahltes Referenzmodell (wie eine Regist ermaschine) . Wi r konnen nun versuchen , Algorithmen A und A' fur dasselbe Problem auf folgend e Weise zu vergleichen : A ist mindestens so schnell wie A' , wenn t A(x) ::; t A'(x) fiir alle x ist . Dieser nah e liegend e Definitionsversuch ist aus mehreren Griinden problernatisch: - der exakte Wert von tA( X) und dam it der Vergleich von A und A' han gt vom Refer enzmod ell ab, - nur fur sehr einfache Algorithmen konnen wir hoffen, t A (x) fur alle x berechnen und die Beziehung tA( X) ::; tA'( X) fur alle x ub erprufen zu konnen , - einfache Algori thmen A hab en im Vergleich zu komplizierten , aber gut auf das Problem zugeschnit te nen Algorithmen A' oft die Eigenschaft , dass tA( X) < t A'( x) fur "kleine" Probleme x und tA(X) > t A'(x) fur "g roBe" Probleme x ist . Dem ersten und dr itten Problem begegnen wir mit der Vergroberu ng, dass wir die Rechenzeit en nur beziiglich der Gro fienordnung od er asy mpt ot ischen Wachstumsordnung vergleichen. Urn mit dem zweite n Problem fertig zu werden , betracht en wir nicht die Rechenzeit fur jedes x, sondern fassen Ei ngabe n mit derselben Kenngrofe (Bitl an ge, Anzahl der Knoten in einem Graphen, Anzahl der Orte beim T SP, . ..) zusa mmen. Obwohl ver schiedene Eingaben fur das T SP, die sich auf dieselbe Anzahl von Orten beziehen , eine sehr verschiedene Lan ge (gemessen in Bits ) hab en konnen , spricht man nach Wahl der Kenngrof e stet s von der Ein gabe..Ian ge'' und bezeichn et sie mit [z]. Das am haufigst en benu t zt e RechenzeitmaB ist die maximale Rechenzeit (worst- case runt ime)

Haufig wird t A(n) = SUp{tA(X) Ilx l = n } betracht et. Es ist tA(n) = tA(n) , wenn t A(n) monoton wachsend ist. Dies gilt fur die meist en Algorithmen . Mit der Betrachtung von tA(n) erreichen wir, dass die maximale Rechenzeit

26

2. Algorithmische Probleme und ihre Komplexitat

stets eine monoton wachsende Funktion ist und dies ist spater hilfreich. Jet zt konnen wir beschreib en , wie wir die Algorithmen A und A' fur dasselb e Problem vergleichen. D er Algorithmus A is t asymptotisch m indest ens so schnell wie A' , wenn tA(n) = O(t AI(n)) ist.

Wi r hab en nun die sich als angemessen erweisende Vergroberung vorgenommen . In Extremfallen ist die Vergroberung zu stark. So wilrd en wir in den Anwendungen n log n ftir "prakt isch kleiner" als 106 . n halten . Die rnaxim ale Rechenzeit geht mit Algorithmen wie Quicksor t , die fur die "meiste n" Eingabe n viel schneller als fur die "schlechteste n" E ingabe n arbeiten, sehr kritisch urn. Ein Au sweg besteht in der Bet rachtung der durchschn ittlichen R echenzeit (aver age-case runt ime). Fu r eine Wahrscheinlichkeit svert eilung qn auf den Eingab en der Lan ge n ist

L

t~(n) := x

qn( X)t A(X).

I lxl=n

Der Begriff der durchschnittlichen Rechenzeit ist a us zweierlei Grunden nicht gut geeignet. Der Hauptgrund ist , dass wir fur die meist en P robl eme nicht wissen, welche Vert eilung qn auf den Ein gab en "die Realit at " gut mod elliert. Bevor wir mit einer schlechten Schatzung von qn zu unbrau chbar en Resultate n gelangen, ist es vernunftiger , wenn auch pessimi stischer , die maximale Rechenzeit als MaB zu verwenden. Aus pr agmatischer Sicht ist fest zustellen, dass un s die Bestimmung der asymptot ischen maximalen Rechenzeit fur viel mehr Algorithmen gelingt, als dies fur die durchschni t tli che Rechenzeit der Fall ist . SchlieBlich konnen wir sagen, dass die algorithmische K omplexit iit (algorithmic complexity) eines P roblems f (n ) bet ragt , wenn das Problem durch einen Algorithmus A mit maxim aler Rechenzeit O(J(n)) gelost werden kann und jeder Algorithmus fur das Problem eine maximale Rechenzeit von D(J(n)) hat. In diesem Fall hat A die asy mptotisch minimale Rechenzeit . Wi r sprechen aber nicht von der Definition der algorit hmischen Komplexitat , denn Problem e mus sen nicht eine asympt ot isch minimale Rechen zeit hab en . Es konnte zwei Algorithmen A und A' geben, so dass weder t A(n) = O(tAI(n)) noch t A,(n) = O(t A(n)) gilt (fur derart ige Rechenzeit en siehe Anh an g A.l). Selbst wenn die Rechenzeit en von Algorithmen asy mptot isch vergleichbar sind, muss es keine beste asy mpt ot ische Rechenzeit geb en . Der Algorithmus A e , e > 0, moge eine Rechenzeit von 8 (n 2 +e) hab en . Dann ist A e asyrnptotisch besser als A e" wenn e < c ' ist . Es folgt aber nicht , dass es einen Algorithmus A geben muss, der min dest ens so gut wie aile A e ist . Wenn die Rechen zeit von A e beispielsweise 3 1 / en 2+e + O( n 2 ) betragt , konnen wir einen besseren Algorithmus A nicht aus der Famili e A e durch Kombination gewinnen. Im allgemeinen Fall mussen wir uns mit der Angab e von unt eren

2.4 Die Komplexitat algorithmischer Probleme

27

und oberen Schr anken zufri eden geb en. Irn obigen Fall ist die algorithmische Kornplexit at durch O(n2+c ) fur jedes E: > 0 nach oben beschriinkt. Gleich zeitig kann sie durch Q( n 2 log" n) ftir jedes k EN na ch unten beschrankt sein.

Die algorithmische Komplexitat eines Problems wird durch die asympto tisch e maximale Rechenzeit jedes Algorithmus, der das Problem lost, nach oben beschriinkt. Wenn alle Algorithmen zur Losung eines Problems eine bestimmte asymptotische maximale Rechenzeit erfordern, ergibt dies eine untere Schrank e fur die algorithmische Kompl exitiit des Problems . Fallen obere und untere Schranke asymptotisch zusammen, erhalten wir die algorithmis che Komplexitiit des Problems .

3. Die grundlegenden Kornplex itatskla ssen

3.1 Die Sonderrolle polynomieller Rechenzeiten Im let zt en Kapitel hab en wir die Schwierigkeit en diskutiert, die sich bei der Definition der algorit hmischen Komplexitat von P robl emen ergeben . Im allgemeinen Fall gibt es fur die minimale asy mpt ot ische maxim ale Rechen zeit nur unt ere und obe re Schr anken. Dann liegen die moglichen unteren und ob eren Schr anken abe r so eng beieinander , dass der Unt erschied bei der Frage, ob ein Problem effizient losbar ist , keine Rolle spielt. "Vir wer den dah er in Zukunft bei allen algorit hmischen Problemen von ihr er algorit hmischen Komplexitat sprechen. Wenn diese im ob en genannte n Sinne nicht definiert ist , benutzen wir bei positiven Aussagen tiber die effiziente Losbarkeit des Problems die ob eren Schranken und bei negativen Aussagen die unt eren Schr anken. Ein Problem mit algorit hmischer Komplexit at 8(n 2 ) ist effizienter losbar als ein Problem mit algorithmischer Kornplexitat 8(n 3 ) - allerdings nur bezogen auf das von uns gewahlte Referenzmodell. Wenn wir als Referenzmodell Regist ermaschinen od er die damit eng verknlipften heutigen digit alen Rechner wahl en , ist die obige Aussage zumindest fiir groBe n richt ig. Beim Ubergang zu Turingmaschinen konnte das erste Problem nur noch in 8(n 4 ) Schrit te n losbar sein , wahrend das zweite Problem weiterhin in 8(n 3 ) Schritten losbar ist. Au s der Sicht konkret er Anwendungen ist dies irr elevant , da wir nicht gezwungen sind, ineffizientere Rechner, wie es Turingmaschin en sind , zu verwend en. Anders sieht es bei " besseren" Rechnermodellen au s. Sie konnten bei den beiden betracht et en Problemen zu ver schieden groBen Fort schri t t en ftihren . Wenn wir nur die erweiterte chur chsche These als Basi s nehmen , konn en wir nicht ausschlieBen, dass es Rechner gebe n wird, die fiir das erste Problem eine Rechenzeit von 8(n 2 ) benotigen , a ber das zweit e Problem in Zeit 8( n log n) losen konnen . Fi.ir die gegenwa rt ige Situation (und vermutlich auch fur die Zukunft) ist dagegen der Unte rschied zwischen Rechenzeit en wie 8(n 2 ) und 8(n 3 ) gravierend, wenn diese sich a uf Regist ermaschinen beziehen . Allerdings gehort dieses Argument in das Gebiet des E ntwur fs und der Analyse effiziente r Algori thmen und hat nichts mit der algorit hmischen Kom plexitat des Problems zu t un. Aus der Sicht der Komplexitat stheorie wird nur die erweiterte chur chsche T hese vor au sgeset zt und dann sind fur Pol ynome p(n) die Rechen zeit en t(n) und p(t(n)) nicht unt erscheidbar. Da es sich mit Ausnahme von sehr einfachen Problemen (z. B. Suche in einem sortierte n ArI. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

30

3. Die grundl egenden Kom plexitat sklassen

ray) nicht vermeiden lass t , zumindest einen groBen Teil der Eingabe zu lesen und zu bearbeiten, ist die algorit hmische Komplexitat fur die uns interessierenden F aile mindestens linear. Dann sind polynomielle Rechenzeiten erstens nicht unterscheidbar und zweitens die besten erreichbaren Rechenzeiten . Als Ergebnis dieser Diskussion halten wir fest :

B eim praktischen Einsatz von Algorithmen st eht die Minimierung der (maximalen) Rechenz eit im Vordergrund und Verbesserungen um polynomielle oder auch nur logarithmische oder gar konstante Faktoren kiinnen. grofJe Auswirkungen haben. Bei der Untersuchung der algorithmischen Komplexiuit von Problemen sind durch Polynome verkniipfte R echenz eiten ununterscheidbar und die in polynomieller Zeit lOsbaren Probleme sind die am effi zientesten zu lOsend en Problem e. Definition 3.1.1. Ein algorit hmisches Problem gehort zur Komplexitatsklasse P der polynomiell losbaren Problem e, wenn es durch einen Algo rithmus mit polynomieller maximaler Rechen zeit gelost werden kann . Problem e in P werden als effizient losbar bezeichnet , obwohl Rechen zeiten wie n 100 nicht zu pr aktisch einsetz baren Algorithmen gehoren . Wir haben aber gesehen , dass die erweit erte churchsche These keine kleinere Klasse effizient losbarer Probleme erl aubt. FUr uns interessanter ist auch die Umkehrung, dass die nicht in P ent haltenen Problem e, bezogen auf die maximale Rechenzeit, nich t effizient losbar sind. Dies erscheint sinnvoll, da dann jeder Algorithmus ftlr eines dieser Problem e eine Rechenz eit von w(n k ) fur jed es konstant e khat. Es gibt eine weitere Eigen schaft, die polynomielle Rechenzeiten auszeichnet. Wenn neue Rechner urn einen konstanten Faktor c schneller als die alten Rechner sind , sinkt die Zeit fur jede Rechnung urn den Faktor c. Wir konnen uns abe r auch fragen , wie stark wir die Eingabelange vergrof ern konnen , wenn die zur Verfligung stehende Rechenzeit t gleich bleibt. Sei die Re chenz eit eines Algorithmus n k und t = Nk , dann kann der neu e Rechner cN k = (c 1/ k N)k Rechenschritte ausfuhren und dah er die Eingab elange Lc 1 / k NJ in Zeit t verarbeiten . Die zu bearbeit ende Eingab elange ist also urn ein en konstanten Faktor c 1 / k > 1 gewachsen, der mit dem Grad des Rechenzeitpolynoms abnimmt und sich fur wachsendes k dem Wert 1 annahert . Bei Rechenz eiten wie n 210g n oder Summen wie 2n 3 + 8n 2 + 4 werden die Bet racht ungen etwas komplizierter. FUr polynomielle Rechenz eiten gibt es ab er stets eine Konstante d > 1, die von c und der Rechenz eit abhangt, so dass die zu ver arbeitende Eingab elange mindestens urn den Faktor d wachst . Dies gilt flir kein e starker als polynomiell wachsende Rechenzeit und fur echt exponenti elle Rechen zeiten wie 2m kann die zu verarbeitende Eingabelan ge nur urn den addit iven Term a = £ - 1 . log c vergrofert werden , da 2 ,,(n+a) = c - 2m ist . Au ch diese Uberlegungen unterstreichen den qualitativen Unterschied zwischen polynomiellen und starker wachsenden Rechen zeiten.

3.2 Randomisierte Algorithmen

31

3.2 Randomisierte Algorithmen Im Alltag sind wir es gewohnt, dass Entscheidungen, bei denen es entgegengeset zt e Interessen gibt, durch Zufall und damit durch Randomisierung entschieden werden. Dies gilt im Sport bei der Aufstellung von Turnierplanen (auch wenn Set zlist en den Zufall einschriinken) , bei der Seit enwahl oder der Vergabe von Startbahnen, aber selbst Btlr germeisterwahl en wurden bei Stimmengl eichheit schon durch Losverfahren entschieden . Was wir im Allt ag als Entscheidungshilfe akzept ieren, sollten wir bei der Losung algorithmischer Probleme nicht verschmahen . Wenn ein Algorithmus n Objekte nacheinander bearbeit en soIl, die gewahlte Reihenfolge grof3e Auswirkungen a uf die Rechenzeit hat , viele der n! Reih enfolgen gunstig sind und wir nicht wissen , wie wir eine dieser guten Reihenfolgen effizient auswahlen konnen, dann ist es nutzlich, eine zufallige Reihenfolge zu wahlen , Wir werden daher diskutieren, welche Eigenschaften randomisierte Algorithmen haben miissen, urn als effizient zu gelt en . Wir st ellen unserem Rechner eine Quelle von Zufallsbits zur VerfUgung, die in jedem Rechenschritt ein Zufallsbit erzeugt . Fur jedes t sind die ersten t Zufallsbits vollst andig un abhangige Zufallsvariablen Xl, ... , X, mit Prob(X, = 0) = Probj.X, = 1) = 1/2 (fur Grundbegriffe der Wahrscheinlichkeitstheorie siehe Anh ang A.2) . Dies lasst sich durch unabhangige Mtinzwtlrfe realisieren, was ab er nicht effizient ist. Mod erne Rechner stellen Ps eudozufallsbits zur VerfUgung, die nicht ganz die geforderten Bedingungen erfiillen. Wir werden dieses Therna nicht vertiefen (siehe dazu Goldreich (1998)) und gehen von einer idealen Zufallsquelle aus. Ein randomisierter Algorithmus (randomized algori thm) kann im i-ten Schritt das i-te Zufallsbit lesen und seine Aktion von diesem Zufallsbit abhangig machen. Formal wollen wir eine randomisierte Turingmaschin e beschreib en . Die det erministische Arbeitsvorschrift <5 wird durch ein Paar (<50 , <51 ) von Arbeit svorschriften erset zt. Im i-ten Rech enschritt wird die Arbeitsvorschrift mit Index X i an gewendet . Der Verlauf der Rechnung wird also durch die Eingabe und die Zufallsbits gesteuert. Wenn randomisierte Algorithmen in geringer maximaler Rechenz eit st ets das richtige Resultat berechn en sollen , konnen wir sie leicht durch det erministische Algorithmen , die die Zufallsbits ignorieren, simuli eren. Aus formaler Sicht kann der deterministische den randomisierten Algorithmus zum Beispiel fiir den Fall , dass X i = 0 fur aIle i ist , simulieren . "Vir konnen also nur etwas gewinnen, wenn wir entweder a uf die Forderung einer geringen maximalen Rech enzeit od er auf die Forderung, st et s das richtige Ergebnis zu erha lte n, verzichten. Fur jede Eingabe x ist die Rechenz eit t A (x) eines randomisierten Algorithmus A ein e Zufallsvariable und wir konnen zufri eden sein, wenn die maximale (bezogen auf aIle Ein gaben kleiner Lan ge) durchschnittliche (bezogen auf die Zufallsbits) Rechenzeit (worst-case expecte d runtime)

SUp{E (t A(X)) Ilxl ::; n }

32

3. Die grund legende n Komplexit at sklassen

klein ist . Hierzu passt unser einftihrendes Beispiel, bei dem es wenige schlecht e und viele gute Reihenfolgen gibt, in denen die Ob jekte betracht et werden konnen. Ein konkret es Beispiel ist die Variante von Qu icksort , bei der das Zerlegungsobjekt zufallig gewa hlt wird . Unsere Kritik in Kapi t el 2.4 an dem MaB der durchschnit tli chen Rechenzeit t rifft hier nicht zu. Dor t wurde der Erwar tungswert bezliglich einer Wahrscheinli chkeit svert eilung auf allen Einga ben der Lan ge n gebildet, wobei diese Verteilung in Wirklichkeit unb ekannt ist . Hier wird der E rwart ungswert bezliglich der Zufallsbits gebildet, deren Qualitat wir kontrollieren konnen . Purist en konnt en an dem betrachteten Beispiel, also Qu icksort, aussetzen, dass unsere Zufallsbits nur fur Zweierpotenzen n = 2k die zufallige Wahl eines von n Objekt en zulassen. Dies ist a ber kein Problem . Wir konnen in Phasen arbe ite n, in denen wir flog n l Zufallsbits lesen. Die flog n l Zufallsbit s werd en als zufallige Zahl z E {O, . .. ,2 flognl - I } int erpreti ert . Falls 0 :::; z :::; n - 1 ist , wa hlen wir das Objekt z + 1, ansonste n gehen wir zur nachst en P hase tiber . Da jede Phase mit einer Wah rscheinlichkeit von me hr als 1/2 erfolgreich ist , brau chen wir nach T heorem A.2.12 im Durchschn itt weniger als zwei Phasen und die durchschni t tli che Rechenzeit ist hochst ens um den Fakt or 2 grofer als in dem Fall, dass wir z E {I , . . . , n} zufallig wa hlen konnen. Mit E P (expect ed polynomial time) bezeichnen wir die Klasse der algorit hmischen P robleme , ftir die es einen ra ndomisierten Algorithmus mit polynomieller maximaler durchschnitt licher Rechenzeit gibt. Die zugehorigen Algorit hmen heiBen Las- Vegas-Algorithm en. W ir konnen das Qui cksortbeispiel ver allgem einern, um die Op t ionen von Las-Vegas-Algori thmen zu erlautern. Wenn die maximale Rechenzeit fur aIle Eingabe n der Lan ge n und aIle Zufallsent scheidungen beschrankt ist, erhalte n wir endlich viele determinist ische Algorithmen , ind em wir alle Moglichkeite n, die Zufallsbi t s durch Konst ant en zu ersetzen, betracht en . Wie kann der Las-Vegas-Algorithmus besser als je der dieser deterministischen Algori thmen sein? J eder determinist ische Algorithmus kann auf vielen Eingaben effizient, aber au f einigen Eingab en ineffizient sein, wobei fur jede Ein gab e wesentlich mehr det erministische Algorithmen effizient als ineffizient sind , was zu einer guten durchschnittlichen Rechenzeit fur je de Eingabe fuhrt , Dennoch wissen wir nicht , wie wir effizient ent scheide n konnen , welcher Algorit hmus gut fur die betrac htete Eingabe ist. Ein e zufallsgesteuerte Wahl hilft uns aus diesem Dilemma . Wi r bet racht en nu n die Op t ion , nicht immer korr ekt e E rgebnisse zu berechnen , wob ei die maximale Rechenzeit (bezoge n auf aIle Eingaben bis zu einer bestimmten Lange und aIle Realisierungen der Zufallsbi t s) polynomiell beschr ankt sein solI. Im erst en Mod ell ist es dem Algorit hmus verbot en , falsche E rgebnisse zu liefern , er kann aber versagen und dann mit dem Er gebnis "weiB nicht" ode r kur z ,,?" die Rechnun g beenden. Mit ZPP(c:(n )) (zero-er ror prob abili sti c polynomi al time) bezeichnen wir die Klasse der algorithmischen P robleme, fur die es einen randomisiert en Algorithmus mit polynomieller maximaler Rechenzeit gibt, der fur jede Eingabe der Lan ge n

3.2 R andomisierte Algorithmen

33

eine du rch c:(n ) < 1 beschrankt e Versagenswahrscheinlichkeit (failure probability) hat . Der Algorithmus liefert entweder ein korr ekt es Erge bnis od er ver sagt , ind em er das Ergebnis ,,7" liefert . Im zweiten Mod ell darf der AIgorit hmus sogar falsche Er gebnisse liefern . Ein derartiger Algorithmus heiBt Mont e-Carlo-Algorithmus. Mit BPP(c:(n)) (bounded-error prob abili st ic polynomial t ime) bezeichn en wir die Klasse der algorit hmischen Prob leme, fur die es einen randomisiert en Algorithmus mit polynomieller maximaler Rechenzeit gibt, der fur jede Eingab e der Lan ge n eine durc h c:(n ) < 1/2 beschran kt e Fehlerwahrschein lichkeit (Irrt umswahrscheinlichkeit, error prob ability) hat . Im Fehlerfall kann der Algorithmus ein beliebiges Ergebnis liefern. Die Nebenbedin gung c:(n ) < 1/ 2 ist notwendig, urn sinnlose Algorithmen ausz uschlieBen. Bei Ent scheidungsp roblemen hat ein Algorithmus, der , ohne die Eingabe zu betracht en , diese mit Wahrscheinlichkeit 1/2 akzeptiert und mit Wahrscheinlichkeit 1/2 ablehnt, eine Fehlerwah rscheinli chkeit von 1/ 2. (Fur Leserinnen und Leser mit Vorkenntnissen sei hier darauf hin gewiesen , dass wir spater die bekannten Komplexit at sklassen ZPP und BPP als spez ielle ZPP( c:(n))- bzw. BP P (c:(n))-Klasse identifi zieren .) In dem wichtigen Spezialfall der Entsc heidungs probleme gibt es zwei Fehlertypen . Eingabe n konnen falschlicher weise akzeptiert oder falschlicherweise abgelehnt werden . Bei einigen P roblemen wie dem Verifikat ionsp robl em sind die Fehler art en nicht gleichbe rechtigt. Einen fehlerhafte n Prozessor als korrekt zu akzeptieren, hat ga nz andere Folgen als die Klassifikat ion eines korrekten P rozessors als fehlerh aft . Wenn wir das Wort Verifikation ernst nehmen , muss der erste Fehlertyp ausgeschlossen sein. Mit RP(c:(n )) (random polynomial t ime) bezeichn en wir die Klasse der Entscheidungs probleme, ftir die es einen ra ndomisierten Algorithmus mit polynomieller maximaler Rechenzeit gibt, der jede nicht zu akzeptierende Eingabe ablehnt und fur jede zu akzeptieren de Eingabe der Lan ge n eine durch c:(n ) < 1 beschr ank t e Fehlerwahrschei nlichkeit hat . Dieser Fehlertyp wird als einseitiger Fehler (one-sided er ror) bezeichnet im Gegensat z zum zweiseitigen Fehler (two-sided error), der be i BPP(c: (n ))-Algor ithmen fur Entscheid ungsp robleme er laubt ist . Naturlich konnen wir beim Fehlertyp einseit iger Fehler die Rollen von zu akzeptierenden un d abzu lehnende n Eingaben vertauschen. Aus der Sicht der Sprachen, die den Ent scheidungsproblemen ents prec hen (siehe Kap it el 2.1) , gehen wir VOn der Sprac he L zum Kompl ement , mit L od er auch co-L beze ichnet, tibe r. Dah er be zeichnen wir mit co-R P(c:(n) ) die Klasse der Sprachen L , fur die L E RP(c:(n)) ist . Ausfuhr licher ist dies die Klasse der Entscheidungsprobleme, ftir die es eine n randomisierten Algorit hmus mit polynomieller maximaler Rechenzeit gibt, der jede zu akzeptierende Eingabe akzeptiert und fur jede abzulehnende Eingab e der Lange n eine durch c:(n) < 1 beschran kt e Fehlerwahrscheinlichkeit hat. Naturlich dtirfen wir ra ndomisierte Algorit hm en, die versagen ode r irr en konnen , nur dann einsetzen, wenn die Versagensoder Fehlerwahrschein lichkeit klein genug ist . Bei zeit kritisc hen Anwendungen konnen wir darauf angewiesen sein, dass die maximale Rechenzeit klein

34

3. Die grundlegenden Komplexitatskl assen

ist . Dann ist eine Schranke fur die erwartete Rechenzeit nicht ausreichend.

Randomis ierte Algorithmen bilden dann eine Alt ernative, wenn es ausreicht, die durchschnittliche Rechenzeit zu beschriinken, oder wenn bestimmte Versagens- oder Fehlerwahrscheinlichkeiten tolerabel sind. Dies bedeutet, dass fur die meisten Anwendungen randomisiert e Algorithmen eine sinnvolle Alternative bild en. Versagens- oder Fehlerwahrscheinli chkeit en von beispielsweise 2- 100 liegen weit unter den Wahrscheinlichkeiten von Rechnerausfallen und -fehlern. Exponentiell kleine Fehlerwahrscheinli chkeit en wie c(n ) = 2- n sind fur wachs end es n noch besser . Wenn ub erhaupt ein Versagen oder ein Fehler tol er abel ist, dann sollt en wir die Vers agensod er Fehlerschranke von min {2- lO O , 2- n } als tolerabel ansehen. Obwohl randomisierte Algorithmen form al keine Probleme bereit en , gibt es do ch immer wieder Probleme bei der Interpretation der Ergebnisse random isierter Algorithmen . Wir diskutieren dies am Primzahltest von Solovay und Strassen (1977) , der ein co-RP (2- 100 )-Algorit hmus ist. Er ist sehr effizient und hat folgendes Verhalten. Ist die Ein gab e n eine Primzahl, wird sie akzeptiert. Ist die Eingabe n keine Primzahl, wird sie mit einer Wahrscheinlichkeit von hochst ens 2- 10 0 dennoch akzeptiert und ansonsten ab gelehnt. Wenn also der Algorithmus n ablehnt , ist n keine Primzahl , eine Primzahl ware ja akzept iert worden. Wenn der Algorithmus n akzeptiert, gibt es keine eindeut ige Schlussfolgerung. Die Zahl n kann eine Primzahl sein oder nicht. Im zweiten Fall ware dies ab er mit einer an 100 % grenzenden Wah rscheinlichkeit , gena uer mit einer Wahrscheinli chkeit von mindest ens 1 - 2- 10 0 , ent deckt word en . Da in der Kryptographie zufallige Primzahl en mit vielen Bits gebraucht werden , werden zufallige Zahlen der gewunschte n Bitlange mit dem Primzahltest ub erpruft . Zahlen , die diesen Test best ehen , sind dann "vermut lich" Primzahl en . Diese Ausdrucksweise hatte zunac hst zur Abl ehnung der Arb eit von Solovay und Strassen gefiihrt . Der Gutacht er hatte richtigerwei se bemerkt, dass eine Zahl Primzahl od er nicht Primzahl und niem als mit einer bestimmten Wah rscheinlichkeit Primzahl ist . Diese Kritik trifft a ber nicht den Kern des betracht eten Primzahltests. Die Bezeichnung "ve rmutlich" ist dab ei nicht als Wahrscheinlichkeit , ob n Primzahl ist , zu int erpretieren. Wir hab en namli ch einen Test durchgefUhrt, den Primzahlen ste t s best ehen , wahrend andere Zahl en mit einer Wahrscheinlichkeit von mindest ens 1 - 2- 10 0 den Test nicht bestehen . Wenn wir also den Primzahltest verwenden , wird durchschnittlich hochstens jeder 2100_t e Test einer Zahl , die nicht prim ist , zur Akzeptan z der Zahl als P rimzahl ftihren .

3.3 Die grund legende n Ko mplexitatsklass en fur algorithmische Probleme

35

3.3 Die grundlegenden Komplexitatsklassen fiir algorithmische Probleme Wi r wollen nun Ordnun g in die in K apitel 3.1 und 3.2 definiert en Komplexitatsklassen P, EP, ZPP(e(n)) , BPP(e( n)) , RP(e(n)) und co-RP (e (n )) bringen. In sb esondere ste hen wir vor der Schwierig keit , durch die freie Wahl von e(n) eine Vielzahl von Komplexltatsklassen zu hab en . Wenn der eine mit eine r Fehlerschr anke von 1/100 zufrieden ist un d die andere auf der Schr anke 1/1000 best eht, fragt sich, ob diese beiden andere Klassen von effiz ient losbaren Problemen erhal te n. Wir werden zeigen, dass aIle nicht abstrus groBen Fehlerwahrscheinlichkeite n zu denselben Komplexitat sklassen flihr en. Zuvor zeigen wir, dass es ega l ist , ob wir korr ekt e Resultat e bei polynomieller maximaIer dur chschnittlicher Rechenzeit od er polynomi elle maximale Rechenzeit bei kleiner Versagenswah rscheinli chkeit fordern. Theorem 3.3.1. EP = ZPP(1 /2). Beweis. E P ~ ZP P(I /2) : Wenn ein P roblem zu EP gehOrt, gibt es einen randomi siert en Algorithmus, der dieses P roblem korr ekt lost und der ftir jede Eingab e der Lange n eine durchschni ttliche Rechenzeit hat , die durch ein Polynom p(n) beschr ankt ist . Die markoffsche Ungleichung (Theorem A.2.9) besagt , dass die Wahrschein lichkeit einer durch 2 · p(n) beschra nkten Rechenzeit mindest ens 1/2 bet ragt . Dah er st oppe n wir den Algorithmus, wenn er nach 2 . p(n) Schritten nicht von sich aus gestoppt hat . Hat der Algorithmus von sich aus gest oppt (also mit einer Wah rscheinli chkeit von mindest ens 1/2), hat er das korrekt e Er gebnis berechnet . Anson st en stoppen wir den Algori thmu s wahrend seiner Arb eit , int er pret ieren dies als Versagen des Algorithmus und beenden die Rechnung mit dem Ergebni s ,,7". Nach Definition ist dieser abgeanderte Algori t hmus ein ZPP(I /2)-Algori thmus. ZPP(I /2) ~ EP: Wenn ein Problem zu ZPP(I /2) gehort, gibt es einen randomisiert en Algorithmus, dessen maximale Rechenzeit dur ch ein Polynom p(n ) beschr ankt ist, der niem als falsche E rgebni sse liefert und der mit einer Wah rscheinlichkeit von mindest ens 1/2 das richtige Er gebnis liefert. Wir konnen diesen Algorithmus so oft wiederholen , bis er ein Ergebnis liefert , das dan n zwangslaufig korrekt ist . Die erwartete Anz ahl von Wiederholun gen ist nach T heorem A.2.12 durch 2 beschrankt. Also erha lte n wir einen Algorit hmus, der stets korrekt e Ergebnisse liefert und dessen maximale durchschnit tliche Rechenzeit du rch 2 · p(n ) beschr ankt ist . Dies ist ein EP-Algorithmus. D

Aufgrund dieses T heorems werden wir nur maximale Rechenzeit en und verschiedene Fehlertyp en und -wah rscheinli chkeit en betracht en . Auch die Bezeichnu ng E P ist un iiblich. Wi r haben sie hier nur voriibergehend benut zt und bet ra cht en in Zukunft stattdesse n nur ZP P-Klassen . Ein ZPP(I /2)-Algorithmus ist wie ein Miinzwurf, bei dem wir bei Zahl , also mit eine r Wahrschein lichkeit von (hochstens) 1/2 , verlieren . Wenn wir

36

3. Die gr undlegende n Kornplexitatsklassen

den Munzwu rf einige Male wiede rholen kon nen , soIlte n wir kaum jedes Mal verlieren. Bei ZPP-Algorithmen gen tigt ein La uf ohne Vers agen , urn das korrekt e Ergebnis zu kennen . Diese Betracht ung konne n wir verallgem ein ern, urn die Versagen swah rscheinli chkeit dras ti sch zu senken , was a uch probability amplification genannt wird .

Theorem 3.3.2. Es seien p(n ) und q(n ) Polynom e, dann ist

ZPP(l - l /p( n)) = ZPp(T q(n»). Beweis. Wi r werden eine n randomi sierten Algorithmus, des sen Versagenswahrscheinlichkeit l -l / p(n) betragt , t (n)-mal wied erholen , wobei die einze lnen Laufe vollst and ig unabhangig sind , also jed er neu e Lauf neu e ZufaIlsbits verwendet. Wenn alle Laufe versagen , versagt de r neu e Algor ithmus. An sonst en liefert jed er Lauf, in dem der Algorit hmus nicht versagt, ein korrektes Result at , was wir daran erkennen , dass das Resultat von "7" verschied en ist . Der neu e Algorithmu s kann eines der korrekt en Result at e als sein Ergebnis ausge be n. Die Ver sagen swahrscheinli chkeit des neu en Algor ithmus betragt

(l_l/ p(n))t(n). W ir setzen t( n ) := i(In 2) . p(n) . q(n )l Dann ist t(n) ein Po lynom und die Rechen zeit des neu en Algorithmus polyn omi ell beschr ankt . Dariib er hinau s gilt , da (1 - ~) m :::; e- 1 ist ,

(1 - l /p (n )) (In 2) ·p(n) ·q(n) :::;

e- (ln 2)·q(n)

= 2- q(n). o

Zur Verringerung der Versagenswahrscheinli chkeit von 1 - l /n auf 2- n gen uge n also weniger als n 2 W ied erh olungen des Algorithmus. Kleinere Versagenswa hrscheinlichkeiten als 2- q (n ) sind bei polynomiellen Rechenzeiten unm oglich. Wenn d ie Rechen zeit durch ein Polynom t(n) beschr iinkt ist, gibt es hochsten s t (n) Zufallsb it s, also 2t (n ) verschied ene Zufallsfolgen . Versagt der Algorithmus tiberhaupt , dann mit einer Wahrscheinli chkeit von mindestens 2- t (n ) . Durch das Zulassen von po lynomiellen Rechenzeit en fallen die ZPP (E(n ))-Klassen fur aIle nicht schnell gege n 1 wachsen den E(n) und aIle E(n), die nicht gleichbedeutend mit E(n) = 0 sind, zusammen. Wi r erhalten folgen de Komplexit at sklassen .

D efinition 3 .3 .3 . Ein algorit hmisches Problem gehort zur Kompl exitat sklasse ZP P, wen n es zu ZP P( 1/2) gehort, es also einen rando misierten AIgorithmus mit polyn omieller maxim aler Rechenzeit gib t, der niem als falsche Ergeb nisse liefer t und ftir jede Eingabe eine durch 1/2 beschr ankte Ver sagenswahrschei nlichkeit hat. Es geho rt zu ZP P *, wenn es fur eine Funktion E(n) < 1 zu ZPP (E(n )) gehort .

3.3 Die grundlegenden Komplexitatsklassen fur algorithmische Probleme

37

ZPP-Algorithmen sind von praktischer Bedeutung, da wir die Versagenswahrscheinlichkeit echt exponentiell klein machen konnen . Dagegen haben ZPP*-Algorithmen, die keine ZPP-Algorithmen sind, keine direkte praktische Bedeutung. Dennoch werden wir der Komplexitatsklasse ZPP* spater wieder begegnen und ihr dann auch einen anderen Namen geben. Uns ere Betrachtungen aus dem Beweis von Theorem 3.3.2 konnen auf R PAlgorithmen tibertragen werden. Wenn wir RP(c(n))-Algorithmen t(n)-mal wied erholen, wird jede abzulehnende Eingabe in jedem Lauf abgelehnt. Die Wahrscheinlichkeit, dass wir uns fur eine zu akzeptierende Eingabe t(n)-mal irren, ist durch c(n)t(n) beschrankt. Wir werden uns also wie folgt entscheiden. Hat mindestens ein Lauf des RP-Algorithmus die Eingabe akzeptiert, wird sie akzeptiert und ansonsten abgelehnt . Der Beweis von Theor em 3.3.2 liefert uns folgendes Ergebnis. Theorem 3.3.4. Es seien p(n) und q(n) Polynome, dann ist RP(l - l /p(n))

= RP(Tq(n)).

Auch die An zahl der benotigten Wi ederholungen ist dieselbe wie bei den ZPP-Algorithmen. Definition 3.3.5. Ein Entscheidungsproblem gehort zur Komplexitatsklasse RP, wenn es zu RP(1 /2) gehort; es also einen randomisierten Algorithmus mit polynomieller maximaler Rech en zeit gibt , der jede abzulehnende Eingabe mit Wahrscheinlichkeit 1 abl ehnt und auf zu akzept ierenden Eingaben eine durch 1/2 beschrankte Fehlerwahrscheinlichkeit hat. Es gehort zu RP* , wenn es fur eine Funktion c(n) < 1 zu RP(c(n)) gehort. Wiederum sind RP-Algorithmen und co-RP-Algorithmen wie der diskutierte Primzahltest von praktischer Bedeu tung. Die Kornplexitatsklasse RP* wird sich als zent ra l fur die Kornplexitatstheori e erweisen und sp ater einen anderen Namen bekommen. Das Konzept, die Fehlerwahrscheinlichkeit durch unabhangige Wiederholungen zu senken, lasst sich nicht ganz so leicht auf BPP(c(n))-Algorithmen tibertragen, da wir nun bei keinem Resultat sicher sein konnen, dass es korrekt ist . Betrachten wir eine Eingab e x der Lange n, dann erhalten wir mit einer Wahrscheinlichkeit von s := s(x) ~ 1 - c(n ) > 1/2 ein richtiges Ergebnis. Bei t(n) unabhan gigen Laufen erwart en wir in s . t(n) > t(n) /2 Versuchen ein richtiges Ergebnis. Im allgemeinen Fall von Suchproblemen konnen wir jedoch dennoch t(n) verschiedene Ergebnisse erha lte n und haben keine Idee, welches E rgebnis wir auswahlen sollen. Bei Problemen mit eindeutigem richtigen Ergebnis ist die Situation besser . Wir treffen ein e Majoritatsentscheidung, wahlen also ein Ergebnis, das am haufigsten in den t(n) Laufen Ergebnis des betreffenden Laufes ist . Der Algori thmus macht nur dann einen Fehl er, wenn in hochst ens t(n) /2 Laufen das richtige Ergebnis berechnet wurde. Hier bietet sich die chernoffsche Ungleichung (Theorem A.2.11) zur Analyse an . Es sei Xi = 1, wenn der i-t e Lauf das richtige Ergebnis liefert , und

38

3. Die grundlegenden Kornplexitatsklassen

Xi = 0 sonst. Dann ist Probt.X, = 1) = 8, die ZufaIlsvariablen Xl, " " Xt(n) sind vollstandig unabhangig und E(X) = 8 ' t(n) fiir X = Xl + ... + Xt (n)' Also ist

Prob(X ::::: t(n)/2)

= Prob(X::::: (1 - (1 - 1/(28)) . E(X)).

Bei Anwendung der chernoffschen Ungleichung ist 0 = 1 - 1/(28) und Prob(X

< t( n) /2)

< e- t (n ).s .{)2/ 2.

Da 8 :::: 1 - s( n) gilt , ist diese Schranke fur 8 = 1 - s (n) am grofiten. Es sei s(n) = 1/2 - l /p(n) ftlr ein Polynom p(n) :::: 2. Dann ist

o= 1 _

_-----,1-----,...,... 1 + 2/p(n)

2 p(n) + 2

und

Fur t(n) := f(2 . ln 2) · q(n) · p(n)21, also ein Polynom, erhalten wir eine durch 2- q (n ) beschrankte Fehlerwahrscheinlichkeit. Bei den meisten Optimierungsproblemen konnen wir in polynomieller Zeit fur zwei Ergebnisse feststellen , ob sie dieselbe Qualitat haben. Da der Wert optimaler Losungen eindeut ig ist , konnen wir dann auf analoge Weise die Fehlerwahrscheinlichkeit senken.

Theorem 3.3.6. E8 seien p(n) und q(n) Polynome. Eingeschriinkt auf die Klasse der eindeutig LOsbaren Probl eme und auf die Klasse der Optimierungsprobleme, bei denen der W ert einer Losung in polynomieUer Zeit berechenbar ist, gilt BPP(1 /2 - l /p(n)) = BPp(Tq(n)) . Theorem 3.3.6 deckt die uns inter essier enden F alle ab oDaher ist folgende Definition ger echtfertigt.

Definition 3.3.7. Ein algorithmisches Problem gehort zur Komplexitatsklasse BPP, wenn es zu BPP(1 /3) gehort, es also eine n randomisierten Algorithmus mit polynomieller maximaler Rechenzeit gibt , dessen Fehl erwahrscheinlichkeit fur jede Eingabe durch 1/3 beschrankt ist, und es gehort zu PP, wenn es fur eine Funktion s(n) < 1/2 zu BPP(s(n)) gehOrt. Die Bezeichnung "bounded-error" bezieht sich darauf, dass die Fehlerwahrscheinlichkeit einen konstanten Abstand von dem Wert 1/2 hat . Die

3.3 Die grundlegenden Komplexitat sklassen fur algorithmische Probleme

39

Klasse BPP(1 /2) ist ebenso sinnlos wie ZPP(l) , da sie alle Entscheidungsprobleme, auch nicht rekursive, enthalt. Wir wiederholen die Definitionen unserer Komplexitatsklass en P, ZPP, ZPP*, RP, RP*, co-RP, co-RP*, BPP und PP informell. Alle setzen polynomielle maximale Rechenzeiten der betreffenden Algorithmen voraus. F ur die Klasse P mus s das Ergebnis stets st immen, so dass auf Zufallsbits ver zichtet werden kann. Fur die Klass en ZPP und ZPP* sind Fehler verboten , ab er die Algorithmen durfen versagen . Dagegen ist fur die Klassen RP, RP*, co-RP und co-RP* ein einseit iger Fehler erlaubt, der bei RP und RP* bei Eingaben x E Lund bei co-RP und co-RP* bei Eingaben x 'f. L auftreten kann. SchlieBlich sind bei BPP und PP bei allen Ein gaben Fehler erlaubt . ZPP, RP, co-RP und BPP sind Komplexitatsklassen mit beschrankter Versagens- oder Fehlerwahrscheinlichkeit, wahrend die Klassen ZPP*, RP* , co-RP* und PP Komplexitatsklassen mit im Rahmen der sinnvollen Werte unb eschrankten Versagens- od er Fehlerwahrscheinlichkeiten sind.

Algorithmen mit beschriinkt er Versagens- oder Fehlerwahrscheinlichkeit fiihren zu Algorithmen, die praktisch sinnvoll einsetzbar sind . Also enthalten die Komplexitiitsklass en P, ZPP, RP, co-RP und BPP Probleme, die als unter verschiedenen Anforderungen efjizient losbar bezeichnet werden konnen. Wir erhalt en folgend e "Komplexitats landscha ft" fur algorit hmische Problem e, bei der gerichtet e Pfeile Teilm engenbeziehungen ausdrucken sollen . Theorem 3.3.8. BPP

t t P

ZPP

•

PP

•

ZPP*

Beweis. Die Beziehungen P <;;;; ZPP, ZPP <;;;; ZPP* und BPP dir ekt aus den Definitionen. Es ist nach Theorem 3.3.2 ZPP

=

ZPP(1 /2)

=

ZPP(1 /3)

<;;;;

BPP(1 /3)

da ,,7" in einem BPP-Algorithmus ein Fehler ist .

=

<;;;;

PP folgen

BPP,

o

Man wurde au ch gern e die entsprechende Beziehung ZPP* <;;;; PP zeigen. Sie ist ab er vermutlich nicht wahr. Ein ZPP*-Algorithmus mit Versagenswahrscheinlichkeit 1 - 2- 2n wird selbst bei 2n unabhangigen Wiederholungen mit groBer Wahrscheinlichkeit stets das Ergebnis ,,7" liefern . Wir konnen

40

3. Die grundlegenden Komplexitatsklassen

nicht mit ein er Fehl erwahrscheinlichkeit von weniger als 1/2 ein richtiges Ergebnis liefern, Wenn es sehr viele mogliche Ergebnisse gibt , hilft uns auch ein "Raten des Ergebnisses" nicht weiter . Dies legt es nahe, Komplexitatsklassen fur Entscheidungsprobleme gesondert zu betrachten . In Kapitel 2.1 haben wir ber eits geseh en , dass Optimierungs- und Auswertungsprobleme auf nahe liegende Weise Varianten haben , die Entscheidungsproblem e sind. In Kapitel 4 wird es sich erweisen, dass diese Entscheidungsvarianten den zugrunde liegende n Optimierungs- und Auswertungsproblemen komplexitatstheoretisch sehr ahnlich sind. Dah er konzentrieren wir uns im nachsten Abschnitt a uf Entscheidungsprobleme.

3.4 Die grundlegenden Komplexit.atsklassen fur Entscheidungsprobleme Die Komplexitatsklassen P, ZPP, ZPP* , BPP und PP wurden fur algorithmische Probleme definiert. Da einse it iger Fehler nur fiir Entscheidungsprobleme ein sinnvolIer Begriff ist, wurden RP und RP* nur fur Entscheidungsprobleme definiert . Wenn wir un s nun auf die Klasse E der Entscheidungsproblem e konzentrieren, miiss en wir P n E anstelIe von P betrachten, analog fur ZPP, ZPP* , BPP und PP. Natlirlich ist P n E <;;; RP, abe r P g RP, da P auc h Problem e ent halt, die keine Entscheidungsprobleme sind . Zur Verwirrung aller , die in die Kornplexitatstheorie einst eigen, werden abe r die Bezeichnungen P, ZPP, ZPP*, BPP und PP doppeld eutig verwendet - in der Hoffnung, dass aus dem Zusammenhan g klar ist , ob die Klasse auf Entscheidungsproblem e eingeschrankt ist . Urn nicht mit unublichen Bezeichn un gen zu arbeiten, werden wir auch die doppeld eutige Bezeichnungsweise verwenden und uns bemuhen , aIle mogli chen Verwirrungen a ufzuklaren, In Kapitel 3.4 werden jed enfalIs nur die auf Entscheidungsproblem e eingeschrankten Komplexit atsklassen betrachtet . Zu jed em Entscheidungsproblem, also zu jeder Sprache L gehort das Komplement, das mit co-L od er L bezeichn et wird . Fur Kornplexitatskl assen C bezeichnen wir mit co-C die Komplexit atsklasse alIer co-L mit L E C. Da nur einseit iger Fehl er verschiedene Anforderungen an zu akzept ierende und abzulehne nde Eingaben stellt , gilt Bemerkung 3.4.1. Die Komplexit atsklassen P, ZPP, ZPP*, BPP und PP sind gege n Komplem entbildung ab geschlossen , also gilt P = co-P, ZPP = co-ZPP, ZPP* = co-ZP P*, BPP = co-BP P und PP = co-PP. Bei der Betrachtung von Entscheidungsproblemen gib t es eine vollstandigere Komplexitatslandschaft als bei der Betrachtung alIer algorit hmischen Problem e.

3.4 Die grundlegenden Komplexitatsklassen fur Entscheidungsprobleme

41

Theorem 3.4.2.

BPP

~

PP

I~/\

RP

co-RP

RP*

co-RP*

\/~ ZPP

~

ZPP*

t

P

Beweis. Sowohl P <;: ZP P wie auch die "Querbeziehungen" zwischen den Klassen von pr aktisch effizient losbaren Problemen (bounded error ) und den ent sprechenden Klassen , die keine pr aktisch nutzbar en Algorithmen erfordern, namli ch ZPP <;: ZPP*, RP <;: RP *, co-RP <;: co-RP* und BPP <;: PP, sind nach den Definitionen offensichtlich. Es ist ZPP <;: RP und ZPP* <;: RP *, da die Antwort ,,7" fiir ein Versagen durch ein Abl ehn en mit moglichern Fehle r ersetz t werd en kann. An alog ist co-ZP P <;: co-RP und , da ZPP = co-ZP P ist , auch ZPP <;: co-RP. Auf gleiche Weise folgt ZPP* <;: co-RP* . Es ist nach T heore m 3.3.4

RP

=

RP(1 / 2)

=

RP(1 / 3) <;: BPP(1/ 3)

=

BPP .

Dies ub errascht nicht , da einseit iger Fehler eine starkere Ford erung als zweiseit iger Fehler ist . Analog folgt co-RP <;: co-BP P = BPP. Es bleib t die Beziehung RP* <;: PP zu zeigen , da darau s auch co-RP* <;: co-P P = PP folgt . Fur ein Entscheidungsproblem L E RP* untersuchen wir einen RP*-Algorithmus A und betracht en seine maximale Rechenzeit p(n), ein Polynom in der Eingab elan ge n . Der Algorithmus hat fur eine Eingab e x der Lan ge n nur p(n ) Zufallsbits zur VerfUgung. F ur jede der 2 P (n ) Belegu ngen der Zufallsbit s arbeitet der Algori thmus det erministisch. Wir erha lten also einen 0-1-Vekto r A(x) der Lange 2p (n ) , der fur jede Belegung der Zufallsbits die Ent scheidung beschreibt (1 ~ akzept ieren, 0 ~ ablehnen). Fur den RP *Algori thmus A gilt: - fur x E L ent ha lt A(x) mindestens eine Eins , - fur x
42

3. Die grundlegenden Komplexitat sklassen

Die Idee best eht darin, mit eine r passend gewa hlte n Wahrscheinli chkeit jede Eingabe zu akzept ieren und ansonsten den Algorithmus A anzuwenden. Damit wird die Akzeptan zwahrscheinli chkeit von 0 bzw. mindest ens 2- p (n ) "nac h recht s verschob en " , so dass sie kleiner als 1/2 bzw. gr6Ber als 1/2 ist . Dieses "Verschieben von Akzept an zwah rscheinli chkeit en " lasst sich folgendermaBen realisieren . Der Algorithmus A' verwend et 2p( n) + 1 Zufallsbits. Die erst en p (n ) + 1 Zufallsbits interpreti ert er als Bin ar zahl z. - Falls 0 ::::: z ::::: 2p (n) ist , also in 2P (n) + 1 von 2P( n)+1 Fallen , wird A simuliert, wofur die p( n ) weite re n Zufallsbit s ben6tigt werden. - Falls 2 p (n) < z ::::: 2P (n)+1 - 1 ist, also in 2p (n) - 1 Fallen , wird die Eingabe ohne weit ere Rechn ung akzeptiert, dies geschieht also fur (2P (n ) - 1) ·2 P (n ) aller 22p (n ) +l Belegungen der 2p (n ) + 1 Zufallsbi t s. Die An alyse des Algori thmus ist einfach. - Falls x

tf.

List , akzeptiert A in keinem Fall. Also ent ha lt A'(x) nur

(2 P( n) _ 1) . 2p (n) = 2 2p (n) - 2p (n)

< 22p (n ) +l / 2

Einsen und damit meh r Nullen als Einsen . - Falls x E List , wird in 2p (n ) + 1 F allen A simuliert, wobei in jedem Fall fur hochstens 2P (n ) - 1 der 2P (n ) Belegungen der rest lichen Zufallsbits die Eingab e abgelehnt wird. Also ent ha lt A'( x) hochst ens (2 P (n)

+ 1) . (2 P (n) -

1)

= 22p (n)

- 1

< 22 p (n)+1 /2

Nullen und damit mehr Ein sen als Nullen .

o Der Beweis der Beziehung RP* <;;; PP ist nur vord ergrundig technis ch. Wir hab en ein Experim ent , das abha ngig von einer Eigenschaft , narnlich x tf. L oder x E L , mit Wahrscheinlichkeit co < 1/2 bzw. e i > co ein Er gebnis E , n arnli ch x zu akzeptiere n, liefert . Wenn wir uns mit Wah rscheinli chkeit p < 1 ent scheide n, das Er gebn is E auf jeden Fall a uszugeben, und nur mit Wahrscheinlichkeit 1 - p das Ex periment durchfiihren, erha lte n wir nach dem Sat z von der totalen Wah rscheinli chkeit (Theorem A.2.2) die neuen Wahr scheinlichkeit en c~

= p + (1 -

p) co

= co + p( l

- co)

+ p( l

- cd

und c~ = p

+ (1 -

p) cl =

Cl

> co + p(l

- co)

fur das Ergebnis E . Nun muss nur noch p so gew ahlt werd en , dass co + p( l - co)

< 1/2 < C l + p(1

- cd

3.4 Die grundlegenden Komplexit atskl assen fur Entsch eidungsprobleme

43

ist . Etwas erschwerend kommt fur uns hinzu , dass p von der Form t /2 q (n ) fur ein Pol ynom q(n) sein mu ss, damit wir das neue Experiment in polynomieller Zeit realisieren konnen . Urn ein e Beziehung zwischen ZPP, RP und co-RP her zuleiten, stellen wir uns die zugehorigen Algorithmen als Ratgeber bei Investitionen vor . Der ZPP-Ratgeber gibt in mindest ens der Halfte der Falle eine n Rat und dieser Rat ist st ets korr ekt, ansonsten zuckt der Ratgeb er mit den Schultern. Der RP-Ratgeber ist sehr vor sichtig. Bei schle chten Anlagemo glichkeit en rat er von ein er Investition ab und bei guten Anlagemoglichkeit en befUrwortet er in der Halfte der F alle ein e Investition. Wenn dieser Ratgeb er von eine r Investition abrat, konnen wir nicht wissen , ob er dies tut , weil er weiB, dass die An lage schlecht ist, od er ob er nur vorsichtig ist. Dagegen wissen wir beim ZPP-Ratgeb er stets, ob er den richtigen Tipp hat od er nur vorsichtig ist . Bei eine m co-RP -Ratgebe r ist die Situation wie bei einem RP-Ratgeb er - nur mit um gekehrt em Vorzeichen . Sein e Hinweise sind riskant . Wir verpassen kein e gute Investition, werden ab er nur in mindestens der Halft e der Falle vor Fehlinvestitionen bewahrt . Wenn wir ein en vor sichti gen und einen risikofreudigen , also einen RP- und eine n co-RP -Rat geber haben, sollten wir Irrtiimer vermeiden konnen, Dies wird im folgenden Theorem formalisiert. T h e o r e m 3.4.3. ZPP = RP n co-R P und ZPP"

= RP" n co-R P".

B e we is . Wir zeigen nur die erste G leichung. Der Beweis ist jedoch fur aIle Schranken €(n) korrekt und somit folgt auch die zweite Gleichung. Die Beziehung ZPP <:;;; RP n co-RP ist schon aus T heorem 3.4.2 bekannt und wir mussen nur no ch nachweisen , dass RP n co-RP <:;;; ZPP ist . Wenn L E RP n co-RP ist, gibt es po lynomielle RP-Algorithmen A und if filr L bzw. L . Wir benutzen beid e Algorithmen nacheinander , was natiirlich zu eine m pol ynomiellen randomisierten Algorithmus fuhrt . Bevor wir beschreib en , wie wir unsere Entscheidung, ob x E List , treffen , untersuchen wir das Verhalten des Algorithmenpaares (A , A) :

°

- x E L. Da x ~ List, lehnt A die Eingab e ab, was wir mit A(x) = bezeichn en . Da x E List, akzept iert A die Eingabe mit einer Wahrscheinlichkeit von mindestens 1/2 , was wir mit A(x) = 1/0 bezeichnen. Also ist (A(x) ,if(x)) = (1/0 ,0) . - x ~ L. An alog folgt (A(x) , A( x)) = (0,1 /0) .

Der kombinierte Algorithmus (A , if) hat also drei rnogliche Er gebnisse, die wir folgendermaBen bewerten : - (1,0) : wird x - (0,1 ) : - (0,0) : wissen

Da A(x) = 1 ist , muss x E L sein. (Falls x ~ L , ist A( x) = 0.) Also akzept iert . Da A(x) = 1 ist , muss x ~ L sein . Also wird x ab gelehnt . Einer der Algorithmen mu ss eine n Fehler gemacht haben , ab er wir nicht , welcher. Also wird ,,?" als Antwort ausgegeben .

44

3. Die grundlegenden Kornplexitatsklassen

Der neue Algorithmus ist somit irrtumsfrei. Wenn x E List, gilt A( x) = 0 mit Sicherheit und A( x) = 1 mit einer Wahrscheinlichkeit von mindestens 1/2 . Also akzept iert der neue Algorithmus x mindestens mit Wahrscheinli chkeit 1/2 . Wenn x ¢:. List , folgt a uf analoge Weise, dass der neu e Algorithmus x mit einer Wahrscheinli chkeit von mindest ens 1/2 ablehnt. Insgesamt ist der neue Algorithmus ein ZPP-Algorithmus fur L. D

3.5 Nichtdeterminismus als Spezialfall von Randomisierung Nachdem wir wichtige Kornplexitatsklassen mit dem von uns als Schltisselkonzept betracht eten Kon zept der Randomisierung eingefUhrt hab en , wollen wir den Bezug zum klassischen Ansatz des Nicht dete rminismus herst ellen. Auch in diesem Unterkapitel betracht en wir nur Entscheidungsprobleme. Bei einem determ inistischen Algorithmus han gen die Au swirkungen des nachsten Rechen schritts nur von den gegenwa rt ig gelesenen Informationen und der auszufUhrenden Programmzeile abo Ein randomisiert er Algorithmus kann abhangig von dem fiir diesen Schritt zur Verfiigung gestellten Zufallsbit zwischen zwei Aktionen wahl en , wobei jede der Aktionen mit Wahrscheinlichkeit 1/2 durchgefuhrt wird. Ein nichtd eterm inistischer Algo rithmus (nondet erministic algorit hm) kann st ets zwischen zwei Aktio nen wahlen , wobei es keine Vorschrift gibt , wie diese Aktion ausgewa hlt wird . Formal konnen wir bei einer ni chtdeterministischen Turingmaschin e wie bei einer randomisiert en Turingm aschin e ein Paar (80 ,8 1 ) von Arb eit svorschriften zur Verfu gu ng stellen. Ublicher, abe r aquivalent ist die Betrachtung einer Arb eitsvorschr ift 8: Q x r ----t (Q x r x {-I , 0, + I })2 , die die beiden moglichen Aktionen beinhalt et . Eine Eingab e wird genau dann akzeptiert, wenn es einen erla ubte n Rechenweg, also eine Folge von Aktionen , die der Arbeitsvorschrift ent sprechen , gibt , bei dem die Ein gab e akzept iert wird. Definition 3.5 .1. Ein Entscheidungsp rob lem L gehort zur Komplexit at sklasse NP (nondet erm inistic polynomial t ime), wenn es einen nichtdet erministischen Algorithmus mit polynomieller maximaler Rechenzeit gibt, der jedes x E L auf mindest ens einem erla ubten Rechenweg akzept iert und je des x¢:. L auf allen erlaubten Rechenwegen ablehnt . Dies ist also die Kompl exitat sklasse, die zu der in Kapitel 1 andiskut iert en NP yf:P-Hypothese gehort . Es ist allerdings schwer, sich die Arbeit sweise eines nichtdet erministischen Algorithmus vorzustellen. Es werden hau fig die folgend en Sichtweisen verwendet: - Algorithmisch werden alle Rechenwege auspro biert, dies sind aber bei maximaler Rechenzeit p(n) bis zu 2P (n ) Rechenwege. - Der Algorithmus erhalt die F ah igkeit , die richtige n Rechenschritte zu "erraten " .

3.5 Nichtdeterminismus als Spezialfall von Randomisierung

45

Entweder haben wir es also mit einer exponent iell lan gen Rechnung zu t un od er mit einem nicht realisierbaren Kon zept . Daher werd en nichtdet erminist ische Rechner als theoreti sch wichtiges, abe r pr aktisch nicht realisierbar es Kon zept betracht et . Randomisierung biet et einen einfacheren Zugan g zu der Klasse NP. Theorem 3.5.2. NP

=

R P".

B e we is . Die Definitionen von NP und RP * erwarte n Algorithmen mit po lynom ieller maximaler Rechenzeit p( n) und zwei moglichen Aktionen in jeder Situation. F ur x 'f- L wird bei NP geford ert , das s x auf allen erlaubten Rechenwegen abgelehnt wird , und bei RP*, dass dies mit Wah rscheinlichkeit 1 geschieht. Dajeder Rechenweg eine Wahrscheinlichkeit von mindest ens 2- p (n ) hat , sind beide Ford er ungen aquivale nt. F ur x E L wird bei NP geforder t , dass x auf mindest ens einem Rechenweg akzept iert wird , und bei RP*, dass die Wahrscheinli chkeit , x a bzulehnen, kleiner als 1 ist . Diese Forderungen sind wiederum aquivalent . 0 Ein RP*-Alg orithmus und da mit ein NP- Algorit hmus kann also au f einem randomisier te n Rechner in polynomieller maximaler Rechenzeit durc hgefuhrt werd en und ist somit ein realisierbar es Algori thmenkonzept . Es ist nur wegen der moglicherweise zu groBen Fehlerwahrscheinlichkeit nicht praktisch nutzlich.

Ni chtdeterminismus ist dasselbe wie R andomi sierung, bei der einsei tige Fehler mit euier Wahrscheinlichkeit kleiner als 1 erlaubt sind. Wir konnen nun die Er gebni sse aus Theorem 3.4.3 in T heore m 3.4.2 einset zen und T heorem 3.4.2 mit den ga ngigen Bezeichnungen neu formuli eren . Theorem 3 .5 .3 . bounded error or failure prob ability two-sided err or one-sided erro r zero error but failure no error or failure

unbounded error or failure pr obabili ty ~

BPP

PP

~/\

RP

co-RP

\ I t P

NP co-NP

~/

ZPP = RP n co-RP----.. NP n co-NP

46

3. Die gru nd legende n Komplexitatsklassen

Die hier fur die Zeilen und Spalten gewa hlte n Bezeichnungen spiegeln die aus heutiger Sieht mit dem Fokus auf Randomisierung zu wahlende Charakterisierung wider . Die Bezeichnungen der Kornpl exitatsklassen sind historisch ent standen, a ber sieher nieht glucklich gewahlt. So ist die Fehlerwahrscheinli chkeit nicht nur fur BPP-Algor ithmen (B ~ bounded) durch einen konstant en Abs t and von der t rivialen Gr enze entfernt. Gleiches gilt a uch fur RP-Algorithmen und fur die Wahrscheinli chkeit des Versagens bei ZPP-Algorithmen . Bei ZPP und BPP bedeutet das zweit e P probabilistic, bei RP das R random, obwohl es in allen Fallen urn Randomisierung geht. Die Klassen PP und NP beziehen sieh auf randomisierte Algorithmen mit inakzeptabler Fehlerwahrscheinlichkeit, abe r nur PP weist im Nam en auf Randomisierung hin. Schlief3lich gibt es fur NP n co-NP im Gegens atz zu ZPP = RP n co-RP keinen eigenen Namen, der auf3erha lb der st rukturellen Komplexitatstheori e "gangig" ist . Als die Komplexitatsklasse NP "erfunden" wurde (in den 60er J ahren des vorigen J ahrhun de rt s), war en randomisiert e Algorithmen exotis che Auf3enseit er, wah rend form ale Sprachen als Basis von Programmiersprachen weit entwickelt war en . Ein Wort gehort zu einer von einer Gr ammatik erze ugten Spr ache, wenn es eine Ableitung des Wortes aus dem St art symbol gernaf den Ableitungsregeln der Grammatik gibt. In diesem Zusammenhan g ist Nicht det erminismus angemessener als Randomisierung. Typis cherweise sind wir nieht daran int eressiert, mit welcher Wah rscheinli chkeit wir ein Wort erzeugen, wenn wir bei Link sableitungen und kont extfreier Gr ammat ik zufallig eine der pass end en Ableitungsregeln wahlen. Bei Algorithmen ist es dagegen wichtig , mit welcher Wahrscheinlichkeit wir ein richt iges Er gebnis berechnen .

4. Reduktionen - algorithmische Beziehungen zwischen Problemen

4.1 Wann sind sich Probleme algorithmisch ahnlich? In der Kornplexitatstheorie wollen wir P robl em e beziiglich ihrer Komplexitat klassifizieren . Wir sind also zufriede n, wenn wir fur jed e der in Kapitel 3 einge fUhrten Komplexitatsklassen wissen , ob das betracht et e Problem in ihr ent halten ist od er nicht . Spater kommen noch weitere Kornplexitatsklassen hinzu und wir erweitern un sere Fragest ellung auf alle betracht et en Kornplexitatsklassen , Zwei Problem e nenn en wir komplexit/itsth eoretisch. iihnli ch ; wenn sie in genau den selb en der bet ra cht et en Komplexitatskl assen ent halten sind. Von vielen Problem en wissen wir , dass sie in polynomieller Zeit losbar und sich damit komplexit atstheor etisch ahnlich sind . Eben so ist von vielen P roblem en bekannt , dass sie nich t rekursiv , also insb esondere nicht mit Rechnerhilfe losbar sind . Von einigen anderen P roblemen ist bekannt, dass sie zwa r rekursiv, abe r so schwierig sind, dass sie in kein er der betracht et en Komplexitatsklassen ent halten sind. Au ch diese Problem e sind sich aus der Sicht der bish er einge fUhrten Kornplexitatsklassen ahnlich. (Naturlich ist es sinnvoll, rekursive von nicht rekursiven Problemen zu un ter scheid en .) Mom entan sind wir nicht in der Lage, ftir ein P roblem zu zeigen, dass es in PP, aber nicht in P ent halten ist . Dies liegt an unserer schon in Kapitel 1 beschrieb en en Un fiihigkeit , fur (nicht ga nz schwierige) P robl em e zu beweisen , dass sie nicht polynomiell losb ar sind. Glii cklicher weise konnen wir von vielen Problem en dennoch zeigen, dass sie sich komplexit atstheor eti sch ahnlich sind, also in den selb en Komplexit atsklassen ent halte n sind. Der Weg zu diesen auf den ersten Blick erstaunliche n Ergebnissen besteht darin, festzust ellen , dass sich die Probl eme sogar algorithmis ch iihiilich. sind. Wenn wir aus eine m polynomiellen Algorithmus fur das eine Problem einen pol ynomiellen Algorithmus fur das ande re Problem erhalten und um gekehrt, dann wissen wir , dass beid e Problem e zu P gehoren oder nicht . "Vir wollen definieren , wann ein P rob lem A algorithmisch nicht schwieriger zu losen ist als ein Problem B . Die Probleme A und B sind sich dann algor it hmisc h ahn lich, wenn A algorit hmisch nicht schwieriger als B und B algorit hmisch nicht schwier iger als A ist. Die Definiti on von "algorithm isch nicht schwieriger" ergibt sich nun direkt aus un seren Zielen .

I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

48

4. Reduktionen - algorithmische Beziehungen zwischen Problemen

Definition 4.1.1. Das Problem A ist algorit hmisch nicht schwieriger als das Problem B , wenn es einen Algorithmus zur Losun g von Problem A gibt, der auf einen Algori thmus zur Losung von Problem B zur iickgreifen darf und folgende Eigenschaft en hat : - Die Rechenzeit ohne die Aufrufe des Algorithmus zur Losung von B ist durch ein Polynom p(n) beschr ankt. - Die Anz ahl der Aufrufe des Algor ithmus zur Losung von B ist du rch ein Polynom q(n) beschr ankt. - Die Ein gab elange fur jeden Aufruf des Algorithmus zur Losung von B ist durch ein Polynom r( n ) beschr ankt. Wenn es einen Algorithmus zur Losung von B mit Rechenzeit t B(n) gibt, erha lten wir einen Algorithmus zur Losung von A , dessen Rechenzeit t A (n) sich folgendermaJ3en abscha tzen lasst :

t A(n) :::; p(n ) + q(n ) . t e (r(n)). Diese Ab schatzung kann entsprechend verb essert werden, wenn wir wissen , dass einige Aufrufe des Algorithmus zur Losung von B eine kleiner e Ein gabelan ge hab en . Wenn t B (n) polynomiell beschrankt ist , dann ist auch t A (n) polynomiell beschr ankt und wir konnen die polynomielle Rechenzeit schr anke fiir tA(n) leicht ausrechnen. Hierbei benotigen wir die folgenden drei einfachen, aber zent ralen Eige nschaften von Polynomen PI von Gr ad d l und pz von Gr ad da: - Die Summe P I + pz ist ein Polynom, dessen Gr ad hochstens max{d I , d z } ist . - Das Produkt P I . pz ist ein Polynom, dessen Gr ad d l + d z ist . - Die Komposition (od er Verkniipfung) P I 0 pz (oder PI (pz(n ))) ist ein Polynom , dessen Grad d l . dz ist . Interessant ist fur uns die Kon traposition der obigen Aussage, namli ch: Wenn A nicht in P enthalt en ist , ist auch B nicht in P ent halte n. Aus einer unteren Schr anke SA (n) fur die Komplexit at von A lasst sich eine unt ere Schr anke sB(n) fur die Komplexitat von B ausrechnen. Der Einfachheit halber nehmen wir an, dass die Poly nome P, q und r mon oton wachsend sind und set zen r - I(n) := min{m I r(m) :2: n }. Dann ist

SA(n ) :::; p(n) + q(n) . SB (r(n )) , SA (r - I(n )) :::; P (r - I(n)) + q (r - I(n )) . SB(n ) und

F iir den Zweck der kompl exitat stheoretischen Klassifikat ion ist es ausreichend, dass P, q und r Polynome sind. Konk ret erhalt en wir jedoch bessere

4.1 Wann sind sich Probleme algorithmisch ahnlich?

49

Schr anken , wenn P, q und r "mag lichst klein " sind . Das beschri eb ene Kon zept kann auch fur randomisierte Algorithmen fur B mit beschrankter Vers agensod er Fehl erwah rscheinlichkeit verwendet werden. Mit un abhan gigen Wiederholungen wird die Fehlerrat e des Algorithmus fur B so gesenkt, dass die Gesamtfehlerr ate bei q(n) Aufrufen klein genug ist . In der Komplexitat stheorie ist der anscha uliche Begriff "algorit hmisch nicht schwieriger" nicht etabliert . Basierend auf ahnlichen Begriffen in der Ent scheidb arkeitstheorie und Logik wird von einer Reduktion gesprochen. Wi r hab en das P robl em , einen effiziente n Algorithmus fur A zu finden , auf das Problem reduziert , einen effizienten Algori thmus fur B zu finden . Da sich Effizienz a uf polynomielle Zeit bezieht und wir nach der erweit erte n churchschen T hese Turingm aschinen als Referenzmod ell her an ziehen konn en , wird die Aussage " A ist algorit hmisch nicht schwieriger als B " durch A ~T B abgeklirzt . Ausfuhrlicher : A wurde auf B turingreduziert. Das Zeichen ,,~T" druckt a us, dass die Komplexitat von A nicht grofier als die Kornplexit at von B ist . Es sind sich nun A und B algorit hmisch ahnlich, wenn A ~T B und B ~T A gelte n. Dies schreib en wir a uch als A = T B od er A und B sind t uringaq uivalent . Turingreduktionen sind algorit hmische Konz epte, wob ei wir wie in der Top-down-Programmierung mit noch nicht realisiert en Unterprogrammen arbeit en. Allerdings hab en wir hier nicht imme r die Hoffnun g, dass wir das Unterprogr amm fur B effizient realisier en konnen . Dah er wird der Algori thmus fur A , der sich au s der Tu ringredukt ion auf B ergibt, oft Algori thmus mit Orakel (or acle) B genannt. Wir befragen ein Orakel, das uns zuverlassig (im Gegensatz zum Or akel von Delphi) Antworten fur das Problem B liefert . Mit Turingreduktione n lassen sich algori thmische Ahnli chkeiten zwischen Probl em en m it unbekan nter Komplexitiit f eststellen .

Bevor wir zu konkret en Tu rin gredukt ionen kommen , wollen wir aufe rst nlit zliche Eigenschafte n dieses Reduktionskon zeptes festhalten. Trivialerweise gilt A ~T A (Refiexivltat) fur aIle Probleme A, da wir A losen konn en , ind em wir ein Orakel fur A befragen . Daruber hina us ist ,, ~ T" tran sitiv, also gilt

A ~ T B und B ~T C

'* A ~T C .

Der Beweis dieser Eigenscha ft ist einfach. Wir benu t zen die Turingredu ktion von A auf B und ersetzen dab ei je den Aufruf fur B durch die gegebe ne Turin greduktion von B auf C. Da Polynome stets durch monotone Polynome nach obe n beschr ank t sind , gehen wir in den T uringredukt ionen von monot onen Polynorn en PI, ql und r l fur A ~T B und P2, in und r2 fur B ~T C aus. Die Rechenzeit un seres C -Orakelalgorithmus fur A ohne die Aufrufe von C ist durch P3(n) := Pl(n) + ql(n) · P2 (rl (n)) beschrankt, das Orakel fur C wird hochst ens q3(n) := qi (n) . q2 (rl (n))- mal filr Ein gab en der Maximallange r3(n) := r2 (rl(n)) aufgeru fen und P3, q3 und r 3 sind Polynome. Turingaquivalenz ist eine Aquivalenzrelation , denn offen sichtlich gelte n die Beziehungen

50

4. Reduktionen - algorithmische Beziehungen zwischen Problemen

SchlieBlich folgt die Tr ansitivitat von ,,=r" direkt aus der Tr ansitivit at von und ,,?'r ". Dies wird uns den Entwurf vieler Reduktionen erspa ren. Wir werden nun beispielhaft die algori thmische Ahnlichkeit von Problemen untersuchen . In Kapitel 4.2 zeigen wir , dass fur die uns int eressierend en Probleme aile Problemvari anten kompl exitatstheoretisch aquivalent sind. In Kapitel 4.3 werden Beziehungen zwischen Problemen hergeleit et , die sich entweder sehr ahnlich sehen oder sich als seh r ahnlich erweisen. Die wahre Machtigkeit des Konz epts der Turingreduktion wird erst in Kapitel 4.4 deutlich, wo wir exemplarisch zeigen , wie wir Beziehungen zwischen "g anz verschiedenen" Problemen herstellen konnen , Da wir in diesen Abschnitten festst ellen , das s viele Turingreduktionen von einem sehr speziellen Typ sind, werd en wir die Sonderrolle dieser speziellen Reduktionen in Kapitel 4.5 diskutieren. Die fur den Entwurf von Turingreduktionen benutzten Techniken gehen auf die einflussreiche Arbeit von Karp (1972) zuruck. ,, ~ r "

4.2 Reduktionen zwischen den verschiedenen Varianten eines Problems Wir haben in Kapitel 2.2 algorit hmische Probleme vorgest ellt, darunter groBe Gruppen von Problemen wie das TSP mit vielen Spezialfallen . Das s sich spezielle Probleme wie TSP 2 auf allgemeinere Probleme wie das TSP turingreduzieren lassen , also TSP 2 ~r TSP gilt, ist trivial (Algorithmen fur allgemeine Probleme losen aut omat isch die sp eziellen Probleme) , aber au ch wenig aussagekraft ig. Interessanter ist die Untersuchung, ob auch TSP ~r T SP 2 gilt, also ob der Spezialfall schon so schwierig wie das allgemeine Problem ist . Der artige Ergebnisse werden in Kapitel 4.3 und in den spateren Kapi teln gezeigt . Er st aunlicherweise wird sich erweisen, dass TSP =r T Sp 2 ist . B ier wollen wir fur Optimierungsprobleme die Komplexitat des Problems mit der Komplexit at des zugehorigen Auswertungs- und des zugehor igen Entscheidungsproblems vergleichen. Es seien Ao p t , Ae va 1 und A d ec die Optimierungs-, Auswer tungs- und Entscheidungsvariante des Problems A. W ir wollen zeigen, dass fur viele naturliche Probleme A

gilt . Dab ei werd en wir den Begriff eines degenerierten Problems nicht formali sieren , sondern Bedingungen ange ben, unter denen die ents prechenden Turingredukt ionen moglich sind. Stets gilt

da wir den Wert der optimalen Losung effizient mit der im Entscheidungsproblem angege be nen Schr anke vergleichen konnen . Bei Optimierungsproblemen

4.2 Redukt ionen zwischen den verschiedenen Varianten eines Pr oblems

51

hab en Losungen eine bestimmte Qu alitat, die dur ch ihren Wert gemessen wir d . Wenn die Berechnung dieses Wert es in pol ynomieller Zeit moglich ist, gilt

A ev a1 "'5: T A op t . Durch einen Aufruf der Optimi erungsvari ante des Problems erhalten wir eine op timale Losung des Problems und konnen dann den Wert dieser optimalen Losung berechn en. Alle in Kapit el 2.2 vor gestellt en Problem e erfullen diese Bedingung, was sich sehr leicht ub erpriifen lasst . Beispielsweise konnen die Kost en einer Rundreise in linear er Zeit berechn et werden . F ur die Beziehu ng Aeva1 "'5:T A dee benut zen wir folgend e Eigen schaft . Der Wert aller Losu ngen ist ga nz za hlig und wir konnen effizient eine ob ere Schr anke (upper bound) U ~ 0 und eine unt ere Schranke (lower bound) L "'5: 0 fur den Wert einer op timalen Losung berechn en , wob ei die Lange der Bin ardarstellung von U - L pol ynomiell in der Bitlan ge der E ingabe beschr ankt ist . Bei de n Problemen in Kapit el 2.2 kann stets L = 0 gewahlt werden . Ob ere Schr anken erge ben sich meist en s sehr leicht, so

fur Aufteilungsp roblem e (BP) , da es ausreicht , ftir jedes Objekt eine Kiste vor zusehen , n fu r VC , CC, CLIQU E od er IS , da Losun gswerte die GroBe von Teilmengen der Knotenmen ge eines Graphen od er die Anzahl der Men gen in einer P artit ion der Knotenmen ge beschr eib en , m fur das Kantenilberd eckungsproblem E C , da hier der Losungswert die Crofe einer Kan t enmenge ist, m fur die Optimierungsvarianten von SAT , da der Losungswert die An zahl erftillter Kl au seln ist , a l + ... + an fur KP.

- n

-

-

Beim T SP ist allerd ings der Dist an zwert 00 erlaubt. Es sei d m a x der rnaximale en dliche Dist an zwert. Da nn ist n . d m ax eine obe re Schranke fur die Kost en von Rundreisen , die end liche Kost en haben . Die Kost en jeder Rundreise liegen in {O, .. . , n . dm a x , oo}. In jed em Fa ll hab en wir eine Aufzahlung von moglichen Losungswerten , entweder von der Form L , . .. , U od er von der Form L , . . . , U,oo. Auf diesen Wer t en konnen wir mit Algorithmen fur die Entscheid ungs varianten eine binare Suche starten , wobei 00 gegebe ne nfalls wie U + 1 beh andelt wird . Die Anzahl der Aufrufe der E ntsc heid ungs varianten ist durch 1l0g(U - L + 2)1 und somit polynomiell beschrankt. In vielen Fallen genuge n un gefahr log n Aufrufe des Algorithmus fur das Entscheidungsp roblem . Bei Problem en , die groBe Zahlen in der Eingabe ent halt en konnen (T SP, KP) , kann d ie An zahl der Au frufe von der GroBe dieser Zahl en abhange n . A bschliefend wollen wir untersu chen , wann auch A o p t "'5: T A eval gilt . Unsere Vorgeh ensweise ist dab ei die folgende. Zun ach st benut zen wir den Algorithmus fur A ev a1 zur Berechnung des Wertes Wo pt eine r optimalen Losung.

52

4. Reduktionen - algorit hmische Bezie hungen zwischen Problemen

Dann versuchen wir Teile der Losung fest zulegen . Wir probieren dabei mogliche Ent scheidungen aus. Wenn der Losungswert wieder Wo p t ist , konnen wir bei un serer Entscheidung bleiben, ansonste n war sie falsch und wir mussen neue Entscheidungen ausprobieren. lndem wir exemplar isch fiinf Probleme behandeln , zeigen wir , dass dieser Ansat z routinemiiBig angewendet werden kann. W ir beginn en mit MAX-SAT . Es sei Wopt die maximale Anzahl gleichzeiti g zu erfiillender Klau seln . Wi r set zen Xl = 1. Klau seln mit X l sind erfiillt und werden durch Klau seln mit Wert 1 ersetzt, wiihrend in Klau seln mit X l dieses Lit eral als nicht er ftillt gest richen wird. Falls fiir die neue Klaus elmenge der optimale Wert Wopt ist , gehort Xl = 1 zu einer optimalen Losung und wir suchen eine passend e Belegung von X2, . • • , X n auf der neu gebildeten Klauselme nge. Falls fur die neue Klau selmenge der optimale Wert kleiner als Wo p t ist (grofer ist unmoglich) , gehort Xl = 1 zu keiner optimalen Losung. Also muss X l = 0 zu einer optimalen Losung gehoren und wir suchen eine passende Belegung von X2, .• . , X n auf der Klau selmenge, die a us der urspriinglichen Klau selmenge durch die Festl egung X l = 0 ents teht. Die Anzahl der Aufrufe des Algorithmus fur die Auswertungsvari ant e ist durch n + 1 beschriinkt, alle Aufrufe beziehen sich auf Probleme, die nicht lan ger als das Ur sprungsproblem sind und der zusiit zliche Aufwand ist gering. Beim Cliquenp robl em CLIQUE bestimmen wir zunachst die GraBe Wopt der grofite n Clique. Urn zu entsc heide n, ob ein Kno t en v zu einer grofsten Clique gehoren muss, konnen wir ihn mit den anliegenden Kant en a us dem Gr aphen ent ferne n und test en , ob der Rest graph eine Clique der Crofle Wopt ent halt. Wenn dies der Fall ist , suchen wir eine Clique der GroBe Wopt im Rest graphen . Ansonst en muss v an jeder maxim alen Clique bet eiligt sein und wir ent fernen alle Knoten , die nicht mit v verbunden sind, aus dem Gr aphen . Nachdem wir auch noch v ent fernt hab en , geniigt es, a uf dem Rest gr aphen eine Clique der GroBe Wopt - 1 zu finden , zu der wir dann v hin zufiigen konnen . Wieder geniigen n + 1 Anfragen fiir Gr aphen , die nicht grofer als die Eingabe sind . Beim TS P konnen wir eine beliebige Rundreise au sgeb en , wenn Wopt = 00 ist . Ansonst en konnen wir endliche Dist an zwert e di,j versu chsweise a uf 00 set zen , urn fest zust ellen , ob die Strecke von i nach j zu einer opt ima len Rundreise gehoren muss. Wenn sie fur eine optimale Rundreise notig ist , set zen wir den di,rWert auf den alte n Wert zurtick, ansonste n belassen wir den Wert auf 00 . Nachdem wir dies sequenziell fur alle Dist anzwert e gemacht hab en , erhalten wir eine Dist anzmatrix, in der gena u die Strecken einer optimalen Rundreise einen endlichen Wert hab en . Hier ist die Anz ahl der An fragen an den Algori thmus fur das Auswertungsproblem N + 1, wenn N die Anzahl der endlichen Dist an zwert e bezeichnet . Etwas kompli zierter wird die Situation beim Aufteilungsproblem BP. Wenn wir entscheiden, dass Ob jekt e in eine bestimmte Kist e gehoren, ist die Restkapazit at der Kiste nicht mehr b und wir erhalten ein Problem mit

4.3 Reduktionen zwischen verwa ndten Problemen

53

verschieden groBen Kist en, das nach Definition kein BP-Problem ist und fur das wir keine Anfrage fur das Auswertungsproblem st ellen du rfen . Fur ein verallgemeinertes BP-Problem mit moglicherweise verschieden groBen Kist en wurde der Ansatz funktionieren . Ab er wir konnen uns hier mit einem kleinen Trick helfen . Wir konnen zwei Ob jekt e "verkleben" , ind em wir sie durch ein Objekt ersetzen, dessen GroBe die Summe der GroBen der beiden alte n Objekte ist. Wenn dies die Anz ahl benot igt er Kist en nicht vergrofiert, konnen wir sie verkl ebt lassen und das neue P robl em mit einem Objekt weniger bearbeiten. Wenn Objekt i nicht mit Objekt j verklebt werden kann, dann gilt das spater fur aIle Paare von Obj ekten, von denen eines i und das andere j ent ha lt. Es geniige n also G) Test s. Am Ende hab en wir W opt Supero bj ekte, die jeweils eine Menge von Objekten verkl ebt hab en , die in eine Kist e passen . SchlieBlich wollen wir das Flussproblem NF erwa hnen. Es ist in polynomieller Zeit losb ar (siehe z. B. Ahuj a, Magnanti und Orlin (1993)) und som it konnen wir das Optimierungsproblem soga r polynomiell losen , ohn e den AIgorit hmus fiir die Au swertungsvari ante zu bemiihen.

Fiir die uns interessierend en Optimierung sprobleme sind die Optimierungs-, Auswertungs- und Entseheidungsvariante tu ringiiquivalent . Aus komplexitiitstheoreti seher Si eht ist es daher gereehtfertigt, sieh auf die Entseheidungsvarianten zu beschriink en:

4.3 Reduktionen zwischen verwandten Problemen In diesem und dem folgenden Teilkapit el wollen wir an Beispi elen Methoden zum Entwurf von Tu rin greduktionen vorst ellen und einiibe n. Die Beispiele sind so gewa hlt, dass wir die Er gebnisse spater auch be not igen. Auf Grund der Resul t ate au s Kap it el 4.2 betracht en wir hier stet s die Entscheidungsvari anten der Optimierungsprobleme. AIle Probleme wurden in Kapitel 2.2 definiert. Wir beginnen mit der Gruppe der T SP-Vari ant en . Da wir spa te r nachweisen , dass DHC ein schwieriges Problem ist , konnen wir mit dem folgend en Sat z diese Aussage a uf HC , TSP L\ Tspsym, T SP 2 (also auch TSp N ftir N 2: 2) und TSP iibertragen . Ein e ahn liche Aussage fur T Sp d-Euklid werden wir nicht zeigen (dazu siehe Lawler, Lenstra, Rinnooy Kan und Shmoys (1985)) . Mit T SP 2,L:::., sym bezeichnen wir die Menge der TSP-Eingab en , die sowohl zu TSp2 als auch zu T SpL:::. und T s psym gehoren. Theorem 4 .3.1. DHC =

T

HC

~T

TSp2,L:::. ,sym.

Beweis. HC ~T DH C: Diese Aussage ist einfach zu zeigen. Ungericht et e Kanten konnen in beiden Richtungen durchlaufen werd en . Aus dem gegebenen ungerichtet en Graphen G = (V, E) erzeugen wir also den gerichte ten Gr aphen G' = (V,E' ) auf derseiben Knotenmenge, bei dem Kant en {v ,w}

54

4. Redukt ion en - algorit hmisc he Beziehungen zwischen Problem en

zwischen v und w in G durch die zwei Kanten (v,w) und (w, v) von v nach w und von w nac h v ersetzt werd en . Es ist offensichtlich, dass G genau dann

einen ungericht et en hamiltonschen Kreis ent ha lt , wenn G' einen ger ichteten hamiltonschen Kreis ent halt. Wir konnen also den Algorit hmus fur DHC mit der Eingabe G' aufru fen und die Antwort (ja oder nein) als Antwort fiir HC und G ub ernehmen . Gerichtete Gr aphen er m6glichen mehr Freiheit en und dah er ist es nicht tibcrraschend , wenn sich ein Problem fur ungerichtete Graphen auf das analoge Problem fur gerichtete Gr aphen t ur ingred uzieren lasst . DHC $.T HC: Nach un serer let zten Bemerkung ist es schwieriger, diese Thringredukt ion zu entwerfen. Unser Ziel ist es, ungericht ete Kant en zu benutzen und dennoch zu erzwingen, dass sie alle "praktisch" nur in einer Richtung benutzt werden . Dazu genugt es, Kno t en durch kleine Gr aphen zu ersetzen. Wir werden aus einem gerichteten Graphen G = (V, E ) in polynomi eller Zeit einen unger icht et en Gr aphen G' = (V ', E' ) konstruieren , der gena u dann einen hamiltonschen Kr eis ent ha lt, wenn G diese Eigenschaft hat . Dann genilgt es, den HC-Algorithmus fur G' au fzur ufen und die Antwort fur DHC und G zu ub ern ehmen . Es sei V = {VI , . .. ,vn } . Dann ist V' := { Vi ,j 11 $. i $. n, 1 $. j $. 3}, wobei die Kno t en Vi ,l, Vi,2 und Vi,3 den Kn ot en Vi E V "reprasent ieren" sollen. Es gibt stets die Kan ten { Vi ,l, Vi ,2 } und { V i ,2 , Vi ,3} . Die Kante ( Vi , V j) E E wird nun durch die Kante { Vi ,3 , V j , d und die Kante (V k , Vi) E E durch die Kant e { V k ,3 , Vi ,d repr asent iert. Die Richtung der Kanten a us E, die Vi beruhren , spiegelt sich also dadurch wider, wo die Kante das Knotent rip el ( Vi ,I , V i ,2 , Vi ,3) erreicht . Zumind est geht die Info rm at ion tiber die Kant enri chtung nicht verlo ren . Abbildung 4.3.1 zeigt als Beispiel den Ausschn it t eines Gra phen G, der den Kno t en V lO betrifft.

V20, 1

Abb. 4. 3 .1. Illu stration der Tu ring red uktion DH C

~T

HC .

Wenn G einen ham iltonschen Kreis ent ha lt, nach Umnummerierung der Knot en sei dies die Knotenfolge (VI, V2, ... , V n, vI), dann ent ha lt G' den "ent sprechenden" hamiltonschen Kreis, bei dem die Kante ( Vi , Vj ) durch den Weg (Vi,3, Vj ,l, Vj ,2, Vj,3 ) ersetzt wird. (Dies gilt nur fur n > 1, aber fur n = 1 ben6t igen wir keine Orakelfrage fur HC.) W ir nehmen nun an, dass G' einen hamiltonschen Kr eis H' ent halt . In ihm hat jeder Knoten Vi,2 einen Knotengrad von 2. Also muss H ' filr jedes i E

4.3 Reduktionen zwischen verwandten Problemen

55

{I , . . . ,n} d ie Kanten {Vi,l , Vi ,2 } und { Vi ,2 , Vi ,3 } ent halten . Im un gericht et en Graphen G ' ist mit H ' stets a uch der hamiltonsche Kr eis H" , in dem H ' in der entgegengese tzten Richt ung durchlaufen wird , in G' enthalten. Fur den Knot en VI konnen wir un s also in G' fur den Teilpfad (VI ,I , VI,2, VI,3) entscheide n . Von Vl ,3 muss H' eine Kante zu eine m Knot en Vj,l , j i=- 1, ent halten. Urn Vj ,2 auf eine m Kreis zu erreichen , mu ss sich dann der Teilpfad (V j ,I, V j ,2 , V j ,3) anschlieBen . Diese Argument ation lasst sich fortsetzen und H' verbindet die Tr ipel ( Vi ,1 , Vi ,2 , Vi ,3) in geeigneter Weise. Wenn das vk-Tripel auf das vi-Tr ipel folgt, konnen wir dafu r in G die Kante (Vi , vd wahlen , Auf diese Weise erhalten wir in G eine n hamiltonschen Kr eis H . HC "'5.T TS P 2,6 ,sy m : E s sei G = (V, E) ein ungerichtet er Graph , fur den wir entscheide n wollen , ob er eine n hamiltonschen Kr eis enthalt, Dann stellen wir folgende Anfrage an ein TSP-Orakel. Wenn V = {I , . . . , n } ist, gibt es n Orte. Es sei falls {i,j } E E sonst. Wir reprasenti eren also Kanten durch kurze Distan zen . Ein hamiltonscher K reis in Ghat im T SP -Problem Kost en n. J ede R undreise, die kein en hamilt onsche n Kr eis in G simuliert , hat Mind estkost en von n+ 1. Also erhalten wir bei der Fr age, ob es eine Rundreise mit durch n beschr ankt en Kost en gibt , auch eine An twort auf die Fr age, ob G einen hamiltonschen Kr eis ent halt, Die TS P- Eingab e hat nur Dist an zwert e aus { I, 2} und ist symme t risch. Bei Dist anzwerten aus {1,2} ist die Dr eiecksungleichung d i ,j "'5. di,k + d k ,j stets erfullt. Wir wollen bei unseren Redukt ionen auch stets die benoti gt en Ressourcen ange be n. Bei HC "'5.T DH C bezieh en wir die P robl emgrofe auf die Knot en an za hl n und die Kanten an zahl m . Dann ist p(n , m ) = O(n + m) , q(n, m) = 1 und der neue Graph hat n Knoten und 2m Kant en . Bei DHC "'5.T HC ist p(n , m) = O( n + m ), q(n , m) = 1 und der neu e Graph hat 3n Knot en und 2n + m Kanten. Bei HC "'5.T T SP 2,6 ,sy m ist p(n, m ) = O(n 2 ) , q(n , m) = 1 und wir erhalten eine T SP-Eingab e mit n Orten . 0 Wir habe n schon in diesem Be ispiel gese hen , dass es wicht ig ist , die Eigenschafte n des zu losenden Problem s in das Probl em , ftir das angenommen wird, dass ein Algor ithmus bereitst eht , " hineinzuco diere n" . Bei eng verwa ndt en Problem en kann dies wie im Beweis von T heo rem 4.3. 1 d urc h lokale Ersetzung (local rep lacem ent) gesche he n. In sb esondere ist dies not ig, wenn wir ein Problem wie DH C au f ein "augensc heinlich spez ielleres" Probl em wie HC t ur ingred uzieren wollen . 3-SAT ist nicht nur auge nscheinlich , sondern tatsachlich eine Spezialisierung von SAT . Die folgende Tu ringr edukti on ist ein Must erb eispiel fur eine lokale Ersetzung . Theorem 4.3.2. SA T"'5.T 3-SAT.

56

4. Reduktionen - algorit hmische Beziehungen zwischen P roblemen

Beweis. Un ser Vorgehen ist es , einze lne Klauseln der SAT-Eingab e dureh Klauselmengen mit Klauseln , die je dr ei Literale ent ha lten , so zu ersetzen , dass die gegebe ne Kl aus elm enge genau dann erfiillbar ist, wenn dies die neue Klau selmenge ist . Dann konnen wir unser Problem dureh eine Anfrage an einen 3-SAT-Algorithmus losen . Kl auseln mit hochst ens dr ei Liter alen werden dureh Wi ederholung von Liter alen auf Klau seln mit genau dr ei Literalen verl an gert. Dies ist nur eine syntakt isehe Anderung. Wir betraehten nun eine Kl au sel c = Z l + .. . + Zk (+ ent sprieht OR) mit k > 3 und Zi E {X l, Xl, .. . , X n , Xn } . Wir wollen Klauseln der Lange 3 mit "denselbe n ErfUllbarkeitseigensehaften " konstruieren. Wir durfen nicht Z l + Z2 + Z3 wahl en , da wir Zl + ... + Zk erftillen konnen, ohne Z l + Z2 + Z3 zu er fiillen. W ir wahl en daher eine neue Vari abl e Yl und bilden die Klausel Z l + Z2 + Yl . Die neu e Var iable kann die neue Klau sel erfiillen, wenn c dureh eines der Lit erale Z3 , . •. ,Zn er fullt wird. Es ist nun aueh nieht sinnvoll, als nachst e Klau sel Z3 + Z4 + Y2 zu wahl en . Dann konnen wir ja die neuen Klau seln erftillen, ohne c zu er fullen. Der Tr ick best eht darin , die neuen Klau seln zu verbinden , ind em die neuen Vari abl en , einmal positiv und einmal negiert, in zwei Klau seln vor kommen und so zwei Klauseln verbinden. In sgesamt werden alle neuen Klau seln dureh eine Kette verbunden . Wir besehr eib en die neuen Klau seln fur k = 7, daraus wird die Konstruktion fur jedes k > 3 unmit t elb ar klar :

Dies fiihr en wir fur alle Klau seln dureh, wobei wir jeweils ande re neue Vari abl en wahl en , Wenn die gege be ne Kl au selm enge dureh eine Belegung erftillt wird, dann konnen wir die neuen Vari abl en so belegen , dass aueh die neue Klauselm enge erfullt ist . Wenn c erfullt ist , ist ein Zi = 1. Dam it ist in der zu c gehorenden Menge von Kl au seln der Lan ge 3 gena u eine Klaus el schon er fullt . Aile Klau seln in der Aufzahlung link s von dieser Klau sel erfullen wir , ind em wir die positiven y-Literale au f 1 setzen, und die Klau seln reehts von der ausgezeiehneten Klau sel, ind em wir die y-Lit erale auf 1 setzen. Falls im Beispiel Z3 = 1 ist , setzen wir Yl = 1 un d Y 2 = Y 3 = Y 4 = o. Wenn andererseits die neue Klau selm enge erfilllt ist , konnen nieht alle die Kl au sel c ersetzende Klau seln dureh y-Lit erale erfullt sein. Wenn i der kleinst e Index mit Yi = 0 ist , ist die i-te Kl au sel nicht durch y-Lit erale erftillt ( Z l + Z2 + Yl fur i = 1 und Y i - l + ZH l + Yi sonst). Wenn aile Yi = 1 sind, ist die let zt e Klau sel nieht durch y-Lit erale erftillt. Daher muss ein Zi = 1 und damit c erfullt sein. Wen n wir die E ingab elange l durch die Anz ahl der Lit erale in den Klau seln beschr eiben , ist hier p(l) = O(l ), q(l) = 1 und r (l ) :S 3l. D Einfaeher ist stets der Fall , wenn ein Problem a uf ein ver allgemeinertes Problem turingr edu ziert werde n solI. So ist 3-SAT :ST SAT ebenso trivial

4.3 Reduktionen zwischen verwandten Problemen

57

wie A 5:.T A fill' ein beliebiges Problem A . Aueh HC 5:.T DHC und HC 5:.T T SP 2 ,Li ,sy m war en Th rin greduktion en von HC auf verallgemein ert e P robleme . Der ar tige Thringreduktionen werden aueh Restriktion (restriction) gena nnt , da fill' A 5:.T B das Problem A eine Ein schrankung des Problems B darstellt. Ein weiteres Beispiel diesel' Art ist die folgende Thringreduktion von PARTITION auf BP. Theorem 4.3.3. PARl1TION 5:.T BP. Beweis. PARTITION ist del' Sp ezialfall von BP, in dem es zwei Kist en gibt und die Obj ekte den Raum in den Kisten voll ausfilllen. Formal sind fur PARTITION die Zahl en gl, , gn gegebe n und es ste llt sieh die Frage, ob es eine Indexmenge I <;;; {I , , n } gibt , fur die die Summe aller gi , i E I , die Halft e del' Summe aller gi , 1 5:. i 5:. n , ist. Wenn wir nun BP auf die Zahl en gl, ' " , gn und zwei Kist en del' Gro f e b := l(gl + ... + gn) /2J anwenden, erha lten wir aueh die riehti ge Antwort fur PARTITION. Falls gl + ... + gn unger ad e ist, wiI'd in beiden Fallen die Eingabe abg elehnt. Ansonst en sind die Probleme aquivalent , weil mit del' Summe aller gi, i E I , aueh die Summe aller gi , i rt. I , die Halfte del' Summe aller gi ist. Wenn wir als Eingabelan ge die Anzahl del' g-Werte nehmen , ist p(n) = O(n) , q(n) = 1 und r (n ) = O(n) . D

Restriktionen seheinen ein einfaehes , abel' wenig int eressantes Werk zeug zu sein, da wir bisher dir ekt "gese hen" haben, dass wir es mit einem Problem und seiner Ver allgemeinerung zu t un hab en. Manehe Problem e "versteeken" ihr e Gemeinsamkeit en jedo eh so gut , dass wir ihn en ihre Ahnliehkeit nieht sofort ansehen. So sind CLIQU E, IS und VC im Wesentliehen dieselben E ntse heidungsprobleme . W ah rend dies bei CLIQUE und IS noeh reeht offensichtli eh ist, mu ssen wir schon gena uer hin sehauen , urn die Ahnlichkeit zwischen diesen beiden Problemen und VC zu ent deeken. Theorem 4.3.4. CLIQUE

= T

IS

= T

VC.

Beweis. CLIQUE =T IS: Beim Cliquenproblem suehen wir Cliq uen und bei IS Ant icliquen . Wenn wir G' = (V, E') aus G = (V, E) konstruieren , ind em G' gena u die Kanten ent halt, die G nieht ent ha lt , dann werden Cliquen in Ant icliqu en tran sformiert und umgekehrt . Hier ist p(n) = O(n 2 ) , da wir alle (~) moglichen Kant en betraeht en , q(n ) = 1 und r (n) = n. IS 5:.T VC: Fur das IS-Problem seien del' Gr aph G = (V, E) und die Sehranke k gegeben. Dann lassen wir den VC-Al gorithmus denselb en Gr aph en G = (V, E) mit del' Sehr anke n -k bearbeit en . Eine unabhan gige Menge mit k Knot en impli ziert, dass die iibrigen n - k Knoten alle Kanten ub erwaehen . Wenn andererse its n - k Kno t en alle Kant en iibe rwachen, mu ssen die k ubrigen Kno t en eine unabhangige Menge bilden . Dah er gibt del' VCAlgorithmus auf (G, n -k) die riehti ge Antwort fill' das IS-Problem auf (G, k) . Hier ist p(n, m) = O(n + m ), da wir G kopieren miissen , q(n , m) = 1 und del' neue Graph hat dieselbe Crofe wie del' gegebene Graph.

58

4. Reduktionen - algorithmische Beziehungen zwischen Problemen VC

~T

IS: Dies zeigen wir durch die gleiche Reduktion wie fur IS

~T

VC.

n Es fallt auf, dass unsere Turingreduktionen sehr effizient sind .

4.4 Reduktionen zwischen nicht verwandten Problemen Hier wollen wir Probleme aufeinander turingreduzieren , die sich erst nach dem Entwurf einer Turingreduktion als algorithmisch ahnlich erweisen. So konnen wir zeigen , dass das Heiratsproblem 2-DM und das Meisterschaftsproblem CP mit der a-Aufteilungsregel spezielle Flussprobleme, also turingreduzierbar auf NF sind. Da NF polynomiell losbar ist, sind auch 2-DM und CP in P enthalten. Aus den bekannten effizienten Algorithmen fur NF erh alten wir dir ekt effiziente Algorithmen fur 2-DM und CPoTatsachlich wurden diese Reduktionen auch erst entworfen, als polynomielle Algorithmen fur NF bereits bekannt waren. Prinzipiell hatte man die Reduktionen auch entwerfen konnen, ohne zu wissen, ob NF einfach od er schwierig ist. Da hier Reduktionen dazu dienen, effiziente Algorithmen zu entwickeln, betrachten wir die Optimierungsvarianten von 2-DM und NF. Theorem 4.4.1. 2-DM

~T

NF.

Beweis. Das Heiratsproblem 2-DM konnen wir als Graphenproblem modellieren. Die Knotenmenge V besteht aus der Knotenmenge U, die die Frauen reprasentiert, und der Knotenmenge W, die die Manner reprasentiert. Ein e Kante (u, w) , U E U, W E W, beschreibt, das s U und W ein potenziell gluckliches Ehepaar sind. Kanten zwischen zwei Knoten aus U oder zwei Knoten aus W existieren nicht. Die Aufgabe besteht in der Berechnung einer grofitrnoglichen Kantenmenge, in der kein Knoten mehr als einmal beruhrt wird. Hieraus konstruieren wir folgende Eingabe fur einen NF-Algorithmus. Die Kanten werd en von U nach W gerichtet. Es werden die beiden Knoten 8 und t hinzugefligt, wobei von 8 zu jedem Knoten aus U eine Kante flihrt und von jedem Knoten aus W eine Kante zu t flihrt . AIle Kanten erhalten die Kapazitat 1. Ein Beispiel zeigt Abbildung 4.4.1. Der NF-Algorithmus liefert uns einen maximalen Fluss. Da Flusse ganzzahlig sind, liegt auf jeder Kante Fluss 0 (kein Fluss) oder Fluss 1 (kurz Fluss) . Wir behaupten nun , dass die Menge der Kanten zwischen U und W, die Fluss tragen, in ung erichteter Form ein maximales Matching bilden. Dies lasst sich folgendermaf3en zeigen . Es sei ein Matching mit k Kanten , nach Umnummerierung die Kanten (UI' wt} , . . . , (Uk, Wk) , gegeben . Dann gibt es einen Fluss mit Wert k , der Fluss auf diese Kanten und (8, ut}, .. . , (8, Uk) , (WI, t), . . . , (Wk' t) legt . Andererseits muss jeder Fluss mit Wert k Fluss auf k Kanten, die von 8 ausgehen, und k Kanten , die t erre ichen, legen. Also werden k U-Knoten UI , ' .. ' Uk vom Fluss erreicht und k W-Knoten WI , . . . , Wk

4.4 Reduktionen zwischen nicht verwandt en Problemen

59

Abb. 4.4.1. Illustr ation der Turingreduktion 2-DM :5;T NF. mus sen Fluss an t weitergeben . Jeder Knoten U i, 1 :::; i :::; k, muss seinen Fluss an einen Knoten Wj, 1 :::; j :::; k, weit ergeb en . Da alle Knoten Wi, . . . , Wk erreicht werden, ent halte n die k Kanten mit F luss zwischen U und W kein en Knoten doppelt und bild en ein Matching. Hier ist p(n, m) = O(n + m) , q(n , m) = 1 und die Eingabe fur NF hat n + 2 Knoten und n + m Kanten, wenn das Matchingproblem n Knoten und m Kanten hat. 0 Die Arbeit zur Losung von 2-DM ent spricht neb en linear em Extraaufwand der Arbeit zur Losung eines Flussproblems mit n + 2 Knoten und n + m Kanten. Zudem hat das Flussproblem einige spezielle Eigenschaft en. Au ch das Meisterschaft sproblem CP mit a-Aufteilungsregel, kurz a-CP, lasst sich als sp ezielles Flussproblem codi eren . Theo r em 4.4.2 . Fur das M eisterschaftsproblem a-CP mit a-Aufteilungsregel gilt a- CP :::;T NF. B e weis . Zun achst konnen wir annehmen, dass der ausgewa hlte Verein alle seine a usste henden Spiele gewinnt und damit insges amt A Punkte err eicht. F ur die anderen n Vereine und die noch a usstehenden m Spiele ist zu entscheiden, ob es Spielau sgange gibt, bei denen alle Vereine hochstens A Punkte erhalte n. Wie im Beweis von Theorem 4.4.1 werden wir ein Netz werk mit vier Schicht en entwerfen, bei dem die Kanten nur von Schicht i zu Schicht i + 1 laufen. Schicht 0 ent ha lt den Knoten s und Schicht 3 den Knot en t. Schicht 1 enthalt m Kno t en , die die noch ausz ut ragenden Spiele reprasentieren , und Schicht 2 die ti Knoten, die die Vereine dars tel len, die noch Spiele auszutragen hab en . Also gibt es keinen Knoten fur den ausgewahlt en Verein. Von s fiihrt zu jedem Spielknoten eine Kante mit Kapazitat a. Damit ist der Wer t jedes Flusses durch a . m beschr ankt. Unsere Idee best eht darin, das Flussproblem so zu entwerfen, dass ein Fluss mit Wert a . m Spielau sgange simulieren muss , die den ausgewahlte n Verein zum Meister machen . Zusat zlich soll der ausgewahlte Verein nicht Meister werd en konnen, wenn der Wert eines maximalen F lusses kleiner als a . mist . Wir nehmen also an, dass ein Spielknoten den Fluss a von s erha lt und weit erleit en muss. Dah er ist es nah e liegend, vom Spielknot en aus zwei Kanten

60

4. Reduktionen - algorithmische Beziehungen zwischen Pro blemen

zu den am Sp iel bet eiligten Verein en zum Graphen hin zu zufu gen . Die Kan ten zwischen Schi cht 1 und Schicht 2 hab en Kap azit at a, so dass die a-Aufteilungsr egel simuliert wird . Die Verein sknoten erhalten auf diese Weise Fl uss (oder Punkte) von den Spielknote n, vielleicht so viele Punkte, dass sie den ausge wahlten Verein in der Tabelle ub erfhigeln . Wenn Verein j bish er aj Punkte hat, darf er nur no ch A - a j Punkt e in den a usstehe nde n Spielen erreiche n. Dah er erhalt die Kante vom j-ten Verein sknoten zu t die Kap azit at A - a j (fur ein Beispi el siehe Abbildung 4.4.2) . Wenn der ausgewahlte Verein Meist er werden kann, ergibt sich mit den zuge horigen Spielau sgan gen ein F luss von a· m . Der Knot en s schickt Fluss a zu jedem Spielknoten , der den Wert a gemaf dem vor gegeb en en Spielau sgan g a uf die be t eiligten Verein e aufte ilt . Da der j -te Verein den ausgewahlten Verein nicht ub erflugelt, erhalt er hochst en s eine n F luss von A - aj und kann d iesen an t weit erleiten . Andererseit s "realisiert " jeder Fl uss mit Wert a . m Spiel au sgan ge, bei den en der ausgewahlte Verein Meist er wird. Knot en s muss Fluss a an jed en Spielknot en schicken, urn Fluss a · m abz ugebe n . J ede ganzzahlige Aufteilung an jedem Spielknoten sym bolisier t bei der a-A ufteilungs rege l eine n zulass igen Spielau sgang. Urn den Fluss a . m zu reali sier en , miissen aIle Vereinsknoten allen erhaltene n Fluss an Knoten t weiterleit en . Also hat der j -te Vereinsknoten hochstens Fluss A - a j (A - aj Punkt e) erhalten. Das Net zwerk hat n + m + 2 Knot en , n + 3m Kan t en un d kann in Zeit O( n + m ) kon st rui ert werden . 0 Obwohl das Meisterschaft sproblem eigent lich nur ein Entscheidungsproblem ist , liefert un s die Losun g mit Hilfe des F luss problems, falls der ausgewa hlte Verein Meist er werd en kann , nicht nur die richtige Antwort , sonde rn auch Spielausgan ge, bei denen der ausgewa hlte Verein Meister wird . Als Beispie l betrachten wir eine reale Situation aus der B undesligasaison 1964/ 65, als no ch zwei Spielt age vor Schlu ss die Situati on nicht ganz t rivial war. Damals wurde die (0,1,2)-Aufteilungsregel, die aqulvalent zur 2-Auft eilu ngsregel ist , verwendet . Int eressan t sind nur die folgenden Mannschafte n mit Tabe llenplat z, Punktzahl und rest lichen Gegnern: 1. 2. 3. 4.

5.

SV Werd er Br em en (SVW) 1. FC Koln (1. FC) Bo ru ssia Dortmund (BVB) 1860 Munchen (1860) 1. FC Nlirnber g (FCN)

37 36 35 33 31

Punkt e Punkte Punkt e Punkte Punkte

BVB, F CN. FCN , BV B. SVW, 1. FC. MSV , HSV. 1. FC , SVW.

Wen n 1860 seine let zt en beid en Spiele gewi nnt, erreicht dieser Verein 37 Punkt e und konnte den SVW mit dem besseren Torverhaltnis iib erflilgeln . Aber dann mu sst e der SVW beid e Spiele verlieren . .. Vervollst andigt man diese Argument ationskette kommt man zu dem Ergebnis, dass 1860 nicht me hr Meister werden kann. Wir wollen das zuge horige F lussproblem beschrei-

4.4 Reduktion en zwische n nicht verw andten P roblem en

61

ben , wob ei wir uns auf die Mannschaft en SVW, 1. FC , BVB und FCN beschranken konnen. Das zugehOrige Flussproblem ist in Abbildung 4.4.2 zu sehen. Nur nebenb ei: Dam als wurde der SVW durch zwei Siege Meist er .

2

VW - BV B

2 2

o

1. FC - FCN

FCN - SVW BVB - 1. FC Abb. 4.4.2 . Fl uss problem zur E ntscheid ung eines Meisterschaftsproblems .

Nun komm en wir zu Reduktionen zwischen P robl emen , die sich spater als schwierig erweisen werden . Da wir als Er st es das Erfiillba rkeits problem SAT als schwierig ident ifizieren werden und bereit s SAT auf 3-SAT t ur ingreduziert haben, werden wir 3-SAT a uf zwei weit ere P robl eme turingredu zieren , narnlich das Cliquenp robl em CLIQUE und das Problem DHC, ob ein gerichte ter Graph einen hamiltonschen Kr eis ent ha lt . (Wi e sehr viele Reduktionen , ist die Turingreduktion von 3-SAT a uf CLIQU E schon in der Mono graphie von Gar ey und Johnson (1979) ent halten. Sipser (1997) hat fur einige Reduktionen , so auch 3-SAT ~T DHC , einfachere und anscha ulichere Beweise vorgest ellt. ) Fur so unt erschiedli ch aussehende Probleme wie 3-SAT und CLIQUE od er DHC reichen die Met hoden Restriktion und lokale Ersetzung nicht fur den Entwur f einer T uringreduktion aus. Oft kann dann die Method e der Transformation mit verbundenen Komponent en (component design) angewendet werden. Bei ihr werden Komponent en des Ausgan gsproblems, hier Vari abl en und Klau seln von 3-SAT, in Komponent en des Zielproblems, hier CLIQUE und DHC und somit Graphen , tran sformiert. Urn die gesa mte Informat ion des Ausgangsproblems in das Zielproblem zu codieren, werden die Basiskomponenten geeignet verbunden . Diese Methode werd en wir mit den folgenden beiden Turingredukt ionen veranschauli chen . Theorem 4.4.3. 3-SA T

~T

CLIQUE.

Beweis. Ein e Eingab e von 3-SAT ist durch die Variabl en x l, . .. , X n und die Klauseln Cl, . . . ,Cm spezifiziert. Wir be nutze n hier nur Komponent en fur die Klau seln , und zwar jeweils einen Gr ap hen a uf dr ei Kn ot en , der keine Kante ent ha lt . Insgesam t erhalten wir also 3m Kno t en Vi, j , 1 ~ i ~ m , 1 ~ j ~ 3, wobei Vi,j fiir un s das j -te Lit eral in der i-ten Klau sel reprasentiert. Die Klau selkomponenten sollen nun so mit Kanten verbunden werden , dass diese Verbindungen die ErfUllbarkeit sst ruktur widerspiegeln . Wir ver binden also

62

4. Reduktionen - algor it hmische Beziehungen zwischen Problemen

zwei Knoten Vi,j und Vi' ,j' verschiedener Komponent en (i # i / ) genau dann durch eine Kante, wenn diese beid en Lit er ale gemeinsa m erfullbar sind , sich also nicht wider spr echen . Zwei Literale wid ersp rechen sich dab ei gena u dann, wenn das eine die Negat ion des anderen ist . Da die Er fullbarkeit bei 3-SAT die gemeinsame E rfiillba rkeit aller m Klau seln bedeutet , int eressieren wir un s fur Cliquen der Grofe m . Unsere Beh auptung ist , dass Cl, . .. ,Cm gena u dann er fullba r ist, wenn der konstruierte Gr aph G = (V, E ) eine m-Clique ent halt . Wir konnen also einen Cliquenalgorit hmus fiir (G ,m) aufrufen und die Antwort fur die Erftillbarkeit von Cl, . . . ,Cm verwend en . Sei a E {O, l ] " eine Belegung von X l, " " X n , die aIle Klau seln erfullt . Dann gibt es in jeder Klau sel mindestens ein erftilltes Lit er al. Wi r wahl en jeweils einen Knoten aus, der ein erftillt es Lit er al reprasentiert . Der Gr aph G ent ha lt auf den ausgewahlten Kno t en eine Clique der GroBe m, da die ausgewa hlte n Kn ot en zu verschiedenen Klau selkomponent en gehoren und sich, da die zugehorigen Lit er ale durch a erfullt sind , nicht widerspr echen konnen . Sei andererse its V' eine Cliqu e mit m Kno t en in G . Da Knoten in derselb en Klaus elkomponente nicht durch Kant en verbunden sind und es m Klau selkomponent en gibt, ent ha lt V' genau einen Knoten aus jeder Klau selkomponent e. Wir definieren nun eine erftillende Belegun g a = (a l , " " an) . Die Knoten aus V ' reprasentieren Lit er ale. Es konnen in V' nicht Xi und Xi rep rasentiert sein, da die entsprec henden Kno t en nicht du rch eine Kante verbunden sind . Wenn das Literal Xi in V ' reprasentiert wird , set zen wir a; = 1, und ansonsten a; = 0. Dami t sind aIle Lit erale, die durch V' reprasenti ert werden , und somit aIle Klau seln er fullt. Der entstandene Gr aph hat 3m Knoten und O(m 2 ) Kant en . AuBerdem ist p(n , m) = O(m 2 ) und q(n , m) = 1. D Fur spatere Zwecke ist interessant , dass die im Beweis von T heorem 4.4 .3 angege be ne Turingreduktion auch eine Verbindung zwischen den Op t imierungsvarianten der P robl eme herst ellt. Die gleichen Argum ente wie im Beweis von T heorem 4.4.3 fuhren zu dem Schluss , dass wir maxim al k der m Klaus eln gleichzeit ig erftillen konnen, wenn die grofite Clique in G gena u k Knoten ent halt . Aus jeder Belegung, die l Klau seln erfiillt , lasst sich effizient eine Clique der GroBe l konstruieren und umgekehrt . In Abbildung 4.4.3 ist die T'uringreduktion an einem Beispiel illustriert , wobei aus Grunden der Ubersicht lichkeit nicht die Kanten, sondern die nicht vorh andenen Kant en gest richelt eingezeic hnet sind . Das Beispiel ent ha lt drei Klau seln , die auf vier Vari abl en definiert sind . Theorem 4.4.4. 3-SA T 50T DHC. Beweis. Diese Turingreduktion benu tzt Variablenkomponent en und Klau selkomponenten (siehe Abbildung 4.4.4) . Die Klau selkomponent e fur Cj best eht aus nur einem Knot en , der auch mit Cj bezeichnet wird , wah rend die Varia blenkomp onenten kompl exer sind. Wenn Xi und Xi insgesa mt bi-m al in Klau seln vorkommen, hat die Komponent e fur Xi gena u 3 + 2bi Knoten. Die

4.4 Reduktionen zwischen nicht verwand te n Problemen

63

Abb. 4.4.3. Ein Beispi el zur Tur ingred uktion 3-SAT '5oT CLIQUE , bei der gest richelte Kanten die nicht vorhanden en Kan ten reprasentieren . Eine 3-C lique zur erfiillende n Belegung (1 ,1,0,0) ist durch Doppelkreise gekennzeic hne t .

dr ei Knoten Vi, l , V i ,2 und Vi ,3 bild en den Rahmen der Komponente. Es gibt die Kanten ( Vi ,l , Vi,2 ), ( Vi ,l , Vi,3 ) , (V i ,2 , v i+ l ,d und ( Vi ,3 , vi+ l, d, wobei wir n + 1 mit 1 identifizieren . Die Knoten Vi ,2 und Vi ,3 sind durch eine doppelt verkettet e Liste von 2bi Kno t en verbunden. In Abbildung 4 .4.4 soli u +-+ w die Kant en (u, w) und (w, u) b ezei chnen . Auf die beschriebene Weise sind die Vari abl enkomponenten ringfOrmig verbunden . Wenn wir die Klau selkomponenten ignorier en un d hamiltonsche Kr eise imm er an vl,l start en lassen, erhalten wir genau 2n hamiltonsche Kr eise, da wir uns in jedem Knot en Vi, l ent scheiden konnen, nach Vi ,2 und dann durch die List e nach Vi ,3 und schlieBlich zu Vi+l , l zu gehen od er die Rollen von Vi,2 und Vi ,3 zu vertau schen . Die Idee dieser Kon struktion best eht darin , die 2n hamiltonschen Kr eise mit den 2n Belegungen der Vari abl en zu identifizieren . Der Schritt von Vi ,l zu Vi ,2 soli die Wahl von a; = 1 und der Schrit t von Vi ,l zu Vi,3 die Wahl von a, = 0 symbolisieren. Nun sollen die Komponent en so verbunden werden , da ss erftillende Belegungen und hamiltonsche Kr eise auf dem ga nzen Gr aphen mit einander korrespondieren. Die linear e List e zwischen Vi ,2 und Vi ,3 wird in b, Gruppen von je zwei ben achbarten Knoten zerlegt , diese Gruppen korr espondieren zu den Vorkommen von Xi oder Xi in den Klau seln. Die Vari abl e Xi in Cj wird durch eine Kante ,,----+ j" von dem linken Knoten des Paar es zu Cj und eine Kante "j ----+ " von Cj zum recht en Knoten des P aar es darg est ellt , wah rend das Lit eral Xi in Cj durch eine Kante "j ----+" von Cj zum linken Knoten des Paar es und eine Kante ,,----+ j " vom rechte n Knoten des P aares zu Cj dargeste llt wird. Wenn un ser ob en angesprochenes Ziel erre icht wurde, konn en wir einen DHC-Algorithmus auf den konstruierten Graphen ansetzen, urn die Frage zu beantworten , ob aile Klau seln gemeinsa m erfullba r sind . Aus einer erfullenden Belegung a erhalte n wir auf folgende Weise einen hamiltonschen Kr eis. Wir wahl en in jeder Klau sel ein erfulltes Lit eral und dami t ein Paar in einer der linear en List en a us. Von Vi, l wahl en wir die Kante zu Vi, 2, falls a i = 1, oder zu Vi,3, falls a; = 0 ist . Dann durchlaufen wir die zugehOrige List e. Wenn wir von Vi ,2 kommen , erre ichen wir aile P aar e im linken Knoten. Ist das zugehorige Lit er al Xi fur die Klau sel Cj, in der es ent ha lten ist , a usgewa hlt word en, dann gibt es vom linken Knoten des P aares die Kante ,,----+ j "

64

4. Reduktion en - algorithmische Beziehungen zwischen Problemen VI , I XI

o

2 -+

CI

=

XI

+ X2 + X3

-+2

Abb. 4 .4.4. Ein Beispiel zur Turingreduktion 3-SAT :S;T DHC. Die Bezeichnung ,,---+ i " steht fiir eine Kante zum Knoten , der c, reprasentiert , "i ---+" ftir eine Kant e vom Knoten , der ci reprasentiert .

und die Bezeichnung

und wir konnen auf dem Weg einen Abstecher zu Cj machen, von dem wir zum rechten Knoten des Paares zuruckkehren, An alog kann fur Lit erale Xi argumentiert werden, wenn wir die List e von V i ,3 aus durchlaufen. In sgesamt wird jeder Klauselknoten in den zur Belegung a gehorenden hamiltonschen Kreis integriert und wir erhalten einen hamiltonschen Kreis auf dem ganzen Graphen . Nun nehmen wir an, dass es einen hamiltonschen Kreis a uf dem ganzen Graphen gibt. Auf ihm liegt jede Kl au selkomponente. Der Knoten Cj wird von einem Knoten Uj mit Kante ,, ---+ j " err eicht und in Richtung auf einen Knoten W j mit Kante "j ---+ " verl assen . Uns ere Konstruktion st ellt sicher, dass die beiden Cj benachbarten Knoten ein Paar bilden : Der Knoten wj , der mit Uj ein Paar bild et, wird von zwei Kanten erreicht , namlich von Uj und von Cj aus. Wenn der hamiltonsche Kr eis von U j zu Cj geht, kann wj nur

4.5 Die Sonderrolle polynomieller Reduktionen

65

noch von Cj erreicht werd en und es muss Wj = wj sein . Hier aus folgt , dass der hamiltonsche Kr eis auf dem ga nzen Gr aphen aus einem hamiltonschen Kr eis auf den Vari ablenkomponenten ents tanden ist , in den die Klauselkompon enten an geeignete n St ellen eingeftigt worden sind. Damit konnen wir die zu dem hamiltonschen Kr eis auf den Variablenkomponenten gehorende Belegung betrachten. Wurde Cj auf dem Weg durch die xi- Liste eingefUgt und wird diese List e von link s, also von Vi,2 aus, durchlaufen, dann ist o.; = 1 und Klau sel Cj ent halt Xi als positiv es Literal, da wir einen Abst echer zu Cj machen. Gleiches gilt bei St art in V i ,3 mit a ; = 0 und dem negativen Lit er al Xi '

F ur jede Vari abl e haben wir dr ei Knot en im Rahmen der zugehorige n Komponente und ftir jede Klau sel einen Knoten und sechs Knoten in drei Paar en in den Vari abl enknoten. Also haben wir 3n + 7m Kno t en , von denen jeweils nur hochst ens dr ei Kant en ausgehen. AuBerd em ist p( n , m) = O( n+m) und q(n , m ) = 1. 0

4.5 Die Sonderrolle polynomieller Reduktionen Nachdem wir eine Reihe von Turingredukt ionen entworfe n hab en und dab ei tiberraschende Beziehungen zwischen sehr unterschiedli ch aussehe nden Problemen ent deckt hab en , fallt uns au f, dass wir die Optionen von Tu rlngreduktionen nur in Kapitel 4.2 voll ausgenutzt hab en . In Kapi t el 4.3 und 4.4 wurde beim Nachweis von A ~T B der Algori thmus fur B ste ts nur einmal a ufger ufen. Bei allen Reduktionen zwischen Entscheidungspro blemen konnte die Antwort des Algorithmus zur Losung von B als Antwort fur die gegebe ne Ein gab e des Problems A verwend et werd en. Bei so vielen Beispielen kann dies kein Zufall sein und wir wollen diesen spe ziellen Reduktionen einen Na men gebe n und sie geson dert definieren . Definition 4.5.1. Das E ntscheid ungsproblem A ist auf das Entscheidungsproblem B polynomiell reduzierbar (polynomial-time reducible, many-one reducible), Notation A ~p B , wenn es eine in polynomieller Zeit berechenb ar e Funktion f gibt, die Eingab en ftir A auf Eingabe n fur B so abbildet, dass fur die zugehOrigen Sprachen L A und L B gilt:

Da wir den Algorithmus fur B nur einmal aufru fen und die Antwo rt filr B nicht mehr bearbeit en durfen , kann die restliche Arb eit als Berechnung von f( x) aus x aufgefasst werd en . Die Beding ung "x E LA {? f( x) E L B " sichert, dass die Entscheidung, ob f (x) E L B ist , mit der Entsc heidu ng, ob x E L A ist, tibe reinst immt. Die Bezeichnung "many-one redu cible" deutet darauf hin , dass f nicht injektiv sein mu ss. Reduktionen mit injektiven Tr an sform at ionen f spielen

66

4. Reduktionen - algorithmische Beziehungen zwischen Problemen

eine Sonderrolle, a uf die wir nicht nah er eingehen. Es sei nur dar auf hin gewiesen , dass bijektive Tr an sform ationen f eine Isomo rphie zwischen A und B widerspiegeln . Wi r nennen zwei Entscheidungsprobleme A und B polyn omi ell aq uivalent, Notation A = p B , wenn A ~p B und B ~p A gelte n. Natiirlich ist auch ,,=p" ein e Aqu ivalenzrelation . Zun achst einmal gilt offensicht lich A =p A und die Au ssagen A =p B und B =p A sind definition sgem af aquivalent . Es bleibt die Transiti vitat von ,,~p" zu zeigen, woraus die Tr an sitivitat von ,,=p" sofor t folgt . Es sei A ~p B und B ~p C, wob ei fund 9 zugehorige in polynomieller Zeit berechenb ar e Tr an sformationen sind. Die Abbildung g o f bild et dann Eingab en fur A iibe r Eingab en fur B in E ingabe n fiir C ab und ist in pol ynomieller Zeit berechenb ar. Let zt eres folgt aus den Ub erlegun gen zu Thringr eduktionen in Kapitel 4.1. SchlieBlich folgt aus

x E L A {:} f( x) E L s un d y E LB {:} g(y ) E L e die Beziehung

x E L A {:} g o f( x) E L e , wobei f (x) die Rolle von y iibern immt. St arker eingeschra nkte Redukti onsb egriffe wie ,,~p" im Vergleich zu ,,~ T" erla ube n feinere Unt erscheidungen zwischen Komplexitat sklassen , Es wird sich zeigen, dass pol ynomielle Reduktionen noch geniige nd viele Problem e als komplexit atstheoretisch ahnlich klassifizieren . Andererseits erla ube n sie event uell, die beiden Arten von einseit igen Fehl ern zu unterscheiden . Es gilt offens icht lich fur jed e Spra che L die Bezie hung L ~T L. Um x E L zu entscheiden, verwenden wir einen Algorithmus fur Lund lassen ihn ent scheid en , ob x E List . Indem wir die Antwort negieren , erha lten wir die korrekt e Antwort a uf die Frage, ob x E L ist . Diese Negieru ng der Antwort ist bei pol ynomiellen Reduktionen nich t erla ubt und so ist es moglich , dass die Beziehung L ~p L fur viele Sprac hen L nicht gilt. Spat er werde n wir sehen, dass wir fur viele wichtige Probleme glaube n, dass L ~p L nicht gilt und sich die beiden Vari anten von einseiti gen Fehlern kornpl exit at stheoreti sch nicht ahnlich sind. Wir hab en gesehen , dass die von un s entworfenen Thringreduktionen zwische n Entscheidungsproblemen mit Ausnahme von L ~ T L ste ts polynomielle Reduktionen war en . Allerdings sind polyn omi elle Redukti onen auf Entscheidungsp roblem e beschr ankt , da im Allgemeinen die optimale Losung fur ein Optimierungsproblem B ga r keine Losung fur das Optimierungsproblem A ist .

Turi ngredukti onen dienen zur Feststellung der algorithmischen Ahnlichkeit von Problem en. B ei Ent scheidung sproblem en liefern polynomielle R eduktionen eine fein ere Kla ssifikat ion und bieten die Moglichkeit, die zwei Varianten des Konzepts "ei nseitiger Fehler " zu unterscheiden. Sehr un tersc hiedlich

4.5 Die Sonderrolle polynomieller Redukt ionen

67

formuliert e Problem e kon nen sich als algorithmisch iihnlich. erwei sen. Zud em sin d sich die Entscheidungs-, Auswertung s- und Optimieru ngsvariante vieler Optimierungsproblem e algorithmisch iihnlich: W ir fassen die in Kapitel 4 erzielten Er gebni sse fur En t scheid un gsp robl eme zusa mme n, wob ei wir Turingreduktionen , die polynomielle Redukt ionen sind, als solche identifizieren . Zudem ziehen wir die Kon sequ en zen aus der Tat sache, dass NF E P ist : - 2-DM , a-CP, NF

E

P.

- PARTITION :S;p BP. A'

A

- SfiT :S;p 3-8 T

:S;P CLIQUE =p IS =p VC

< DHC = p HC < T8p2,.6,sym . - p -p

5. Die NP- Vollstandigkcitsthoorto

5.1 Grundlegende Uberlegungen Es ist uns mit Hilfe von Redukt ionskon zept en wie ,,"5.T" und ,,"5. p " gelungen, die algorit hmische Ahnlichkeit einiger P robl eme nachzuweisen . Bisher sind wir aber unsyst em atisch vorgegan gen und hab en nur den Um gan g mit Reduktionskon zepten eingetibt . Nun wollen wir untersuchen, was wir mit weit eren Reduktionen zwischen wichti gen Problemen erre ichen konnen . Thringiiquivalen z ,,=T" ist eine Aquivalenzrelation auf der Menge aller algorit hmischen Probleme und damit zerfiillt diese Menge beztiglich ,,=T" in Aquivalenzklassen. Auf der Menge der Aquivalen zklassen ftihrt ,,"5.T" zu einer partiellen Ordnung, wobei C1 "5.T C2 fur zwei Aquivalenzklassen C1 und C2 dadurch definiert ist , dass A "5.T B fur alle A E C1 und alle B E C2 gilt . Dies ist iiquivalent zu A "5.T B fur ein A E C1 und ein B E C2. Offensicht lich bildet P eine dieser Aqu ivalenzklaesen . Fur A , B E P gilt A "5.T B , wobei wir den Algorithmus fur B gar nicht brau chen , urn A in polynomieller Zeit zu losen , Anderer seit s folgt nach Definition A E P, falls A "5.T B und B E P ist . Wenn wir also alle Aquivalen zklass en und die dur ch ,,"5.T" beschriebene par ti elle Ordnung auf diesen Klassen kenn en, hab en wir viel tiber die Komplexit iit aller Probleme gelernt. Allerdings sind wir von einem derartig vollst andigen Bild weit ent fernt . Auf der Basis der Er gebnisse des Kapitels 4 konnen wir hoffen , fur viele Probleme zu zeigen , dass sie bezuglich ,,=T " zu der selb en Aquivalen zklasse gehoren . Dann folgt , dass sie entweder alle polynomiell losbar oder alle nicht polynomiell losbar sind. Dies ist eine Formalisierung der in Kapitel 1 gemac hte n Andeutung, dass aus t au send Geheimnissen ein tibergreifendes Geheimnis wird. Die ebe n get roffene Auss age kann auf die Komplexitiit sklasse ZPP und die Klasse der in BPP ent halt enen Probleme, die eindeut ig losbar oder Optimierungsprobleme sind , bei denen der Wert einer Losung in polynomieller Zeit berechenbar ist , ub ert ragen werden. Dies liegt an den in Kapi t el 3 erzielten Ergebnissen, dass wir in diesen F allen die Fehler- od er Versagen swahrscheinlichkeit so senken konnen , dass auch polynomiell viele Aufrufe eine genligend kleine Fehl er- od er Versagenswahrscheinli chkeit haben. Wenn wir die eingeschriinkte BPP-Klasse mit BPP bezeichnen, erhalt en wir folgende Aus sage:

I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

70

5. Die NP- Vollstand igkeit stheorie

Fur eine Menge turingiiquivalent er Problem e und j ede der K omplexitiitsklassen P, ZPP und BPP gilt, dass entweder alle betrachteten Problem e in der K omplexitiit sklasse enthalten sind oder kein es. Wenn wir unsere Betracht ungen auf Entscheidungsprobleme einschra nken, hab en wir mit ,,:::;p" ein Reduktionskon zept zur Verfiigung, bei dem fur die Beziehung A :::;p B der Algorithmus fur B nur einmal aufgerufen werden dar f, abe r sogar einmal aufger ufen werden muss. Zusatz lich muss die Antwort des Aufrufs fur B au ch die richt ige Antwort fur das Problem A sein. Die erste Bedingung erleichtert die Bet rachtungen , da es nun nicht mehr not ig ist , die Fehl er- od er Versagenswah rscheinli chkeit zu senken .

Fur eine Menge polynomiell iiquivalenter Entscheidungsproblem e und j ede der Komplexitiitsklassen P , ZPP, NP n co-NP, RP, NP, co-R P, co-NP, BPP und PP gilt, dass entweder alle betrachteten Problem e in der Kemplexitiitsklasse enthalten sind oder kein es. Die zweite Bedingung fur polynomielle Reduktionen fuhrt dazu , das s nicht alle Probleme in P polynomiell aquivalent sind. Die Klasse der in polynomieller Zeit losbar en Ent scheidungsprobleme zerfallt in dr ei Aqulvalenzklassen : - alle Probleme, bei denen keine Eingab e akzeptiert wird, - alle Probleme, bei denen jede Eingabe akzeptiert wird , - alle weit eren Probleme. Die ersten beid en Aquivalenzklassen bilden als Or akel keine groBe Hilfe, da sie auf jede Frage dieselb e Antwort geben und bei ,,:::;p" diese Antwort nicht gea ndert werden dar f. Fur alle anderen Problem e A gibt es eine Ein gab e x, die akzept iert werden muss, und eine Ein gab e y , die abgelehnt werden muss. Fur ein Entscheidungsproblem B E P lasst sich nun B :::;p A zeigen, indem wir fur eine Eingab e z fur das Problem B in polynomieller Zeit entscheiden, ob z akzeptiert werden mu ss. Im positiven Fall wird das Or akel A ftir die Ein gab e x und ansonsten fur die Eingabe y befragt. Wir kehren zu unserem Hauptthem a zur uck, Wir hab en eine Menge von Problemen , darunter einige wichtige Probleme, von denen wir wissen , dass sie turingaquivalent od er soga r polynomiell aquivalent sind, und wir kennen fur keines dieser Probleme einen polynomiellen Algorithmus. Unsere bisherigen Bet rachtungen fuhr en zu dem Argument: W ir hab en so viele verschiedene Probleme, an denen Algorit hmikerinnen und Algorithmiker lan ge hart gea rbeite t hab en . Niema nd hat fur irgend eines dieser Probleme einen polynomiellen Algorithmus gefunden. Auf Grund der ausgefeilt en Methoden beim Entwurf und bei der Analyse von Algorithmen leit en wir daraus die Vermutung ab, dass keines der betracht et en Probleme polynomiell losb ar ist. Diese Vermutung basiert fur jedes Problem auch au f den algorit hmischen Fehlschlage n bei den ande ren betracht et en Problemen.

5.1 Grundlegende Uberlegungen

71

Die Nl--Vollstandlgkeit et heorie ist der gelun gene Versuch, die Vermutung tiber die algorithmische Schwierigkeit einer Klasse von Problemen strukturell mit Blick auf die in Kapit el 3 betrachteten Komplexitatsklassen besser abzusttitzen . Wir haben in Kapitel 4 gesehen , dass es au sreicht, Entscheidungsprobleme zu betrachten . Die wichtigen Optimierungsprobleme sind ja turingaquivalent zu ihren Entscheidungsvari anten . Wir haben es dah er mit der in Theorem 3.5.3 beschriebenen Landschaft von Komplexit at sklassen zu tun. Mit den folgenden Definitionen vergl eichen wir die Komplexitat eines Problems A mit der Komplexitat der schwierigste n Probleme einer Komplexitatsklasse C. Definition 5.1.1. Es sei A ein Entscheidungsproblem und C eine Klasse von Entscheidungsproblemen. i) A heiBt C-schwierig (C-hart , C-hard) beztiglich ,, ::::;p", wenn C ::::;p A fur jedes C E C ist . ii) A heiBt C-einfach (C-Ieicht , C-simpl e) beztiglich ,, ::::;p", wenn A ::::;p C fur ein C E C ist. iii) A heiBt C-iiquivalent (C-equivalent) beztiglich ,,::::;p", wenn A sowohl C-schwierig beziiglich ,,::::;p" als au ch C-einfach beztiglich ,,::::;p" ist. iv) A heiBt C-vollstiindig (C-complete) beziiglich ,,::::;p", wenn A sowohl C-schwierig beziiglich ,, ::::;p" ist als au ch zu C gehort . Der Begriff "C-schwierig" signalisiert , dass A mindest ens so schwierig ist wie jedes Problem in C. Insbesondere gehort A nicht zu P, wenn C ein nicht zu P gehorendes Problem ent halt. Hier ist zu erwa hnen, dass der Begriff "C-ha rt" als schlechte Uberset zung von "C-hard" weit er verbreit et ist als der passendere Begriff "C-schwierig" . Zu C-schwierig passt als Gegenpol C-einfach. Enthalt C nur effizient zu losende Probleme, ist auch A einfach zu losen . Durch die Betrachtung aller C E C beim Begriff "C-schwierig" und nur eines C E C beim Begriff "C-einfach" vergleichen wir A stet s impli zit mit einem schwerst en Problem in C. Die Komplexitatsklasse C wird bezliglich ihrer algorithmischen Bere chnungskraft durch ihre schwerste n Probleme reprasent iert. Wenn A sogar C-aquivalent ist , gehort A genau dann zu P, wenn C eine Teilmenge von P ist . Da ,,::::;p" nur eine partielle Ordnung auf der Menge der Entscheidungsprobleme ist , konnen Klassen C viele schwierigste Probleme ent halte n, die durch ,,::::;p" nicht vergleichbar sind . Wenn C jedoch ein C-vollst andiges Problem A ent ha lt , bild et die Klasse aller C-vollst andigen Probleme eine Aquivalenzklasse beziiglich ,,=p" inn erhalb von C. Dies bedeutet , dass die C-vollst andigen Probleme gleich schwierig und inn erhalb von C die schwierigst en Probleme sind . "Venn wir vermuten , dass C eine Komplexitatsklasse ist , die nicht ganz in P ent ha lten ist , ist dies aquivalent zu der Vermutung, dass alle C-vollst andigen Probleme nicht in P ent halt en sind . Der Nachweis der C-Vollstandigkeit eines Problems fur eine Komplexit atsklasse C, die vermutlich nicht in P ent halte n ist , ist also ein starkes Indiz dafu r, dass das Problem nicht in P ent halt en ist .

72

5. Die NP-Vollstandigkeits t heorie

J edes C-volis Uindi ge Problem A ist auch C-aquivalent. Es ist nach Definition C-schwer. Da A ::;p A und A E C ist , ist A auch C-einfach . Urn Optimierungsproblem e und sogar alle algorithmischen Problem e in un sere Uberlegungen einzu be ziehen, werden wir unsere Definitionen a uf diese Problemklassen erweitern . Dazu miissen polynomielle Reduktionen durch Turingreduktionen ersetzt werden . Definition 5 .1.2. Es sei A ein algorit hmisches Problem und C eine Kl asse von algorithmischen Problemen . Dann werden die Begr iffe C-schwierig bezilglich ,,"5:T" , C-einfach bezilglich ,,::;T" und C-iiquivalent bezilglich ,,"5:T" analog zu Definition 5.1.1 definiert, wob ei ,,::;p" durch ,,::;T" ersetzt wird . Da wir typischerweise Komplexit at sklassen C betrachten , d ie nur E nt scheidungsprobleme ent halten, ist die prinzipi ell mogliche Ubert ragung des Begriffs "C-vollst andig" nicht sinnvoll. Ein P ro blem, das kein Ent scheidungsproblem ist , kann fur eine Klasse C von Entscheidungsproblem en nicht C-vollst andig sein. Wir folgen der Konvention, die Begriffe "C-schwierig", "C-einfach" und "C-aqu iva lent" ohne Zusatz zu verwenden , wen n wir sie beziiglich ,,::;T" ver stehen wollen . Dagegen bezieht sich C-vollstandig auf ,,::;p". Ein wesentlicher Grund hierfur ist die Unt ersuchung von Entscheidungsproblem en Lund ihrer Komplem ent e L . Es ist mo glich , d ass L zwar C-vollstandig, abe r L '!:- C ist . Da jedoch L "5:T Lund L "5:T List , ist dann L zum indes t C-aquivalent . Un ser Ziel ist es also, fur eine Kornplexit at skl asse C, die vermutlich nicht in P ent halten ist, und viele un serer P robleme nachzuweisen , dass ihre E nt schei d ungsva ria nten C-voll st andig sind. "Venn die Ent scheidungsvariante eines Problems zu ihre r Optimierungsvari ant e turingaquivalent ist, folgt dann sofor t , dass die Optimierungsvarian te C-aquivalent ist . Es gibt nur wen ige Ent scheidungsproblem e, von denen wir zwar wissen, d ass sie in ZPP, RP, co-RP oder auch nur BPP ent halten sind , von denen wir a be r nicht wissen , d ass sie in P enthalten sind. Schon dies macht die Untersu chu ng zum Beispi el BPP-vollstandiger Problem e wenig att raktiv. Dariib er hinaus sind wir heut zutage kein esfalls siehe r, d ass P :f- BPP ist. Die Fehl er wahrscheinlichkeit bei BPP-Algorithmen kann expone nt iell klein gemacht werd en und es ist in man chen F allen gelunge n, randomisier t e Algorit hme n zu derandomisieren , also den randomisierten Algori thmus durch einen deterministi schen Algorithmus zu ersetzen , dessen Laufzeit nur polynomiell grofe r als die des gegebenen randomisierte n Algorithmus ist (siehe Miltersen (2001)) . So gilt BPP heute als " hochst ens etwas grober als P " . G an z ande rs sieht d as bei den Klassen NP n co-NP, NP, co-NP und PP aus. Niemand gla ubt , d ass derarti g gro Be Fehl er- oder Ver sagen swahrscheinlichkeiten de randomisiert werden konnen . Von den Ent scheidungsvar iante n der wicht igen Optim ierungsprobleme werden wir in Kap it el 5.2 zeige n, d ass sie a uch in NP enthalten sind . Da wir nicht glau be n, dass sie auch in NP n co-N P liegen , biet et sich die Kornplexit atsklasse NP fur unsere Unter suchunge n an.

5.2 Probleme in NP

73

Die Kornplexit atsklassen NP n co-NP, NP, co-NP und PP haben, wie schon diskutiert, keine dir ekte algorit hmische Relevan z, sie bild en abe r die Basis zur komplexitatstheoretischen Klassifikat ion von Problemen. Die Entscheidungsvari anten von tausenden von Problemen sind als NP-vollstandig und ihre Optimierungsvari ant en als NP-aquivalent nachgewiesen word en. Damit sind wir in folgender Situation. Taus ende von wichtigen Probl em en sin d NP- vollstiindig oder NP- iiquivalent. Entweder sind all diese Problem e in polynomieller Zeit losbar und es ist NP = P oder all diese Probl em e sin d nic ht in polynomieller Zeit losbar und es ist NP -=I- P.

Mit dem NP-=l-P-P roblem hat die Komplexit at stheorie und die ganze theoret ische Informatik eine zent ra le Herausford erung. Das Clay Mathem atical Institut e hat es in die List e der sieben wichti gst en mit der Mathem atik verbundenen Probleme aufgenommen und fur seine Losung ein Preisgeld von 1.000.000 $ au sgesetzt. Wir wissen nicht , ob N P = P oder N P -=I- P is t. Da alle Expertinne n und Expert en aus guten Grunden auf die Hypothese N P -=I- P setze n, ist der N achweis, dass ein P roblem NP- volls tiindig, N P-iiquivalent oder auch nur NP-schwierig ist, ein starkes In diz, dass das P roblem nic ht in polynomieller Zei t losbar is t.

5.2 Probleme in NP Wir wollen nachweisen , dass die Entsc heidungsvariante n aller in Kapi t el 2.2 vor gest ellt en P robleme in NP ent ha lte n sind. Dazu entwerfen wir NP-Algorithmen , also randomi siert e Algorithmen mit einseit igem Fehler , wobei die Fehlerwahrscheinlichkeit nur kleiner als 1 sein muss. Anders ausgedriickt: Die Wahrscheinli chkeit, x zu akzept ieren, ist gena u dann positiv , wenn x E L ist . Diese Algorithmen haben keinerlei pr akt ische Relevanz , sie dienen nur dem Nachweis, dass die betracht eten Probleme in NP ent halten sind. Theorem 5.2.1. Di e E ntscheidungsv aria nte n aller in Kapitel 2.2 vorgestellten Probl em e sind in NP enthalte n. Beweis. In diesem Beweis werd en wir sehen, dass NP-Algorit hmen fur viele Probleme demselb en Schem a folgen . Bei Einga begrofe n sei l(n) die Bit lange moglicher Losungen. Dann werden die folgenden Schritte durchgefUhrt : - Die ersten l(n) Zufallsbit s werden als Bitfolge a bgespeichert. - Es wir d ub orp ruft , ob die l( n) Bits eine mogliche Losung beschreib en . Im negativen Fall wird die Eingabe abgelehnt .

74

5. Die NP-Vollst iindigkeitstheorie

- Im positiven Fall wird ub erpruft, ob die Losung die geford erte Qualitat hat, und gegebenenfalls wird die Eingab e akzeptiert. Offensichtlich wird jede Eingabe, die nicht akzeptiert werden soIl, mit Wahrscheinlichkeit 1 abgelehnt . Gibt es eine Losung mit der geforderten Qualitat, wird diese Losung mit einer Wahrscheinlichkeit von mindestens 2- I (n ) > ausgewilrfelt und in diesem Fall wird die Eingabe akzept iert. Die Rechenzeit ist polynomiell beschr ankt , wenn l(n) polynomiell beschrankt ist und die Uberprilfung, ob eine Bitfolge eine mogliche Losung darstellt , und die Berechnung der Qualitat einer Losung in polynomieller Zeit moglich sind . Dies lasst sich filr die betrachteten (und viele weitere) Probleme leicht zeigen . Rundreiseprobleme (TSP): Eine Rundreise ist eine Folge von n Stadten i l , . . . .i; E {I , ... , n} und kann mit n [logfn + 1)1Bits dargestellt werden. Es ist in polynomieller Zeit moglich zu uberprufen , ob {i l , .. . , in } = {I, . . . ,n} ist , also eine Rundreise vorliegt, und gegebenenfalls in polynomieller Zeit moglich , die Kosten dieser Rundreise auszurechnen . Rucksackprobleme (KP) : Jedes a E {O ,1}n reprasentiert eine Auswahl von Objekten . Es kann in linearer Zeit ent schieden werden , ob diese Ausw ahl die Gewichtsgrenze einhalt , und im positiven Fall kann ihr Nutzen in linearer Zeit berechn et werden. Aufteilungsprobleme (BP) : Es ist l(n) = nilognl und wir interpretieren den i-ten Block der Lange flog n 1 als Nummer der Kiste, in die wir das i-te Objekt packen . Es wird dann ilberprilft, ob keine Kist e ilberladen ist, und abschlieBend wird die Anz ahl benutzter Kist en berechnet . Uberwachungsproblerne (VC , EC) : Jedes a E {O,l}n bzw. a E {O,l}m reprasentiert eine Auswahl von Knoten bzw. Kanten . Es wird dann ilberprilft, ob so aIle K anten bzw. Knoten ub erwacht werden, und es wird die Anzahl gewahlter Knoten bzw. Kanten berechnet. Cliquenprobleme (CLIQUE, IS, CC) : Filr CLIQUE und IS ist das Vorgehen analog zu VC mit dem Test, ob die ausgewahlte Knotenmenge eine Clique bzw. Anticlique ist . Fur CC wird wie filr BP eine Aufteilung in Mengen vorgenommen. Fur jede Menge ist zu ilberprilfen, ob sie eine Clique ist . Teambildungsprobleme (k-DM) : Wi eder wird wie bei BP eine Aufteilung in Teams vorgenommen. Es muss filr jedes Team ub erprtift werden, ob es gen au ein Mitglied aus jeder der k Personengruppen ent halt . Optimierung von Flilssen in Netzwerken (NF) : Die Entscheidungsvari ante ist in P, also a uch in NP enthalten . Meist erschaftsprobleme (CP) : Bei m ausste henden Spielen und r moglichen Punktaufteilungen pro Spiel genilgen m flog r1 Bits zur Beschreibung aller Kombinationen von Spielausgangen. Bei gegeb enen Spielausgangen ist es leicht zu entscheiden, ob der ausgewa hlte Verein Meister geworden ist. Verifikationsprobleme (SAT) : Jedes a E {a, l}" beschreibt eine Variabl enbelegung. Selbst bei Schaltkreisen ist es einfach, die Ausgabe bei gegebener Eingabe zu berechn en .

°

5.3 Alternative Charakterisierungen von NP

75

Zahlentheoretische Probleme (PRIMES): Es ist einfach zu zeigen, dass PRIMES E co-NP ist . Jeder rnoglicher Teiler j E {2, . .. , n - I} hat eine Bin ardar st ellung, deren Lange durch [log n l beschrankt ist . Es kann effizient ent schieden werden, ob n/ j ganzzahlig ist . Der randomisierte Primzahltest von Solovay und Strassen zeigt sogar PRIMES E co-RP. Zusat zlich gibt es seit lan gem einen Nachweis fur PRIMES E NP . Inzwis chen ist Agr awal , Kayal und Saxen a (2002) der Nachweis gelungen, dass PRIMES E P ist. 0 Die Entscheidungsvarianten der von uns untersu chten (und vieler and erer) Probl em e sind in NP enthalten. Die NP-Algorithmen sind sehr effi zient, aber wegen der hoh en Fehlerwah rscheinli chkeit algorithmisch wertlos.

5.3 Alternative C harakteris ierungen von N P Wir wollen bei randomisier ten Algorithmen A mit einer durch ein Polynom p(n) beschr ankten Rechenz eit die Erzeugung der Zufallsbits von der eigent lichen Arbeit trennen . Zunach st werden p(n) Zufallsbits erzeugt und abgesp eichert. Danach wird A "dete rminist isch simuliert" , indem keine Zufallsbits erzeugt werden, sondern die ab gesp eicherten Zufallsbits verwendet werd en . Bis auf die Berechnung von p(n) ergibt sich bei Regist ermaschin en eine Verdoppelung der maximalen Rechenzeit . Also gilt : Wi r konnen. uns bei der B etrachtung randomisierter Algorithmen m it polynomieller R echenzeit auf Algorithmen beschriink en, die in zwei Phasen arbeit en: - B estimmung der Eingabeliinge ti , B erechnung von p(n) [iir ein Polynom p und Erzeugung und Abspeich erung von p(n) Zufallsbits, - eine det erministische R echnung, die hochstetis p(n) Schritte benoiiqt und pro S chritt ein abgespeicheries Zufallsbit ver wendet.

In der Vorst ellungswelt nichtdet erministischer Algorithmen werden in der erst en Phase genligend viele Bits "geraten " (nichtdet erministisch erzeugt ) und dann wird ub erpruft, ob mit den ger atenen Bit s "verifiziert" werden kann, dass die Eingab e akzeptiert werden muss. Man spricht vom Modus "rate und verifiziere " (guess and verify). Diese Ub er legung en ftihren nicht zu besseren Algorithmen , sie erleichte rn abe r die st rukturelle Untersuchun g von Problem en in NP. Wir zeigen dies an zwei Beispielen . T h e o r e m 5.3.1. Jedes Entscheidungsproblem in NP kann von einem determ inisti schen Algorithmus qelost werden, dessen Rechenz eit fu r ein Polynom q(n) durch 2q (n ) beschriinki ist. Beweis. Es sei p(n) ein Polynorn, das die Rechenzeit eines NP-Algorit hmus A fur das betracht et e Problem beschrankt. Als Zufallsvektoren st ehen also Folgen aus {O, 1 }p(n ) zur Auswahl. Der determinist ische Algor ithmus simuli ert A

76

5. Die NP- Vollstandigkeitstheorie

nacheinander fur alle 2p (n ) dieser Vektoren , wobei es leicht ist , diese Vektoren lexikographisch aufzuza hlen. Die Gesamtrechenzeit ist durch O(p(n)2 P (n») beschr ankt und kann durch 2q (n ) fur ein Polynom q(n) = O(p(n)) beschra nkt werd en. Der det erm inistische Algorit hmus akzept iert die Ein gab e gena u dann, wenn A auf mindest ens einer Zufallsfolge akzeptiert . Nach Definit ion von NP wird so ste ts die richti ge Ent scheidung getroffen. 0 Wir konnen den in zwei Phasen ar beite nden NP-Algorit hmus auch folgend ermaBen int erpretieren. Die Eingab e x der Lan ge n wird urn einen O-l-Vektor der Lan ge p(n) , also eine mogliche Realisierung des Zufallsvekt ors z verl angert. Dan ach ar beitet der determinist ische Algori thmus A' der Phase 2 auf der Eingabe (x , z). Dies fiihr t zu folgender Ch arakterisierung von NP . Theorem 5 .3.2. Ei n Entscheidungsproblem L ist gen au dann in N P enihalten , wenn es ein E ntsc hei dungsproblem L' in P und ein Polynom p gibt, so dass sich L darstellen liisst als

L

= {x

I ::Iz E

{a, l}p(l x l) : (x , z) E L'} .

Beweis. Wenn L in NP ent halte n ist , konnen wir die obigen Uberlegungen anste llen. Wir gehen von einem in zwei Phasen arbeite nde n NP-Algorit hmus aus. Die An zahl der Zufallsbits bei Eingabelange n ist durch ein Polynom p(n) beschr ankt und der det erminist ische Algor ithmus der zweiten Phase akzept iert eine Spr ache L' . Die Eingab e x gehort genau dann zu L , wenn eine Belegung z der Zufallsbits dazu fuhrt , dass der det erministische Algorithmus der zweiten P hase die Ein gab e (x, z) akzept iert . Dies ist genau die gewunschte Ch arakterisierung. Wenn sich L wie angege ben charakte risieren lasst , kann ein randomisierter Algorithmus bei Eingab e x einen Zufallsvektor z der Lan ge p(lx l) erze ugen und danach deterministisch iiberprtifen , ob (x , z) E L' ist . Dann wird x E L mit positiver Wahrscheinli chkeit , abe r x ¢ L nie akzeptiert. 0 Die NP#P-Hy pot hese erscheint nun in einem neuen Licht . E ntsc heidungsproblem e sind gena u dann in NP ent hal te n, wenn sich die zugehorige Spr ache L durch einen polynomiell langenb eschr ankten Existe nzqua nt or (::Iz E {O,l}p(l xl)) und ein polynomiell entsc heidbares Pradikat ((x , z) E L') dar st ellen lasst. Die NP#P-Hypothese ist gleichbede ute nd damit , dass der Exist enzqu anto r die Menge der dar st ellb ar en Probleme vergrofert . Diese Charakte risieru ng von NP wird auch als logikorientiert e Charakteri sierung bezeichn et . Mit Hilfe der De-Morgan-Regeln ergibt sich sofort die logikorientierte Charakterisierung von co-NP als Klasse aller L mit

L=

{ x I Vz

E

{a, 1} p(l xl) : (x , z)

E

L'}

fur ein Polynom p und ein L' E P. Die Vermutung, dass wir Exis t enzquantoren bei diesen Ch arakt erisierungen nicht durch Allquantoren erse tze n konnen ,

5.4 Das T heorem von Cook

77

ist gleichbedeute nd mit der Vermutung NP -I- co-NP. SchlieBlich lassen sich die Ergebnisse aus Kapite1 5.2 neu interpretieren . Die E ntsc heidungsvar ianten der Optimierungsprobleme sind durch Existenzqua ntoren (es gibt eine Rundreise) mit polynomiellen Pradikat en (die Kost en der Rundreise sind durch D beschr ankt) definiert . Dagegen ist die Menge der Primzahl en n durch einen Allquantor definier t : Fur alle k mit 2 :::; k :::; n - 1 gilt, dass k kein Teiler von n ist.

5.4 Das Theorem von Cook Wir komm en zu dem bahnbrechenden Er gebnis, das eine NP-Vollst andigkeit stheorie fur konkret e Probleme erst ermoglicht. W ir hab en exemplarisch gesehen, dass wir in der Lage sind, recht unterschiedlich aussehende P roblem e polynomiell aufeina nder zu redu zieren . Viele Entscheidungsvaria nten der wichtigen Optimierungsprobleme sind in NP ent ha lte n und die Komplexitat sklasse NP lasst sich nicht nur aus algorit hmischer Sicht , sondern auch logikori entiert cha ra kte risiere n. All dies bringt uns a ber dem Nachweis, dass ein Problem Nl--vollstandlg ist , oder auch nur dem Nachweis, dass es ein Nl--vollst andiges Problem gibt, nicht nah er. Die Hurde liegt in der Definit ion der NP-Vollst andigkeit . Damit ein Problem NP-vollstii ndig ist , rnussen wir jedes P robl em aus NP auf das gewa hlte Problem polynomiell reduzieren. Wir mu ssen also ub er Probleme argu ment ieren, von denen nichts auBer der Tat sache, dass sie in NP ent ha lte n sind, bekannt ist. Cook (1971) und unabhangig davon Levin (1973) hab en diese Hurde uberwunden. Wir wollen auch hier algorit hmisch vorgehen und die bei der Reduktion benoti gt en Ressourcen moglichst klein halt en . Es sei also ein Ent scheidungsproblem L E NP gegebe n, fur das es einen NP-Algorit hmus mit maximaler polynomieller Rechenzeit p(n) gibt. Wir hab en gesehen, dass diese Rechenzeit fur die meist en uns wichtigen Probleme bezogen auf Regist erm aschinen linear oder wenigste ns qu asilinear ist. Wenn wir zu Turingmaschin en ub ergehen, wird die Rechenzeit ungefahr qu adriert (bei Turingmasc hinen mit konstant vielen Bandern lasst sich der Meh raufwand oft drastisch einschra nken). Tu rin gmaschinen erweisen sich hier als hilfreich, da jeder Rechenschritt nur lokale Auswirkungen hat . Fur jeden Zeitpunkt t einer q(n )-zeitbeschrankt en Tu ringmasc hine konn en wir eine Moment aufnahrne der Turingm aschine machen, gena nnt Konfiguration zum Zeitpunkt t. Sie best eht aus dem akt uellen Zust and , der akt uellen Lesepo sition und den akt uellen Inhalt en der Speicherzellen. Damit lassen sich Eingabe n x E L folgendermaBen charakt erisieren : Es gibt Konfigurat ionen K o, K 1 , .• . , K q(n ) , so dass K o die Anfan gskonfiguration bei Eingabe x, K q(n) eine akzeptierende Kon figuration (der akt uelle Zust and ist ein akzept ierender Halt ezust and q E Q+) und Ki , 1 :::; i :::; q(n) , eine legale Nachfolgekonfiguration von K i - 1 ist. Der Begriff "lega le Nachfolgekonfiguration" bedeutet , dass die Tu ringmasc hine ftir einen der beiden Werte des im i-ten Schritt benutzt en Zufallsbit s aus K i - 1 in K, wechselt .

78

5. Die NP- Vollstandigkeitst hec rie

Welches de r uns beka nnten P robl eme hat Eige nschafte n, von denen wir hoffen , dass sie uns bei der Transformat ion der obe n beschri eb enen Bedingu nge n in das Problem die Arbeit erleichtern? Ob zu einem Zeitpunk t t de r aktuelle Zust and q ist , lasst sich gut durch bo olesche Variablen beschr eib en und wir int eressieren uns daftlr, ob bestimmt e Abhiingigkeit en zwischen diesen Variablen erfilllt sind. Dami t sind wir bei den Verifikation sp robl emen gelande t und wahl en SAT als Zielproblem. Obwohl Turingm aschin en lokal ar beiten, gibt es fiir die i-te Konfi guration 2i + 1 mogli che Leseposit ionen. Urn die spate re Argument ation zu vereinfachen , werd en wir erst Tu ringmaschinen durch "noch lokaler " arbeitende Turingm aschinen simulieren.

Definition 5.4.1. E ine Tu ringmaschine ar beitet stereotyp (obli viou s) , wenn die Lesep osition bis zum Zeitpunkt des Haltens der Turingm aschine nur vom Zeitpunkt t , aber nicht von der Eingabe x abhiingt . Lemma 5.4.2. J ede (det erminist ische od er randomisiert e) Tu ringmaschine M kann durch eine (eb enfalls det erministi sche oder randomisiert e) stereotype Turingm aschine M' so sim uliert werde n, dass t Rechenschritt e von M in O(t 2 ) Rechens chritten von M' simuliert werden.

Beweis. Wir geben die Folge der Lesepositionen un abhiingig von der gegebenen Turingm aschin e vor: 0,1 ,0, -1 , - 1, 0, 1, 2, 1, 0, - 1, - 2, -2 , -1,0,1 ,2, 3, 2,1 ,0, - 1, - 2, - 3,

,

- (j -1) , . .. , 0, .. . ,j, . . . , 0, . . . , - j ,

.

Die j-t e Phase best eht also aus 4j Rechenschritten und soil de n j -te n Rechen schr itt der gege benen Tu rin gm aschine M simulieren. Fur t Rechenschrit t e werd en 4 · (1 + 2 + ...+ t)

= 2t(t + 1) = O(t 2 )

Rechen schrit t e aufgewendet . Wi e arbeitet die simuliere nde Turingm aschine M '? Wi e za hlt sie die Posit ionen? All dies wird mit einfachen Tric ks und einer Vergroferung des Ar bei tsalphabe ts und des Gediichtnisses gelost. Vor dem t- t en Rechenschr it t sollen in den Sp eicherzellen - (t - l) und t -1 zusatzlich Markierungen stehen, die das linke und recht e Ende des bet rachteten Speicherbereiches markiere n. Fur t = 1 ist dies nicht rnoglich, aber die Turingm aschine kann im ersten Schrit t auf ihr Gediichtnis zuruckgre ifen und sich die beiden Markierungen in Speicherzelle "vorstellen " . AuBerdem soil eine weiter e Markier ung die Posit ion bezeichnen , die von der gege benen Tu ringm aschin e M im t-ten Schri t t gelesen wird , fur t = 1 wiederum Speic herzelle 0, was im Ged iichtnis gespeic hert ist . Das Gediichtnis speic hert zusatzlich den Zust and von M im

°

5.4 Das Theorem von Cook

79

t-ten Rechens chritt, fur t = 1 ist dies der Anfangszust and. Nun lasst sich die Simulation des t-t en Rechen schri t t es einfach beschreib en . Von Posit ion - (t - 1) wird nach rechts nach der Spei cherzelle gesucht, die von M im t-t en Rechen schritt gelesen wird. Sie lasst sich mit Hilfe der Markierung leicht finden . Dann weif M ' alles, was M im t-ten Rechenschritt an Info rm ationen hat . Der Zust and q ist im Ged iichtnis von M' gespeichert und die von M gelesene Information a liest M' ebenfalls (in der selb en Sp eicherzelle, in der die Markierung ste ht ). Gegeb enenfalls verwendet M' wie M ein Zufallsbit . Nun kann sich M' den neuen Zust and q' im Ged iichtnis merken und die neue Inform at ion a' in die betracht et e Speicherzelle schreiben . AuBerdem weif M' , ob die Marki erung fur die akt uelle Leseposition verschoben werden muss und im positiven Fall, in welche Richtung. Bei einer Recht svers chiebung wird diese im niichst en Schrit t du rchgefuh rt. Bei einer Linksverschiebung merk t sich M' , dass diese noch du rchzufiih ren ist . Es wird dann die Markierung fur das recht e E nde des Speicher bereiches gesucht . Diese Markierung kann gleichzeit ig mit der Markierung fur die Lesepo sition gefunden werden. In jedem Fall wird sie nach rechts verschob en . Dann wechselt die Leserichtung nach links. Gegeb enenfalls wird die Markierung fur die Lesep osit ion nach links verschobe n und au f jeden Fall wird die Markier ung fiir das linke E nde des Sp eicherber eiches nach links verschob en . Dami t ist die Ausgangss it uation fur die Realisierung des (t + 1)-ten Rechenschritts hergest ellt . Wenn M gest oppt hat , stoppt M' ebenfalls und t rifft dieselb e E ntsc heidung wie M . D Fur unser e Zwecke reicht diese Simulation vollig aus. Wenn wir Tu ringmaschinen mit k Biindern verwend en , konnen wir diese mit derselben Idee du rch eine stereotype Tu ringmaschine mit einem Band simulieren (siehe Z. B. Wegener (1999)). And er erseit s gibt es eine kompli ziert ere Simulation fur Turing masc hinen mit eine m Ban d, die mit Zeit O(t( n) logt(n)), also mit einem sehr mod erat en Rechenzeit zuwachs, a uskommt (siehe z.B . Wegener (1987)). Nun sind wir auf den Beweis des Theorems von Coo k vor bereit et . Theorem 5.4.3. (Th eorem von Cook) SAT ist NP-vollstiindig. A nders ausgedriickt: Es ist NP = P genau dann, wenn SA T E P ist. Beweis. Da SAT E NP ist , gen tigt es, jedes Entscheidungspro blem L E NP polynomiell auf SAT zu redu zieren. Nach Lemma 5.4.2 konnen wir annehmen, dass der NP- Algorit hmus fur L mit polynomieller maxi maler Rechenzeit p(n) auskommt und eine stereotype Turingmaschine M mit einem Band benu t zt. Die Reduktion ist eine Transformat ion mit verbundenen Komponenten . Die Komponent en der Turingmaschine M fur Eingabe x mit Ixl = n best ehen a us den Zust iinden , den Zufallsbits und den Inhalt en der Sp eicherzellen. Hier geht ein, dass die Lesep ositi onen von x un a bhiingig sind . Die Komponent en werd en durch bo olesche Variab len repriisent iert , wobei wir zur Vereinfachung

80

5. Die NP-Vollstandigkeitsth eorie

die Zustande mit qo, .. . , qk- l und die Buchstab en des Arbeitsalphabets mit aI , ... , am bezeichnen und am das Leerzeichen ist :

- Q(i , t) , 0 ::::: i ::::: k - 1, 0 ::::: t ::::: p(n) : Q(i , t) = 1 solI reprasentieren , dass der Zustand nach dem t-ten Rechenschritt qi ist (der O-t e Rechenschritt ent spr icht der Ini t ialisierung), - Z(t), 1 ::::: t ::::: p(n) , reprasentiert den Wert des im t-ten Rechenschritt verwendet en ZufaIlsbits, - S(i , t) , 1 ::::: i ::::: m , 0 ::::: t ::::: p(n) : S(i , t ) = 1 solI reprasentieren , dass im t-ten Rechens chritt in der betracht et en SpeicherzeIle a ; gelesen wird. Wir benutzen also (p(n) + 1) · (IQI + 1 + ITI) - 1 = O(p(n)) boolesche Vari abIen . Mit den Klauseln solI die Arbeit sweise von M so a usgedriickt werden, dass es gen au dann Wert e fur die ZufaIlsbits Z(I) , .. . , Z(p(n)) gibt , fur die M die Eingab e x akzept iert, wenn die Klau seln gemeinsa m erftillbar sind . AuBerd em muss gewiihrleistet sein , dass die Vari ablen a uch das repriisentieren , was wir uns vors t eIlen . Wir steIlen die Bed ingung en zusammen: (1) Die Variablen fur t = 0 korrespondieren zur Anfan gskonfiguration der Rechnung. (2) Die letzte Konfiguration ist akzept ierend. (3) Die Vari abl en st eIlen Konfigurat ionen dar. (4) Die t-te Konfiguration ist gernaf den Vorschriften von M Na chfolgekonfiguration der (t - I) -t en Konfigurat ion . Wir codieren diese Bedingungen durch eine Konjunktion von Klaus eln . Dies kann ftir jede Bedingung einzeln geschehen, da die Bedingungen (1)-(4) konjunktiv verknupft sind . (1) Da M in qo st artet, muss Q(O,O) = 1 und Q(i ,O) = 0 fur i =I- 0 gelten. F ur die Position j sei t(j) der erste Zeitpunkt, zu dem diese Posit ion gelesen wird. Fur 0 ::::: j ::::: n - 1 muss gena u S(i , t( j)) den Wert 1 haben, wenn X j+} = a; ist . (Nur hier beeinflusst die Eingab e x das E rgebnis der Tr an sformation.) Fur aIle anderen j muss gena u S(m , t(j)) den Wert 1 haben , da dort zu Beginn das Leerzeichen am steht . Wir bilden also keine Klau seln , sondern ersetzen boolesche Variablen durch geeignete bool esche Kon st ant en . (2) Dies ist eine Klau sel tiber aIle Q(i , p( n)) , fur die qi ein akzept ierender Haltezustand ist. (3) Die Turingmaschin e ist zu jedem Zeitpunkt t in genau einem Zustand und liest genau einen Bu chst a ben . Dies sind syntakt isch die ein zigen Bedingungen an Konfigurationen . Formal bedeut et dies, dass fur jedes t E {O, .. . ,p(n )} gena u eine der Vari ablen Q(i , t) und gena u eine der Vari abIen S( i , t) den Wert 1 hat. Wi r hab en es also mit 2p(n) + 2 Bedingungen zu tun, von denen einige schon du rch die MaBnahmen zu (1) erfullt sind. Da die Anz ahl der Vari abl en in jeder Bedingung IQI od er IFI und damit 0(1) ist , konnen wir un s das Leb en einfach machen. Jede boolesche Funktion ist in konjunktiver Norm alform, also als Konjunktion von Klau seln darsteIlbar.

5.4 Das Theorem von Cook

81

Die Anzahl der Klauseln bei r Variablen ist durch 2" beschr ankt, in unserem Fall 0(1) , da die Anzahl der Variablen 0(1) ist . (Fur die Funktion "genau eine Eingab evari abl e hat den Wert 1" gen iigen , wie man sich iiberlegen kann, 0(r 2 ) Klauseln.) (4) Hier solI die Semantik der Turingrnaschin e M codiert werd en . Der t-te Rechenschritt von M han gt vom Zustand nach dem (t - 1)-ten Rechenschritt , also den Vari a blen Q(i , t - 1), i :::; k - 1, vom verwend et en Zufallsbit Z(t) und von dem im t-ten Rechenschritt gelesenen Buchstaben, also den Variablen 8(i, t) , 1 :::; i :::; m , ab oDies sind IQI +IFI + 1 = 0(1) Variablen . Das Ergebnis wird ausgedruckt im Zust and nach dem t-ten Rechenschritt, also den Vari abl en Q( i , t) , i :::; k -1 , und dem neu in die betrachtete Speicherzelle geschriebenen Buchst ab en, also den Variablen 8(i, N(t)) , 1 :::; i :::; m , wobei N(t) der nachst e Zeitpunkt nach t ist, zu dem M wieder diese Speicherzelle betrachtet. Falls N(t) > p(n) ist, ist die geschri ebene Information fur die Rechnung irr elevant und muss nicht berechnet werden. Es mus sen also die IQI + IFI = 0(1) Gleichungen

°:: ;

°:: ;

Q(i ,t)

=

Ii (Q(O, t -

1), .. . , Q(k - 1, t - 1), Z(t) , 8(1 , t) , . .. 8(m, t))

und

8 (j , N(t))

= gj

(Q(O , t - 1), . .. , Q(k - 1, t - 1), Z(t) , 8(1 , t) , . .. , 8(m, t))

°:: ;

fur i :::; k - 1 und 1 :::; j :::; m erfullt sein, urn zu garant ieren, dass die Arbeit sweise von M simuli ert wird. Diese IQI+ IFI Gleichungen beschre ib en 0 in der hier verwendeten Codierung der Zustande, ZufaIlsbits und Speicher zelleninhalt e. Daher hangen die Funkt ionen auch nicht von tab. Jede Gleichung ist genau fur bestimmte Belegungen der betroffenen Vari ablen wahr und kann dah er als Konjunktion von 0(1) Klauseln ausgedr uckt werd en. (Ein e explizite Beschreibung der Klauseln findet sich z. B. bei Wegener (1999) , sie ist abe r fur unsere Betrachtungen nicht notig.) In sgesamt erhalten wir O(p(n)) Klaus eln der Lan ge 0(1) , also eine Eingabe fur SAT mit einer C esarntlan ge von O(p(n)) . Die Klau seln lassen sich in Zeit O(p(n)) berechn en . Indem wir einmal die Bewegungen der Turingmaschin e M fur p(n) Schritte durchfiihren, konn en wir in Zeit O(p(n)) aIle t(j) und N(t) berechnen . Da die einzelnen Funktionen und Gleichun gen nur je 0(1) Variablen betreffen , ist eine Umformung in Klauseln jeweils in Zeit

0(1) moglich. Wenn M die Eingabe x fur die Zufallsbits Z1, . . . , zp( n) akzeptiert, konnen wir die Vari abl en der SAT-Eingabe durch die Werte, die sie in der Rechnung in M reprasenti eren , ersetzen und erflillen somit aIle Klauseln . Wenn es andererseits eine Belegung der Variablen gibt, die aIle Klau seln erfiillt, dann erhalten wir eine akzeptierende Ber echnung von M fur die Belegung der ZufaIlsbit s mit den zur erflillenden Belegung gehorenden Werten . Die Bedingungen (1) sichern , dass M richtig initi alisiert wird. Die Bedingungen (3) sichern, dass die Vari ablen zu jedem Zeitpunkt einen akt uellen Zust and

82

5. Die NP-Vollstand igkeits theo rie

und einen gelesenen Buchst ab en reprasentieren. Die Bedingungen (4) sichern induktiv, dass die weit eren Zust iinde und gelesenen Buchstab en dem Rechenweg von M folgen . Schlief3lich folgt aus Bedingung (2) , dass der Rechenweg 0 akzept ierend ist . Nach diesem bahnbrechenden Er gebnis ist es wesentli ch einfacher, die NP-Vollstiindigkeit weit erer E ntscheidungspro bleme zu beweisen . Dies liegt an der Tr ansi tivitat des Reduktionskonzepts ,,::::;p" . Ist L E NP und konnen wir ein Nl--voll st andiges Problem L' polynomiell auf L reduzieren , ist auch L NP-vollst iindig. Fur alle L" E NP gilt j a L" ::::;p L ' und au s L' ::::;p L folgt L" ::::;p L. Der Nachweis der NP-Voll st andigkeit wird t endenziell imm er einfacher, da die Anzahl der als NP-vollstiindig bekannten P robleme standig wachst und wir dah er eine wach sende Auswahl an Problemen hab en , fur die es genugt , sie polynomiell auf ein neues NP -Problem zu reduzieren , urn dessen NP-Vollst andigkeit zu beweisen . Zum B eweis der NP- Vollstiindigkeit eines P roblem s A aus NP ist es ausreichend, ein NP- vollst iindig es Problem polynomiell auf A zu reduziere n.

Mit den Er gebnissen aus Kapitel 4 wissen wir, dass die folgenden Problem e Nl--vollstandig sind: SAT, 3-SAT, CLIQUE, IS , VC , DHC , HC und T SP 2 , 6 ,sy m . Ihre Optimierungsvari ant en sind Nl-- aqulvalent.

6. NP-vollstandige und NP-aquivalente Probleme

6.1 Grundlegende Uberlegungen Wir hab en jet zt das Werk zeug bereit gest ellt , urn die NP-Vollstandigkeit von Entscheidungsproblemen zu beweisen und wollen die zehn in Kapi t el 2.2 vorgeste llten Problemkreise behandeln . In diesem Kapitel int eressier en uns die Grundvari an t en der Probleme und einige verwandte Problemst ellungen . In Kapitel 7 werd en wir dann spezielle Problemvari ant en diskutieren und unt er suchen , wo die Gr enze zwischen schwierigen, also Nf'-vollatandlgen , und einfachen, also polynomiell losbar en Vari anten verlau ft . Mit den Ergebni ssen a us Kapitel 4.2 folgt fur die Auswertungs- und Optimierungsvarianten der Entscheidungsprobleme, die wir hier als NP-vollst andig nachweisen , dass sie NP-aquivalent sind . AuBerd em wissen wir aus Kap it el 5.2, dass alle betrachteten Ents cheid ungsprobleme in NP ent halt en sind . Zum Beweis der Nl--Vollstandigkeit geniigt es jeweils, ein Nl--vollstandiges Problem auf das betracht ete Problem polynomiell zu redu zieren . Einerseits wollen wir eine groBe Problemvielfalt betracht en und an dererseits wollen wir nicht zu viele Red uktion en ausftihrlich disku tieren . Dah er werd en wir nur die Beweise, die neue Ideen ent halten, au sftihrlich vorstellen und uns bei anderen Beweisen auf die wesentlichen Ideen beschranken . Dr ei der zehn Problemb ereiche sind fur die Zwecke dieses Kapi t els bereits a bschlieBend beh andelt . Flussprobleme sind polynomiell losb ar , von den Erfiillb arkeitsp robl emen wurden SAT und 3-SAT und damit auch Ver allgemeinerungen wie SAT c IR als Nl--vollstandig bewiesen und auch da s Kno te nube rdeckungsproblern VC ist bereit s als Nl--vollstandlg bekannt.

6.2 Rundreiseprobleme Auch Rundreiseprobleme hab en wir umfassend behandelt und gezeigt, dass selbst die speziellen Vari anten HC , DHC und TSp2,L':. ,sym und damit auch aIle Ver allgemeinerungen NP -vollstandig sind. Wi r wollen hier die Betrachtung von dr ei Problemen anschlieBen. Wir beginnen mit dem Problem zu ents cheiden, ob ein gerichtete r Gr aph einen hamiltonschen Pfad enthalt (direct ed hamiltonian path , DHP) . Ein hamiltonscher Pfad ist ein Weg, der jeI. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

84

6. NP-vollstandige und Nft-a quivalente P robl eme

den Knoten des Graphen genau einma l beruhrt . Das ent sprechende P robl em fur un geri cht et e Graphen heiBt HP.

Theorem 6 .2.1. DHP und HP sind NP -vollstiindig. Beweis. Der Beweis von Theor em 4.4 .4 hat gezeigt, dass 3-SAT :Sp DHC ist . Aus der dort beschri eb enen pol ynomiellen Reduktion wird eine pol ynomielle Reduktion, die 3-SAT :Sp DHP zeigt , wenn wir die be ide n VI ,1 erreichenden Kanten weglassen. An alog zum Beweis von DHC :Sp HC (Theor em 4.3.1) Hi-sst sich DHP :Sp HP zeigen. D Au s dem Beweis von Theor em 6.2.1 folgt soga r, dass es NP-vollst andig ist zu ent scheide n, ob es einen hamiltonschen Pfad von einem ausgewa hlten Knoten s zu einem ausgewa hlten Knoten t gibt (s-t-DHP) . Diese Ergebnisse sind wenig ilb erraschend, ab er wir ben6ti gen sie fur das folgende E rge bnis. In einem un gerichtet en zusamrnenhangenden Graphen , dessen Kanten nichtnegative Kosten haben , ist ein minimaler Spannbaum ein Baum, der aIle Knoten so verbind et , dass die Gesamtkost en der gewahlte n Kan t en minimal sind. Es ist bekannt , dass minimale Spannbaume in polynomi eller Zeit O(n 2 ) berechnet werden konnen . Minimale Spannbaume hab en die Tend en z, "stern f6rmig" zu sein , insb esondere hab en oft einige Knoten einen hoh en Grad . Wenn dies in den Anwendungen nicht erwiinscht ist , kann man als Neb enb edingung eine Gradschranke k fur die Knoten hin zufUgen und kommt zum Problem der Berechnung gradbeschriinkter min imal er Spannbiiume (BMS T , bounded-degr ee minimum-cost spanning tree) .

Theorem 6 .2.2. BMST ist NP-v ollstiindig. Beweis. Nat urlich ist die Entscheidungsvari ante von BMS T in NP ent ha lten . In der pol ynomiellen Reduktion HC :Sp TSP 2 ,L'" sy m hab en wir di ,j = 1 gesetzt, falls {i , j} E E ist , und ansonste n di ,j = 2. Eb enso gehen wir bei de r polynomiellen Reduktion HP :Sp BM ST vor , wobei wir zusatzlich die Gradschranke k auf 2 setzen. Ein Spannbaum mit Maximalgr ad 2 muss abe r ein hamiltonscher Pfad sein. Also ent ha lt der gege bene Gr aph gena u dann einen hamiltonschen P fad, wenn wir in dem zugeh6rigen bewertet en Gr aphen einen Spannbaum mit Max im algr ad 2 und Kost en von hochstens n - 1 hab en . D

6.3 Rucksackprobleme Es ist immer gut , eine m6glichst spez ielle Varian t e eines Problem s als NPvollstandig nachzuweisen , da dar au s die Nlt-Vollatandlgkeit aller allgemeineren Vari anten sofort folgt , wenn sie in NP ent ha lten sind. Ein sehr sp ezielles Ru cksackproblem ist KP*, bei dem a; = gi fiir aIle Objekte ist . Die Entscheid ungsvariante, ob die Gewicht sgrenze G voll ausgelastet werd en kann, ist die Frage, ob es eine Teilm enge der Objekt e gibt, deren Gesam t gewicht

6.3 Rucksackprobleme

85

G ist . Dies ist die Frage, ob es eine Indexm enge I ~ {I, . . . , n } gibt, so dass die Summe aller gi , i E I , gen au Gist . In dieser Form wird das Problem auch Teilsummenproblem (subset sum problem , SSS) gen annt. Die bisher behandelt en Probleme hab en alle Strukturen, die Beziehungen zwischen den betracht et en Objekten beinhalten . So verbinden in Gr aphen Kanten je zwei Knoten , beim Meisterschaftsproblem sind Teams durch Spi ele verbunden und bei E rfiillb arkeit sproblemen komm en Lit er ale in mehreren Klauseln vor. Dies macht es mo glich , Strukturen andere r Probleme in diese Probleme "hineinzucodieren". Beim Teilsummenproblem hab en wir nur Zah len und wir miissen die Strukturen eines P robl ems "in Zahl en ausdrucken". Die Hauptidee bei der artigen Reduktio nen best eht darin, in den Zahl en Blocke von Positionen zu reservieren. Die Strukturen anderer P robl eme werden nun in verschiedenen Zahl en an den selb en Po sitionen codiert. Da wir Summe n von Zahl en bilden, werden die Verbindungsstrukturen hergest ellt . Zu beacht en ist , dass es bei den Additionen nicht zu Ub ertragen zwischen den Blacken komm en darf. Dies kann durch "Auffangblacke" gewa hrleiste t werden , gena uer Blocke von Positionen , an denen alle Zahlen Nullen hab en . 1m folgenden Beweis verwend en wir Dezim alzahl en und die Blo cklan ge 1. Auffan gblocke sind nicht notig, da die Summe aller Ziffern an derselben Position durch die Kon struktion durch 5 beschr ankt ist und Ub ertrage ausgeschlossen sind. Theorem 6.3.1. SSS ist NP- vollstiindig . Beweis. Wir beschreiben eine polynomielle Reduktion von 3-SAT auf SSS. Wenn die 3-SAT-Eingabe m Klaus eln CI, . . . , Cm ent ha lt und n Vari abl en X l, .. • , X n verwendet , bild en wir 2n + 2m Zahlen ai , bi , 1 ::; i ::; n , d j , ej , 1 ::; j ::; m , mit je m + n Dezimalst ellen. Wir beschr eiben zunachst die hinteren n St ellen, die nur Nullen und Ein sen ent halte n. Die Zahl en a; und bi hab en gena u eine Eins an Position i und d j und ej best ehen an diesen Positionen a us lauter Nullen. Der gewilnschte Summenwert S hat an diesen St ellen nur Eins en (siehe Abbildung 6.3.1). Dami t ist sofort klar , dass wir gezwungen sind, fur je des i genau eine der Zahlen a ; od er b, auszuwa hlen, wah rend bei den Zahl en d j und ej noch freie Auswahl best eht. Die Int erp ret ation ist nun nahe liegend . Die Wahl von a, soll den Wert Xi = 1 reprasentieren und die Wahl von bi den Wert Xi = o. Wir codieren die Klau seln CI, ... ,Cm an den vorderen m Positionen der a- und b-Zahl en , fur je de Klau sel ist eine Po sition reserviert . Die Klau sel Cj ent ha lt dr ei Lit er ale und weist fiir ein Vorkommen von Xi der Zahl a, eine 1 zu, fiir X i bekommt bi an der entsprechenden Position eine 1. Wenn wir nun eine Vari abl enb elegun g wahl en und die zugehor ige Auswahl zwischen a; und bi treffen , erha lten wir an der Position fur Cj die Summe S j , wenn die Klau sel S j erfiillte Lit erale ent ha lt. Also sind die Klau seln genau dann gemeinsa m erfiillba r, wenn wir aus den a- und b-Zahlen ein e Auswahl treffen konn en , so dass die Summe an den ersten m St ellen Wert e aus {I , 2, 3} und an den hinteren n St ellen Einsen hat . Wir sind also noch nicht bei einer passenden SSS-Eingab e gelandet, da noch viele Summenwert e zur Erftillbarkeit der

86

6. NP -vollstii ndige und NP -iiquivalente Probleme

Kla useln aquivalent sind . Dies liisst sich durch Fiillelemente, niimlich die dund e-Zahlen, beheb en . Es ist dj = ej und beide Zahl en hab en an der j -te n Position von vorn eine 1 und sonst la ut er Nullen . SchlieBlich startet 8 mit m Dreien. Hat also die Auswah l von a- und b-Zah len an Position j einen Wert aus {I , 2, 3}, konnen wir durch Wahl von dj und ej od er dj od er keiner dieser Zahl en dort eine 3 erzeugen . Dies geht nicht , falls die Var iabl enb elegung Cj nicht erfullt. Dann ist die Summe der a- und b-Zahlen an Position j gena u o und dies kann mit d j und ej nur auf 2, aber nicht a uf 3 erhoht werden . Da alle Zahlen in polynomieller Zeit O((n +m)2) konstruiert werden konnen , hab en wir 3-SAT ~p SSS bewiesen . D

al a2 a3 a4

ci

C2

C3

Xj

X2

X3

X4

1

0

1

0

0

1

1

0 0

0 0 0

0 0

1

0 0 0 0 1

0 0 0

bl

0 0

b2 b3 b4

0 0

dl

1

d2

0 0 1 0 0 3

d3 ej e2 e3

S

1

1

0 0 1 0

1

1

1

0 0

0 3

1

0 0 0 0 0 0 0 0 0

3

1

1

0 0

1 0 0 0 1

A b b . 6 .3 .1. Ein Beispi el zur Red ukt ion 3-SAT = Xl + X2 + X 4 und C3 = Xl + X2 + X 3 ist .

0 0 0 1 0 0 0 0 0 0 0 0 1 ~p

1

0 0 0 1

0 0 0 0 0 0 0 1

1

0 0 0 1

0 0 0 0 0 0 1

SSS, wob ei

c i

=

Xl

+ X 2 + X3,

C2

K or olla r 6. 3 .2. KP und PARTITION sin d NP-vollstiindig. B e weis. KP ist offensichtlich eine Ver allgemeinerung von SSS. PARTITION ist dagegen der Sp ezialfall von SSS, bei dem der geforderte Summenwert 8 gleich der Halfte aller gegebe nen Zah len s, ist . Die Beziehung SSS ~p PARTITION ist dennoch leicht zu zeigen. Sei ( Sl , " " Sn, 8) eine Eingab e fur SSS, wobei wir 0 ~ 8 ~ 8* := S l + . .. + Sn annehmen konnen . W ir fugen den Zahlen Sl, ... , Sn die so gena nnte n erzwingenden Komponenten 28 * - 8 und 8 * + 8 hinzu . Dann ist die Gesamtsumme aller Zahl en 48* und wir miissen entsc heiden, ob es darunter eine Zahlenmenge mit Summe 28* gibt. Da (28* - 8) + (8* + 8) = 38* ist , miissen wir dab ei genau eine der Zah len 28 *- 8 oder 8 * + 8 verwend en . Gen au dann, wenn es ein I <:;;; {I, . .. , n} gibt, so dass die Summe aller Si , i E I , gena u 8 ist , erha lte n wir zusamme n mit 28 * - 8 den Summenwert 28*, wobei dann aut omatisch alle anderen Zah len D zusa mmen mit 8 * + 8 auc h den Summenwert 28 * haben .

6.5 Cliquenprobleme

87

6.4 Aufteilungsprobleme und Lastverteilungsprobleme Da das sehr spezielle Problem PARTITION NP-vollstandig ist , folgt sofort die Nl--Vollst andigkeit aller allgemeineren Vari anten, die in NP ent halte n sind. Dazu gehort das Aufteilungsproblem BP. Dieses Er gebnis halt en wir fest . Korollar 6.4.1. BP ist NP-vollstiindig .

Wir betrachten hier noch ein Lastverteilungsp robl em , genannt SWI (sequ encing with intervals), um eine weit ere Reduktion mit einer erzwingenden Kom ponente vorzust ellen . Gegeb en ist eine endliche Menge A von Aufgab en , jede Aufgab e a hat eine Bearbeitungsdauer l(a), ein en fruh est en Zeitpunkt r (a) (release t ime) fur den St art ihr er Bearbeitung, einen spa tes te n Zeitpunkt d(a) (deadline) ftir die Beendigung der Arbeit und die Bearb eitung einer Aufgab e darf nicht unterbrochen werden . Das Problem SWI best eht darin zu entsc heiden, ob die Aufgab en auf einem Prozessor so bearbeit et werden konnen , dass alle Nebenb edingungen eingehalte n werd en . Die Bearbeitungsintervalle der Lange l(a) mils sen also in eine passende Reihenfolge gebrac ht werden . Theorem 6.4.2. 8 WI ist NP-vollstiindig. Beweis. Offensichtlich ist SWI in NP ent halt en. Wir beschr eib en eine polynomielle Redukti on von PARTITION auf SWI. Es sei ( 81 , " " s.,) eine Einga be fur PARTITION und 8 := 81 + . . . + 8 n . Wir erzeugen n + 1 Aufgaben a l , "" an+l ' Dab ei reprasentieren al, "" an die Zahl en 8 1 , .. . , 8 n . Gen au er : Es ist l(a i) = s., r(a i) = 0 und d(ai) = 8 + 1. Die weit ere Aufgabe an+l wird als erzwingende Kom pon ent e definiert: l(an+l) = 1, r (an+d = 8/2 und d(an+l) = 8/2 + 1. Da d(an+l) - r(a n+d = l(an+l) ist , muss diese Aufgab e im Zeitintervall [8/2, 8/2+ 1] ausgefiihrt werden . Die rest lichen Aufgab en mit einer Gesamtdau er von 8 miissen auf die Intervalle [0, 8/ 2] und [8/2+1 , 8 + 1] verteilt werden . Dies ist gena u dann moglich , wenn die Zahl en 8 1, . . . ,8 n in zwei Teile mit jeweiliger Summe 8/2 eingeteilt werden konnen . D

6.5 Cliquenprobleme Von den Problemen CLIQUE und IS wissen wir bereit s, dass sie NPvollst andig sind . 1m Hinblick auf Kapitel 10 soli hier eine Verallgerneinerung des Cliquenproblems vorgest ellt werd en . Zwei Gr aphen G l = (VI, E l ) und G 2 = (V2 , E 2 ) heiJ3en isomorph , wenn sie bis auf die Benennung der Knoten identi sch sind. Formal gesprochen muss IVI I = 1V21sein und es eine bijektive Abbildung f : VI --> V2 , die Umnummerierung der Knot en, gebe n, so dass genau dann {u , v} E E l ist, wenn {f(u),f(v)} E E 2 ist . In Kapite l 10 werd en wir das Graphenisom orphieproblem (graph isomorphism , GI)

88

6. NP-vollstiindige und NP-iiquivalente Probleme

untersuchen , bei dem entsc hieden werd en soil, ob zwei Gr aphen G l und G 2 isomorph sind. Hier betracht en wir das Teilgraphenisomorphieproblem (subgraph isomorphism , SI) , bei dem getestet werd en soil, ob es einen Teilgraphen G~ = (V{ , ED von G l gibt, der isomorph zu G2 ist. Ein Teilgraph G~ von G l wird durch die Wahl der Knotenmenge V{ <:;; VI bestimmt , die Menge E~ ent hiilt dann aile K anten aus E l , die zwischen Knoten aus V{ verlaufen . Nun gilt offensichtli ch GI ~p SI (falls !VII = !V21 , kann nur G l selbst zu G 2 isomorph sein) und CLI QUE ~p SI (wiihle G 2 als Clique auf k Knoten) . Theorem 6.5.1. Sf ist NP- vollstiindig.

Zu untersuchen bleibt das Cliquenuberdec kungsproblem CC. Dieses P roblem werden wir zunac hst in eine ubl ichere Form tran sformieren . Wenn G = (V, E) ein e Cliqueniibe rdeckung VI , .. . , Vk hat , hat der Komplementgraph G eine Ub erdeckung durch Anticliquen auf Vi, ... , Vk und um gekehrt. Unter einer K notenjiirbung eines Gr aphen G' = (V' , E ' ) mit k Farb en wird eine Abbildung j : V ----'> {I , . . . , k } , die Farbung der Knoten , ver st anden , wobei Knoten , die durch eine Kante verbunden sind , unt ers chiedlich gefiirbt sein mtissen. Das Knotenjiirbungsproblem (graph colorability, GC) best eht in der Berechnung einer Knoten fiirbung, die mit einer minimalen Zahl von Farben auskommt . Offensichtlich mu ssen die mit derselb en Farbe gefiirbte n Knoten eine Anticlique bild en . Also kann G gena u dann mit k Cliquen ub erdeckt werden , wenn der Komplementgraph G mit k Farben gefiirbt werd en kann. Dam it gilt fur die Entscheidungsvari anten CC = p GC. Theorem 6 .5.2. CC und GC sin d NP- vollstiindig. Beweis. Nach den Voruberlegun gen genugt es, das NP-vollstii ndige Problem 3-SAT polynomiell auf GC zu redu zieren. Sei also eine Ein gabe fur 3-SAT gegebe n, die a us den Klau seln Cl, .. . , em auf Xl, . . . ,Xn best eht. Wi r nehmen an, dass je de Klau sel genau dr ei Lit er ale ent hiilt , notfalls konnen Lit erale wiederholt werd en . Die Anzahl erlaubter Fa rben wird auf 3 fest geset zt . Als erzwingende Komponente wird ein Dreieck auf V I, V2, v3 gebildet. Diese drei Kno t en miissen verschieden gefar bt werd en und, da es auf die Nam en der Farben nicht ankommt , konnen wir unt er der Annahme, dass j(vt} = 1, j (V2 ) = 2 und j(V 3) = 3 ist , arbeiten. Die Lit erale Xl, X l, . .. , X n , xn werden du rch 2n Kn ot en repriisenti ert , die die gleichen Na me n wie die Lit erale hab en. Die Knoten Xi, X i und V3 werden durch ein Dreieck verbunden. Dies erzwi ngt die F iirbung j (Xi ) = 1 und j( X i) = 2 mit der Interp ret at ion Xi = 1 od er die F iirbung j( X i) = 2 und j(Xi) = 1 mit der Interpretat ion Xi = O. Damit ist die Verbindung zwischen Vari abl enb elegungen und Kno t enfiirbungen hergest ellt. Nun miissen Kompon enten fur die Klaus eln Verbindungen so herst ellen , dass erfullende Belegungen mit 3-Fiirbungen korr espondieren. Die Komponente fur die Klau sel Cj = Zj, l + Zj ,2 + Zj ,3 ist in Abbildung 6.5.1 dar gest ellt . Dab ei ist zu beacht en, dass die Knoten Zj ,l, Zj ,2 und Zj,3 Knoten fur die Lit erale sind und V2 und V 3 zum erzwingenden Dreieck gehore n.

6.6 Teambildungsp robl em e

89

Cj,i Zj,i

Zj,2

Cj ,3

Cj,4

Cj,6 Cj,2

Zj ,3

c),v

Abb. 6 .5.1. Die Klau selkomponente in der pol ynomiellen Reduktion von 3-SAT auf GC .

Da f( V2) = 2 und f( V3) = 3 ist , folgt f (Cj,6) = 1. AuBerdem sind Zj,i, Zj,2 und Zj,3 nicht mit 3 gefarbt. Folgen de Eig enschaft , die sich durch geschickt es Au sprobieren leicht beweisen Iasst , zeigt, dass diese Komponente die gewiinschte Verbindung zwischen erftillende n Belegungen und Knot enfarbungen herstellt: - Es sei f(V 2) = 2 und f( V3) = 3. Gen au dann , wenn mindest en s einer der Knot en Zj,i, Zj,2 und Zj,3 mit 1 gefarbt ist , kann die cj -Kompo nente mit dr ei Farben gefarbt werden . Die Komponenten werd en fur aile Klau seln Cj mit unt erschiedlichen Knoten Cj, l gebildet. Insgesamt erhalten wir 2n + 6m + 3 Knoten und 3n + 12m + 3 Kanten, die in linearer Zeit kon struiert werd en konnen, Wenn a E {O ,1}n eine erfullende Belegung ist, wa hlen wir die ob en beschriebene F arbung der Knot en Vi, V2, V3, Xi, Xi, Cj,6, 1 ::::: i ::::: n , 1 ::::: j ::::: m. Da Cj erfullt ist, erhalt mindest en s einer der Knot en Zj,i, Zj,2, Zj,3 die Farbe 1 und die Kl au selkomponent e kann legal gefarbt werden. An dererseit s konnen wir fur eine legale F arbung annehme n, dass f( Vi ) = 1, f( V2) = 2 und f( V3) = 3 ist . Dies erz wingt f( Cj,6) = 1. Wi e ob en gezeigt , muss f( zj ,l) = 1 fur mindest en s ein l E {I , 2, 3} sein . AuBerdem korresp ondier t d ie Farbu ng, wie obe n beschri eb en , zu eine r Variablenb elegung. Diese hat aber die Eigen sch aft , dass Zj,l den Wer t 1 erhalt, wenn f( Zj,l) = 1 ist . Somit sind aile Kl au seln er fiillt . 0 Im Beweis von Theor em 6.5.2 hab en wir fur die An zahl der Farben den fest en Wer t 3 gewahlt. Mit k-G C bezeichnen wir den Spezialfall von GC , in dem die Zahl der Farben a uf k fest gelegt ist. Wi r hab en also sogar folgendes Korollar geze igt . Korollar 6.5.3. 3-GC ist NP- vollstiindig.

6.6 Teambildungsprobleme Hier stellen wir nur eine Skizze des Beweises vor , dass 3-DM Nl--vollstandig ist .

90

6. Nl--vollstandlge und Nl--aqu ivalente Probleme

Theorem 6.6.1. 3-DM ist NP-vollstiindig. Beweis. Es geniigt, 3-SAT polynomiell auf 3-DM zu reduzieren. Wir starten wieder mit m Klauseln CI , . . . , Crn mit je dr ei Literalen iiber Xl , . .. , X n . Wir konstruieren ein e Eingabe fur 3-DM mit dr ei Expertengruppen, die je 6m Personen enthalten. Die erste Expertengruppe unterteilt sich in n Untergruppen, fur jede Variable ein e. Wenn die Literale Xi und X i zusammen zi-mal in Klauseln vorkommen, gehoren zu der Untergruppe fur X i gen au 2z i Personen, je Z i Personen 1 ::; l ::; Zi , fur die Belegung X i = 1 und Zi P ersonen 1 ::; l ::; Zi , fur Xi = 0. Eine Auswahlkomponente fur Xi soli erzwingen, dass Teams so gebildet werden miissen, dass aIle Personen fiir X i = 1 od er aIle Personen fur X i = noch ungebunden sind. Dazu werden Zi Personen aus Gruppe 2 und Zi Personen aus Gruppe 3 auf die in Abbildung 6.6.1 fur z; = 4 beschrieb ene Weise in Teams eingeordnet. In der Abbildung sind die Teams als Dreiecke gekennzeichnet , die Personen aus Gruppe 2 heifen aI, . . . , a 4 und die Personen aus Gruppe 3 heiBen bs, .. . , b4 .

xi,

xL

°

Abb. 6.6.1. Eine Auswahlkomponent e aus der Reduktion 3-SAT :Sop 3-DM. Da a I, .. . , a4, bl , . .. , b4 in kein em anderen Team vorkommen , gibt es genau zwei Moglichkeiten , sie aIle in Teams zu int egri eren. Entweder wahlen wir T I , T 3 , T 5 und T 7 mit der Interpretation Xi = 0, da die xi-Personen no ch frei sind, od er wir wahlen T 2 , T4, T6 und T s mit der Interpretation X i = 1. Es wird

6.7 Meisterschaftsprobleme

91

an Abbildung 6.6.1 auch deutlich, dass diese Ausw ahlkomponent e nicht mit nur zwei Expertengruppen auf ahnliche Weise geba ut werd en kann. F ur die j-te Klaus el Cj hab en wir in der zweite n und dritt en Expert engruppe je eine Person und Diese beiden Personen sind nur zusammen t eamfah ig und benotigen aus der ersten Expert engru pp e eine Per son, die die Erfil11ung eines Lit er als aus Cj reprasentiert . E nt ha lt Cj also Xi, gibt es ein Team Es gib t genilgend Personen filr jedes Lit er al , so dass jedes (oder xi) nur in einem dieser Team s vorkommt. SchlieBlich gibt es Personen und 1 :::; j :::; 2m , urn die ilbrig gebliebe nen Personen der ersten Gruppe in Teams einzubinden. Sie sind fiexib el und a11e und (xL bilden rnogliche Team s. Diese Ein gab e fur 3-DM kann in Zeit O(m) konstruiert werden . Erftillende Belegun gen fuhren zu einer Teameinteilung, bei der die Auswahlkomponenten die erfil11ten Lit erale , also die zugehorigen Personen, nicht und einen Teampa rt ner und abschlief3end werint egrieren . Daher finden den Teams mit und gebildet. Andererseit s lasst sich jede Teambildung auf den Auswahlkomponent en in eine Variabl enb elegung ilbersetzen . Wenn a11e und in Team s int egriert sind, ist die Var iabl enb elegun g erfullend .

p;

p;.

xi

(xL qJ,qJ)

qJ

p;

p;

q;

(xLp;,p;).

qJ

q;,

qJ, qj)

p;

p;

D

Eine wichti ge Vera11gemeinerung von 3-DM ist das Mengeniiberdeckung sproblem (set cover, SC ), bei dem eine Menge 5 , eine Zahl k und eine Folge A I, . . . , An von Teilmengen von 5 gegeben sind und entsc hieden werd en sol1, ob 5 die Vereinigun g von k der A-Mengen ist. Ein wichti ger Anwendungsb ereich ist die Minimierung zweist ufiger Schaltkreise. Wenn wir in 3-DM a11e Personen in 5 zusa mmenfassen und filr jedes denkbar e Team eine dr eielementi ge A-Menge bild en , erhalte n wir eine polyno mie11e Reduktion auf SC . Also gilt : Korollar 6.6.2 . S C ist NP- vollstiindig.

6.7 Meisterschaftsprobleme Wir wissen bereit s, dass das Meist erschaftsproblem mit (O,1,2)-Aufteilungsregel in polynomie11er Zeit losbar ist . Durch die Einfilhrung der (O ,1,3)-Auft eilun gsregel Mitte der gOer-J ahre des vorigen J ahrhundert s wurde ihr e komplexitat stheoret ische Untersuchung int er essant. Die Komplexit at des Meiste rschafts pro blems andert sich mit der neuen Punkt eregel dr astisch. Theorem 6 .7.1. Das M eisterschaftsproblem CP mit (O,1,3)-Aufteilung sregel ist NP- vollstiindig. Beweis. W ieder verwenden wir 3-SAT als Ausgan gsproblem unserer polynomie11en Reduktion. Fur das Meist erschaft sproblem benutzen wir eine andere Dar st e11un g. Wi r lassen den ausgewahlte n Verein a11e Spiele gewinnen und lassen vorlaufig a11e anderen noch nicht ausget ragenen Spiele unent schieden

92

6. NP- vollstand ige und Nl--aqulvalente Problem e

enden. Die anderen Vereine werden durch Knoten dargest ellt und mit der Zahl z E Z markiert, so dass diese Vereine bei den vorlaufigen Spielausgangen z Punkt e mehr als der a usgewa hlte Verein erhalte n. Die noch auszutragenden Spiele werd en durch Kanten zwischen den betroffenen Ver einen ausgedrtickt . Die Frage ist nun , ob die vorlaufigen Spielau sgan ge so abgeandert werden konnen , dass aIle Knotenmarkierungen nicht positiv sind . An jeder Kante darf der Spielau sgan g einmal gea ndert werden . Die Wirkung ist , dass ein Kno t en an dieser Kante zwei Punkte mehr erha lt und der ande re einen Punkt verliert . Aus der Punkteaufteilung 1 : 1 bei Unentsc hieden wird die Punkteauft eilung 3 : 0 bei Sieg und Niede rlage. Es sei nun eine Eingab e CI , . . . , Crn tiber X l , ' " , X n fur 3-SAT gegebe n. Wir beginn en mit der Konstrukti on von Variabl enkomponent en , die die Entscheidung Xi = 1 od er Xi = 0 widerspiegeln. Var iabl en , die nicht vorkommen , werden nicht betracht et. Fur aIle anderen Variablen Xi bilden wir einen bin ar en Baum, bei dem der linke Teilbaum so viele Blatter hat , wie es Vorkommen von Xi in CI , .. . ,Crn gibt, ent sprechend fur den rechten Teilbaum und Xi. Die Wur zel bekommt die Markierung +1 , die Blatter werden mit - 2 und die weiteren Knoten mit 0 markiert. Abbildung 6.7.1 zeigt ein Beispiel.

+1

Abb. 6.7.1. E ine Va riablenkompon ente in der Redu kt ion 3-SAT ~p (O,1,3)-C P, wobei Xi in drei Kl au seln po sit iv und in flinf Kl au seln negativ vorkommt .

Nur fur die Vereine an den Blattern wird es noch weit ere Spiele geben. Urn eine nicht positive Markierung zu erha lte n, muss der Ver ein an der Wur zel eines seiner beiden Spiele verlieren, wobei wir einen Verlu st gegen das linke Kind als Xi = 0 und einen Verlust gegen das recht e Kind als Xi = 1

6.7 Meisterschaftsprobleme

93

bewerten. Verliert die Wurz el gegen das rechte Kind, bekommt dieses den Wert +2 und muss gegen beide Kinder verlieren, die wieder gegen ihr e Kinder verlieren mus sen, .. . Dieser Lawineneffekt endet an den Blattern, die den Wert 0 erhalte n. Also konnen nur noch die Blatter des linken Teilb aums, die X i = 1 reprasentieren , Punkt e aufnehmen . Nun ist die Kon struktion der Klauselkomponenten und der Verbindungen zu den Vari ablenkomponenten nah e liegend. Die Klau selkomponente best eht aus einem Kno t en od er Verein mit Markierung + 1. Dieser Verein hat noch drei Spiele auszut ragen, fur jedes Literal in der zugehorigen Klau sel eines. Enthalt die Klaus el Xi, so wird ein Spiel gegen ein Blatt der Xi -K om ponente, das Xi = 1 reprasentiert , vorgesehen . Dabei wird darauf geachtet, dass jedes Blatt der Variablenkomponenten genau ein weit eres Spiel erha lt . Damit ist die Konstruktion der Eingab e fur das (O,1 ,3)-CP abgeschlossen. Wir erha lt en O(m) Vereine und O(m) Spiele. Die Konstruktion kann in Zeit O(m) durchgefiihrt werden . Aus einer erfiiUenden Belegung a fur alle Klau seln erha lten wir folgend e .A.nderungen der vorlaufigen Spiel aus gange, die den aus gewahlten Verein zum Meister machen . Die Wurzeln der Vari ablenkomponent en losen den Lawineneffekt aus, der ihren Belegungen entsp richt. Dann gibt es fiir jede Klauselkomponente noch ein Spiel gegen einen Verein , der ein erfiiUtes Lit er al repr asentiert und daher zwei Punkte aufnehmen kann. Dieses Spiel verliert der Verein, der die Klau sel reprasentiert. Andererseit s muss bei Spielausgangen , die den ausgewa hlte n Verein zum Meister machen, jede Variablenkomponent e mindest ens einen Teilbaum benutzen , um den Punktilberschuss an der Wurzel abzubauen . Dies int erpretieren wir als Var iabl enbelegung. Diese muss alle Klauseln erfullen , da sonst eine Klau selkomponente ihr en Punktilberschuss nicht abbau en konnte. D An diesem Beispiel hab en wir gesehen, dass Probleme, die nicht zum typischen Rep ertoire der kombinatorischen Optimierung gehoren, sondern aus E nt scheid ungen von Fufiballfunktionar en ent stehen, mit den Mitteln der Kornplexitatstheorie behandelt werden konnen .

Viele recht unterschiedlich aussehende Probleme mit direktem oder zumindest indirektem B ezug zu realen Anw endungen erweisen sich als NPvollstandig oder Nl--tiquiualeni . Die B eweise fur die NP- Vollstiindigkeit benutzen B esonderheiten der betrachteten Probleme und folgen ansonst en einem Schema. Man kann daher hoffen, dass in vielen Fallen der Nachweis der NP- Vollstandigkeit von neu betrachteten Problemen "fast routinemafJig" erfolgen kann . Von den betrachteten Problemen hat sich nur das Graphenisomorphieproblem nicht in eine der K ategorien "polynomiell losbar" und "NP-aquivalent " einordnen lassen.

7. Die K ornp lexit atsanalyse von Problemen

7.1 Die Tren nlln ie zwischen einfachen und schwierigen Varianten eines Problems Fiir die in Kapit el 2.2 vorgest ellt en P robl emkreise wollen wir exemplarisch untersuchen , wo die Tr ennlinie zwischen einfachen und schwierigen Vari ant en verlauft. Dabei vergleichen wir ahnlich aussehende Problem e wie die beiden Ub erwachungsprobleme VC und EC und wir schr anken die Ein gab emenge von allgemeinen Problemen wie GC auf verschiedene Weise ein. Behaupt ungen, dass bestimmte Probleme effizient losbar sind, werden wir hier nur in Ausnahmefallen beweisen . Derarti ge Beweise finden sich in Lehrblichern iiber effizient e Algor ithmen. Wir verzicht en auch auf einige NP-Vollst andi gkeitsbeweise. Alle betracht eten Vari anten des Rundreiseproblems T SP sind Nl--aquivalent. Die Ergebnisse aus Kapit el 6.2 hab en fur zwei andere P robl emkreise int eressante Implikationen . Wahrend die Berechnung minimaler Spannbaume mit dem Algorithmus von Kruskal effizient moglich ist, wird da s Problem NPaquivalent , wenn der erla ubt e Knotengrad im Spannbaum beschrankt ist . Die Berechnung eines kiirzest en Weges von s nach t ist ein mit dem Algorithmus von Dijk stra effizient losbare s P robl em , wahrend die Berechnung eines lan gst en kreisfreien Weges von s nach t NP -aquivalent ist . Letzteres folgt aus der Nf' -Vollst andlgkeit von DHP. Mit SSS und PARTITION sind sehr spezielle Ruck sack- und Auft eilungsprobleme schwierig. Dies iibertragt sich auf alle allgemeineren Problemvarian ten . Die Klasse der Lastvert eilungsprobleme hat eine besonders reichhaltige Struktur. Verschiedene Kombinationen von P ar am et ern wie die Anz ahl der zur Verfugung stehenden Prozessor en , die Geschwindigkeit der Prozessoren, die Eignung der Prozessoren ftlr bestimmte Aufgab en , fruh este Anfan gszeit en zur Bearbeitung von Aufgab en , spateste Beendigungszeitpunkte, Beschr ankungen fur die Bearbeitungsreihenfolge der Aufgab en od er die Option, die Bearbeitung von Aufgab en zu unte rbrechen, fuhr en zu einer Vielzah l von Problemen von unterschiedli cher Komplexit at . E rgebnisse tiber Lastvert eilungsprobleme find en sich bei Lawler, Lenstra, Rinnooy Kan und Shmoys (1993) und Pinedo (1995) .

I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

96

7. Die Komplexitatsanalyse von Pr oblemen

W ir hab en gesehe n, dass das Teambildungsproblem 2-DM pol yn omi ell losb ar ist, wahrend 3-DM und damit auch k-D M fur k ~ 3 NP-vollst andig ist. Mit Hilfe eines Algorithmus fiir 2-DM lasst sich das Kantentiberw achungsproblem EC polynomiell losen , wahrend das Kn ot entiberw achungsproblem VC NP-vollstandig ist. Von den Erfiillbarkeitsp roblem en sind k-SAT fiir k ~ 3 und MAX-k-SAT fur k ~ 2 Nl- -vollstandlg. Bei MAX-k-SAT ist zu entsc heide n, ob mindest en s l der m Klauseln geme insam erfiillbar sind, wobei l zur Eingabe gehort . Damit ist k-SAT der Sp ezialfall l = m und MAX-k-SAT fur k ~ 3 Nl--vollstandlg. Das hier nicht bewiesen e Resultat fur MAX-2-SAT hat Au swirkungen a uf die Opt imi erung pseudoboolescher Funktionen f : {O, I }n ----t R Kla useln lassen sich leicht "arit hmetisieren " . Dab ei wird eine Disjunktion Zl + .. .+ Zk von Lit eral en durch 1 - (1 - zl )(l - Z2 ) .. . (1 - Zk ) und X i durch 1 - Xi ersetzt. Wenn wir die so entstehende n "Werte" aller Klau seln addieren, erhalten wir ein ps eudoboolesches Polynom f : {O ,l }n ----t JR, so dass f(a) die An zahl der durch a erftillten Klauseln angibt und der Grad von f durch die maximale Zahl von Lit er alen in eine r Klau sel beschr ankt ist . Au s der NPVollst andigkeit der Entscheidungsvariant e von MAX-2-SAT folgt , dass auch die Entscheidungsvariante des Problem s, ein pseudoboolesches Polynom vom Grad 2 zu max imieren , Nl--vollstendig ist . Erstaunlicherweise ist 2-SAT in pol ynomieller Zeit losb ar. Dazu transformieren wir 2-SAT -Eingabe n in gerichtet e Graphen auf X l, X l , .. . , X n , Xn . Die Klau sel Zl + Z2 wird durch die Kanten ( 21 , Z2 ) mit der Interpret ation "Zl = 0 =} Z2 = 1" und (22 , Z l ) dargestellt . Es sind alle Klauseln genau dann gemeinsam erfullbar, wenn es filr kein e Variable Xi in dem erze ugten Gr aphen eine n Weg von Xi zu Xi und eine n Weg von Xi zu Xi gibt . Knotenfarbungsproblem e GC hab en sehr sp ezielle schwierige Teilprobleme. Mit 3-G C ist k-GC fur jed es k ~ 3 NP-vollstandig. Urn 3-GC <, k-GC zu zeige n, ftigen wir dem gegeb en en Graphen G insgesamt k - 3 neu e Kn ot en hinzu , die unter sich und mit allen Knot en von G verbunden werden . Damit mtissen diese Knoten mit k - 3 verschiedenen Farben gefa rbt werden , die fiir die alten Knoten nicht meh r benutzt werden konnen . Mit einem gierigen (greedy) Algorithmus lasst sich 2-GC in po lynomieller Zeit losen , Wir be t ra chten zwei weit ere Einschrankungen : - k-d-G C , das Problem k-GC eingesc hra nkt a uf Graphen , bei den en der maximale Knotengr ad durch d beschrankt ist , - k-GCpl, das Problem k-GC eingesc hrankt auf plan are Graphen , also Graphen , die sich so in die E be ne einbetten lassen , dass sich Kanten nicht schneide n. Mit k-d-GC pl bezeichnen wir die Kombination der beiden E inschrankungen . "Vir erhalten jet zt Probleme, die in de m Sinn t rivial sind, dass bei ihren E ntscheid ungsva riant en alle Eingab en akzeptiert werden. Dies gilt fur k-dG C und k > d, da bei d Nachbarn und mehr als d Farbe n die Nachb arn eines Knoten s beliebig gefarbt sein konnen , ohne dass wir ein Problem bekommen ,

7.1 Die Tr ennlinie zwischen einfac hen und schwierige n Varianten eines P robl em s

97

den Knot en seIber zu farben. Nach der Losung des beriihmten Vier-FarbenProblems ist jeder plan ar e Gr aph vierfarbbar und somit k-GC p 1 ftir k ~ 4 trivial und wie ob en angemerkt fi.ir k :s:; 2 effizient losbar . Dagegen ist das sehr spezielle Problem 3-4-GC p 1 NP-vollsUindig. Es handelt sich urn das Problem , ob ein plan ar er Gr aph mit maximalem Knotengrad 4 dreifarbbar ist . Diese letzt e Beh auptung folgt durch zwei polynomielle Reduktionen mit lokaler Er setzung, die 3-GC :S:;p 3-GC p l :S:;p 3-4-GC p l zeigen. Wir beginnen mit einer Ein gab e G fi.ir 3-GC und einer Einbettung von G in die Ebene mit Schnittpunkten . Abbildung 7.1.1 deutet an, wie wir eine Kante mit drei Schnittpunkten ersetzen. Dab ei ist P (siehe Abbildung 7.1.2) ein plan ar er Graph mit vier a uferen Knoten A , B , C und D . Durch Ausprobieren folgt leicht , dass je de Farbung von P mit drei Farbe n die beid en folgenden Eigenschaft en hat: - A und C erha lte n dieselbe Farb e und B und D erhalten dieselb e Farb e. - J ede Farbung f von A, B , C und D mit f(A) = f( C) und f(B ) = f(D) kann zu einer Farbung von P mit drei Farben erweite rt werd en .

Abb. 7.1.1. Die Beh andlung sich schneidender Kanten in 3-GC

~p

3-GC p j •

Diese Konstruktion sichert , dass in Abbildung 7.1.1 die Kno ten u und u' dieselb e Farbe und somit u und v verschiedene Farb en erha lte n. And erer seits lasst sich jede F arbung des nicht plan ar en Gr aphen in eine Farbung des plan ar en Gr aphen iibe rsetzen. 1m nachst en Schri tt solI ein Kno t en v mit Gr ad d > 4 ersetz t werd en d urch einen planaren Gr aphen Hd mit d "auBeren" Knoten , deren Gr ad durch 2 beschr ankt ist , und inneren Kno ten , deren Grad durch 4 beschrankt ist . AuBerdem solI dieser Gr aph gena u dann mit dr ei Farben farbbar sein, wenn die auBeren Knoten diese lbe Farbe erha lte n. Dann konnen die d Kanten , die an v anli egen , auf die d aufe ren Knoten des Graphen , der v reprasentiert , "verte ilt" werden , ohn e die F arbbarkeit seigenschaft en zu ver andern , Die Konstruktion ist in Abbildung 7.1.3 fi.ir d = 6 beschri eb en. Da die Knoten 1, 2 und 3 in H * nur Gr ad 2 hab en , konnen an ihnen zwei H * -Kopien verschmol zen werde n, ohne eine n Knoten mit mehr als vier Nachbarn zu erzeugen. AbschlieBend beh an deln wir das Meist erschaft sproblem CP mit n bet eiligt en Vereinen . Mit der a-Aufteilungs regel ist es polynomiell losbar. Dagegen ist es fi.ir die (O ,1,3)-Aufteilungsregel Nl-- vollstandlg. Dieses Ergebnis

98

7. Die Komplexitatsan alyse von P roblemen

Abb. 7.1.2. Der plan are Graph P.

Abb. 7.1.3. Die Ersetzung eines Knotens mit Grad 6 durch einen plan aren Graph en mit m axim alem Grad 4.

kann fur jedes b E Q, b > 1, b -I- 2 auf die (O,l ,b)-Aufteilungsregel ub ertragen werden. Dab ei lasst sich beispielsweise die (O ,1,3j2)-Aufteilungsregel als (O ,2,3)-Regel, also Punkte bei Niederlage, 2 Punkte bei Unent schieden und 3 Punkte bei Sieg, besser int erpreti eren . Reale Meist erschaftsprobleme sind spezieller als die bisher behandelt en Probleme, bei denen eine List e von noch auszufiihrenden Spielen gegebe n ist . Spielpl an e sehen Spielt age vor, an denen je der Verein genau ein Spiel au stragt . Das (O,1,3)-M eist er schaft sproblem ist selbst fur dr ei ausste hende Spielt age NP-vollst andig, wah rend es fiir zwei au sst ehende Spielt age polynomiell losbar ist . Dab ei ist abe r unkl ar , ob die vorgegeb enen Punktest ande auch in einem Spielplan mit Hin- und Ru ckrunde erreichbar sind. Darilber hin au s folgt die Spielpl angest altung zumindest in der deutschen Bundesliga (fur Fufball ) einem vorgegeb enen Schem a mit star-

°

7.2 P seudopolynomielle Algor it hmen und st arke NP-Voll sUindigkeit

99

ken "Lokalitiitseigenschafte n " . Bei der 3-Punkte-Regel ist unter dieser Einschriinkung das Meist erschaft sproblem ftlr O(logl/ 2n) aus st ehende Spielt age polynomiell losb ar, Ob es bei dieser Spielpl angest altung sogar stets effizient losb ar ist , ist ein offenes Problem .

B ei NP- vollstandigen und NP-aquivalent en Problem en lohnt sich die Uberlegung, ob vielleicht nus: Algorithmen fur eine speziellere Problemvariante benotiqt werden, und gegebenenfall s lohnt sich die Untersuchung der Komplexitiit des spezielleren Problems . An B eispielen haben wir gesehen, dass die Trennlinie zwischen einf achen und schwierigen Varianten eines Problems einen iiberroschenden Verlauf nehm en kann.

7.2 Pseudopolynomielle Algorithmen und starke NP-Vollstandigkeit In Kap it el 7.1 haben wir eine fur Anwendungen wichtige Moglichkeit, P robleme einzuschr iinken, nicht beh andelt , namlich die Beschriinkung der GroBe der in der Eingab e vorkommenden Zahl en . Wir betrachten hier nur naturliche Zahlen. Eingaben der Bitliinge n konnen Zahlen ent halten, die bezilglich n exponent iell groB sind . Andererseits benotigen die meist en Anwendungen nur Zahl en "moderat er" Crofe, Hier int eressieren also Probleme, bei denen Zahl en , deren Grofe nicht polynomiell in der Eingab eliinge beschriinkt ist , nicht sinnlos sind. Bei der Entscheidungsvariante des Cliquenproblems fragen wir fur einen Par am et er k nach der Existenz einer Clique der Gr oBe k . P rin zipi ell kann k eine beliebige natilrliche Zahl sein. Sinnvoll sind aber nur Werte, bei denen die Antwort nicht un abhiingig vom betracht et en Graphen ist , also Werte k E {2, . .. ,n}. Dami t ist das Cliquenproblem hier nicht von Inter esse. Gleiches gilt fur alle Vari anten des Cliquenpro blems , fur Uberwachungsprobleme , Teambildungsproblem e und Verifikationsprobleme. Dagegen sind Rundreiseprobleme, Ru cksackp robl eme, Aufteilungsprobleme , Flussprobleme, Meist erschaftsprobleme und zahlent heoretische Probleme von der Art , dass Zahl en , der en Wert e nicht polynomiell in der Eingabe liinge beschrankt sind, nicht prinzipiell sinnlos sind. Sie heiBen Problem e auf grojJen Zahlen (number problem s) . Fur schwierige, also z. B. NP-iiquivalent e Probleme st ellen wir un s die Frage, ob sie auch schwierig sind, wenn die in der Eingabe vorkommend en Zahl en po lynomiell in der E ingabe liinge beschriinkt sind. Eine Sonderrolle spielen za hlent heoret ische Problem e. Die E ingabe fur PRIMES besteht aus gena u einer Zahl in Biniird ar st ellung. Wenn wir die C rofe der Zahl pol yn omiell beschranken , fallt die E ingabeliinge aut omat isch exponentiell und die neue Zahl ha t wieder exponentielle Grofe bezogen auf ihr e Eingab eliinge. Dies ist bei den ande ren ob en erwiihnten Problemen ande rs . Wegen de r groBen Bedeut ung von Problembeschriinkungen a uf kleine Zahl en hab en Probleme auf

100

7. Die Kom plexit at sanalyse von P robleme n

groBen Zahl en , die bei derartigen Einschrankungen schwierig bleib en , eine besondere Bezeichnung erhalte n. Definition 7.2 .1.

Ein Entscheidungsproblem A auf gro Ben Zahl en heiBt

stark N P -v olls tiin dig (NP-complet e in t he strong sense), wenn es filr ein Po-

lynom p(n) und Einga ben, bei denen alle Zahlen aus N und bei Eingab elan ge n durch p(n) beschrankt sind , Nl -voilst andlg ist . Theorem 7.2 .2. Da s Rundreiseproblem T S P und da s M eisterschaftsproblem CP m it (0,1 , a )-Aufteilungsregel si n d stark NP- vollstiindig. Beweis. Wir wissen bereit s, dass T SP selbst dann Nl--volls t andlg ist , wenn die Dist an zen nur Wert e aus {1, 2} annehmen durfen, Die gr6Bte vorkommende Zahl ist dann n als Name des let zt en Ort es. CP ist filr die (0,1,3)-Aufteilun gsregel Nl--vollst andig und dami t sind die Zahl en in der Ein gab e durch die Anz ahl der bet eiligten Vereine und ausstehenden Spiele beschr ankt. D Der Begriff "st ark Nl-vollst andig" kann unter der Ann ahme NP i= P Problem e, die Nl--vollstandig sind, komplexit at stheoreti sch unterscheiden . Theorem 7.2 .3 . Fall s N P

i=

P ist, is t das Rucksackproblem KP nicht stark

NP-vollstiindig.

B eweis. Die Beh auptung wird durch die Angab e eines Algorithmus filr KP bewiesen , der fur polynomiell beschr ankte Gewicht swerte polynomielle Rechenzeit hat. Der Algorithmus folgt der Methode der dyn ami schen Progr ammierung. Mit KP(k , g), 1 ::::: k ::::: n , 0 ::::: 9 ::::: G , bezeichnen wir das Teilproblem , bei dem nur die ersten k Objekt e bet rachtet werd en und die Gewichtsgre nze 9 betragt . Es solI N (k, g) den gr6 Bten in KP (k , g) zu erreichende n Nut zen ange ben und D(k ,g) die Ent scheidung bei einer optimalen Bepackung des Ru cksacks, ob wir Ob jekt k einpacken (D (k, g ) = 1) od er nicht einpacken (D(k , g ) = 0). Zusatzlich legen wir fur nicht betracht ete Param et erwerte sinnvolle Werte fest : Es sei N (k , g ) = - 00 , falls 9 < 0 ist , und N (O, g) = N(k , 0) = D(k , 0) = 0 filr 9 ~ O. Der Algorithmus filllt nun zeilenweise eine Tab elle mit den Werten (N( k,g) ,D(k ,g)) . Bei der Betracht ung von KP( k, g) konnen wir Ob jekt k einpac ken und hab en uns nach dieser Ent scheidung den Nut zen ak gesichert, die Gewicht sgrenze filr die rest lichen Objekte auf 9 - gk gesenkt (eventuell ist g-gk < 0) und miissen dah erdas Problem KP( k -1 , g-gk) betracht en . Wenn wir Objekt k nicht einpacken, hab en wir es mit dem Problem KP(k - 1, g) zu t un. Also ist N(k ,g)

= m ax{ N(k - l ,g -

gk)

+ ak , N(k

- l , g)} .

Zusatzlich konnen wir D (k ,g) = 1 setzen, wenn N (k - 1,g - gk ) + ak ~ N(k - 1,g) ist , und ansonst en D(k ,g) = O. Die Berechnung von (N(k ,g) , D(k , g)) ist in Zeit 0(1) moglich. Die gesa mte Rechenzeit betragt O(n · G) und ist polynomiell beschr ankt , wenn G polyn omiell in n beschr ankt ist . D

7.2 Pseudopolynomielle Algorithmen und starke NP-Vollstiindigkeit

101

Wir nennen einen Algorithmus fur ein Problem auf groBen Zahl en pseudo polynomiell (pseudo-polynomial), wenn er fur jedes Pol ynom p(n) und Eingaben , bei denen alle Zahlen natlirliche durch p( n) in ihr er Gr oBe beschrankte Zahl en sind, eine polynomielle Rechenzeit hat. Unter der Annahme NP =I- P schlieBt ein pseudopolynomieller Algori thmus aus, dass das Problem stark Nl--vollstandig ist. Aus algorithmischer Sicht st ellt sich dieser Sachverhalt wie folgt dar : Falls N P =I- P ist, gibt es fur stark NP- voll stiindige Problem e nicht einmal ps eudopolynomi elle Algo rithmen .

Unt er diesen Gesichtspunkten lohnt ein Ru ckbli ck auf den Beweis von T heore m 6.3.1, also auf den Beweis, dass das spez ielle Rucksackproblem SSS NP-vollst andig ist . Bei der polynomiellen Reduktion von 3-SAT auf SSS wurden aus Eingab en mit m Klau seln und n Vari a bien Eingab en fur SSS gebildet, deren Dezim allan ge n + mist . Dies sind riesig groBe Zahl en. Ein e polynomielle Reduktion, die nur Zahlen erzeugt hatte, deren Gr oBe durch ein Polynom p(n , m ) beschrankt ist , hatte zur Kon sequ enz , dass NP = P ist. SchlieBlich ist nach Theorem 7.2.3 das Problem SSS auf kleinen Zahl en polynomiell losbar . Das Aufteilungsproblem BP ist selbst bei Beschr ankung a uf zwei Kisten NP-vollsUindig, aber mit dem pseudopolynomiellen Algorithmus fur SSS ebe nfalls pseudopolynomiell losbar. Etwas allgemeiner konnen wir fests tellen , dass Aufteilungsp robleme mit konst ant vielen Kist en pseudopolynomiell losbar und dam it unt er der Ann ahme NP =I- P nicht stark NP-vollstandig sind . Wir betracht en nun die gegente ilige Situati on fur Auft eilungsprobleme. Es gibt n = 3k Objekte und k Kist en der GroBe b. Die Objekt grofien al , "" an hab en die Eigens chaft , dass b/4 < a i < b/2 und a l + ... + an = k · b ist . Also passen in jed e Kist e mindest ens zwei und hochst ens drei der Objekt e. Nun ist zu entsc heide n, ob die Ob jekte in die k Kist en ver packt werden konnen. Im positiven Fall sind alle k Kisten voll gepac kt und jede Kist e enthiilt gena u drei Ob jekte. Dah er wird dieses Problem 3-PART1T10 N gena nnt. Im Gegensat z zu den Aufteilungsproblemen mit wenigen Kist en und vielen Objekt en pro Kist e ist dieses Aufteilungsproblem mit vielen Kist en und nur drei Obj ekten , die zusamme n in eine Kist e passen , stark NP-vollstandig. Theorem 7.2.4. 3-PARTI T I ON ist sta rk NP- vollstiindig . Wir verzicht en auf den t echnisch aufwa ndigen Beweis (siehe z. B. Garey und Johnson (1979)) . Dabei wird zunachst 3-DM auf ein Problem 4-PART1 T10N mit polynomiell groBen Zahlen und dann dieses Problem au f 3-PART1 T10N mit polynomiell groBen Zahl en polynomiell reduziert. Das Problem 4-PART1TION ist ana log zu 3-PA RT1TION so definiert , dass b/5 < a; < b/ 3 und n = 4k ist . Int eressant sind die beiden polynomiellen Redukt ionen, weil in ihn en ana log zum Beweis von 3-SAT :S;p SSS 1nformationen in Zahl en codiert werd en . Das Problem 3-PART1T10 N spielt eine wichtige

102

7. Die Komplexita tsan alyse von P roblemen

Roll e als Ausgan gsproblem , urn die st arke NP- Vollstiindigkeit anderer Problem e zu beweisen . Dieses wollen wir an den Lastverteilungsproblemen BP und SW1 demonstrier en.

Theorem 7.2.5. BP und SWI sin d st ark N P-volls tiin dig. Beweis. Die Aussage fur BP ist offensichtlich, da 3-PARTIT10N ein Sp ezialfall von BP ist . Zu m Beweis der Au ssage ftlr SW1 ge be n wir eine polynomielle Reduktion von 3-PART 1T 10N auf SW1 an und di skutieren hinterher die GroBe der betracht eten Zahl en. Die Eingab e fur 3-PART1TION besteht aus n = 3k , b und al , . .. , an mit b/4 < a; < b/2 und a l + ...+ an = k · b. Daraus kon struier en wir folgende Eingabe fur SW1 mit n Au fgab en A I , . .. , A n , die die Obj ekte a us der Eingab e fur 3-PART1TION reprasentieren , und k - 1 erzwing ende n Aufgab en E I , . .. , E k-l . Die Aufgab e A i darf sofort begonnen werden , d . h . r(A i ) = 0, ihre Dau er betriigt l(A i) = ai und sie mu ss zum Zeitpunkt kb + k - 1 beendet sein, d. h. d(A i ) = kb + k - 1. Der Wert k b + k - 1 wird der Gesamtliinge aller Aufgab en entspreche n. Die erzwinge nde n Aufgaben werden definiert durch r( E i) = i b + i - I, l(Ei) = 1 und d(Ei) = ib + i. Der Zeitpunkt ihrer Bearb eitung ist erzwunge n. Alle erzwinge nden Aufgaben zusam me n benoti gen eine Bearbeitungsd au er von k - 1 und erzwingen, dass die Aufgab en A I , . .. , An in k Blocke mit Bearbeitungsd au er b zerleg t werden . Daher erlaubt 3-PART 1T10 N genau dann eine Verpackung der n Objekte in k Kisten , wenn d ie n + k - 1 Aufgab en der E ingabe fur SW1 von eine m Prozessor unter Einhaltung der Nebe nbe dingunge n bearbeitet werden konnen . Die groBte in der Eingab e fur SW1 vorkommende Zahl ist offens ichtlich kb + k - 1. Wenn die Zahlen in der Eingab e fur 3-PART1T10N durch ein Pol ynom p( n ) beschriinkt sind, ist b S; p( n) un d k b + k - 1 S; k . (p( n) + 1) polynomiell in der An zahl n + k - 1 der Aufgab en beschrankt . Also folgt die st arke NP -Vollstii ndig keit von SW1 aus der starken NP -Vollstii ndig keit von 0 3-PART 1T 10 N.

7.3 Ein Uberblick tiber die betrachteten NP-Vollsttindigkeitsbeweise Im Laufe der let zt en vier Kapit el wurden viele Redukt ion en ent wor fen, die sich als polynomielle Reduktionen erwiesen hab en un d mi t den en di e NPVollst andigkeit oder sogar starke NP -Vollstiindi gkeit der Entscheidungsvarianten wichtiger P robleme bewiesen wurde. Diese Ergebnisse wer den in Abbildung 7.3.1 zusam me nge fasst . Mit N P( p(n )) werden dab ei alle Problem e bezeichnet, die nich tdeterminist isch in Zeit O(p(n)) von eine r stereot ype n Turingm aschine mit eine m Band entschiede n werden konnen . Die stark NP vollst iind igen Problem e auf groBen Zahl en sind eingerahmt . Die polynomiellen Reduktion en werden durch nach unten verl aufende Pfeile sy m bolisiert .

7.3 E in Ube rblick tib er di e bet racht et en NP-Vollst andigkeitsb eweise

103

NP(p(n)) +p(n)2 , (p(n) 2,p(n )2) SAT

+l,l 3-SAT

n +m, (n + m , n+ m) n

+m,

n +m, (n+ m ,n + m)

i.i

)G\n2,

k-SAT

2 2 \(n ,n )

(n, n+ m ¥

CLIQUE

j~ ~ 3

2

I

n +m, , (n ,m)

r

r

DHC

DH P

n +m, (n +m,n +m)

,(n +m,m) HC

2 +n ,n TSp 2,6, sym

(O,1,3) -C P 3 Spieltage

VC

3-4-GC p l

I n +m,

+(n, m)

IS

I

, (n + m, n + m)

n +m, (n+ m ,n+ m)

I n +m,

2)

"

3-GC p l MAX-k-SAT , n + m , s >: 3

k- G C , k :::: 3

(O,1,3)-CP

In ,(n:n

r

n +m, n+m

3-DM

+Zn++:,m) HP

+n2,n BMST

/

!4-PARTI TION

~ I

+ 13-PARTITIO N

SSS

n,/

~n

KP PARTITION

n , (n , n )

I

SC

~~ »<>: I I IT s p sym I IT SP I ISW I I IBP I

T SpN TSP 6

Abb. 7.3.1. E in Uberblick tib er NP -vo llstandige und stark NP -vollstand ige Problem e.

An ihn en st ehen die fur die Reduktion benotigt en Ressourcen , zunac hst die Rechenzeit und dann die GroBe der konstruierten Problem eingab e. Bei allen Angab en ist ein 0( ·) zu erg an zen . Bei SAT bezeichn et l die Eingabel ange. Abbildung 7.3.1 ist ein winziger Ausschnitt aus dem Gesamtbild bekannt er NP-Vollst andigkeit sbeweise. Es ist heute pr akti sch unrno glich, ein Gesamtbild zu erste llen. Darilber hin au s konnen wir davon ausge hen , dass sich das Ges amtbild fast t aglich andert . Es ist also eher untertrieben , wenn in Kapitel1 von tausenden von Nl--vollst andlgen Problemen geschriebe n wurde.

104

7. Die Komplexitatsanalyse von Problemen

Das Gesamtbild NP-vollstiindiger und NP -iiquivalenter Probleme ist un ilberschaubar. Das NP=/=P-Pmblem ist eine gmfle intellektuelle Herausforderung mit weitreichenden K onsequenzen.

8. Die Komplexitat von Approximationsproblemen - klassische Resultate

8.1 Komplexit.atsklassen Bisher hab en wir Optimierung als scharf formuliertes Krit eri um ver st an den . Nur die Berechnung einer bewiesenerm aBen opt imalen Losung za hlt als Ergebn is, alles andere ist ein Misserfolg. Falls wir ein Opt imierungsprobl em effizient exakt Iosen konnen , sollten wir dies auch tun . Allerdings sind sehr viele wichtige Optimierungsprobleme Nl-- aquivalent. Wenn wir fur derar tige P ro bleme effizient Losungen berechn en konnen , deren Wert ga ra nt iert nahe am Wert optimaler Losungen liegt , ist dies ein guter Ausweg a us dem (vermutet en) NP#P-Dilemma. Dies gilt fur Probleme aus realen Anwendungen, in denen die P ar am et er auf Schatzungen beruhen , no ch mehr, da exakte Optimierung unt er die sen Vorausset zun gen eine Fiktion ist . Fur Entscheidungsprobleme A bezeichn en wir die zugehorigen Optimierungsprobleme mit MAX-A bzw. MIN-A . Wir disku tieren also Op timierungsprobleme, bei denen es fur jede Eingab e x eine nicht leere Menge S (x ) zuliissiger Liisunqeri (solutions) gibt und jede Losung s E S( x) bezogen auf x einen posit iven Wert (valu e) v (x, s) hat . Diese Bedingungen t reffen auf die von uns betracht et en Optimierungsprobleme mit der Au sn ahme zu , dass man chmal Losun gen den Wert 0 hab en , so beim Cliquenprobl em die leere Menge od er beim Kn ot eniiberwachungsprobl em die leere Menge fur den Gr aphen ohne Kant en . Im erste n Fall konnen wir die leere Menge aus der Menge zulassiger Losun gen a usschlieBen , da es st et s t rivial berechenb ar e besser e Losungen gibt , namlich Cliquen de r Gr oBe 1. Im zweiten Fall konnen wir Gr aphen ohne Kanten von der Betrachtung ausschlieBen, ohne das Problem wesentlich zu verandern. Wir best ehen darauf, dass v (x, s) > 0 ist , damit wir durch v( x, s) dividieren konnen , Es ist unser Ziel, gute Losungen s E S( x) und deren Wert v (x, s) in polynomieller Zeit zu berechn en . Daher fordern wir, dass fur ein Pol ynom p jede Losung s E S( x) und deren Wert v (x, s ) eine durch p(lx l) beschr ankte Lange hab en . F ur die meist en Problem e werden die Wert e von Losungen ga nzzahlig sein. Eine Au snahme st ellt das Rundreiseproblem MIN-TSpd- Euklid dar. Schlief3lich mu ssen wir unterscheiden , ob wir an einer Losung mit rnoglichst groBem Wert (Maximierungsproblem , maximization problem) oder mit rnoglichst kleinem Wert (Minimierungsproblem , minimization problem) int eressiert sind. Die Gtite einer Losung s E S (x ) soll messen , "wie nah e" der Wert der Losung v (x, s ) I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

106

8. Die Komplexit at von Approximationsproblemen - klassische Resultate

dem Wert eine r optimalen Losung Vopt (x ) fur die Eingabe x kommt . Diese Ub erl egung ist zwar gut motiviert, beinhaltet abe r auch das Problem , dass die Definition den unbekannten Wert Vo pt(x ) ent halt . Wenn wir Vo pt(x ) effizient berechn en konnen , lasst sich das dem Optimierungsproblem zugrunde liegende Au swertungsproblem in polyn omi eller Zeit losen , Wir hab en in Kapitel 4.2 diskutiert, dass dann in den meist en F allen auch das Optimierungsproblem polynomiell las bar ist. Wir werden also auf das Problem st oBen , Vo pt(x ) abschatzen zu mii ssen. Zun achst wollen wir form alisieren , wie wir die "Nahe" von v (x ,s) und Vo pt(x ) messen wollen . Die naheliegendste Id ee ist es wohl, die Differenz Vo pt(x ) - v(x, s) oder ihren Betrag zu betrachten. Dies ist jedoch in vielen F allen nicht angemessen . Eine Abweichung von 10 beim Aufteilungsproblem MIN -BP ist gravierend, wenn 18 Kist en aus reichen, sie ist abe r vertretbar, wenn wir 1800 Kist en br au chen . Beim MI N-TSP andern wir das Problem form al , abe r nicht inhaltlich, wenn wir die En t fernung in Met ern st att in Kilom etern ausdrucken. Gleiches gilt, wenn wir den Nutzen beim Rucksackp roblem MIN-KP durch Geldw erte beschreib en und von Euro in Cent wech seln . In beiden F allen wurde sich die Differenz Vo pt(x ) - v(x , s) urn einen kon st ant en Fakt or ver andern. Da die Differen z nur in Au sn ahmefallen die Cute eine r Losung geeignet misst, werden wir nur den ubli chen Otiteb egr iff verwenden , bei dem das Verhaltnis, also der Quotient , von Vopt (x ) und v(x, s) betrachtet wird . Die obe n beschrieb enen Problem e bei der Bet racht ung von Vo pt(x ) - v(x, s) treten dann nicht a uf. Wir folgen der Tr ad ition, bei Maximierungsproblem en den Quotient en VoPt (x )/v(x,s ) und bei Minimierungsproblemen den Qu otienten v(x, s)/vopt(x ) zu verw enden . Dies sichert , dass wir einheit lich Cut ewerte er halten , die mindesten s 1 betragen . Allerdings mtissen wir akze pt ieren , d ass bessere Losungen kleinere Gutewerte hab en als schlecht ere Losungen . Diese Definition wird bei Minimierungsproblemen einheit lich verwendet, wahrend bei Max imierungsproblem en in der Liter atur a uch der Quotient v(x , s)/vo pt (x ) verwendet wird . Fur Optimierungsproblem e ist die Approximationsgiite (approximation ratio) r (x, s) einer fur eine Eingabe x zulassigen Losung s definiert durch

- Vo Pt (x )/v(x, s) bei Maximierungsp roblem en und - v (x, s)/vo pt(x ) bei Minimierungsproblemen . Von eine m Optimierungsalgorithmus A erwarten wir , dass er fur jed e Eingab e x eine zul assige Losung SA (x ) berechn et , die von ihm fur x erre ichte Approximationsgute ist dann rA (x ) := r (x ,sA (X)). Die Losung wird auch fur e := C:A (X) := rA(x) - 1 als e- optitnol bezeichnet . Bei Mini mierungsproblem en liegt der Wert der berechn et en Losung urn 100· e % tib er dem Optimum, bei Max imierungsproblem en ist das Optimum 100 · e % grofer als der Wer t der berechn et en Losung, deren Wert 100·(c:/ (1+c:)) % kleiner als das Optimum ist . E be nso wie wir nicht die Rechenzeit tA( X) eines Algorithmus fur jed e Eingab e bet racht en , werd en wir an St elle von r A(X) die m aximale Approximationsgiite (worst- case ap proximat ion ratio)

8.1 Komplexitatskl assen

107

untersuchen . Die maximale Approximationsgiite kann man chm al nicht angemessen sein. So wird in Kapitel 8.2 ein effizient er Approximationsalgorithmus A fur das Auft eilungsproblem BP vorgest ellt , fur den 11 v (x, SA(X)) ::; 9 . Vopt( x)

+4

gilt . Also ist 11 rA( x) < - 9

4

+ --. VoPt (x )

Da VoPt( x) ~ 1 ist , folgt rA (n ) ::; 47/9. Da wir Probleme, bei denen alle Objekte in eine Kist e passen , effizient erkennen konnen , ben6tigen wir die Abschatzung nur fur VoPt (x ) ~ 2, was zu rA (n ) ::; 29/ 9 fuhrt . Fiir Problem e mit groBen Werten von VoPt (x) nah er t sich die Approximationsgiite jedo ch dem viel besseren Wert von 11/9 . Dah er benutzen wir die Bezeichnung asymptotische maximale Approximationsgiite rA' (asymptotic worst -case approximation ra tio) fur die kleinst e Zahl b, fiir die es fur jedes e > 0 einen Wert v (c) gibt, so dass fur alle x mit VoPt( x) ~ v (c) die Beziehung rA(X) ::; b + e gilt . Wir werden sehen, dass es Probleme gibt, fur die die kleinste in po lynomi eller Zeit erreichbare asymptot ische maximale Approxim ationsgiite unter der Hypothese NP i= P kleiner als die kleinst e in polynomieller Zeit erreichb ar e maximale Approximationsgiit e ist . Ein Approximationsproblem (approximation problem) ist ein Optimierungsproblem , bei dem nicht notwendigerweise die Berechnung einer optimalen Losung verlan gt wird , sondern es ausreicht , eine vorgegeb ene (asymptotische) maximale Approximationsgiit e in polynomieller Zeit zu erreichen. Damit stellt sich die Frage nach der Komplexit at von Approximationsproblem en . Wir k6nnen uns auch fragen , ab welcher Approximationsgiit e die Komplexit at von "NP-aquivalent " in " polynomiell losbar " um schlagt . Bei Op timierungsproblemen konnten wir un s auf die Beh andlung ihr er Entscheidungsvariant en zuriickziehen. Fiir Approximationsprobl eme gibt es eine sinnvolle Variante als Auswertungsprobl em . Bei Maximieru ngsproblemen konnen wir verl an gen , eine Schr anke b zu berechnen , so dass der Wert einer optimalen Losung in [b, b- (1 + c)] liegt , bei Minimierungsproblemen sollt e der Wert optimaler L6sung en in [b/(1 + c) , b] liegen . Allerdings gibt es keine sinnvollen Entscheidungsvari ant en . Die Frage, ob der Wert optimaler L6sungen in [b, b . (1 + c)] liegt , erfordert bei Maximi erungsproblemen fur Ein gab en x mit v (x, s ) ::; b fur alle s E S( x) eine Aussage iiber den optimalen Wert der Losung. Un sere Definiti onen erla ube n auch t riviale Losungen . So konnen wir beim Cliquenproblem stets einen Kno t en als Clique der Gr6 Be 1 ausgebe n und er ha lte n eine Approxim ationsgiite von hochst ens n , Indem wir fur konst antes k alle Kno tenmengen mit hochst ens k Kno t en in polynomieller Zeit dar auf

108

8. Die Komplexitat von Approximationsproblemen - klassische Resultat e

ub erprufen , ob sie eine Clique bilden, und dann die gr6Bte gefundene Clique als Losung pr asentieren , garantieren wir eine Ap proxim ationsgute von nl k. Interessant werden erst Approxim ationsgtit en , die " nicht trivial" erre ichbar sind. Definition 8.1.1. Es sei r: N ----; [1 , (0) mit r (n + 1) 2': r (n ) gegebe n. Die Kornplexit atsklasse APX(r( n)) ent ha lt alle Approximationsprobleme, die mit maximaler Approximationsgtite r A(n ) :::; r( n) durch einen polynomiellen Algorithmus A gel6st werd en konnen. Mit APX wird die Vereinigung aller APX(c), c 2': 1, bezeichnet , also die Klasse aller Approximationsprobleme, die in pol ynomieller Zeit mit konstanter max imaler Approximationsgtit e gel6st werden konnen. Mit APX* wird der Durchschnit t aller APX(c), c > 1, bezeichnet. Die Definition von APX* verlan gt fur jed es c > 1 einen APX(c)-Algorithmus. Dies impli ziert aber nicht die Exi st enz eines Algorithmus, der bei Eingab e von E: > 0 die Berechnung einer s-optimalen Losung erm6g licht . Ein der artiger Algorithmus har t e jedoch den Vorteil, dass die Anwenderinnen un d Anwender selbst die gewtinschte Approxi mationsglite vorgebe n konnen . Definition 8 .1.2. Ein polynomielles Approximationsschema (p olynomialtime approximation scheme , P TAS) fur ein Approximationsp roblem ist ein Algorithmus A , der auf Eingab en (x , E:) arbe itet, wobei x eine Eingabe fur das P roblem und E: > 0 eine rationale Zahl ist , und fur fest gewa hltes E: in polynomieller Zeit bezogen auf die Lan ge von x eine Losung mit maximaler Approximationsgut e 1 + E: berechnet. Die Komplexitatsklasse PTAS ent ha lt alle Optimierungsprobleme, ftir die es ein polynomielles Approximationsscherna gibt. Selbst mit einem PTAS erfullen sich nicht alle W tinsche. Rechenzeit en wie 8(n l / t: ) oder 8(n · 21/ t: ) sind zugelassen, da sie fur konst ant es E: polynomiell sind. Allerdings sind der ar ti ge Rechenzeit en ftir kleines E: nicht tolerabel - im Gegensat z zu Rechenzeit en wie 8 (n IE: ). Definition 8.1.3. Ein echt polyno m ielles Approxirnation sschem a (fully polynom ial-time approximat ion scheme, FPTAS) ist ein P TAS , bei dem die Rechenzeit durch ein Pol ynom beztiglich der Lan ge von x und des Wertes von l i E: besc hrankt ist . Die Komplexitatsklasse FPTAS ent ha lt alle Op tirni eru ngs pro bleme, fur die es ein echt polynom ielles Approximationsschem a gibt. "Venn wir P auf Op timierungsprobleme einschra nken, gilt P <;;; F PTAS <;;; PTAS <;;; APX. Fur Optimierungsp robleme, die vermutlich nicht zu P geh6re n, sind wir daran interes siert zu entsc heiden, ob sie zu FPTAS, P TA S oder wenigst ens zu APX geh6 ren. Irn Fall von APX sind wir an m6glichst kleinen c int eressiert ,

8.2 Approximationsalgorithmen

109

so dass das Problem in APX(c) liegt. Ftir noch schwierigere Probleme sind wir an rnoglichst lan gsam wachsenden Funktionen r (n ) int eressiert, so dass die Problem e in APX( 1'(n)) liegen . Eine Ube rt ragung der Kornplexit atsklassen von deterministischen auf randomisiert e Algorithmen ist nahe liegend, solI hier ab er nicht im Det ail beschri eben werden.

Appro ximationsalgorithmen, die in polynomieller Zeit arbeii en, bilden fur schwierige Optimierungsprobleme eine fur die Anwendung en relevant e Alternative. Es stehen K ompl exitiitsklassen zur Verfugung, um zu unterscheiden, welche Appro ximaiionsqiite efjizie nt erreichbar ist.

8.2 Approximationsalgorithmen Um ein GefUhl fur Approximationsprobleme zu erhalte n, werden hier beispielhaft einige effiziente Approximationsalgorithmen diskutiert , wobei wir fur man che Beweise auf Lehrbticher tiber effiz iente Algorithmen verweisen . Zusat zlich werden einige Approximationsergebnisse zitiert . Wir beginn en mit Approximationsgtiten , die mit der Problemgrofe wachsen , es folgen APXAlgorithmen , PTAS und FPTAS. Wir beginnen mit zwei Problemen , fur die mit den Methoden aus Kapit el 12 gezeigt werden kann , dass sie nicht zu APX gehoren, wenn NP =j:. P ist . FUr das Cliquenproblem MAX-CLIQUE kann in polynomieller Zeit eine ApproximationsgUte von O(n/log 2 n) erzielt werd en (Boppan a und Halldorsson (1992)) . Dies ist eine nur geringfUgige Verbesserung gegentiber der t rivialen Approximationsgtit e von n od er en ftlr beliebiges e > O. Auch fur da s Mengentibe rdeckungsproblem MIN-SC ist es trivial , eine Approximationsgtit e von en zu erreichen. Hier ist es a ber sogar gelungen, in polynomieller Zeit eine Approximationsgtite von O(logn) zu gara ntieren (Johnson (1974)). Ftir einige Probleme werden nun APX-Algorithmen vorgestellt . Wie gut die err eichten Approximationsgtit en sind, wird in Kap it el 8.3 und Kapitel 12 diskutiert . Wir beginnen mit dem Knotentiberd eckungsproblem MIN-VC . In linear er Zeit durchlaufen wir die Liste der Kanten und wahl en eine Kante aus, wenn beide Endknoten noch frei sind . Zu Beginn sind alle Knoten frei und bei Wahl einer Kante wechseln beide Endknot en ihren St atus von "frei" in "besetzt" . Die Au sgab e best eht in der Menge der beset zt en Knot en . Wenn die beset zt en Knoten die Kante {v , w } nicht ub erwa chen wiird en , hatt on wir diese Kante gewahl t. Bei Wahl von k Kanten ent ha lt die Knotentiberdeckung 2k Knoten. Die k Kanten hab en keinen Knot en gemeinsa m. Dah er sind k Kno t en notig, um allein die gewa hlten Kant en zu ub erdecken . Also hab en wir eine Approximationsgtite von 2 erzielt. Inter essan t ist der folgend e polynomielle Algorithmus fiir MAX-3-SAT , der eine Approximationsgiit e von 8/7 erre icht , wenn alle Klaus eln genau dr ei verschiedene Lit eral e ent halte n. FUr jede Klau sel Ci gibt es acht Belegungen

110

8. Die Komplexit at von Approximationsproblemen - klas sisch e Resultate

der beteiligt en Vari ablen , von denen sieben die Klausel erftillen. Es sei X i die Zufallsvari able, die den Wert 1 annimmt, wenn eine zufallige Belegung der Vari ablen die Klau sel c; erflillt , und ansonste n den Wert a hat. Nach Bemerkung A.2.3 ist E(Xi ) = Probf.X, = 1) = 7/ 8 und bei m Klaus eln gilt nach Theorem A.2.4 fur X := X l +...+ X m die Gleichun g E(X) = (7/ 8) ·m . Im Durchschnitt werden also (7/ 8) . m Klau seln erfiillt und es werd en nie mehr als m Klauseln erflillt. Eine zufa llige Belegun g der Vari ablen hat som it eine Approximationsglite von hochst ens 8/7. Wi r werden diese Kon struktion derandomisieren . Dazu untersuchen wir die beiden rnoglichen Wer t e fur X n , also X n = a und X n = 1. Es ist einfach, E(X I X n = b) fur b « {a,l} als Summe aller a, := E(Xi I X n = b) zu berechnen. So ist ai = 1, wenn durch X n = b die Klaus el erfullt ist , ai = 7/ 8, wenn die Klau sel noch drei unbelegt e Variabl en hat , ai = 3/4, wenn die Klau sel noch zwei unb elegt e Vari abl en hat und das dritt e Lite ral den Wert a hat . Irn Laufe des Verfahrens wird es Klaus eln mit einer unbelegt en Vari ablen und zwei Lit er alen mit Wert a geben. Dann ist der zugehorige bedingt e Erwartungswert 1/2 . SchlieBlich hat die bedingt e Erwart ung von X i den Wert 0, wenn bereit s alle dr ei Lit erale "falsch" belegt wurden . Nach Theorem A.2.8 ist

E(X) =

1

2 . E(X I X n

=

1

0) + 2 ' E(X

IXn

= 1)

und es gibt einen Wert b., E {a, I }, so dass E(X I X n = bn ) ~ (7/8) ·m ist. Da wir die beiden bedin gt en Erwar tungswerte berechnet hab en , konnen wir bn geeignet wahl en. Nun fahren wir ana log flir die beiden Werte von Xn - l fort. SchlieBlich hab en wir bl , . .. , bn E {a, I} mit E(X I Xl = bl , · · · , X n = bn ) ~ (7/8) ·m gefunde n. Die Bedingung legt alle Vari abl en fest und X ist die Anzahl der auf diese Weise erflillten Klaus eln . Die Rechenzeit bet ragt O( nm ), da wir fur jede Var iabl e Xi die durch die Kon st antset zung Xi +! = bH I , ... , x n = bn entstehenden Klau seln betracht en . Fur das Aufteilungsproblem MIN-BP ist es sehr einfach, eine Approximationsglit e von 2 zu erzielen. Wir packen die Ob jekt e der Reih e nach ein. Wir wahlen nur dann eine ne ue Kiste, wenn ein Ob jekt in keine der bereits benu t zt en Kist en passt . Wenn alle Objekte in eine Kist e passen , er ha lte n wir eine optimale Losung. An sonst en sei b* die GroBe des Inhalts der am wenigsten bep ackt en Kist e. Falls b* :::; b/2 ist , sind nach unserer St rategie alle anderen benutzt en Kist en mit einem Inhalt von mehr als b - b* gefiillt . Also sind die Kist en im Durchschnitt st et s zu mehr als der Halfte geflillt und es ist unmoglich, die Anzahl der Kisten zu halbi eren. Ein etwas kompliziert er er Algorithmus erreicht in polynomieller Zeit eine Approxim ationsglit e von 3/2. Hierbei fallt auf, dass die groBen Objekte besond ere Schwierigkeit en verursachen. Dies flihrt zu der folgend en Idee. Zunachst werden die Obj ekte der GroBe nach sort iert und dann werden die grofite n Obj ekte zue rst ver pac kt . Urn Kist en mit groBem Freir aum zu er ha lten, wird stets die Kist e gewa hlt, die den kleinst en Freiraum hat und das Objekt noch aufnehme n kann. Die res ult ierende Strat egie ist unt er der Bezeichnung "best-tit-dec reasing" (BFD)

8.2 Approximationsalgorithmen

111

bekannt. Ftir sie wurde die Beziehung 11

v(x , SB FD(X)) S g Vopt(x)

+4

bewiesen (J ohnson (1974)) . Wi e schon in Kapitel8.1 diskutiert, fuh rt dies zu einer ob eren Schr anke fur die asymptotische maximale Approximationsgtite von 11/9. Ein polynomieller Algorithmus von Karmarkar und Karp (1982) hat eine durch 1+ 0 ((1og2 Vopt(x ))/vopt(x )) beschrankte Approximationsgtite, also eine asymptotische maximale Approximationsgtit e von 1. Ein derartiger Algorithmus wird a uch asymptotisch es FPTAS genannt . In den Kapiteln 8.3 und 12 diskutieren wir unt ere Schranken fur die maxim ale Approxim ationsgtite polynomieller Algori thmen. Zwei Ergebnisse fiir Rundreiseprobleme sollen nur erwa hnt werden . Fur MIN-TSP 6 kann eine maximale Approximationsgtit e von 3/2 durch polynomielle Algorithmen garantiert werden (sieh e Hromkovic (1997)) und fur MINTSpd-Euklid gibt es sogar ein PTAS (Arora (1997)) . Fur das Knoteniiberdeckungsproblem MIN-YC und die Berechnung groBer unabhan giger Mengen MAX-IS gibt es bei Einschrankung auf plan ar e Gr aphen ebenfalls ein PTAS (Korte und Schr ad er (1981)) . Wir wollen die Konstruktion eines PTAS exemplarisch an einem einfachen Lastverteilungsproblem , fur da s sogar ein FPTAS bekannt ist , demonstrieren . Es seien n Aufgaben auf zwei P rozessoren so zu verteilen , dass die maximale Belastung der Prozessoren minimal ist. Die Prozessoren sind identisch und benotigen eine Bearbeitungsdau er von a i fur die i-t e Aufgab e. Die Grundidee ist, dass es vor allem dar auf ankommt, die "groBen" Aufgaben , also die mit groBer Bearbeitungsdau er , gut zu verteilen , und dass es gar nicht viele groBe Aufgab en geben kann. Es sei e > 0 vorgegebe n und L := al + .. . + an die Gesamtdau er fur alle Aufg ab en . Ein e Aufgabe wird nun als groB bezeichnet , wenn ihre Bearbeitungsd au er mindest ens el. betragt . Dann ist die Anzahl groBer Aufg aben durch die Konstante L1/eJ beschr ankt und es gibt "nur " hochst ens c := 2 L1/ cJ Aufteilungen der groBen Aufgab en auf die beiden Prozessoren . Fur jed e Auft eilung der groBen Aufgab en werden die kleinen Aufgab en "g ierig" verteilt , es wird also stets der weniger ausgelastete Prozessor gewiihlt. Yon den hochstens c Losungen wird die beste gewahlt. Die benotigt e Rechenzeit von O(nc) ist fur konst ant es e linear , ab er kein Pol ynom in n und l / e. Wir vergleichen nun die maximale Belastung in einer optimalen Losung mit der maximalen Belastung in der Approximationslosung. Die optimale Losung verteilt die groBen Aufgab en ebe nfalls auf die beiden Prozessoren und wir untersuchen den Losungsversu ch, den der Approximationsalgori thmus mit der selb en Aufteilung der groBen Aufga ben begonn en hat. Wenn alle kleinen Aufg ab en an den durch die groBen Aufgaben weniger ausgelastete n P rozessor gegeben werden konnen , ohne die Last des anderen P rozessor s zu tib ert reffen , liefert der Approximationsalgorithmus eine optimale Losung. Anson st en sichert der gierige Algorithmus, dass sich die Last der beiden Prozessoren urn weniger als e l, unt erscheid et .

112

8. Die Komplexitat von Approximationsproblem en - klassische Resultat e

Damit ist die graBere Last hochstens urn el. / 2 grofe r als die Last beid er Prozessoren bei gleichmafiiger Auslastung. Bei gleicher Ausl astung betragt die Last beid er Prozessoren L /2. Fur die Eingab e x ist Vopt (x ) ~ L /2 und v (x, s) :::; L /2 + eL/2 = (1 + e)L/2 . Damit ist die Losung e-optimal und wir hab en ein PTAS entworfen. Ab schli eBend sollen Id een fiir ein FPTAS fur das Rucksackproblem MAXKP diskutiert werden (sieh e auch Hrornkovic (1997)) . Im Beweis von Theorem 7.2.3 haben wir mit der Methode der dynamischen Programmierung eine n pseudopolynomiellen Algorithmus fur das Rucksackproblem vorgestellt, der fur polynomiell beschrankte Gewichtswerte polynomiell zeit beschra nkt ist . Auf ahnliche Weise kann ein pseudopolynomieller Algorithmus entworfen werden , der fur polynomiell beschrankte Nutzenwerte und beliebi ge Gewichtswerte polynomiell zeit beschrankt ist. Wir betrachten nun beliebige Eingaben x fur das Ru cksackproblem . Dab ei konnen wir allerdings anne hme n, dass gi :::; G ftlr jed es Ob jekt i ist . Wenn wir die Nutzenw erte andern, verandern wir nicht die Menge zulassiger Losungen , also die Menge der Ru cksackbepackunge n , die das Gewicht slimit einhalten. Die Idee besteht darin, die Nutzenwerte zu verkleinern, ind em wir a; durch a~ := la i ' 2- t J fur ein ganzza hliges t > 0 zu ersetzen. Bildlich gesproc he n st reiche n wir die hinteren t St ellen in der Binardarstellung von a i ' Wenn wir t grof genug wahlen , werden die Nutzenwerte polynomiell klein . Wir losen das Problem x' mit den Nutzenwerten a~ . Die gefunde ne optimale Losung s ist auch fur das Problem x" mit den Nutzenwerten a~' := a~ . 2t optimal. Als Losung s* fur x wahl en wir a us s und der Losung, die nur das Ob jekt mit dem grofiten Nutzen a max wahlt , d ie bessere Losung. Wenn wir t zu grof wahlen , sind sich d ie Problem e x und x" zu un ahnlich, so dass s* nicht gu t sein muss. Wenn wir t zu klein wahlen , sind die Nutzenwerte so groB, dass der pseudopolynomielle Algorithmus keine polynomielle Laufzeit hat. Es gibt abe r eine n passenden Wert fur t, so dass die Approximationsgiit e durch 1 + e und die Rechenz eit durch O(n 3 / e) beschrankt ist. Damit erhalten wir ein FPTAS fur MAX-KP. W ir fass en die in polynomieller Zeit erreichbaren Approximationsgtlten zusamme n : - O (n/log 2 n) fur MAX-CLIQUE, - O(logn) fur MI N-SC , - 2 fur MI N-V C , - 8/7 fur MAX-3-SAT , - 3/2 fur MIN-BP, - 3/2 filr MIN-TSPL:., - PTAS ftir MIN_TSpd-Euklid, MIN-VCpl anar und MAX-IPplanafl - FPTAS fur Lastverteilung auf zwei Prozessor en und MAX-KP, - asympt ot isches FPTAS fur MIN -BP.

8.3 Die Liickentechnik

113

8.3 D ie Liickent e ch nik Wir untersuchen nun, welche Approximationsprobleme schwierig sind . Da die von uns betrachteten Optimierungsprobleme NP-einfach sind, gilt dies auch fur die zugehorigen Approximationsvari anten. Sind sie auch noch NPschwierig, sind sie also sogar NP-aquivalent. Eine zentrale Technik fur derart ige Ergebnisse ist die so genannte Liickeniechsuk (gap technique) . Ihr Grundprinzip ist sehr einfach zu er lautern. Wenn wir ein Optimierungsproblem haben, fur das der Wert zulassiger Losungen entweder hoch st ens a oder mindestens b > a ist , und es NP-schwierig ist , Eingaben vom ersten Typ von Eingaben vom zweit en Typ zu unterscheiden, dann ist es NPschwierig, eine maximale Approximationsgute zu erreichen , die kleiner als bja ist. Mit einer derartigen Approximationsgiite erha lte n wir bei Maximierungsproblem en fiir Eingab en x mit Vopt(x) ::; a auch nur Losungen s mit v( x, s) ::; a. Dagegen erh alten wir fur Eingaben x mit Vo pt (x ) ::::: b Losungen s mit Vopt( x) j v( x , s) < bja, also ist

V(x , s) > a · Vopt(x )jb::::: a. Die Liickeneigenschaft impliziert, dass soga r v( x, s) ::::: b ist. Es gelingt uns also, Eingaben x mit Vopt (x ) ::; a von Eingaben x mit Vopt(x) ::::: b zu trennen. Die Ub erlegungen fur Minimierungsprobleme verlaufen analog. Wir wollen die ob en beschriebenen Probleme (a, b)-Luckenprobleme nennen. B e m e r k u n g 8.3.1. Ist ein (a , b)-Liickenproblem NP-schwierig, dann ist es fur das zugehorige Optimierungsproblem NP-schwierig, eine maximale Approximationsgiite zu erzielen, die kleiner als bja ist .

Wie abe r erhalte n wir (a, b)-Liickenprobleme? Liickenproblem e konnen sich bei polynomiellen Reduktionen ergebe n. Wenn wir ein NP-schwieriges Problem polynomiell auf ein Entscheidungsproblem reduzieren , bei dem zu entscheiden ist , ob ein Maximierungsproblem eine Losung mit Mind estwert b hat, und wenn dab ei abzulehnende Eingaben nur Losungen mit Maximalwert a haben , dann hab en wir ein NP-schwieriges (a, b)-Liickenproblem erhalt en . Am best en ware es, wenn im Theorem von Cook die konstruierten Ein gab en fur SAT eine groBe Liicke hatton, wenn also entweder alle Klauseln erfullbar sind od er nur ein Anteil a < 1. Leider liefert der Beweis des Theorems von Cook kein der artiges Ergebnis. Wir konnen st ets alle Klauseln bis auf eine erftillen, ind em wir die Vari abl en so belegen, dass sie eine Rechnung der Turin gmaschine simuli eren. Dann sind mindestens alle Klauseln mit Ausnahme der Klausel, die ub erpruft , ob der letzte Zust and akzept ierend ist, erfiillt . Dennoch gibt es eine sehr einfache Anwendung der Liickentechnik. In der polynomiellen Reduktion von HC auf TSP (Theorem 4.3.1) wurden Kanten durch Distanzwerte 1 und fehlende Kanten durch Distanzwerte 2 erset zt . Rundreisen, die auf hamiltonschen Kr eisen im Gr aph beruhen , hab en dann Kosten n und andere Rundreisen Mind estkost en von n + 1. Dies ergibt das

114

8. Die Kornpl exit at von Approxim ationsproblemen - klassische Resul t ate

bescheid ene Ergebnis eines NP-schwierigen (n , n+ l.j-Luckenproblems. In diesem Fall kann die Lucke leicht vergrofert werden, indem wir die Dist an zwerte 2 durch beliebi ge polynomiell lange Zahlen , also z.B. n2 n , erse tzen. Damit hab en Rundreisen , die nicht auf hamiltonschen Krei sen im Graphen beruhen , Mindestkosten von n 2n +n -1 und TSP ist ein NP-schwieriges (n , n2 n +n -1)Luckenproblem.

Theorem 8 .3.2. Falls NP =1= P ist, gibt es kein en polynomiellen Algorithmus fur MIN- TSP mit maximal er Approximation sgut e 2n . Das Rundreiseproblem ist in seine r allgemeine n Form also sogar fur exponentielle Approximationsguten schwierig, wiihr end das Ru cksackproblem mit eine m FPTAS zu losen ist. Dies ist ein Beispi el, wie die An alys e der Approximationsvarianten eine fein ere Komplexitiitsan alys e liefert als die Betrachtung der reinen Optimierungsvarianten . Es ist aber selten so einfach wie fur das Rundreiseproblem , die Schwierigkeit fur sehr groBe Approximationsgu t en nachzuweisen . Fur die meist en von uns bet rachtet en Optimierungsproblem e erhalten wir mit der Lu ckentechnik zumindest ens schwache Nichtapproximierbarkeitsresultate. Ein Optimierungsproblem wird als Problem mit kleinen Los unqsuierten bezeichnet, wenn die Werte aller Losungen positiv , ga nzzahlig und polynomiell in der Eingab eliinge beschr iinkt sind . Dies gilt fur alle Aufteilungsprobleme, Ub erwachungsproblem e, Cliquenprobleme, Teambildungsp robleme und die Optimier un gsvarianten der Verifikationsproblem e. Es gilt a uch fur Problem e auf groBen Zahlen, also Rundreiseproblem e und Rucksackprobl eme, wenn wir d ie Zahlen in der Eingabe in ihre r GroBe polynomiell in der E ingabe liinge beschr iinken . Es ist also gar nicht nahe liegend, sich ein P roblem auszude nken, das selbst bei Einschr iinkung a uf klein e Zahlen in der Eingabe kein Problem mit kleinen Losungswerten ist . So ein Problem entsteht , wenn wir die Kost en beim R undreiseproblem als Produkt der Distan zwerte definieren.

Theorem 8.3.3. Falls NP =1= P isi, haben NP- schwierige Problem e mit kleinen Losunqsuiert eti kein FP TAS. Beweis. Es sei p(n) eine polynomielle Schranke fur die Losungswerte. Ein F P TAS ist fur e(n ) := l /p(n) ein pol ynomieller Approximationsalgorithmus, da die Rechenzeit polynomiell in der Eingab eliinge n und l / e(n) = p(n) beschra nkt ist . Da nach Vorau ssetzung NP =1= P und das P robl em NP -schwierig ist, berechn et dieser Algorithmus nicht auf allen Eingab en eine op t imale Losung. SchlieBlich liegen die Losungswerte in {1, ... , p(n)} und jed es nicht optimale Ergebnis fiihrt dazu , dass d ie maximale Approximationsgtite mi ndest ens

p(n) /(p( n) - 1)

= 1 + l /(p(n) -

ist im Widerspruch zur Annahme.

1)

> 1 + e(n )

o

8.3 Die Liickent echn ik

115

Dies es Ergebnis hat besonders fur Optimierungsprobleme, deren Entscheidungsvarianten st ark NP-vollstandig sind, Konsequenzen . Wir nennen diese Optimierungsprobleme stark NP-schwierig. Wenn die Einsch rankung auf die NP-schwierige Vari ante mit polynomiell groBen Zahlen ein Problem mit kleinen Losungswerten ist , kann Theorem 8.3.3 an gewendet werden. Crofere Lucken erhalt en wir fur Optimierungsprobleme, bei den en die Entscheidungsvariante schon fur kleine Zahlen NP- vollstandig ist .

Theore m 8.3.4. Falls NP =I- P ist und fur ein Minimierungsproblem mit ganzzahligen Liisunqsuiert eti die Entscheidung, ob Vopt (x) :s; kist, NPschwierig ist, dann gibt es kein en polynomiellen Algorithmus mit einer maxim alen Approximoiionsqiite, die kleiner als 1 + l /k ist . Gleiches gilt fur Maximierungsprobl em e und die Entscheidung , ob Vopt(x) :::: k + 1 ist. B e we is. Der Beweis erfolgt durch Widerspruch. Wir benutzen den polynomiell en Algorithmus A mit rA(n) < 1 + l /k zur Losung des Entscheidungsproblems. Die Eingabe wird gen au dann akzept iert , wenn A eine Losung s mit v( x, s) :s; k liefert . Falls es eine Losung s mit v (x, s) :s; k gibt und A eine Losung s' mit v (x , s') :::: k + 1 berechnet, betragt seine maximale Approximationsgute mindestens (k + 1)/k = 1 + l /k im Widerspruch zur Annahme. D

K or ollar 8.3.5. Falls NP =I- P ist , hat das Graphfarbung sproblem MIN-GC keinen polynomiellen Algorithmus mit einer maximalen Approximaiionsqiite klein er als 4/3 und das Aufteilungsproblem MIN-BP kein en polynomiellen Algorithmus mit ein er maximalen Approximationsqiite klein er als 3/2 . B e weis . FUr GC ist die ,,:S; 3-Variante" (Korollar 6.5.3) und fur BP die ,,:S; 2-Variante" und soga r deren Spezialfall PARTITION (Korollar 6.3.2) NPvollst andig.

D

Unsere E rgebnisse fur MIN-BP zeigen , dass sich die Begriffe "i n polynornieller Zeit erreichbare maximale ApproximationsgUte" und " in po lynomieller Zeit erreichbare asymptotische maximale Approximationsgute" unterscheiden , falls NP =I- P ist . Der erste Param et er ist dann 3/2 und der zweite l. Fur GC gibt es viel bessere Ergebnisse. Dennoch wollen wir mit den bisher behandelten klassi schen Methoden zeigen , dass, falls NP =I- P ist , in polynomieller Zeit auch kein e asymptotische m aximale Approximat.ionsgute von kleiner als 4/ 3 erreichbar ist . Dafur betrachten wir eine n Graphen G = (V, E) mit minimaler Farbungszahl X(G) . Wir erzeugen in polynomieller Zeit einen Graphen Gk = (Vk, Ek) mit X(Gk) = k· X(G) . Die (3,4)-LUcke wird also zu einer (3k ,4k)-Lucke, also eine r LUcke mit dem Quotienten 4/3 fur beliebig groBe Farbungszahlen. Die Konstruktion erset zt jeden Knoten v von G durch eine k-Clique. Knoten aus zwei verschiedenen k-Cliquen werden genau dann durch Kanten verbunden , wenn die Knoten in G , die ihr e k-Cliquen re prasent ieren , durch eine Kan t e

116

8. Die Komplexit at von Approxim at ionsproblemen - klassische Resultate

verbunden sind. Aus einer m-Farbung fur G erhalten wir eine km-F arbung fur Gk, inde m wir fur jede Farbe k neu e Farben wahlen und die k-Cli que fur eine n mit Farbe c gefar bten Knoten v mit den k Fa rbe n, die c ersetzen , farb en . Andererseits mussen die Clique n k vers chieden e Farb en erhalt en und alle Knoten in zwei Cliquen, die ver bunden sind , verschied en e Farb en erhalten. Also kommen wir nich t mit wen iger als k· X(G) Farben fur Gk aus. Zusammen gefasst haben wir mit de n Ergebnissen aus Kapi t el 8.2 und einfache n Anwendungen der Ltickentechnik unter de r Annahme NP =I P folgende Ergebnisse gezeigt: - MAX -KP E F P TAS - P , - MIN-BP E APX - P TAS , MIN-GC rt PTAS, - MIN-TSP rt APX. Das in Kapitel 12 vor gest ellt e P CP-Theorem liefer t eine Methode, urn die Lu ckentechnik auf weitau s mehr Problem e anz uwende n .

8.4 Approximationserhaltende Reduktionen Mit T heorem 8.3.3 konnen wir unt er der Annahme NP =I P fur viele Problem e die Existen z eines FPTAS aussc hlieBen. Negative Au ssagen tiber die Zugeh ori gkeit zu PTAS und APX sind seltener. Dah er sind wir an Redukt ionskonze pten inter essiert, die derartige Aussagen von eine m Problem auf ein ande res tibert rage n . Was erwarten wir von Reduktionskonzepten ,,:::;P TAS" od er ,,:::;APX "? Sie sollen reflexiv und tran sitiv sein und A :::;PTAS B soll sicherstellen, dass A E PTAS ist , wenn B E PTAS ist , analog fur ,, :::;AP X '" Wi e bei polynomiellen Reduktionen soll das Unt erprogramm fur B nur einmal aufgerufen werden . Dies kann jed och nicht wie be i pol ynomi ellen Redukti onen ga nz am Ende gesche hen . Wir erhalten als E rgeb nis des Aufrufs des Unterprogr amms die Losung fur eine Eingabe des Problems B , d ie meist ens nicht direkt als Losung fur die gege be ne Ein gab e des Problems A verwendet werden kann. Wir benotigen also eine effizient berechen bare Tr an sformation , die gute Approximatlonslosungen fur Ei ngaben des Problems B in "gentigend gute" Approx imati onslOsunge n ftir die vorgege be ne Eingab e des Problem s A umformt. Definition 8.4.1. Eine P TA S-Reduktion eines Optimierungsproblems A auf ein Optimierungsproblem B , Notation A :::;PTAS B , besteht aus einem Tripel (f, g, a) von Ab bildungen mit folgenden E igenschaften :

- f bildet Eingab en x des Problems A auf Eingab en f( x) des P rob lem s B ab und ist in pol ynomieller Zeit berechenb ar , - 9 bildet Tr ipel aus Eingab en x des Problems A , Losungen y ESB (f (x)) und Zahlen e E Q+ auf Losungen g( x, y , c ) E SA (x) a b und ist in polyn omieller Zeit berechenbar ,

8.4 Approximationserhal tende Reduktionen

117

- ex: Q+ -+ Q+ ist eine surjektive, in pol ynomieller Zeit berechenbare Funktion , - falls TB(f (x) , y) :'::: 1 + ex(e) ist , gilt TA(x , g(x , y, c:)) :'::: 1 + e. (Die Indizes A und B bezeichnen die betracht et en Probleme und nicht Algorithmen .) Wir werden in den folgenden Betrachtun gen sehen , dass diese Definition allen Anforderungen gerecht wird. AuBerdem sind die Anforderungen "sparsam" realisiert. So muss 9 nur fur Eingaben von B definiert sein, die sich aus Eingab en fur A mit f er zeugen lassen. Lemma 8.4.2. Falls A

:'::: P TAS

B und B E PTAS gelten, ist A E PTAS.

Beweis. Die Eingab e fur ein PTAS fur A best eht aus einer Eingabe x fur A und einem c: E Q+. Wir berechnen in polynomieller Zeit f( x) und ex(c:) , wenden das PTAS filr B a uf (f( x) , ex(c:)) an und erhalten eine ex (c:)-opt imale Losung y E SB(f( X)). Dann berechnen wir in polynomieller Zeit g(x ,y, c:) E SA (x) und gebe n das R esultat als Losung fur x aus. Die letzte Eig enschaft von PTAS-Reduktionen sich ert , dass g(x ,y,c:) s-opt lmal filr x ist. 0 Lemma 8.4.3. Falls A

:':::PTAS

B und B E APX gelten , ist A E APX.

Beweis. Da B E APX ist , gibt es einen polynomiellen Approximationsalgorit hmus fur B , der J-optimale Losungen fur ein J E Q+ berechnet. Da die Funktion ex aus der PTAS-Reduktion von A a uf B surje kt iv ist, gibt es ein c: E Q+ mit ex(c:) = J . Nun konnen wir den Beweis von Lemma 8.4 .2 fur dieses konstante e > 0 ub ernehmen und erhalte n eine n polynomiellen Approximationsalgorithmus fur A , der s-opt imale Losungen ga rant iert. 0 Damit beno ti gen wir kein spezielles Reduktionskonzept ,,:':::AP X ". Der Vollst andigkeit halber erwahne n wir , dass ,, :':::PTAS" reflexiv und transitiv ist . Die Au ssage A :'::: P TAS A folgt , wenn wir f( x) = x, g(x , y, s ) = y und ex(c:) = e definieren . Wenn (fI,gl ,exd eine P TAS-Reduktion von A auf B und (f2 ,g2, ex2) eine PTAS-Reduktion von B auf C ist, dann erhalten wir , wie in Abbildung 8.4.1 illu strier t, eine P TAS-Reduktion (f,g ,ex) von A auf C . Dabei ist f = h 0 fI und ex = ex2 0 exl . SchlieBlich ist

g(x ,y, c:) = gl( x ,g2(fI(x),y , exl(C:)),C:). Ei nige der von uns bereits entworfenen pol ynorni ellen Reduktionen erweisen sich als PTAS-Reduktionen fur die zugehorigen Optimierungsproblem e, wob ei die Transformation 9 in den Korrektheit sb eweisen verst eckt war. Theorem 8.4.4. Es gilt

- MAX- 3-SAT :'::: PTAS MAX-CLIQUE und - MAX-CLIQUE =PTAS MAX-IS.

118

8. Die Komplexitat von Approximationsproblemen - klassische Resultate

Y

(x , c) i v.« :

= 91( x, Y1, c)

s-opt imal fur A

1

1

91

Y1 = 92 (h(X) ,Y2,Cq(c)) 0:1

(c)-opt imal fur B

h,0<2 1 (12

0

h(X), 0:2 o 0: 1 (c))

1 92

P TAS fUrC

~

Y2 E Se (12 0: 2 0 0:1

0 he x)) (c)-optimal fur C

Abb. 8.4.1. Die Tr ansiti vitat von PTAS-Reduktionen.

Beweis. Fiir die erst e Aussage wahlen wir die Tr ansformation f aus dem Beweis von 3-SAT :Sp CLIQUE (Theorem 4.4.3) . 1m zugehOrigen Korrektheitsbeweis hab en wir impli zit gezeigt, wie wir jede Clique del' Gro£e k im Problem f( x) effizient in eine Belegung del' Vari ab len des Ausgan gsproblems x tran sformieren konn en , die k Klau seln erfiillt. Diese Belegun g wahl en wir als g(x ,y,s) . Schlie£lich kann o:(s) = e gesetz t werden. Die zweite Aussage folgt ana log aus dem Beweis von CLIQUE = p IS (Theorem 4.3.4) . Hier kann soga r g(x, y , s ) = y und o:(s) = s gesetz t werden , da eine Kno tenmenge, die in G = (V, E) eine Clique ist, in G = (V, E) eine Anticlique ist und umgekehrt. 0

Schlie£lich war au ch die am Ende von Kapitel 8.3 beschrieb ene "Aufblahungstechnik" fiir Gr aphen und das Farbungsp robl em MIN-GC eine approximationserhalt ende Reduktion von dem Problem auf sich selbst, wobei die Tr an sformation Graphen mit groferer Farbungszahl erzeugt hat . Allerdin gs sind viele del' vorgestellten polynomiellen Reduktionen nicht approximationserhaltend. Wenn wir beispielsweise die polynomielle Reduktion fiir SAT :Sp 3-SAT (Theorem 4.3.2) im Spezialfall von Klauseln del' Lan ge 4 betracht en , werd en aus m Klaus eln fiir MAX-4-SAT 2m Klau seln fiir MAX3-SAT, von denen m Klau seln erfiillt werden konnen, indem alle neu en Variablen den Wert 1 erha lten. Ein e Approxim at ionsgiite von 2 fur MAX-3- SAT hat also keine dir ekt en Folgen fiir die gegebene Eingab e von MAX-4-SAT. Del' Beweis von Theorem 8.4.4 hat gezeigt , dass MAX- CLIQUE und MAX-IS beztiglich ihrer Approximierbarkeit identische Eigenschaft en hab en. Theorem 4.3.4 hat abel' nicht nul' die enge Verwandtschaft von CLIQUE und IS, sond ern auch eine enge Verwandschaft von IS und VC gezeigt. Fur MIN-VC kennen wir aus Kapitel 8.2 einen polynomiellen App roxim ationsalgorit hmus mit maximaler Approxim ationsgiite 2. 1m Beweis von IP :Sp VC wurde del' gegebene Graph G nicht verandert und nur die Schr anke k durch n - k erse tzt. Aus einer Kno t eniiberd eckung V' ~ V erha lte n wir die

8.5 Vollstand ige Approximation sprobleme

119

un abhsngige Menge V" := V - V' . Was bed eutet dies fur die Approximierbarkeit von MAX-IS ? Nicht s, wie folgendes Beispiel zeigt. Der Graph G = (V, E) bestehe aus n /2 Kanten, die keinen Knoten gemeinsam hab en, Der 2-Approxim ationsalgorithmus berechnet als Losun g die volle Knotenmenge V' = V , die eine Approximationsgute von 2 hat. Damit ist V" die leere Menge und wird na ch uns eren Bemerkungen in Kapit e18 .1 durch eine bessere Losung, die aus einem Knoten besteht, ersetz t . Dennoch ist die Approximationsgiit e mit n /2 sehr schlecht . Tatsachlich werden sich MAX-CLIQUE und MAX-IS in Kapitel 12 als nur schlecht approximierba r erweisen.

8.5 Vollstandige Approximationsprobleme Der Erfolg der NP-Vollst andigkeit stheorie fuhr t zu der Frage, ob es eine Klasse von Optimierungsproblemen gibt, die fur Approximationsprobleme die Rolle von NP spielen kann, und ob es in dieser Klasse beziiglich ,,:::;P TAS" vollstandige P robl eme gibt. Die Klasse NP ist dadurch definiert, dass wir zur Eingab e x und einem polynomiell lan gen Beweisversuch y in polynomieller Zeit ents cheiden konnen , ob y beweist , dass x ftir das gegeb ene Entscheidungsproblem akzept iert werd en muss. Bei Op t imierungsproblemen spielen zul assige Losungen die Rolle von Beweisen . Definition 8.5.1. Ein Optimierungsproblem A gehort zur Komplexit at sklasse NPO (nondet erministic polynomial-time op timization problems), wenn es fur eine Ein gab e (x, s) in polynomieller Zeit moglich ist , zu ub erprufen , ob s eine fur x zulassige Losung ist , und im positiven Fall v (x , s) zu berechnen. Die Klasse NPO eingeschr ankt auf Maximierungsprobleme wird mit MAX-NPO und eingeschra nkt auf Minimierungsprobleme mit MIN-NPO bezeichnet .

Es ist nahe liegend , die Beziehungen zwischen den Komplexitatsklassen fur Approximationsproblerne aus Kapitel 8.1 auszudehnen auf P

~

FPTAS

~

P TAS

~

APX < NPO.

Allerdings gilt nach un seren bisherigen Definitionen APX ~ NPO nicht . Aus jedem Entscheidungsproblem , also auc h a us einem nicht rekursiven P robl em , erha lte n wir auf folgende Weise ein APX-Problem . Zu jeder Ein gabe x sei S( x) = {O, I} , wob ei 1 dem Akzeptieren von x und 0 dem Ablehnen von x ents pricht . Der Wer t der "richt igen Ents cheidung" sei 2 und der Wert der "falschen Entscheidung" sei 1. Das zugehorige Maximi erungsproblern ist in APX ent halte n, da die Ausgab e 1 st ets eine Approximationsgute von hochst ens 2 hat. Die Berechnung von v (x, 1) st ellt abe r ein nicht rekursives P roblem dar. Da NP O alle pr aktisch relevanten Op timierungsproblem e ent ha lt , schranken wir nun die Klassen P, FPTAS , PTAS und APX auf P robl eme in NP O ein, beh alten a ber ihre Bezeichnung bei. Dann gilt die ob en beschriebene Beziehung zwischen den Komplexitatsklassen .

120

8. Die Kornplexit at von Approxima t ionsprobl em en - klas sische Resultate

Definition 8.5.2. Ein Optimierungsproblem A ist N PO-v ollstiindig, APXvollstandig bzw. PTAS- vollstiindig, wenn es zu NP O, APX bzw. PTAS gehor t und sich aIle P rob leme aus NPO , APX bzw. P TAS bezuglich ,,~PTAS" auf A reduzieren lassen . An alog werden die Begriffe MAX- NPO-vollsUindig und MIN-NPO-vollst iindig definiert . Wir wissen aus der NP-Vollstiindigkeitstheorie, dass das Hauptproblem darin best eht, das erste vollst iindige Problem zu finden. Dan ach gen ugt es a uf Grund der Transitivitiit von ,,~PTAS" , ein bereits als vollst iindig bekanntes Problem au f ein anderes Problem der betracht eten Klasse bezuglich ,,~P TAS " zu reduzieren. E rst mit Hilfe des P CP-Theorems werden wir in Kapitel 12 nachweisen, dass MAX- 3-SAT APX-vollst iindig ist . Mit den klassischen Methoden konnen wir ein Problem als NPO-vollstii ndig nachweisen . Wie wir bereits wissen, sind SAT-Probleme gute Kandidat en, das "erste" vollst iindige Problem zu sein. Das Problem der Berechnung einer erfiillen den B elegung mit maximalem Gewicht (m aximum weight ed sat isfiability, MAX-W-SAT) erhiilt als Ein gab e Klau seln und nicht negative ganzzahlige Gewichte filr die bet eiligt en Variabl en . Die Losungsmenge best eht aus allen Belegungen der Vari abl en . Der Wert einer erflillenden Belegung ist gleich dem Maximum von dem Gesam t gewicht der mit 1 belegten Vari abl en und 1. Der Wert jeder anderen Belegu ng betriigt 1. Lemma 8.5.3. MAX-W-SAT ist MAX-NPO-vollst iindig. Beweis. Offensichtlich gehor t MAX-W-SAT zu MAX- NPO. Es sei nun A E MAX- NPO . Unsere Aufgab e best eht darin , A bezuglich ,,~PTAS" auf MAX-W-SAT zu reduzieren. F ur A betrachten wir folgende nichtdet errninistische Turingmaschine. Fur jede fiir A zuliissige Eingab e x erzeugt sie nichtdet erministisch eine mogliche Losun g s . Dab ei ist j ede Buchst ab enfolge erla ubt, deren Liinge durch das Pol ynom p( lxl) beschr iinkt ist , das die Liinge aller Y E S (x ) beschr iinkt . Dann wird ub erpruft , ob s E S(x) ist. Im posit iven Fall wird v (x, s) berechnet , s und v (x , s ) werden auf das Band geschrieben und es wird ein akzept ierender Haltezust and erre icht . Im negat iven Fall wird ein ablehnender Haltezust and erreicht. Die Pl iitze, auf die im positiven Fall s und v (x, s) geschrieben werden , sind fur Ein gab en gleicher Liinge stet s dieselben. Auf diese Turingmaschine wird die Transformation aus dem Beweis des T heorems von Cook angewendet . Schlie£lich werden die Gewichte der Vari abIen der Ein gab e fur MAX-W-SAT angege be n. Die Vari abl e, die filr die j-te Bitposit ion von v (x, s ) beschreibt , ob dort eine 1 ste ht, erhiilt das Gewicht 2) , aIle anderen Variabl en erhalte n das Gewicht O. Dam it hab en wir die in polynomieller Zeit berechenbar e Tr an sformation f der ~ PTAs- Redukt ion beschriebe n. Da fur die Ein gab e x fur A die Losungsmenge S (x ) nicht leer ist, gibt es st et s eine akzeptierende Berechnung und dami t fur die konstruierte Eingabe fur MAX-W-SAT eine erflillend e Belegung. Die Riicktran sform ation g(x, y , c) kann aus der Kenntnis von x und der er fullende n Belegung y die Vari abl en berechnen, die die Losung s in der Ausgab e der Tu ringmasc hine

8.5 Vollstandige Approximationsprobleme

121

beschr eib en. Damit lasst sich s in polynomieller Zeit berechnen. SchlieBlich wird a (c: ) = c: definiert. Falls die Losung y fur die konstruierte Eingab e fur MAX-W-SAT die Losung s E S( x) fur die gegebe ne Eingabe x fiir A codiert, dann codiert sie auch den Wert v(x, s) und ihr eigener Wert ist nach Definit ion der Vari abl engewichte gena u v(x, s). 1st also die Losung fur die Eingab e fur MAX-W-SAT e-optimal, dann ist auch die mit Hilfe von 9 dar aus konD st ru ierte Losung fur die gegeb ene Eingab e x fur A s-optimal. Auf analoge Weise lasst sich das Problem MIN-W-SAT definieren und als MIN- NPO-vollst iindig nachweisen . Der Nachweis, dass MAX-W-SAT =P TAS MIN- W-SAT gilt , ist prinzipiell einfach, es rnussen aber einige t echnische Hurden ub erwunden werden. Wir verzichten auf die Dar st ellung dieses Beweises (siehe Ausiello, Cr escen zi, Gam bosi, Kann, Marchet ti-Spaccam ela und Prot asi (1999)) und halten nur die Folgerung aus diesem Ergebnis fest . Theorem 8 .5.4. MAX- W-SA T und MIN- W-SAT sind NP O-vollstiindig.

9. Die Komplex ita t von Black-Box-Problemen

9.1 Black-Box-Optimierung In pr aktischen Anwendungen werden randomis ierte Suchheuristik en wie randomisiert e lokale Suche, Simul ated Annealin g, Tabusuche und evolut ionare und genetische Algorithmen mit groBem Erfolg eingesetzt. Andererseit s t auchen diese Algorithmen in Lehrbuchern tibe r effiz iente Algori thmen fur kein P roblem als best e bekannte Algori thmen auf. Dies ist auch gerecht fert igt , da fur konkret e Probleme problemspezifische Algorithmen allgemeinen randomisierten Suchheuristiken tibe rlege n sind. Suchheurist iken sind dagegen fur viele Probleme einsetz ba r. Da sie nicht auf ein Problem zugeschnitten sind, verschenken sie viele Informationen , die den Ent wur f effiz iente r Algori thmen untersttitzen. Dieser Unt erschied zwischen problemspezifischen Algor ithmen und randomisierten Suchheuristiken wird oft verwischt , da auch hybride Variant en , also randomisiert e Suchheuristiken mit problemsp ezifischen Kornponent en , eingesetz t werden . Dann hab en wir es mit problemspezifischen , also ubli chen randomisiert en Algor ithmen zu t un, die keiner gesonderte n Betracht ung bedurfen . Hier diskutieren wir Szenari en , in denen der Einsat z problemspezifischer Algorithmen nicht moglich ist . In realen Anwendungen tauchen algorit hmische Probleme als Teilprobleme in einem Projekt auf. Ein e algori thmische Losung muss in kurzer Zeit bereit gest ellt werd en , wob ei Exper tinnen od er Exp erten fur den Entwurf effizient er Algori thmen nicht zur VerfUgung stehen. In dieser Situat ion bilden "ro bust e" Algorithmen , also Algorithmen , die fur viele Probleme einsetz bar sind , eine Alt ernative. Es kommt sogar vor , dass die zu optimierende Funktion nicht in geschlossener Form vorli egt . Bei der Optimierung technischer Systeme gibt es freie Par ameter, deren Ein stellung das Syst em beeinfius st . Der Suchr aum oder Losungsraum best eht dann aus allen erlaubte n Kombinat ionen von P aramet ereinst ellungen. J ede Par amet ereinstellung beeinfiusst das Syst em und damit die Fahi gkeit des Systems, die gestellte Aufgab e zu losen . Es gibt also eine Funktion, die jeder Par amet ereinstellung die Gtit e des resultierenden Syst ems zuweist. Bei komplizierten Systemen liegt diese Funktion allerdings nicht in geschlossener Form vor. Wir konnen Funktionswert e nur ermitteln, ind em wir das Syst em mit der gewa hlte n P ar am et ereinst ellung experimente ll teste n. Tatsachlich werd en diese Experimente oft mit Rechnerhilfe simuliert. I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

124

9. Die Komplexitat von B1ack-Box-Problemen

Die Problematik der geeigneten Mod ellbildung und des Entwurfs der Simulationsexperimente blenden wir hier aus. Robuste Algorithmen spielen also in den Anwendungen eine wichtige Rolle und damit st ellt sich die Frage, ob sich die zugehorigen Probleme so beschreiben lassen , dass wir sie komplexitiitstheoretisch untersuchen konnen, Urn von dem technischen System zu abst rahieren, fassen wir es als schwarzen Kasten (black box) a uf. Obwohl der osterreichische Physiker und Philosoph Ernst Mach erst mals 1905 den Begriff "schwarzer Kasten " wissenschaftlich und dabei in deut scher Sprache gebraucht hat , wird der Begriff Black Box heute auch im Deutschen verwendet. Die Black Box liefert fur eine Par ametereinstellung a die Cute f(a). Da f nicht in geschlossener Form vorliegt, muss hierfur die Black Box bernuht werden. Im klassischen Szen ario der Optimierung entspricht dies der Berechnung des Wertes der Losung s zur Probleminstanz x , niimlich v( x , s) , wobei a ber in der Black-Box Optimierung x nicht bekannt ist . Ein Black-Box-Probl em wird beschrieb en durch die Problemgrofe n, den zugehorigen Suchraum Sn und die Menge Fn der moglichen Problemeingaben , die wir mit den zugehorigen Funktionen f : Sn ---* JR. identifizieren. Die Menge F n muss nicht endlich sein. Jedes von uns betrachtet e Optimierungsproblem hat eine Variante als Black-Box-Problem , zum Beispiel das Problem des Handlungsreisend en mit dem Suchraum Sn , der aus allen Permutationen auf {l , ... , n } besteht, und der Funktionenklasse Fn , die aile [o : Sn ---* JR. enthalt , so dass l» fur die Distan zmatrix D den Touren tt ihre Liinge zuweist , oder das Ru cksackproblem mit dem Suchraum {O ,1}n und der Funktionenklasse F n aller fa ,g,G: {O ,1}n ---* JR., so dass fa ,g,G fur die KP-Eingabe (a, g, G) jeder Objektauswahl den zugehorigen Nut zenwert zuweist , wenn die Gewichtsgrenze eingehalt en wird , und ihr an sonst en den Wert zuweist. Der Unterschied zum bisher betracht et en Szen ario liegt darin, dass der Algorithmus nicht auf D oder (a, g, G) zuriickgreifen darf. Hiiufiger kommt es vor, dass Eigenschaften der zu optimierenden Funktion bekannt sind. F ur Sn = {O, l}" kann F n aus allen pseudobooleschen Polynomen best ehen , deren Gr ad durch d beschriinkt ist. Eine ande re interessante Funktionenklasse ist die Klasse der unimodalen Funktionen , also der Funktionen , die ein eindeut iges globales Optimum hab en und fur die jeder nicht globa l optimale Punkt einen bess eren Hammingnachbarn hat. Ein e randomisiert e Su chheuristik fur ein Black-Box-Problem geht folgendermaBen vor :

°

- Es wird eine Wahrscheinlichkeit sverteilung PI auf S n gewiihlt und ftir ein beztiglich PI zufalliges Xl mit Hilfe der Black Box f( xd bestimmt. - Fur t > 1 wird in Kenntnis von (Xl , f(XI)) , . .. , (Xt-l ' f( Xt-I)) entschieden, ob die Suche beendet wird, und dann wird ein Xi mit bestem f -Wert als Ergebnis pr iisentiert, anderenfalls wird in Abhiingigkeit von (Xl , f( XI)) " '" (xt -l ,f(x t-l)) eine Wahrscheinlichkeitsverteilung Pt au f Sn gewiihlt und fur ein beztiglich Pt zufalliges Xt mit Hilfe der Black Box f( xt) bestimmt .

9.1 Black-Box-Optimierung

125

Die ob en gena nnten bekannten randomisier t en Suchheuristik en passen alle in dieses Schem a. Viele von ihn en speic hern nicht die gesa mte vorhandene Inform ation (Xl , f( XI)) , ... , (Xt- I, f( xt-d) abo Die ra ndomisierte lokale Suche und Simulat ed Annealing arbeite n mit nur einem akt uellen Suchpunkt und evolutiona re und genet ische Algorithmen mit einer kleinen so gena nnten Population von Suchpunkten, auch Individuen gena nnt. Dab ei wird ein best er bisher aus gewertet er x-P unkt im Hintergrund abgespeichert , urn gegebenenfalls als Ergebnis pr asenti ert werden zu konnen . Die Suche wird haufig abgebrochen, bevor man weiB, ob bereits eine opt imale Losung gefunden wurde. Zur Bewertung der Heurist ik milssen wir dann die erwartete Laufzeit und die erreichte Erfolgswahrscheinlichkeit in Relat ion setzen. Da St oppregeln in den Anwendungen nur ein kleines Problem dar st ellen , wollen wir Suchheuristiken so abandern, dass sie niem als st oppe n un d interessieren un s fur die erwartete Optimierungszeit , also die erwartete Zeit , bis erstmals ein optimaler x-Wert an die Black Box gegeben wird. Da die Auswertung eines x- Wert es durch die Black Box als aufwandig angesehen wird , verwenden wir die An zahl der Black-Box-Anfragen als Zeitmaf und abstrahieren von der Zeit fur die Berec hnung von Pt und der Ausw ahl von Xt. Dieses Szenario wird Bla ck-Box-Optimierun g gena nnt . Die Bla ckBox-Komplexi tiit eines Black-Box-Probl ems ist die minimale (bezogen auf die moglichen randomisierten Suchheuristiken) maximale (bezogen auf die Funkti onen f E F n ) erwartete Optimierungszeit . Diese Mod ellierung errnoglicht erstmals eine Komplexit at stheorie, die sich auf randomisierte Suchheuristiken und ihr spezifisches Anwendungsszen ar io bezieht . Es ist zu fragen , ob das Szen ari o angemesse n ist. Wir erfassen den Kern unserer Beispiele, ind em wir nur die bet racht et e Funktionenkl asse, nicht a ber die konkret e zu optimierende Funkti on als bekannt annehmen. Dies macht Probleme schwieriger. Heuristiken konnen Informationen tiber die zu opt imierende Funktion sammeln, da sie die Funkti onswert e filr ausgewa hlte Suchpunkte kennen lernen . T ypi sche problemspezifische Algorithmen sind fur die Black-Box- Vari ante des Problems wertlos. Allerdings vergrobern wir die Messung der Rechenzeit , ind em wir nur die Black-Box- Anfragen als Koste n bewert en. Dadurch konnen NP-schwierige Problem e in polynomieller Zeit losbar werd en , wie das Beispiel der Maximierung pseudoboolescher Pol yn ome vom Grad 2 zeigt. Die folgende det erministi sche Suchstrat egie kommt mit G) + n + 2 = O(n 2 ) Black-Box-Anfragen aus. Sie ermit te lt die f-Wert e fur alle Eingab en x mit hochst ens zwei Einsen. Es sei eo die Ein gab e a us lauter Nullen, e, die Eingab e mit genau einer Eins an Position i und eij die Einga be mit genau zwei Ein sen an den Posit ionen i und j > i. Die unb ekan nt e Funkt ion hat eine Dar st ellung f( x) = Wo +

L l ~ i ~n

WiXi

+

L

WijXiX j'

l ~ i <j ~ n

Dah er konnen die unb ekannt en Par ameter wie folgt berechnet werden:

126

9. Die Komplexitat von Black-Box-P roblemen

- Wo = j(eo), - Wi = j(ei) - Wo und - Wi j = j (eij ) - Wo - Wi - Wj' SchlieBlich kann j mit einem exponent iellen Algorit hmus maximiert werd en . Damit die Anforderungen an Black-Box-Algorithmen er fullt werden, ste llt der optimale Punkt Xa pt die let zt e Anfr age an die Black Box dar. Derart ige Algorithmen wollen wir eigent lich nicht zur Konkurrenz zulassen. Ein Ausweg best eht darin, die Rechenzeit auBerha lb der Black-Box-Anfragen zu beschr anken , beispielsweise polynomiell. Dies erleichtert bish er nicht den Beweis unterer Schr anken fur die Black-Box-Kornplexit at konkret er Probleme. Der ar t ige Schranken werden wir namli ch in Kapitel 9.3 ohne kornplexitat stheoreti sche Ann ahme wie P i= NP od er RP i= NP beweisen . Ein anderer Ausweg best eht darin , die An zahl der (x, j (x ))-Paare, die ab gesp eichert werden durfen , so zu beschr anken , wie es die meist en randomisiert en Suchheurist iken realisieren . Hier sind wir je doch mehr an unteren Schranken int eressiert und konnen festhalten :

Ein Problem mit exponentieUer Black-Box-Komplexitiit liisst sich durch randomi sierte Suchheuristiken nicht ejfizie nt loseti. In Kapitel 9.2 ste llen wir mit dem Minim ax-Prinzip von Yao (1977) eine Methode vor , die es uns errnoglicht, untere Schranken fur die Black-BoxKornpl exitat konkret er P robleme zu beweisen . Diese Method e wend en wir in Kapi t el 9.3 auf ausgewa hlte P robl eme an.

9.2 Das Minimax-Prinzip von Yao Mit dem Minim ax-Prinzip von Yao (1977) wollen wir die bis heute einzige Method e vorst ellen , mit der unt ere Schr anken fur alle randomisierten Suchheuristiken und ausgewa hlte Problemkl assen bewiesen werd en konnen . Dazu miissen wir F n auf endliche Klassen von P robl emen einschranken, Da S n endlich ist, gentigt es, den Bildbereich der zu optimierenden Funkti on a uf eine endliche Menge wie {a, 1, .. . , N} zu beschranken . Es folgt , dass es nur endlich viele verschiedene "sinnvolle" determinist ische Suchheuristiken gibt. Sin nvoll bed eut et , dass wir eine Anfr age an die Black Box nie wiederholen . Zwar wahl en randomisier t e Suchh eurist iken Suchpunkte wiederholt aus, a ber die wiederholte Anfr age an die Black Box kann vermieden werd en, da die Antwort von der ersten Anfr age her bekannt ist. Also gibt es nur endlich viele mogliche Anfr agen und nur endlich viele mogliche Antworten auf jede Anfrage und dah er au ch nur endlich viele det erminist ische Suchheuris ti ken. Wir hab en es zwar nur mit einer handelnd en Person zu tun , namli ch der Person , die eine randomisiert e Suchh euri stik entwirft oder auswa hlt, aber es ist hilfr eich, sich neben dieser Pers on einen Gegner vorzust ellen , der die

9.2 Das Minimax-Prinzip von Yao

127

zu optimier end e Funktion f E F n mit dem Ziel auswahlt, die Suchzeit zu maximieren . Wir modellieren un ser Problem als Spiel zwischen Eva , der Entwerferin der randomisierten Suchheuristik A , und Thomas, dem Teufel od er Gegn er , der f E Fn a uswa hlt . Bei Wahl von A und f sei T(f , A) die erwartete Anz ahl der Black-Box-Anfragen , die A fur f beno ti gt , bis sie der Black Box einen optimalen Suchpunkt vorgelegt hat. Eva mocht e diese Kost en minimieren . Da wir die Black-B ox-Komplexitat in Bezu g auf die schwierigste Funktion definiert hab en, ist es das Ziel des Teufels Thomas, die Kost en von Eva zu maximi eren. Aus Sicht der Spieltheorie hab en wir es mit einem Zweipersonen-Nullsummen-Spiel (two-p erson zero-sum game) Zll tun. Die Auszahlungsmatrix hat fur jede det erministi sche Suchh euristik A eine Spalt e, fur je de Funktion f E F n eine Zeile und der zugehorige Matrixeintrag ist T(f , A) . Bei Wahl von A und f zahlt Eva T (f, A) an Thomas. Die Wahl von A und f erfolgt unabhan gig vonein ander. In der Spieltheori e durfen beide Spieler randomisierte Strat egien benu t zen . Ein e randomisierte Wahl eines det erministischen Algorithmus fuhrt zu einem randomisierten Algorithmus. Ab er auch die Umkehrung gilt . Wenn wir aIle ZufalIsent scheidungen einer randomisierten Suchheuristik zu einer ZufalIsentscheidung zusammenfassen, erhalte n wir eine Wahrscheinlichkeit svert eilung auf der Menge det erminist ischer Suchheuristiken . Somit konnen wir die Menge randomisierter Suchheuristiken mit der Menge Q alIer Wahrschein lichkeit sverteilungen auf der Menge deterministi scher Suchheuristiken identifizieren . Fur jede Wahl von q E Q und der zugehorigen randomisierten Suchheurist ik A q werden die erwart et en Kost en von Eva fiir f mit T (f, A q) bezeichnet . Eva muss die erwarte ten Kosten m ax{T(f, A q) I f E Fn } , abgekurzt m axf T(f, A q), befu rcht en . Diese Kost en werden nicht grofier, wenn auch T homas eine randomisierte Strategie verwend en darf. Es sei P die Menge aller \tVahrscheinli chkeit svert eilungen auf F n und f p die zufallige Wahl von f E Fn gemaf p EP. Da T(fp, A q) die Summe alIer p(f)T(f , A q) ist , ist max T(f, A q) f

= max p

T (fp , A q)

und Eva sucht ein q* mit max T(f, A q*) = min max T (f, A q) = min max T(fp, A q). f

q

f

q

p

Aus der Sicht von T homas stelIt sich das P robl em wie folgt dar . Wenn er p EP wahlt , ist er sicher, dass Eva erwart ete Kost en von mindest ens min, T(fp , A q) hat. Mit den gleichen Argument en wie zuvor ist dies gleich min a T(fp, A) und Thomas sucht ein p* mit

Das Min imax- Theorem , das von Neumann schon in der Mitte des vorigen J ah rhunderts bei seiner Begrundung der Spieltheorie (siehe Owen (1995))

128

9. Die Kornplexi tat von Black-Box-Probl emen

bewiesen hat , besagt , dass Zweip ersonen- Nullsummen-Spiele eine Losung haben . In un serer Situation gilt

Es folgt nach unseren Betracht ungen a uch V* :=

max min T(jp , A) p

A

=

min max T(j , A q). q

f

Der so gena nnt e Wert des Spi els v* sowie optimale Spielstrategien konnen effizient mit Hilfe der linearen Optimierung berechn et werd en . Effizienz bezieht sich auf die Grofe der Matrix T (j, A ) und ist fiir unsere Situation belanglos. Die Menge F n un d die Menge det erminist ischer Suchheuristiken sind in allen interessanten Fallen so groB, dass wir nicht in der Lage sind, die Matrix T (j, A) au fzuste llen. Uns int eressiert sogar nur der einfachere Teil des Min imax-T heorems, namli ch VThoma s

:= max min p

A

T(jp, A) ::; min max T (j, Aq) = : VEva . q

f

Diese Ungleichung lasst sich folgenderm a13en beweisen . Wie gesehen kann sich Eva dagegen sichern, hoh ere erwartete Kost en als VEva tragen zu rniissen. Dagegen kann sich Thomas eine erwartete Einna hme von VT hom as sichern. Da alle Zahlungen von Eva an T homas gehen und kein "Geld von au13en" ins Spiel kommt , wtirde VT homas > VEva implizieren, class sich T homas eine erwartete Auszahlung sichern kann, die hoh er ist als die Schr anke fur die erwarteten Kost en, die Eva maxim al t ragen muss. Mit diesem W iderspruch hab en wir die Ungleichung bewiesen . Das Minimax-P rinzip von Yao best eht in der einfachen Schlussfolgerung, dass fiir alle p EP und q E Q

gilt. Die Leistung von Yao best and darin zu er kennen, dass die Wahl eines randomisiert en Algorithmus zur Minimierung der maxim alen erwartete n Optimierungszeit fur eine Funkt ionenmenge (Men ge von Problemeingab en) als Zweip er sonen-Nullsummen-Spiel mod elliert werden kann . Im folgenden Theorem werden die erha ltenen Er gebnisse zusammengefasst. Dan ach beschreib en wir die Konsequ enzen fur den Beweis unt erer Schr anken. Theorem 9 .2.1. Es sei Fn eine end liche Menge von Funktionen auf einem endlichen Su chraum Sn und A eine endliche Menge von determ inistischen Algori thm en auf der Problemklasse Fn. Fur j ede Wahrscheinlichkeit sverteilung p auf E; und jede Wahrscheinlichkeitsverteilung q auf A gilt

9.3 Untere Schranken fur die Black-Box- Komplexitat

129

Die erwartete Laufzeit eines optimalen det erminist ischen Algorithmus bezuglich einer beliebigen Vert eilung auf den Problem eingab en ist eine un tere Schranke fur die erwartete Laufzeit eines opt imalen ra ndomisierte n Algori thmus bezogen auf die schwierigste Problemeingab e. Wi r erha lte n also unt ere Schranken fur ran domisierte Algori thmen , indem wir untere Schr anken fur det er minist ische Algorithmen beweisen. Zudem hab en wir die Freiheit, die Sit uation fur den det erministi schen Algori thmus dur ch die Wahl einer geeignet en Ver t eilung auf den Problemeingab en besonders schwierig zu gestalte n.

9.3 Untere Schranken fur die Black-Box-Komplexitat Urn das Min imax-Prinzip von Yao anzuwende n, ist es hilfreich, deterministische Suchheur ist iken als Suchbiiume zu mod ellieren . Die Wur zel symbolisiert die erste Anfr age an die Black Box. Fur je des mogliche Ergebnis der Anfrage gibt es eine die Wur zel verl assende Kante, die zu einem Kn ot en fuh rt , der die vom Ergebnis der ersten Anfrage abha ngige zweite Anfrage symbolisiert. Analoges gilt fur aIle folgend en Knot en. F ur je des f E F n gibt es eine n eindeut igen an der Wurz el startenden Weg, der den Verlau f der Suchheurist ik auf f beschreib t . Die Anzahl der Kn ot en bis zum erst en Knot en , der einer Anfrage fur einen f -optimalen Suchpunkt ents pric ht, ist gleich der Rechenzeit der Heuristik fur f. Bei Funkti onen mit eindeut igem Op timum muss der Suchbaum mindest ens so viele Knoten ent ha lten, wie es fur die Funkt ionenklasse ver schiedene Op t ima gibt. Da wir nur Anfr agen stellen mu ssen , deren Ergebnis wir nicht berechnen konnen, hat jeder Knot en im Suchbaum mindest ens zwei Nachfolger. Selbst bei einer Gleichvert eilung auf allen Op ti ma erhalte n wir ohne weit ere Argum ente keine besseren unteren Schra nken als log ISn I, also fur Sn = {O, I} n lineare untere Schr anken. Derart ige Schranken sind nur selte n befriedigend. Ein e Ausnahme bild et die log(n!)-Schranke fur das allgemeine Sortierpro blem, die die meist en Leser inne n und Leser vermutlich kennen . Mit dem Minimax-Prin zip von Yao erha lten wir aus der bekannt en Schran ke fur deterministisc he Algorit hmen und einer Gleichverteilung auf allen Ordnungstyp en eine unt ere Schra nke fur die maximale erwartete Rechenzeit rando misierter Algorithmen . Wenn wir Schra nken zeigen wollen, die supe rlinear in log ISnl sind, miisse n wir beweisen , dass die Such biiume nicht ba lanciert sein konnen . Wir begin nen un sere Disku ssion mit zwei in der Welt der evolutionaren Algorithme n viel diskut iert en Fun ktionenklassen. Mit Hilfe der Black-BoxKomplexit at fallt die Antwor t auf die dort disku t iert en Fragen leicht . Die erste Funk t ion enk lasse sym bolisiert die Suche nach einer Na del im Heuhauf en (needle in t he hayst ack). Sie ent ha lt fur a E {O, 1}n die Funkt ion N a definiert durch Na( a) = 1 und Na( b) = 0 fur b =1= a. Theorem 9.3.1. Die B lack-Box- Komplexitiit de". Funktio nenklasse alter N a ,

a

E

{O, I} " , betriigt 2n -

1

+ ~.

130

9. Die Komplexitat von Black-Box-Problemen

Beweis. Wir erhalten di e ob ere Schranke, indem wir die P unkte des Suchraums {O, I} " in zufalliger Reihenfolge ab fragen . Fi.ir jede Funktion N a finden wir d as Optimum mit Wah rscheinlichkeit 2- n bei der t-ten An frage, 1 :::; t :::; 2n . Dies ergibt eine erwa rtete Optimierungszeit von

Die unter e Schranke zeigen wir mit dem Minim ax-Prinzip von Yao fur die Gleichverteilung auf allen N a , a E {O ,l}n. Wenn eine Anfrage de n Funktionswert 1 er gibt , kann der Algorithmus di e Suche mit Erfolg abbreche n. Dah er int er essiert nur der Weg im Suchb aum, der der Antwort auf allen bish eri gen Anfragen entspric ht. Auf ihm m i.issen alle a E {O ,1}n als Anfragen vorkommen . Auf je der E be ne dieses Weges kann nur ein neuer Suchpunkt erfragt wer den . Somit betragt di e erwa rtete Suchzeit mindest ens

°

2- n(1+2 + .. . +2n )=

2n - l+ ~.

D

Die Funktionenklasse aller N a m acht den U nt erschied zwischen dem klassischen Optimi erungsszen ario und dem Black-Box-Szen ario deutlich. Im klassischen Optimierungsszen ario ist die zu optim ierende Fu nktion N a und darnit a bekannt . Die Optimierung ist d ann eine t rivia le Aufgabe, da di e opt imale Losung a ist. Die gang igen randomisierten Suchheuristiken beno ti gen im Black-Box-Szen ario fi.ir di e Kl asse aller N a fur jede Funktion eine erwartete Optim ierungszeit von 8(2n ) . Dies ist ineffizient im Ver gleich zum klassischen Optimierungsszen ario, abe r nach T heorem 9.3.1 asym ptot isch op timal im Black-Box-Szen ario. Im Gegens at z zu vielen anders lautenden Beh auptungen sind die gangigen ran domisierten Suchheurist iken auf der Kl asse aller Funktionen vom Typ "Nadel im Heuhaufen " fast op timal. Sie sind lan gsam, weil das Problem im Black-Box-Szen ario schwierig ist. Gan z ahnllch stellt sich d as Bl ack-Box-Szen ario fi.ir Funktionen d ar , di e Fallen (trap s) fur typische randomisierte Suchheuristiken sind. Die Funktion T a , a E {a, l}" , ist defini ert durch Ta(a) = 2n und Ta (b) = b1 + .. . + b.; fur b E {a, l}" und b -I- a. Theorem 9.3 .2. Die Black-Box-Komplexi tiit der Funktionenklasse aller T a , a E {a, I} ", betriiqi 2n - 1 + ~. B eweis, Der Beweis verlauft analog zu dem Beweis von T heorem 9.3.1. Bei der oberen Schranke ist nichts zu andern. Bei der unter en Schranke ist zu bemerken , dass die Funktion en fi.ir jedes b E {a, I}" nur zwei verschieden e Funktionswert e, namlich b1 + . .. + bn u nd 2n , annehme n. Der Funktionswert 2n ist gleichbe de utend mi t eine r An frage, die den optimalen Suchpunkt beinhaltet. D Die Funktionen T a , a E {O , I }", bild en tatsachlich Fallen fiir die meist en gangigen randomisier t en Su chheurist iken , di e erwartete Optimierungszeit en

9.3 Untere Schranken fur die Black-Box-Kornplexitat

131

von 28 (n log n ) erreichen. Dagegen ist die rein zufallige Suche, bei der zu jedem Zeitpunkt der Suchpunkt nach der Gleichverteilung auf dem Suchr aum gewa hlt wird, nah ezu optimal. Dieses Er gebnis ist nicht iiberraschend, da gangige randomisierte Suchheuristiken bevor zugt in der Nah e gut er Suchpunkte die Suche fort set zen . Dies ist fur die Funktionen Ta im Allgemeinen die falsche Entscheidung. And ererseit s bilden die Funktionen T a im klassischen Optimierungsszen ario kein Problem. Abs chlieBend wollen wir eine kompl exere Anwendung des Minimax-Prinzips von Yao kennen lernen. Vielfach wird beh auptet , dass die ga ngige n randomi sierten Suchheuristiken auf allen unimodalen Funktionen sehr schnell sind . Dies lasst sich fur viele dieser Suchheuristik en durch Angab e eines geschickt gewa hlte n Gegenb eispiels widerlegen . Wir wollen nun zeigen , dass kein e randomisierte Suchheuristik im Black-Box-Szenario fur alle unimodalen Funktionen schnell sein kann. Die Klasse der unimodalen pseud obooleschen Funktionen f : {O, I} " ----+ lR ist nicht endlich. Indem wir den Bildbereich auf die ganzen Zahl en z mit -n ::; z ::; 2n einschranken, erhalten wir eine endliche Funktionenklasse. Wir suchen nach einer Wahrscheinlichkeit sverte ilung auf diesen Funktionen , die den Beweis unterer Schranken mit Hilfe des Minimax-Prin zips von Yao unt erstiit zt . Man kann vermuten , dass die Gleichverteilung auf der betrachteten Funktionenkl asse eine effiziente Optimierung durch determinist ische Suchheuristiken verhindert. Allerdings konnen wir diese Vert eilung nur schwer handhab en . Wir ar beiten dah er mit einer anderen Wah rscheinlichkeit sverteilung. Ein Pfad P = (Po , . . . , Pm ) in {O, I} n best eht aus einer Folge von verschiede nen Punkten p. , wob ei der Hammingab st and H (Pi,PHl) benachbarter Punkt e I betragt. Wir betracht en nur P fade mit Po = I n. Zum Pfad P gehort die Pfadfunktion fp definiert durch fp(Pi) = i und fp(a) = al +.. ·+ a n - n fur alle a auBerha lb des Pfad es. Die Funktion f p ist unim od al , da alle Pi , i < m , mit PHI einen besseren Hammingnachbarn hab en . F iir aIle anderen Punkte a ist jeder Hammingnachbar, der eine 1 mehr ent ha lt , besser . Die Idee hinte r der folgend en Kon struktion ist , dass "zufallige Pfade grofer Lan ge" es Suchheuristiken schwer mach en . Wenn diese dem Pfad folgen , ist der Pfad zu lang. Andererseit s ist es auch bei Kenntnis eines Anfan gsstucks des Pfad es schwierig, mit einer nicht nur sehr kleinen Wahrscheinlichkeit einen Punkt zu erze ugen, der "auf dem Pfad viel weiter hinten" liegt . Diese Uberlegungen werden nun formalisiert . Zun achst erze ugen wir einen zufalligen P seud opfad R, auf dem Punkte wiederholt vorkommen diirfen. Seine Lange sei I := l(n) , wob ei l (n) = 2o (n ) ist . Es sei Po = I n. Den Nachfolger PHI von Pi erzeugen wir gemaf der Gleichverteilung auf allen Hammingnachbarn von Pi' Dies bedeutet , dass in Pi an einer zufallig gewa hlte n Position das Bit gekippt wird. Aus R erze ugen wir den Pfad P , ind em wir Kr eise aus R ent ferne n. "Vir starten wieder an I n. Wenn wir auf R den Punkt Pi erreichen und j der grofite Index mit Pj = Pi ist, fahren wir mit Pj+l fort. Wir be t racht en die Wahrscheinli ch-

9. Die Komplexit at von Black-Box-Problernen

132

keitsverteilung auf den unimodalen Funktionen , die der Pfadfunktion i p die Wahrscheinlichkeit zuweist, mit der das obige Experiment zum Pfad P fuhrt . Wir untersuchen det erministische Suchheuristiken auf zufiilligen un imod alen Funktionen , die gemaf der beschri eb enen Wah rscheinlichkeit svert eilung ausgewiihlt werd en . Zur Vorbereitung untersu chen wir den zufalligen Pseudopfad R . Er ent fernt sich mit hoh er Wah rscheinlichkeit schnell von jedem erre ichte n Punkt und ist kurz genug, urn mit hoh er Wahrscheinli chkeit nicht wieder in die Nah e eines viel fruh er erre icht en Punkt es zurilckzukehren. Irn niichsten Lemma werden diese Ub erlegungen ver allgemeinert und form alisiert. Lemma 9 .3.3. Es sei Po , PI , . .. ,PI der zufiillige Pseudopfad R . F Ur je des a = a(j3) > 0, so dass jedes Er eignis E a , a E { a, I} " , dass es ein j 2: j3n mit H(a ,pj) ::; a n gibt, die Wahrscheinli chkeit 2- J?(n) hat .

°

13 > exist iert ein

Beweis. Da l = 2o (n ) ist, gibt es 2o (n ) Punkte Pj und es genilgt , die Wah rscheinlichkeit des E reignisses E a,j , a E {a, I}" , j 2: j3n, durch 2- J?(n) abzuschiitzen. Dab ei beschr eibt E a,j das Er eignis H (a , Pj) ::; a n. Wi r untersuchen den zufalligen Hammingabstand H; = H(a ,Pt) ,O ::; t ::; l . Wenn er grof ist , bleibt er ftir ein Zeit int ervall mit Sicherh eit " recht groB". Wenn er klein ist, ist die Ch an ce groB, dass er schnell wiichst. Da wir in Pt ein zufallig gewa hltes Bit kip pen , urn Pt+1 zu erhalte n , gilt

Prob(Ht+ 1 = H;

+ 1) = 1 -

H t/n .

Ist also H; viel kleiner als n/2, gibt es eine starke Tendenz , den Hammingabstand zu a zu er hohen. Es sei "( = min{ j3,l /lO} und a = a (j3) = "(/ 5. Wir unter suchen den Abschn itt Pj - b nJ" " ,Pj der Lan ge b nJ von R , urn die Wahrscheinlichkeit von E a,j nach oben abzuscha tzen. Das Ereignis Ea,j, also Hj ::; an , ist nach Definition von a aquivalenf zu H j ::; ("( /5) n . Falls Hj -bnJ 2: 2"(n ist , ist H j mit Sicherheit mindest ens "(n . Also konnen wir annehmen, dass H j _ rIn 1 < 2"(n ist. Dann ist H; wahrend des gesa mte n Abschn itts von R , den wir bet racht en , hochst ens 3"(n ::; (3/1O)n . W ir hab en es also mit l"(n J Schritten zu tun, bei denen H; mit einer Wahrscheinli chkeit von mindest ens 1 - 3"( 2: 7/10 urn 1 wachst und ansonsten urn 1 fallt , Die chernoffsche Ungleichung (Theorem A.2.11) ste llt sicher , dass die Wahrscheinlichkeit von wen iger als (6/1O)"{n den Hammingabstand erhohenden Schritten unter den betracht et en b nJ Schri t t en durch 2- J?(n) beschrankt ist. Bei mehr als (6/1O)"{n erhohenden Schri t t en hab en wir einen Ub erschuss von mindest ens (6/1O)"{n -(4/1O)"{n = ("(/5)n erhohenden Schritten und der Hammingab st and H j ist mindest ens ("(/5 )n . 0 Lemma 9.3.3 hat folgend e Konsequ enzen. Der Ps eudopfad R wird mit einem markoffschen Prozess, also einem gedac ht nislosen Prozess, konst ru iert. Da mit erfiillt a uch Pi , . . . ,PI die Vorau sset zungen des Lemmas. F ur a = Pi

9.3 Unte re Schr anken fur die Black-Box-Komplexitat

133

und j3 = 1 impliziert dies, dass R nach me hr als n Schritten den P unkt Pi nur mit Wah rscheinli chkeit 2- J./ (n ) wieder err eicht. Da es nur 2 o (n ) Punkt e Pi gibt , ist die Wahrscheinlichkeit eines Kr eises a uf R, dessen Lan ge grof er als n ist , durch 2 - J./(n ) beschrankt. Also betragt die Lan ge von P mit einer Wahrscheinlichkeit von 1 - 2-J./ (n ) mindest ens l(n) j n . Theorem 9.3.4. Jede randomisiert e Su chheuristik f ur die Bla ck-Box-Optsm ierung unimodaler pseudoboolescher Funktionen hat fur j edes <5(n) = o(n) eine maximale erwarte te Optimierung szeit von 2 J./ (8(n)) . Ihre minimale E rfolgswahrscheinlichkeit nach 2 0 (8(n )) S chritten betriigt 2- J./ (n ) . Beweis. Der Beweis verwendet das Minimax-Prinzip von Yao, also T heorem 9.2.1. Wir wahlen l(n) so, dass l(n ) jn 2 = 2 J./ (8(n ) ) und l(n) = 2 o(n ) ist. Nach den Vorilberlegungen ist die Wahrscheinli chkeit , dass die Lan ge von P klein er als l(n) jn ist , exponentiell klein . Daher konnen wir fur diese Falle die Suchzeit mit 0 abscha tzen. Im Folgend en wird angenommen, dass P eine Lang e von mindest ens l(n) jn hat. Fur den Beweis beschr eib en wir ein Szenario , das die Arbeit von Suchheuristiken und die An alyse erleichte rt . Wir beschreib en das "W issen" der Heuristik zu jedem Zeitpunkt durch - den Index i, so dass das Anfan gsst ilck Po, . . . , Pi von P, abe r kein weit erer Punkt von P bekannt ist , und - die Menge N der Punkte, von denen bekannt ist , dass sie nicht zu P gehoren. Zu Beginn ist i = 0 und N = 0. Die randomisierte Suchheurist ik erze ugt einen Suchpunkt x und wir definieren diesen Schrit t schon dann als erfolgreiche Suche , wenn x = Pk mit k 2 i + n ist. Im FaIle eines Misserfolgs wird i durch i + n ersetz t, die Suchheuristik erfahrt also die nach st en n Punkte auf dem Pfad . Falls x nicht zum Pfad gehOrt, wird x zu N hinzugefUgt . Urn das Theorem zu beweisen , genilgt es, fur jeden der erst en Ll(n )jn 2 J Schr itte eine Erfolgswahrscheinli chkeit von 2-J./(n) zu beweisen. Wir betracht en zunac hst die Anfan gssituation mit i = 0 und N = 0. Direkt nach Lemma 9.3.3 mit j3 = 1 hat jeder Suchpunkt x eine Erfol gswah rscheinlichkeit von 2 - J./(n ) . Es gilt soga r, dass die Wahrscheinli chkeit , dass P na ch mindest ens n Schritten noch in die Hammingkugel mit Radius a (l )n urn x kommt , 2- J./ (n ) betragt . Nach m erfolglosen Schritten ist das Anfan gsst ilck von P mit m n +l Punkte n bekannt und N ent ha lt hochst en s m Punkte. Die An alys e wird durch das Wi ssen erschwert , dass diese hochst ens mn + m + 1 Punkt e von P nicht mehr erreicht werden. Es sei nun y der letz t e bekannte auf P liegende Suchpunkt. Die Menge M der Pfadpunkte po, ... , Pmn und der Punkte in N wird in die Mengen M' und Mil partit ionier t . Dab ei ent ha lt M' die Punkte , die weit von y ent fernt sind, genauer, deren Hammingab st and Zll y grofier als a (l)n ist , und Mil die anderen Punkt e aus M. Zunachst arbeit en wir nur unter der Bedi ngung des Er eign isses E , dass die Punkte a us M' nicht mehr auf

134

9. Die Komplexitat von Black-Box-Problemen

dem Pfad vorkommen. Da Prob(E) = 1 - 2 -J?(n) ist, kann die Bedingung E die uns interessierenden Wahrscheinlichkeiten nur wenig beeinflussen. Fiir einen Suchpunkt x sei x* das Ereignis, dass dieser Punkt die Suche erfolgreich beendet. Dann ist Prob( x*

I E)

= Prob(x*

n E)/Prob(E)

::; Prob(x*)/Prob(E) = Prob(x*) . (1 + 2-J?(n)) .

Die Erfolgswahrscheinlichkeit wachst also nur urn einen Faktor, der nahe bei 1 liegt , und daher betragt sie weiterhin 2 -J?(n) . SchlieBlich miissen wir die Punkte aus Mil in unser Kalkiil einbeziehen. Jetzt wenden wir Lemma 9.3.3 fur f3 = 1/2 an. Nach n/2 Schritten hat P mit Wahrscheinlichkeit 1 - 2-J?(n) einen Hammingabstand von mindestens a(I/2)n von y und jedem der Punkte in M. Daher konnen wir fur die verbleibenden n/2 Schritte die obigen Argumente verwenden, wobei nun "weit entfernt" einen Mindestabstand von a(I/2)n beschreibt. Dies reicht aus, urn 0 die Erfolgswahrscheinlichkeit durch 2-J?(n) abzuschatzen.

Das Minimax-Prinzip von Yao ermoqliclit den Beweis exponentieller unterer Schranken fur randomisierte Suchheuristiken, die im Black-Box-Szenario eingesetzt werden.

10. Weitere Kornplexitatsklassen und Beziehungen zwischen den Kom plexitatsklassen

10.1 Grundlegende Uberlegungen In Kapitel 3 ha ben wir die gru ndlegenden Komplexitat sklassen vorgest ellt un d untersucht . Die Beziehungen zwischen ihn en wu rd en in Theorem 3.5.3 zusamme ngefasst. Reduktionen dienen dazu , Beziehungen zwischen einzelnen Problemen herzust ellen . Wenn ein Problem mit einer Komplexitat sklasse C verglichen wird , kann es sich als C-einfach , C-schwierig, C-vollst iindig od er C-aquivalent erweisen. So lernen wir et was tiber die Kornplexitat von Problemen in Relation zur Komplexitat von anderen P robl emen und in Relation zu Komplexit atsklassen . Die NP-Vollstandigkeitstheorie hat sich als heut zutage best es Mittel erwiesen, urn unt er der NP ~ P-Hyp ot hese viele wichtige Probleme als schwierig zu klassifizieren . Damit hab en wir uns davon tibe rzeugt , dass die Untersuchung von Komplexitatsklassen , die wie NP durch nicht prak ti sch effiziente Algorithmen definiert sind , gut motiviert sein kann. In diesem Kapitel behandeln wir bekannt e und neue Komplexitiit sklass en . Wir beginnen in Kap itel 10.2 mit der inneren Struktur von NP und co-NP. In Kapit el 10.4 definieren und untersuchen wir die polynomielle Hierarchie von Komplexitatsklassen , die NP um fassen . Dazu definieren wir in KapitellO.3 Or akelklassen . W ah rend in Turingredukt ionen ein Algorithmus fiir ein bestimmtes Problem benu t zt werden darf, erla uben wir nun sogar Algorithmen fur ein beliebiges Problem einer Kornplexitatsklasse. Diese Bet ra chtungen ftihren zu folgenden Er gebnissen. Wi r erhalte n neue kompl exitiitstheoretische Hypothesen, von denen einige starker als NP ~ P , abe r dennoch gut begrtindet sind. In den spate ren Kapiteln werden wir a uf der Grundlage dieser Hyp othesen Schlu ssfolgerungen ziehen, die wir (bisher) nicht aus der N P~ P- Hypot hese ableiten konnen. Zudem bekornmen wir Hinweise, mit welchen Beweismethoden wir die N P~P- Vermutung ni cht beweisen konnen . Es stellt sich naturlich die Frage, warum sich all diese Betrachtungen auf NP und Komplexitatsklassen oberhalb von NP beziehen und warum wir die algorit hmisch relevanten Komplexitatsklassen ZPP, RP, co-RP und BPP nicht weiter untersuchen . Der Hauptgrund ist , dass BPP ~ P keine so gut begrtind et e Hypo these wie NP ~ P ist . W ahrend wir vermuten , dass die NPvollst andigen Probleme und damit sehr viele gut untersucht e Probleme nicht in P ent ha lt en sind, gibt es kaum gut unt er sucht e Probleme, von denen wir I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

136

10. Weitere Komplexitat sklassen

wissen , das s sie in BPP ent halte n sind, und von denen wir vermuten , dass sie nicht zu P geho ren . Der Nachweis von BPP = P ware ein weit reichend es und st arkes Resultat , er wiirde abe r nicht die gelt ende Sicht a uf die Welt der Komplexit at sklassen zum Einsturz bringen - im Gegensat z zu einem Beweis von NP = P . In der Fachwelt verbreit et sich die Meinung, dass " P nah e an BPP heranreicht " , wahrend NP und P durch die Welt der Nl--vollst andigen Probleme getre nnt sind. Der Begri ff "nahe her anreichen" ist naturlich nicht form alisierbar . Wir werden diese Ub erlegungen in KapitellO.5 unt ermauern, wenn wir die Beziehungen zwischen NP und BPP unt ersuchen.

10 .2 Die Komplexitatsklassen innerhalb von NP und co-NP Wenn NP = P ist , folgt , da P = co-P ist , co-NP = P und wir betrachten nur die Komplexitatsklasse P der effiz ient losba ren Probleme. Dies ist komplexitatstheoretisch nicht nur der unerwartet e, sondern auch der unint eressantere Fall. Aus Kapi t el 5.1 wissen wir , dass es inn erh alb von P drei Aquivalenzklasse n beziiglich der Aquivalenzrelation ,,~p" gibt: - alle Problem e, bei den en keine Eingab e akzept iert wird, - alle P robl em e, bei den en jede Eingabe akzeptiert wird , und - alle weit eren Probleme. Falls NP i=- P ist , bild et die Klasse NPC (NP -complet e) der NP-vollst andigen Problem e nach Definition eine vierte Aquivalenzklasse beziiglich ,,=p". Gibt es noch mehr Aquivalenzklassen ? Dies ist aquivalent zu der Frage, ob die Klasse NP I := NP - (P U NPC) (NP-incompl et e) leer od er nicht leer ist . Wir konnen nattirlich ftlr kein Problem nachweisen, dass es zu NPI gehort. Dann war e ja auch NP i=- P bewiesen. Ab er vielleicht gibt es Probleme, von denen wir vermuten, dass sie zu NP I gehore n? Garey und Johnson (1979) list en dr ei Probleme auf, die dam als als NP I-Ka ndida te n galten: - das Problem linear e Optimierung (linear pro gramming, LP) , also die Frage, ob eine lineare Funktion auf einem durch linear e Ungleichungen beschrankt en Raum einen Funkti onswert annehmen kann , der mindest ens so grof wie eine vorgegeben e Schr anke b ist , - den Primzahltest PRIMES und - das Gr aphenisomorphieproblem GI (siehe Kapitel 6.5). Schon vor Ian gerer Zeit wurde nachgewiesen , dass LP E P ist (siehe z. B. Aspvall und St one (1980)) . Von PRIMES war bekannt , dass es zu NP, co-NP und soga r co-RP gehort. Miller (1976) hat te bereits einen polynomiellen P rimzahltest entworfen, der auf einer allerdings unb ewiesenen zahl entheoretischen Hyp othese aufba ut . Somi t war P RIMES stets auch ein K an didat dafiir , polynomiell losbar zu sein. SchlieBlich hab en Agrawal , Kayal und Saxen a (2002) bewiesen , dass PRIMES E P ist . Ihre Argum ente hab en jedoch

10.2 Die Komplexitatsklassen innerhalb von NP und co-NP

137

keine Konsequenz en fur die Komplexitat des Faktorisierungsproblems FACT. Der Nachweis, dass eine Zahl n keine Primzahl ist , wird tiber zahlentheoret ische Argumente gefUhrt, die bisher keine Hilfe bei der Berechnung eines Teilers von n bieten . Die Vermutung, dass FACT nicht polynomiell losbar ist , ist durch den polynomiellen Primzahltest nicht ins Wanken geraten. Insbesondere sind kryptographische Verfahren, die wie das RSA-System und PGP auf der Schwierigkeit von FACT beruhen , nicht mit dem Primzahltest angreifbar . Fur GI gibt es keine Ansatze, die dar auf hinweisen , dass GI E P ist. In Kapitel 11 werden wir Grtinde fur die Vermutung herleit en , dass GI nicht Nl--vollstandlg ist . Somit ist GI momentan das bekannteste Entscheidungsproblem , von dem vermutet wird, dass es zu NPI gehort. Da wir uns auf Ergebnisse tiber konkret e algorit hmische Probleme konzentrieren wollen, werden die folgend en Existenzaussagen von Ladner (1975) nur genannt . Theorem 10.2.1. Falls NP i= P ist, ist NPl ni clit leer und enihiilt bezilglich ,,::::'p " unvergleichbare Probl em e.

Falls also NP i= P ist, gibt es innerhalb von NPI mehrere Aquivalen zklassen beztiglich ,,= p". Di e Mii chtigkeit des Konzepts polynomieller Reduktionen wird damn deutlich, dass sich fast alle uns interessi erenden Probl em e als NP-iiquivalent oder polynomiell losbar erwie sen haben. Falls NP i= P ist, gibt es aber eine reichhaltige Struktur von Probl em en zwischen P und NPC.

Wir wollen die Beziehungen zwischen NP und co-NP diskutieren . Sie st ehen in dualer Beziehung zuein ander , da co-(co-NP) nach Definition, also doppelt er Komplementbildung, wied er NP ergibt. Damit gilt ent weder NP = co-NP oder die beiden Komplexitatsklassen sind unvergleichb ar bezugli ch der Mengeninklusion. Aus NP ~ co-NP folgt ja co-NP ~ co-(co-NP ) = NP . In Kapitel 5.3 haben wir NP durch einen Existe nzquant or tiber polynomiell viele Bits und ein polynomielles Prad ikat chara kte risiert . Formal gehort L genau dann zu NP, wenn eine Spr ache L' E P und ein Polynom p mit

L= { x l:Jz E {a,

1}p(l x l) :

(x ,z) E

L'}

exist ieren. Sprachen aus co-NP lassen sich auf du ale Weise charakter isieren o Formal wird der Exi stenzquantor durch einen Allquantor ersetzt . Die NP i=P-Hypothese bedeutet , dass wir ohne Exis tenzquantor weniger Sprachen beschreiben konnen als mit Exi stenzquantor. Wenn wir glauben, dass in der artigen Darst ellungen Exist enzquantoren nicht imm er durch Allquantoren (und andere Spr achen L' E P) ersetz t werden konnen , dann ist dies aquivalent zu der NP i=co-NP-Hypothese. Wie am Anfan g dieses Abschnitts

138

10. Weitere Komplexitat sklassen

begriindet , wird ein Nachweis von NP :f=- co-N P die Aussage NP :f=- P nach sich ziehen. Wir haben auch gesehen, dass es zum Nachweis von NP = co-N P au sreicht , NP S;;; co-NP zu beweisen . Intuitiv ist folgender Ged ankengang nahe liegend. Wenn ein in NP schwierigstes P robl em , also ein Nl--vollst andiges Problem , in co-NP ent ha lte n ist , dann gehort ganz NP zu co-N P. Der ar tige Schlussfolgerungen werden wir haufiger benu t zen und daher hier form alisieren . Theorem 10 .2.2. Falls L NP-vollstiindig und L NP = co-NP.

E

co-NP ist, dann gilt

Beweis. Wie bereit s diskutiert, geniigt es, aus den Vorausset zun gen und L' E NP zu folgern, dass L' E co-NP ist . Dies wiederum ist aquivalent zu L' E NP . Wir beschreiben eine polynomiell zeit beschrankte nichtdet erministische Turingm aschine, die Eingab en w E L' akzeptie rt und Ein gab en w tf- L' nicht akzept iert. Da L Nl--vollst andlg un d L' E NP ist , gilt L' :::::p L . Es gibt also eine in polyn omieller Zeit berechenbar e Funktion f mit "w E L' {o} f(w) E L" . Diese Funktion f wend en wir auf die Ein gab e fiir L' an. Es folgt "w E L' {o} f( w) E L". Da L E co-NP ist , konnen wir f(w) E L in polynomieller Zeit nichtdeterminist isch iiberpriifen und erha lten so in polynomieller Zeit eine nichtdet erministische Ub erprufung, ob w E L' ist . 0 Die NP:f=-co-NP-Hypot hese impliziert also fur Spr achen L E NP n co-NP , dass sie nicht Nl--vollstandlg und nicht co-Nlt-vollstand ig sind . Vor dem Nachweis von PRIMES E P war die Tat sache, dass PRIMES E NP n co-N P ist , das best e Indiz dafur, dass PRIMES weder NP- vollstandig noch coNlt-vollstandig ist. Yom Graphenisomorphieproblem GI wissen wir , dass GI E NP , abe r nicht , dass GI E co-NP ist . Somit erha lte n wir aus den obigen Ub erlegungen kein Argum ent fur die Vermutung, dass GI nicht NPvollst andig ist . SchlieBlich impli ziert die NP:f=-co-N P-Hypot hese, dass Nl--vollstandlge P robleme nicht in co-NP enthalte n sind . Dah er iiberrascht es nicht , dass wir keines der bekannt en NP- vollstandigen Probleme mit einem Allquantor darstellen und dami t als zu co-N P gehorig nachweisen konnen. Insgesamt vermut en wir, dass die Welt inn erhalb von NP U co-NP so aussieht wie in Abbildung 10.2.1 illust riert .

10 .3 Orakelklassen Schon bei der Einfiihrung von Tu rin greduktionen A :::::T B in Kap it el 4.1 haben wir von polynomiellen Algorithmen fur A mit Orakel B gesprochen. Wir werd en weite rhin den Begriff eines Or akels benu t zen , obwohl diesem Begriff etwas Myst erioses und Ungen au es anha ftet . In Wi rklichkeit geht es um den Eins at z eines Unt erprogramms fur B , dessen Aufruf mit den Kost en 1 bewer tet wird . Der Begriff Orakel ist nicht gliicklich gewa hlt, abe r die iibliche

10.3 Orakelklassen

139

NPC

NPI

co-NP

NP NPI n co-NPI

P

Abb. 10.2.1. Die Kornplexitatswelt in NP U co-NP, falls NP

=1=

P ist.

Bezeichnung fur derartige Unterprogramme. Da wir hier nur Orakel fur Entscheidungsprobleme betrachten, miissen wir uns keine besonderen Gedanken dartiber rnachen, wie wir die Kosten eines Orakelaufrufs bewerten, wenn die Antwort Hinger als die Eingabe ist . Definition 10.3.1. Die Komplexitatsklasse P(L) enthalt fur ein Entscheidungsproblem L alle Entscheidungsprobleme L' mit L' :5:T L , also alle L' , die sich durch polynomielle Algorithmen mit Orakel L entscheiden lassen. Die Komplexitatsklasse P(C) ist fur eine Klasse C von Entscheidungsproblemen die Vereinigung aller P(L), L E C. Wenn die Komplexitatsklasse C ein beziiglich ,,:5:T" oder gar ,,:5: p" vollstandiges Problem L* enthalt, dann ist P(C)= P(L*) . J eder Aufruf eines Orakels L E C kann ja durch einen polynomiellen Algorithmus mit Orakel L* ersetzt werden. Insbesondere ist P(NP) = P(SAT) . Wir vermuten, dass P(NP) eine echte Oberklasse von NP ist . Ansonsten wiirden wir jede Anwendung des Orakels SAT in einem polynomiellen Algorithmus durch einen Aufruf ganz am Ende ersetzen konnen, dessen Antwort wir nicht verandem durfen. Insbesondere ist co-NP <;;; P(NP), da wir die Antwort des NP-Orakels verneinen durfen. Die obigen Argumente suggerieren sogar, dass P(NP) eine echte Oberklasse von NP U co-NP ist . All dies konnen wir nicht beweisen, da NP = P auch P(NP) = P(P) = P impliziert. Die bisherigen Betrachtungen konnen nicht iteriert werden, da P(P( C)) = P(C) ist. Eine polynomielle Berechnung, in der wir eine polynomielle Berech-

]40

10. Weitere Komplexitiitsklassen

nun g mit Orakel L aufru fen durfen , ist nichts weit er als eine polynomielle Berechnung mit Orakel L . In un seren fruh eren Betrachtungen war es ein wesent licher Schri t t , neb en P auch NP zu bet rachten . Dah er wollen wir hier neben P(L ) und P(C) a uch NP(L ) und NP (C) unt ersuchen. Definition 10.3.2. Die Komplexitat sklasse NP(L ) ent ha lt fur ein Ent scheidungsproblem L alle Ent scheidungsprobleme L' , die sich durch polynomiell zeit beschrankte nichtdet erministische Algorit hmen mit Orakel L ent scheiden lassen . Die Komplexitatsklasse NP (C) ist fur eine Klasse C von Entscheidungsproblemen die Verein igung aller NP(L ), L E C. Es ist P (P) = P und NP(P) = NP , da die Or akelau frufe durch polynomi elle Algorithmen erset zt werden konnen. Urn mit den neuen Begriffen vertrau t zu werden, ste llen wir ein pr akti sch wichti ges P roblem vor , das in co-NP (NP ) ent ha lt en ist und von dem wir vermuten , dass es nicht in P( NP) oder NP (NP ) ent ha lte n ist . Die Sprache aller minimalen Schaltkreise tiber der Basis aller bin aren Bausteine (minimal circ uit s, MC) best eht a us allen Schaltkreisen mit einem Ausgab eb au st ein , so dass kein Schaltkreis mit weniger Bau st ein en (manchmal auch Gatter genann t ) dieselb e bool esche Funktion berechn et . Theorem 10.3.3. Me

E

co-N P(NP ).

Beweis. W ir zeigen , dass das Komplement MC in NP (NP ) ent halten ist . Es sei also ein Schaltkreis 3 gegeben. Die von ihm ber echn et e Funktion bezeichnen wir mit f . Nun wird nichtdeterministisch in polynomieller Zeit ein Schaltkreis 3' mit weniger Bau st einen als 3 erzeugt. Die von ihm ber echnet e Funktion bezeichnen wir mit f'. Au s 3 und 3 ' erhalte n wir mit einem weit eren Baustein vom Typ EB od er EXOR einen Schaltkreis 3" ftir f" = f EB f' . Als Or akel wahl en wir das Nl--vollstandige ErfUllbarkeit sproblem fur Schaltkreise, das wir mit SAT c IR bezeichnet hab en. Das Or akel akzept iert 3 " gena u dann , wenn es ein a mit f"(a) = 1, also f (a) i=- f' (a) gibt. In diesem Fall akzeptiert der Algorithmus den Schaltkreis 3 nicht . Wenn das Orakel 3 " nicht akzeptiert, folgt f = I ' und 3 ' ist ein kleinerer Schaltkreis als 3 fur f . Der Algorithmus weif also, dass 3 nicht minimal ist und er akzeptiert 3 . Insgesamt wird 3 wie gewiinscht gena u dann auf mindest ens einem Rechenweg akzept iert, wenn 3 nicht minimal ist. 0

10.4 Die polynomielle Hierarchie In Kapitel 10.3 hab en wir das Werkzeug bereit gest ellt , urn eine Vielzahl von Komplexit atsklassen zu definieren . Wir werden diesen Weg formal beschreit en und un s einige Eigenschaft en dieser Komplexitatsklassen anscha uen. Dabei werd en wir fests t ellen , dass diese Kornplexit at sklassen eine anschauliche

10.4 Die polynomielle Hierarchie

141

logikorientierte Beschr eibun g haben, aus der sich die Kon struktion vollst andiger P roblem e fiir diese Klassen a bleitet. Deren Beschreibung unt erstutzt die Hypothese, dass die betracht et en Komplexit at sklassen eine echte Hier ar chie bilden, also eine bezuglich der Mengeninklusion aufste igende Folge verschiedener Komplexit at skl assen (St ockmeyer (1977)) . Definition 10.4.1. Es sei L\ sei

:=

NP, Il,

:=

co-NP und Ll1 := P. F ur k 2: 1

- 17k+! := NP(Ek), - Ilk+1 := Co-Ek+1 und - Llk+1 := P(Ed · Die po lynomielle Hierarchie PH ist die Vereinigu ng aller 17k , k 2: 1. Es ist auch konsist ent, Eo = Ilo = Llo = P zu setze n und die Definit ion a uf alle k 2: 0 auszude hnen. Wie in Kapi t el 10.3 gesehen, erhalten wir 171 = NP, Il, = co-NP und Ll1 = P. Mit diesen neuen Bezeichnungen laut et die Aussage von T heorem 10.3.3: Me E Il2 . Wi r list en einige Eigenschafte n der neuen Kornpl exitat sklassen auf, urn ein Bild tiber die Beziehungen zwischen ihn en zu gewinnen. Lemma 10.4.2. Fur die Komplexit at sklassen inn erh alb der polynomiellen Hier ar chie gelten die folgend en Beziehungen :

-

Llk = co-Llk = P(Ll k) ~ 17k n Ilk ~ 17k Ek +1 = NP(Ilk ) = NP( Llk + 1). Ilk+1 = co-NP(Ilk) = co-NP(Llk+1). 17k ~ Ilk =} 17k = Ilk·

U

Ilk

~

Llk+1 = P(Ilk) .

Beweis. Es ist Llk = co-Llk , da nach Definit ion Llk = P(Ek-1) ist und bei polynomiellen Berechnungen das Er gebnis am Ende negiert werden kann. Es ist P(L1k) = P(P(Ek-1)) = P(Ek- 1) = L1k, da ein pol ynomieller Algorithmus, der einen polyno miellen Algorithmus mit Or akel L E Ek-1 aufrufen darf, nicht s anderes ist als ein polynomieller Algori thmus, der das Or akel L E E k- 1 ~ Llk aufru fen darf. Na t tlrlich ist L1k = P(Ek-d ~ NP(Ek- 1) = 17k und Llk = co-Llk ~ Ili: Die Beziehung P(C) ~ NP( C) gilt nach Definition fur alle Kompl exit at sklassen C. Ebenso folgt nach Definiti on 17k ~ P(Ek) = Llk+1 und Ilk = co-17k ~ CO-Llk+1 = Llk+1. SchlieBlich ist Llk+1 = P(Ek) = P(Ilk ), da ein Or akel L E Ek denselb en Nut zen wie das Orakel L E co-17k = Ilk hat . Die Antwort jeder Orakelfrage kann ja negiert werden. Mit demselb en Argum ent folgt Ek+1 = NP(Ed = NP(Ilk). Aus 17k ~ Llk+1 folgt E k+1 = NP( E k ) ~ NP(Ll k+! ). In der Umkeh rung mu ssen wir argumentieren, dass ein Or akel L E Llk+1 durch ein Or akel L' E 17k ersetzt werden kann. Da Llk+1 = P( E k) ist , lasst sich das Or akel L E Llk+1 durch einen polynomiellen Algor ithmus mit Orakel L' E 17k ersetzen. In sgesam t

142

10. Weitere Komplexitatsklassen

haben wir einen nichtdeterminist ischen polynomiellen Algorithmus , der einen polynomiellen Algorithmus mit Orakel L' aufru ft und dies ist nichts anderes als ein nichtdet erministischer polynomieller Algorithmus mit Orakel L' . Die drit te Au ssagekett e folgt a us der zweiten, indem wir die Komplementklassen betrachten . SchlieBlich impliziert Ek ~ Ih , dass Ih = CO-Ek ~ co-Ilk = E k und d amit E k = Ilk ist. 0 An alog zu den Darst ellu ngen in Kapitel 3 erhalten wir in Abbildung 10.4.1 die Komplexi t at sland sch aft innerhalb der pol ynomiellen Hier ar chie. PH

t t

.1 3

EI

= NP

III

= co-N P

~/

E I n III

=

NP n co-NP

t

.1 1 = P Abb. 10.4.1. Die Komplexit atslan dschaft innerhalb der polynomiellen Hierarchie.

10.4 Die polynomielle Hierarchie

143

Wir hab en mit Pfeilen Teilm engenb eziehungen ausgedrtickt . Die Vermutung, dass die Klassen der polyn omiellen Hier archie eine echt e Hier ar chie bild en , beinh altet die Vermutung, dass alle angegebe nen Teilmengenbeziehun gen echt sind und dass die Kornpl exit at sklassen E k und Ih beztiglich Mengeninklusion unvergleichbar sind . Wir erha lte n also die folgend en komplexitatstheoreti schen Hyp othesen : - E k =J E k+l , - Ih =J Ih+I ' - E k =J Ih , - dk

=J

E k n ilk

=J

Ek

=J

E k U ilk

=J

d k+I '

Bevor wir Beziehungen zwischen diesen Hyp othesen unt ersuchen , leit en wir eine logikorientierte Dar st ellung der Komplexit at sklassen E k und ilk her . Dies wird die nachfolgend en Betrachtungen erleichte rn. Theorem 10.4.3. E in Entscheidungsprobl em L ist gena u dann in Ek etithalt en , wenn es eiti Polynom p und ein Entscheidungsproblem L' E P gibt, so das s mit A = {a, 1}p(lx l) gilt : L = {x l

3YIE A 'v' Y2 E A

3 Y3 E A ...

QYk EA : (X,YI , · · · ,Yk) EL'} .

Der Quantor Q ist ein Existenzquantor oder eiti Allquantor, j e na chd em welche W ahl die Qua ntorenfolg e alt erni erend m acht.

B eweis. Wir beweisen die Au ssage dur ch Ind uktion tiber k. F ur k = 1 hab en wir die Aussage in T heorem 5.3.2 bewiesen. Sei nun fur k 2: 2 eine Dar st ellung von L der beschri ebenen Art gegebe n. Ein nichtdeterministi scher Algorithmus kann YI E A nichtdet erministi sch erzeugen. Wi r erla uben ihm als Or akel das Entscheidungsproblem

Hierbei ist zu beacht en , dass Q nun der Quantor ist , der di ese Qu antorenfolge alterni erend macht . Da mit L' auch L' E P ist , ist nac h Indukt ionsvor au ssetzung L * E Ek- I' Der nichtdet erministi sche Algorithmus befragt das Or akel L * fur (x , yd und negiert die Antwort. Ist x E L, exist iert ein YI E A, so dass

wahr ist . Dami t ist (x , yd rt- L * und der nichtdet erministische Algorit hmus akzept iert x. Ist x rt- L , folgt mit den De-Morgan-Regeln fur alle YI E A , dass

wahr ist . Es ist also (x , yd E L * fur alle YI E A und der nichtdet erministische Algori thmus akzeptiert x auf keinem Rechenweg. Die Rechenzeit ist polynomiell beschr ankt, da YI polynomielle Lan ge hat.

144

10. Weitere Komplexitatsklassen

Sei nun L EEk. Dann gibt es fur Leinen nichtdet erministischen polynomiell zeitbeschrankten Algorithmus A L mit Orakel L' E E k - l . Fur L' gibt es nach Induktionsvoraussetzung ein Entscheidungsproblem B E P , fiir das

L' = {z I

:3yz E A 'V Y3 E A . . .

QYk E A : (z ,yz, .. . ,Yk) E B}

ist. Es gibt zwei Polynome q und r , so dass der Algorithmus A L fiir x das Orakel L' hochstens q( lxl)-mai fur Eingaben eine r Lange von hochstens r(lxl) befragt. Wir konnen A L und L' Ieicht so andern, dass er auf allen Rechenwegen fiir eine Eingabe x der Lange Ixl gen au q( lxl) Anfragen der Lange r(lxl) stellt. Dann ist x E L genau dann, wenn es fur A L zu x einen akzeptierenden Rechenweg w , zug ehorige Orakelfragen bl , . . . , bq(lxl) und zugehorige Orakelantworten al , . . . , aq(l xl) gibt. Wir wollen diesen Sachverhalt in die gewtinschte Quantorenschreibweise bringen. Sie beginnt mit

Es sei C* die Menge aller (x ,w,bl, .. . , bq(lxl), al, . . . , aq(lxl) ), so dass A L fur x auf dem Rechenweg w die Orakelfrage b, ais i-te Frage stellt, wenn er zuvor auf die Fragen os, . .. , bi - l die Antworten al, . .. , ai-l erhalten hat , und schlieBlich die Eingab e x akzeptier t . Offensichtlich ist C* E P . Es bleibt nun zu iiberprufen, ob a, die richtige Antwort auf die Frage bi ist. Falls ai = 1 ist , konnen wir diese Antwort uberprufen durch die Formel

Falls a;

= 0 ist, konnen wir diese Antwort tiberprtifen durch die Formel

Da a ; nicht vorab bekannt ist, mtissen wir diese beiden Falle zusammenfassen, wobei das polynomielle Entscheidungsproblem auch auf a; zur Uckgreifen darf:

wobei B * alle Vektoren mit a, = 1 und (bi , yl, ..., yLI) E B und alle Vektoren mit ai = 0 und (bi, y~, ... , y1) E B enthalt . Hier sehen wir , dass der Fall ai = 0 die Quantorenlange urn 1 erhoht. Nun konnen wir alle Aussagen zusamme nfassen . Der erst e Existenzquantor betrifft w und alle bi , ai, yl, 1 ::::: i ::::: q(lxl) . Der folgende Allquantor betrifft alle y~, 1 ::::: i ::::: q(lxl) . Dies wird bis zum k-ten Qu antor fortgesetzt. SchlieBlich enthalt das EntscheidungsproI b q(lxl) bi em B ' a 11e ( x , w, bl ,al ,YII " " 'Yk"' " q( lxl) ,aq(lxl)'YI "" ' Ykq( lxl)) ml't (x ,w,bl , . .. , bq(lxl), al, . . . , aq(lxl) ) E C * und (bi ,ai,yL . . . , Y1) E B *, 1 ::::: i ::::: q(lxl) . Damit ist B' E P . Es ist nun nur noch ais technisches Detail sicherzustellen, dass hinter jedem Quantor ein boolescher Vari ablenvektor derselben polynomiellen Lange p'(lxl) steht. 0

10.4 Die polyno m ielle Hierarchie

145

Mit den De-Morgan-Regeln erhalten wir folgendes Korollar . Korollar 10.4.4. Ein E ntsc hei dungsproblem ist genau dann in Ih eniholten, wenn es ein Polynom p und ein Entscheidungsproblem L' E P gibt, so dass mit A = {O, 1}p(lx l) gilt : L

= {x I 'V YI

E

A

:3 Y2 EA . ..

QYk

E

A : (X,Y l "" ,Yk) E L' }.

Wi r fassen unsere Ergebnisse zusammen. Di e Komplexit iitsklassen E k und Ili, beschreiben P roblem e, die sich mit k - 1 Quantorenwechs eln, polynomi ell vie len Variabl en und eine m polynomiell entscheidbaren P riidikat beschreiben lassen. Si e unterscheid en sich im Typ des ersien Quantors. Die Hypothese, dass diese Kla ssen alle verschie den sind, ist die Hypothese, dass j eder neue Qua ntor die B eschreibungskraft echt uerqrojlert und es einen Unterschied macht, von welchem Typ der ersie Quantor ist.

Die logikorientierte Sichtweise erleichte rt den Nachweis der folgenden Ergebnisse. Theorem 10.4.5. Falls E k

= Ih

ist, gilt PH = Ek .

Dieses Theorem bedeut et anschaulich, dass unt er der Ann ahme E k

=

Ih die Komplexit atslandschaft in Abbildung 10.4.1 ob erhalb von E k n Ilk "zusammenbricht", weil alle ob erhalb gelegenen Klassen gleich Ek n Ilk sind. Die kompl exit at stheoretische Hypothese E k+l =I- E k ist also eine starkere Annahme als Ek =I- E k-l und die NP=l-P-Hypot hese ist die schwachste aller Annahmen . Au s NP = P folgt , wie in KapitellO.2 gezeigt, NP E l = III und PH = P .

= co-N P, also

Beweis von Theorem 10.4.5. Wir folgern Ek +l = Ilk+l = E k aus der Annahme E k = Ilk. Dieses Argument kann dan n induktiv fort geset zt werd en. Nachdem wir im Beweis von Theorem 10.4.3 sehr form al vorgegan gen sind , wollen wir hier intuitiver argument ieren. Exemplarisch betracht en wir den Fall k = 4. Aus Sicht von Theorem 10.4.3 bedeutet E 4 = Il4 , dass :3'V:3'V P

=

'V:3'V:3 P

ist . Hint er den Qu antoren diirfen nur polynomiell viele Vari abl en stehen und P steht fiir Entsc heidungsprobleme aus P, die auf den verschied enen Seit en der Gleichung verschieden sein konnen . Wir betracht en nun E 5 , also Probleme vom Typ :3 ('V :3 'V:3 P) . Die Klammer ist iiberfliissig, sie soll a ber andeu te n, dass wir auf diesen Klammerausdruck obige Gleichung anwenden und einen Ausdruck vom Typ :3:3 'V:3 'V P erhalten. Zwei Qu ant oren vom selbe n Typ konn en zu einem Qu antor zusamme ngefasst werden. Also lasst sich jedes E 5 Problem in der Form :3 'V:3 'V P schre ibe n und gehOrt damit zu E 4 . Es folgt D E 5 = E4 = Il4. Analog folgt Il5 = Il4 = E 4.

146

10. Weitere Kornplexitatsklassen

Korollar 10.4.6 . Falls Ek

=

E k+l ist, gilt PH = E k.

Beweis. Es gilt Ek ~ Ih+l . Aus E k = E k+l folgt also Ek+l ~ Ih +l und mit Lemma 10.4.2 a uch E k+ l = Ih+l . Nun impli ziert Theorem 10.4.5, dass PH = Ek+l ist . Zusammen mit der Voraus set zun g folgt PH = E k . D Die logikori entierte Sichtweise aus Theorem 10.4.3 fuhr t zu einer kanonischen Verallgemeinerung der bekannten Erfilllbarkeitsprobleme wie SATcIR auf Erfilllbark eitsproblem e der k-ten Stufe SAT~IR ' Es handelt sich dab ei urn alle Schaltkreise S auf k Vari abl envektoren Xl, . . . , Xk der Lan ge n , so dass fur A = {O, I}" gilt: :3XIEA

VX2E A ...

Q Xk EA :S(X)=1.

Dab ei bezeichnen wir mit S( x) den Wert des Schaltkreises S , wenn die Ein gabe X = (Xl, . .. ,X k ) ist . Da es in polynomieller Zeit moglich ist , die Aussage "S (x) = 1" zu verifizieren , folgt aus Theorem 10.4.3, dass SAT~IR E E k ist . Wenn SAT od er SATc IR kanonische Kandidat en filr NP - P sind, gilt dies auch fur SAT~IR und E k - E k - l . Wir haben zwar mit MC ein pr aktisch relevantes Problem betrachtet, das wir in Ih - III vermuten, abe r wir konnen nicht erwarte n, dass wir fur sehr groJ3es k praktisch relevante Probleme erhalt en , die in E k - E k - l vermut et werden. W ie konnen wir die Vermutung, dass ein Problem in Ek - E k-l ist , untermau ern? Wi e in der NP-Vollst andigkeit stheori e folgt fur E k-vollst andige Probleme L (siehe Definition 5.1.1) , da ss entweder E k = E k-l od er L rf:. E k-l ist. Da wir vermuten , dass Ek =I Ek -l ist , erhalte n wir wieder einen starken Hinweis , dass L rf:. Ek -l ist . Mit ahnlichen Methoden wie beim Beweis des Theorems von Cook ergibt sich folgendes Er gebnis. Theorem 10.4.7. SA T~IR ist E k -vollstii n dig. Da er methodisch keine neuen Ideen verlan gt , ver zicht en wir auf den Beweis von Theorem 10.4.7 und ste llen fest : Auf je der Stufe E k der polynomiellen Hierarchie gibt es uollstiitidiqe Probleme, die kanonische Kandidaten sind, um die Komplexitiitsklassen E k- l und Ek zu trennen.

W ir hab en gesehen, dass P = PH a us NP = P folgt . Dies kann als erganz endes Argum ent filr die NP=lP-Hy pot hese gelt en. Wir konnen die Frage, ob NP = P od er NP =I P gilt, erweitern a uf Or akelklassen . Wi r konnen uns fragen , ob NP(L) = P(L) od er NP(L ) =I P(L) ist . Falls L E P ist , sind diese Fr agen aquivalent zur Ausgan gsfrage, ob NP = P od er NP =I P ist . Man mag soga r zu der Vermutung gelangen, dass entweder fur alle Sprachen L die Beziehung NP(L ) = P(L) od er fur alle Spr achen L die Beziehung NP(L) =I P(L) gilt. Dies ist jedoch falsch. Es gibt (siehe z. B . Reischuk (1999)) Sprachen A und B mit

10.5 BPP, NP und die polynomielle Hiera rchie

NP(A )

=

P(A)

NP(B)

i=

P(B) .

147

und

Was bed eutet dieses Ergebnis? Wir sind an den Orakeln A und B j a ga r nicht interessiert. Wir erhalten a be r ein Indiz, mit welch en Beweismethoden wir d ie NPi=P-Frage nicht losen konnen. J eder Beweisversu ch fiir NP i= P , dessen Techniken auch NP(A) i= P(A) implizieren , kann nicht glucken, E s gab bereits einige missgltick t e Beweisversuche fur NP i= P , bei den en es schwer war , eine n Fehler zu finden . Dennoch wusste man, dass sie falsch waren, da mit ihnen auch NP(A ) i= P(A) gefolgt wiire. Der ar ti ge Ei ngrenzunge n von Beweist echniken schrii nken die moglichen Wege zum Beweis der NPi= PVermutung ein. E ine Konzent ration der Kr afte auf weniger An siitze erhoht vielleicht die Chance n au f eine Losung des NPi=P-Problem s.

10.5 BPP, NP und die polynomielle Hierarchie Die Komplexit iit sklassen BPP und NP spiele n zent rale Rollen , eine rse its als Komplexi t iitskl asse de r effizient mit ra ndomisierten Algorithmen losb ar en Problem e, andererseits als Basiskl asse fur die NP-Vollst iindi gkeitstheor ie, die mit den NP-vollstiindi gen Problem en viele vermutlich nicht effizient losb are Probl em e ent hiilt . Wi e stehen nun d iese Komplexitiit skl assen zueinander? Hier ist es wieder sinnvoll, sich NP-Algorithmen als randomisierte Algorithmen vor zust ellen . - NP -Algorit hme n: einseitiger Fehler , abe r groJ3e Fehl erw ahrscheinlichkeit , z. B. 1 - 2- n . - BPP-Algorithmen : Fehlerwa hrscheinlichkeit stark begren zt , z. B. durch 2- n , aber zweiseitiger Fehler. Somi t konnte es sein, dass NP und BPP unvergleichb ar beziiglich Mengeninklusion sind. Andererseit s ist B P P vermutli ch zumindes t " nicht viel grofier" als P und die Beziehung BPP ~ NP wiirde un ser Bild von der Landsch aft der Komplexit iit sklassen vervollst iindigen , abe r best eh ende Hypo thesen nicht ins Wan ken bringen . Bez uglich der Beziehung von BPP zur polynomiellen Hierarchie ist BPP ~ E 2 n II2 das best e bekannt e Erge bnis . Wir werd en seinen Beweis so anlegen, dass wir dar au s weiter reichende Konsequenzen ableiten konnen. Theorem 10.5.1. BPP < E 2 n II2 . B eweis. Da nac h Definition BP P = co-BP P ist , geniigt es, BPP zeigen. Es folgt dann sofort BPP = co-BP P ~ co-E2 = II2 .

~

E 2 zu

148

10. Weitere Kornplexitatsklassen

Sei nun also L E BPP gegeben. Nach Theorem 3.3.6 gibt es fur L ein en randomisiert en Algorithmus mit polynomieller maximaler Rechenzeit , dessen Fehl erwahrscheinlichkeit fur jede Ein gab e der Lan ge n durch 2- (n + l ) beschrankt ist . Wir konnen dab ei annehmen, dass jeder Rechenweg eine Lan ge von p(l xl) hat und p( n ) ohne Rest durch n te ilba r ist . Da wir spater die Abschatzung p(n )/ n :::; 2n benotigen , behandeln wir die hochstens endlich vielen Eingab elan gen n, fur die diese Beziehung nicht gilt, vorab. Pol ynomielle Algorithmen konnen fur diese Ein gab en den randomisi erten Algori thmus auf allen Rechenwegen simulieren und das korr ekt e Result at berechnen , ohn e die Eigenschaft einer polynomiellen Rechenzeit zu verlieren. F iir jede Ein gab e x der Lange n gibt es nach unseren Vorb emerkungen genau 2p (n ) Rechenwege des BPP-Algorithmus, von denen wegen der klein en Fehl erwah rscheinlichkeit nur sehr wenige, narnlich hochstens 2p (n )- (n +l ) viele, ein falsches Er gebnis liefern. Wi r be zeichnen fur x mit A (x) die Menge der Rechenwege r E {a, 1 }p(n) , fur die der BPP-Algori thmus x akzept iert, und mit N (x ) die anderen Rechenwege. Fur alle x E List A (x ) viel grober als N (x ). So mu ss es fiir "recht viele" Eingabe n, die zu L gehoren, sogar einen gemeinsa me n akzept ierenden Rechenweg gebe n. F ur Ein gab en x rf- List die Menge A (x) dagegen sehr klein . Diesen Unter schied wollen wir ausnutzen. Es sei k(n) eine spate r zu spezifizierende Crobe. Wir werd en k(n ) durch k und p( n) durch p abkiirze n, urn die Formeln zu vereinfachen. Es sei B die Spr ache aller Tri pel (x , r , z) aus einer Eingabe x E {a, I} " fur das Ent scheidu ngsproblem L , k Rechenwegen rl> . .. , rk E {a, I }p und einer so gena nnte n Rechenwegtran sform ation z E {O, 1 }P, fur die r i EB z fur mindest ens ein i in A (x ) ist. Hierbei steht EB fur das komponent enweise EXOR auf Vektoren aus {O, I }p. Die Abbildung hz(r) := r EB z ist eine bijektive Abbildung auf der Menge {O, I}P der Rechenwege. Da es deterministisch in polynomi eller Zeit moglich ist , randomisierte Algorithmen mit polynomieller Rechenzeit auf polynomiell vielen vorgegeb enen Rechenwegen zu simulieren, ist B E P , falls k polynomiell beschr ankt ist . Aber was niit zt un s das P roblem B ? Wir wollen L auf folgende Weise cha ra kterisieren, urn L mit Hilfe von Theorem 10.4.3 als Eleme nt von E 2 nachzuweisen:

L = {x l :3r = (r l , ... , rk) E {O, 1}p k \fz E {a, IF: (x , r, z) E B} . Wieso konnen wir int uit iv hoffen , dass eine derartige Charakterisierung moglich ist ? W ir hab en gesehen, dass viele, aber nicht unb edingt alle x E L gemeinsame akzeptierende Rechenwege hab en. Indem wir geniigend viele Rechenwege r l , ... , rk wa hlen du rfen, konnen wir hoffen , dass fur jedes x E L jede Tr an sform atio n z aus mindestens einem der gewahlten Rechenwege einen akzeptierenden Rechenweg erzeugt. Fii r x rf- List die An zahl akzeptierender Rechenwege so klein , dass dies fur mindestens eine Tr an sformation z misslingen muss. Diese Vermutungen konnen wir fur die Wahl k := pin bestatigen. Sei zunac hst x E L und R (x) die Menge der schlechten r = (rl , .. . , rk), also so1cher r, fur die es ein z E {O,I}P gibt, so dass alle ri EB z E N(x )

10.5 BPP, NP und die polynomielle Hierarchie

149

sind . lndem wir IR(x )j < 2 k p beweisen , zeigen wir die Existenz eines guten Tr-Vektors , so dass fur x E L die beschri ebene Ch ar akterisierung gilt. F ur Wi = r; EB z ist uu EB z = rioSomit ist R(x) au ch die Menge aller (Wi EBz, . . . ,Wk EB z ), so dass z E {O, 1}P ist und aIle W i E N (x ) sind . Also ist IR(x )j :::; IN (xW' 2P . Da x E List, gilt auf Grund der geringen Fehle rwahrscheinli chkeit IN (x)1 :::; 2 P - (n +l ) . Aus k = pin folgt

IR(x )1:::;

2(p-(n+i».k . 2 P

=

2 p k+ p- n k - k

=

2 pk - k

< ~ ·2 pk .

Somit ist soga r mindestens die Halft e der r -Vektoren geeignet . Sei nun x tf. L. Da IA (x )1 :::; 2 P - (n +i ) ist , folgt IN (x )1 2: 2 P - 2 P- (n +i ). Sei ein r = (ri , " " rk) E {O, l}pk gegeben. Wir werden zeigen, dass es ein z mit (x , r , z ) tf. B gibt. Dazu muss r i EB z E N(x) fur aIle i sein. Mit Zi( r) bezeichn en wir die Menge aller z mit ri EB z E N (x ). Wegen der Bijektivitat der EB-Operat ion ist IZi(r )1 = IN (x)1 2: 2P - 2P - (n +l ) . Es gibt also hoch ste ns 2 P- (n+ i ) z-Vekt ore n, die nicht in Zi(r) ent ha lte n sind . Dami t gibt es hochstens k · 2P - (n +l ) z-Vekt oren, die in mindest ens einem Zj(r) nicht enthalten sind . Wir betracht en nur die Werte von n, fur die k :::; 2n ist . Also ist k ·2P- (n +i ) :::; ~ . 2 P und es gibt mind est ens einen z-Vekt or , der in allen Zi(r) ent halten ist . Fur diesen z-Vekt or ist ri EB z E N( x) fur aIle i und somit

(x , r, z ) tf. B . Die ob en angege be ne Charakterisieru ng von L ist somit verifiziert und L ist in E 2 ent halte n. 0 Wir hab en soeben L E E 2 = NP(NP) gezeigt . Das benutzt e NP-Ora kel war ,,3z E {O, I} ": (x , r , z ) tf. B " . Der nichtdet erministische Rahmenalgorithmus erzeugt r = (ri , " " rk) zufallig. Fur x tf. List die Fehlerwahrscheinli chkeit 0. F ur x E List nur hochst ens die Halft e der r -Vektoren nicht geeignet, um x zu akzept ieren. Die Fehlerwahrscheinlichkeit ist also soga r durch 1/2 beschr ankt . Damit ist der Rahmen algorithmus ein RP-Algorithmus. Mit einer nahe liegend en Definition ist L also sogar in RP(NP) ent ha lte n. Definition 10.5.2. Die Komplexit atsklasse RP(L) ent ha lt fur ein E ntscheidungsproblem L aile Ent scheidungsprobleme L' , die sich durch RPAlgorithmen mit Orakel L entscheiden lassen . Die Klasse RP(C) ist fur eine Klasse C von Entscheidungsproblemen die Vereinigung aller RP(L) , L E C. An alog werden ZPP(L) , ZP P (C), BPP(L) , BPP(C), PP(L) und PP (C) definiert . Damit konnen wir die obigen Ub erlegun gen als Theorem formuli eren . Theorem 10.5.3. BPP <;;; RP( NP) n co-R P (NP ). Somit ent halt BPP zumindest keine Probleme, die "weit " von NP ent fernt sind.

150

10. Weitere Komplexitatsklassen

W ahrend BPP ~ NP ein neues, weit reichend es, aber nicht vollig ub erraschendes E rgebnis war e, wurde das Er gebnis NP ~ BPP unser komplexitatstheoretisches Weltbild zum Einsturz bringen. Zwar wtirde daraus nicht NP = P folgen , aber aile NP-vollstandigen P robleme war en in polynomieller Zeit mit klein er Fehlerwah rscheinlichkeit losb ar. Sie waren also praktisch effizient losb ar . Wir zeigen die Beziehung "N P ~ BPP =} NP ~ RP " . Wer also glaubt, dass NP ~ BPP ist, muss auch glauben, dass NP ~ RP und dami t NP = RP ist. Diese Kon sequenzen konnen den Gl auben an NP ~ BPP , sofern vorh anden , ersch iit tern . Wenn NP = RP ist , konnen wir Fehlerwahrscheinlichkeit en von 1 - 2- n bei einseitigem Fehler auf Fehlerwahrscheinlichkeit en von 2- n bei ebe nfalls einseit igem Fehler drii cken. Ungl aublich, aber nicht bewi esen ermaBen unmoglich. Auf dem Weg zu dem angestrebten Resultat werd en wir die Aussage BPP(BPP) = BPP beweisen . Wir wissen, dass P(P) = P ist , und vermuten , dass NP(NP) i=- NP ist. Das neue Result at zeigt, dass BPP als Or akel in einem BPP-Algorithmus nicht hilfr eich ist . Auch dies ist ein Indiz, dass BPP "nicht so macht ig" wie NP ist. Theorem 10.5.4. BPP(BPP) = BPP. B eweis. Sei L E BPP(BPP) . Dann gibt es ein Or akel L' E BPP , so dass L E BPP(L') ist . Mit A bezeichnen wir den BPP-Rahmenalgorithmus. Sein e maximale Rechenzeit sei durch das Polynom Pi beschrankt und seine Fehlerwahrscheinli chkeit nach T heorem 3.3.6 durch 1/6 . Mit A' bezeichn en wir einen BPP-Algorithmus fur L' . Nach T heorem 3.3.6 konnen wir an nehmen, dass die Fehlerwah rscheinlichkeit von A' durch 1/(6 · Pi(l x l)) beschr ankt ist . W ir ersetzen die Or akelfragen durch Aufrufe von A' . Insgesamt arbeitet der neue ran domisierte Algorithmus in polynomieller Zeit , ohne ein Or akel zu benutzen . Er macht hochst ens dann einen Fehler , wenn eine Simul at ion von A' fehlerhaft ist od er der Rahmenalgorithmus t rot z richti ger Antworten der Simulationen von A' einen Fehler macht . Somit lasst sich die Fehlerwahrscheinlichkeit abschatzen durch Pi (lxl) /(6 . Pi( lx l)) + 1/ 6 = 1/ 3 und wir hab en einen BPP-Algorithmus fur L entworfen. 0 Da Theorem 3.3.6 auch fur aile eindeutig losbaren Probleme gilt, konnen wir Theorem 10.5.4 mit demselben Beweis von der Klasse der BPP-Entscheidungsprobleme auf die Klasse der einde ut ig losbar en BPP-Problem e erweitern. Dies werd en wir spa te r ausnutz en. Das folgend e Korollar deutet darauf hin , dass NP ~ BPP nicht gilt . Korollar 10 .5.5. NP

~

BPP =} PH ~ BPP.

Beweis. Es geniigt die Beziehung r, ~ BPP aus NP ~ BPP abzuleite n. Das folgende Argument fur k = 4 kann direkt auf allgemeines k iibertragen werd en . Aus NP ~ BP P und T heorem 10.5.4 folgt

10.5 BPP, NP und d ie pol ynomielle Hier archie

174

=

151

NP (NP (NP (NP )))

s: BPP(BPP(BPP(BPP))) s: BPP(BPP(BPP)) s: BPP(BPP) s: BPP. o Nun komm en wir zu dem angekiindigte n Resultat . Theorem 10.5.6. NP

s: BPP

=}

NP = RP.

s:

s:

Beweis. Nach Definition ist RP NP. Also miissen wir nur noch NP RP aus NP BPP folgern. Dazu genligt es, fur ein NP-vollsUindiges Problem L au s NP BPP zu folgern, dass L E RP ist . Aile anderen Probleme aus NP lassen sich ja polynomiell auf L red uzieren. Wir betracht en drei Vari ant en des Knotenfarbungsproblems GC . Wir erinnern dar an , dass GC das Problem ist , fur Graphen G = (V, E) und Zahl en k zu entscheiden, ob die Knoten des Graphen mit k Farbe n so gefarbt werden konnen , das s aIle Kanten zwei Knoten verschiedener Farb en verbinden. F iirbungen sind belieb ige Vektoren e = (el , .. . , en ) E {I , .. . , n} " , wobei c; die Farbe des i-t en Knotens ist . Dami t lassen sich F iirbungen gernaf der lexikographischen Ordnung auf {I , . . . , n }n vergleichen . Der F iirbungsvektor e heiBt legal, wenn durch ihn die zwei E ndpunkte jeder Kant e verschiedene Farben erhalte n. Mit LEX-GC bezeichn en wir das Problem , fur G den legalen Farbungsvektor f( G) zu berechnen , der mit minimaler Fa rbe nzahl au skommt und unter allen legalen Farbungsvektoren mit min imaler Farbenzahl der lexikographisch kleinst e ist. Dies ist kein Entscheidungsproblem , a ber ein eindeut ig losbar es Suchproblem. SchlieBlich sei MIN-GC das Problem , fiir (G, e) mit e E {I , . .. , n}n zu entsc heiden, ob e :::: f (G) ist . Dab ei mu ss e kein e legale F ar bung von G sein. Das Problem GC ist Nlt-vollstandig (Theorem 6.5.2). Die Aussage (G, e) E MIN-GC ist aqui valent zu

s: s:

3e'E {1, . .. , n }n

VeliE {l , .. . ,n}n : (G , e, e' , e") EB ,

wobei B die (G , e, c', e") ent ha lt , fur die e' und e" legale Farbungen von G sind, fur die e' e ist und e" mindest ens so viele Farben wie e' benutzt od er fur die e" keine legale Farbung von Gist . Offensichtlich ist B E P und diese Ch arak t erisierung von (G, e) E MIN-GC zeigt nach Theorem 10.4.3, dass MIN-GC E 172 ist . Aus NP BPP folgt nach Korollar 10.5.5, dass PH BPP ist. Insb esondere ist MIN- GC E BPP. Durch bin ar e Suche auf {I , . . . , n}n kann mit [log n"] = [n log n] Fragen an das Or akel MIN-GC das P roblem LEX-GC gelost werden. Mit der Ver allgemeinerung von T heorem 10.5.4 auf eindeut ig losbar e Suchprobleme kann LEX-GC von einem randomisiert en Algorithmus

s:

s:

s:

152

10. Weitere Komplexit atskl assen

A in polynomieller Zeit mit dur ch 1/ 3 beschr ankt er Fehlerwahrscheinlichkeit gelost werden . Hier au s konstruieren wir einen RP-Algorithmus A ' fur GC und beweisen dami t das T heorem . Der randomisiert e Algorithmus A' erhalt eine Ein gab e aus einem Graphen G und eine r Zahl k . Zunachst wird A auf der Eingab e G simuliert. Das Ergebnis sei c. Gen au dann , wenn c eine legale Farbung von G mit hochstens k Farben ist , akzept iert A' die Ein gab e (G, k) . Die Rechenzeit von A' ist polynomiell beschrankt . Falls (G, k) rj. GC ist , gibt es keine legale Farbung von G mit hochstens k Farb en und die Eingab e (G , k ) wird mit Wah rscheinlichkeit 1 nicht akzept iert . Falls (G , k ) E GC ist , wird A' diese Eingabe nur dann nicht akzept ieren, wenn A auf G einen Feh ler macht . Also ist A' ein Algorithmus mit einseitigem Fehler , dessen Fehlerwahrsc heinlichkeit durch 0 1/ 3 beschrankt ist . Die Untersuchung von Orakelklassen hat dazu beigetragen, die Beziehungen zwischen den uns interessierenden Komplexitiitsklasseti NP, BPP und RP zu erhellen.

11. Interaktive Beweise

11.1 Grundlegende U b e rlegung e n In diesem Kapite l werd en Komplexit at sklassen auf der Basis int er aktiver Beweise definiert. Die Motivation dafiir ist nicht offenkundig. Es erge ben sich Kornplexitatsklassen mit int eressan t en Eigenscha fte n und Beziehungen zu den schon bekannten Komplexit atsklassen . Ab er viel wichti ger sind die Ergebnisse, die mit dieser neuen Sicht auf die Komplexitat von Problemen erreicht werden konnen , In Kapitel 11.3 werden wir die schon angektindigt en Argument e vor st ellen , mit denen wir begrtinden , warum das Gr aphenisomorphieproblem als nicht Nl--vollst andig eingeschatzt wird . In Kapitel 11.4 diskutieren wir int erak tive Beweise, die tiberzeugen , aber den Kern des Beweises nicht offen legen . Derar tige Beweise konnen als Kennwort (password) benutzt werden . SchlieBlich beruhen das PCP-Theorem (siehe Kapitel 12) und die dar auf aufbauende Theori e zur Komplexitat von Approxim ationsproblem en auf der hier eingefU hrten Sicht, Probleme durch int er aktive Beweise zu losen , Bevor wir den zentralen Begriff eines int eraktiven Beweises, der auf Goldwasser , Micali und Rackoff (1989) zur tickgeht , in Kap it elll .2 einfuhren , wollen wir den Begriff eines Beweises bel eucht en . Selbst in der Mathem atik ist der Begriff eines .formalen Beweises" recht jung. Streng gen ommen ben6tigt ein form aler Beweis ein endliches Axiomensyst em und eine endliche Menge von Regeln , urn Schlussfolgerungen aus den Axiomen und bereits bewiesen en Theor emen zu ziehen. Der Vort eil derartiger Beweise best eht darin , dass sie leicht auf Korrektheit ub erpriift werden konnen . Allerdings tiberwi egen die Nacht eile. Forrn ale Beweise werden unlesbar lan g und verde cken die Beweisidee n. Im st re ngen Sinn ent halt dieses Buch daher keinen formalen Beweis. In der Realitat werden Beweise so dargeste llt, dass sie verst andlich sind . Sie gelten als akzept iert, wenn Fachleute bei der Begutach tung fur eine wissenschaftliche Zeitschrift den Beweis akzept ieren. Oft konnen auch diese Fachleute den Beweis nicht verst ehen und dah er nicht akzept iere n, obwohl sie keinen Fehler finden . Sie stellen dann Rtickfragen , urn kritische Stellen zu klar en. Dieser int eraktive Prozess wird fort geset zt , bis geklart ist, ob der Beweis akzept iert werden kann. Somit kommt au ch die heutige Realitat dem historischen Beweisb egriff nah e. Sokrat es hat Beweise als Dialoge zwischen Schuler und Lehrer gesehen. I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

154

11. Interak ti ve Beweise

Die bet eiligten Personen hab en dab ei sehr verschiedene Rollen. Die Lehrerin od er der Lehrer weif sehr viel und kennt insb esondere den Beweis, wah rend die Schi.ilerin od er der Schi.iler beschranktes W issen hat . Dieses Rollenspiel wollen wir iibe rtragen, urn Komplexit at sklassen zu definieren. Die Lehrerrolle wird nun vom Beweiser (prover) Bob iibern ommen und die Schiilerinnenrolle von der Verijiziererin (verifier) Vict ori a. Die Aufgabe nstellung lasst sich wie folgt beschreiben . Fur ein Entscheidu ngs problem Lund eine Eingab e x will Bob beweisen , dass x E List , wah rend Victoria diesen Beweis iiberp riifen soll, Falls x E List , soIl es einen Beweis gebe n, den Vict ori a effizient ub erprufen kann. Falls x ~ List , soIl Vict oria in der Lage sein, jeden Beweisversuch von Bob zu falsifizieren. Der entscheidende Unt erschied zwischen Bob und Victoria best eht darin , dass Bob unb eschr ankte Rechenzeit hat , wahrend Victo ria ihre Arbeit in polynomieller Zeit verrichten muss. In diesem Modell finden wir die Sprachklasse NP leicht wieder. Wenn L E NP ist , gibt es gemaf der logikorient ierten Charakterisierung von NP ein Entscheidungsp roblem L' E P und ein Polyn om p, so dass

L = { x l :3y

E {O,1}p(lx l) :

(x ,y)

E

L' }

ist . Der polynomielle Verifikationsalgorithmus von Victoria beste ht darin , fiir die Ein gab e x und den Beweisversuch y von Bob zu iiberpriifen, ob (x , y) E L' ist . Falls x E List , gibt es einen Beweis, der Victoria iiberzeugt , wahrend sie fur x ~ L jeden Beweisversuch y als falsch identifiziert . Wenn wir jedo ch co-N P oder E k ftlr k 2: 2 betracht en , wird fur die Sprac hchara kterisier ung ein Allquantor beno tigt . Bei der Cha rakterisierung :3Yl VYZ:3Y3: (x , Yl, Yz, Y3) E L' konnten wir uns einen Dialog vorst ellen , bei dem Bob bei Eingabe x mit einem Beweisversuch Yl startet und auf die Antwort yz von Vict oria mit dem zweiten Teil des Beweisversuches Y3 den Dialog beendet . Dann kann Victoria iiberpriifen, ob (x , Yl, in , Y3) E L' ist. Falls x E L ist , klappt dieser Dialog. Falls x ~ L ist , konnt e es auf Yl nur eine Antwo rt yz von Victoria geben, auf die Bob nicht mit einem Y3 Victoria falschlicherweise dazu br ingen kann , den Beweisver such zu akzept ieren. Da Vict ori a nu r polynomielle Rechenzeit hat, ist es ihr event uell nicht moglich , dieses yz zu berechnen . Offensichtli ch hilft in diesem Fall auch eine zufallige Wahl von yz nicht . And ers sieht es aus, wenn es geniigend viele gute Antworten gibt und wir er lauben , dass Vict oria mit klein er Wahrscheinli chkeit einen Fehler macht . SchlieBlich erscheinen in Fachzeitsc hrifte n auch ab und zu fehlerh afte Artikel. Also soIlte n wir int eraktive Beweise iiber randomisiert e Dialoge und kleine Fehlerwahrsc heinlichkeit en bei der Entscheidung definieren.

11 .2 Interaktive Beweissysteme Nachdem wir die Behan dlung interakti ver Beweise motiviert hab en und mogliche Realisierungen diskutiert hab en, komm en wir nu n zur form alen Definition.

11.2 Int eraktive Beweissyste me

155

Definition 11.2.1. Ein interaktives B eweissystem (int eractive proof syste m) besteht a us einem Kommunikationsprotokoll zwischen zwei P ar t eien B (Bob ) und V (Victoria) und zugehorigen randomisierten Algor ithmen . Das Kommunikationsprotokoll regelt , wer die erste Nachricht sendet. Nach einer eventuell von der Ein gab e und vom Zufall a bhiingigen Anzahl von Komrnunikationsrunden entsc heidet Victoria, ob die Eingab e akzept iert wird. Die Rechen zeit von Victoria ist polynomiell in der Einga beliinge beschriinkt.

Wir bezeichnen die Zufallsvari able, die beschreibt , ob x nach dem Dialog akzept iert wird, mit DB,v(x) . Sie nimmt den Wert 1 an, falls x akzeptiert wurde, und den Wert 0 sonst. Die Forderung, dass die Algorithmen B und V zum Kommunikat ionsp rotokoll K passen , wird in Zukunft st illschweigend vorau sgeset zt . Definition 11.2.2 . Ein E ntsc heidungsproblem L gehort zur Komplexitatsklasse IP, wenn es ein Kommunikationsprotokoll K und einen randomisiert en polynomiell zeit beschriinkten Algorithmus V mit folgenden Eigenschaft en gibt:

- Es gibt einen ra ndomisierten Algorithmus B , so dass flir aile x E L die Bedingung Prob(D B,v(X) = 1) ~ 3/4 erfullt ist . - F ur aile randomisierten Algorithmen B und x ~ L ist die Bedingung Prob(D B,v(x) = 1) :::; 1/4 erfullt . Ein Problem L E IP gehort zu IP( k) , wenn das zugehOrige Kornmunikationsprotokoll max imal k Kommunikat ionsrunden , also k gesendete Nachrichten, vor sieht . Wir konnen stets erreichen, dass Bob die let zt e Nachricht sendet. Es hilft Victoria bei ihrer Ent scheidung nicht , eine Nachricht zu senden, auf die sie keine Antwort bekommt. Die in Definition 11.2.2 erlaubte Fehlerwahrscheinlichkeit von 1/4 ist in gewissen Gr enzen willkiirlich. Ohne die Anz ahl der Kommunikationsrunden zu erhohen, kon nen Bob und Victo ria polynomiell viele un abhiingige Dialoge gleichzeitig fuhren, Am Ende kann Vict oria aus den Einzelentscheidungen fiir die Dialoge eine Majoritiitsentscheidung berechnen. Somit kann mit dem Beweis von T heorem 3.3.6 die Fehlerwahrscheinlichkeit fur zwei Pol ynome p und q sogar von 1/2 - l/p(n ) auf 2- q (n ) gesenkt werden . Es genugt also, int er aktive Beweissysteme mit Fehlerwahrschei nlich keit 1/2 - l /p(n) zu ent werfen, urn solche mit Fehlerwahrscheinli chkeit 2- q (n ) zu erhalte n. In Kapitel 11.1 haben wir inform ell ein interakti ves Beweissyst em fur P robl em e L E NP diskuti ert . Es kommt mit det erministischen Algorithmen und einer Kommunikationsrunde aus, in der Bob den Beweis y sendet . Die Entscheidung von Victoria war, x gena u dan n zu akzeptieren, wenn (x , y) E L' ist . Da diese E ntscheidung fehlerfrei ist , folgt NP <;;; IP(I) . Da schon IP(I ) "recht groB" ist , kann vermutet werden , dass IP "sehr groB" ist . Ta tsiichlich ist IP = PSPACE , wobei PSPACE aile mit polynomiellem Sp eicher plat z (siehe Kapi t el 13) berechenb aren E ntsc heidungsprobleme

156

11. Intcrakt ive Beweise

ent halt (Sh amir (1992)). Da in Kapitel 13 gezeigt wird , dass aIle Komplexitatsklassen der pol yn omi ellen Hier ar chie in PSPACE ent ha lt en sind, ist IP t at sachlich eine seh r um fassende Komplexitat sklasse, Wir konzentrieren UnS auf interak tive Beweissysteme mit wenigen Kommunikationsrunden .

11.3 Zur Kornplexitat des Graphenisomorphieproblems Wi r erinnern daran , dass es beim Gr aphenisomorphieproblem GI urn die Frage geht, ob zwei Graphen Go = (Vo, Eo) und G I = (VI, Ed isomorph sind. Sie sind isomorph, wenn sie bis auf die Bezeichnung ihrer Knot en identisch sind, also wenn G I aus Go durch eine Umb enennung n der Knoten hervorgeht. Dab ei muss n : Vo -+ VI bijektiv sein und die Bedingung ,,{ u, v } E Eo {o} { n( u) , n( v )} E E I " er ftillen. Wir konnen stets einfach ub erprufen , ob [Vo I = [VI I ist. Gr aphen mit unt erschiedli cher Knotenzahl konnen nicht isomorph sein. In Zukunft nehmen wir dah er an, dass Vo = VI = {I , . .. , n} ist . Die Menge der bijektiven Abbildungen n : {I , ... , n} -+ {I , . .. , n} ist gleich der Menge der Permut ationen S n auf {I , . . . ,n}. Da NP <;;; IP(l) ist , ist GI E IP(l) . Der Beweis best eht in der Angab e der passenden Permut ation n. Auf Grund der Asymmetrie zwischen Bob und Victoria und der Schwierigkeit, AIlqu an toren in einem inte ra kt iven Beweissystem zu realisieren , gla uben die Fachleute nicht , das s co-N P <;;; IP(l) od er a uch nur co-NP <;;; IP(2) ist . In sbesondere wird angenomme n, dass die co-NP vollst andigen Probleme nicht in IP(2) ent ha lte n sind . Dah er ist der folgende Nachweis, dass GI E IP(2) ist , ein Indiz, dass GI nicht Nl--vollst andlg ist. Theorem 11.3.1. GI E IP( 2) . Beweis. Die Eingab e best eht aus zwei Gr aphen Go und G I mit Vo = VI = {I, . . . , n }. Bob und Victoria benutzen das folgende int er aktive Beweissyst em .

- Victoria erzeugt zufall ig i E {O, I} und n E Sn' Sie berechn et H = n(G i ) , also den Gr aphen , der aus G, durch die Permut ation n entsteht, und sendet H an Bob. - Bob ber echn et ein j E {O, I} und sendet es an Victoria . - Victoria akzept iert (Go, Gd, wenn i = jist . Akzep ti eren bedeutet , dass Vict ori a Go und G I fur nic ht isomorph halt . Victoria kann ihr e Arbeit in polynomieller Zeit verr ichten. Eine Permutat ion n wird durch (n(l) , .. . , n( n)) dargest ellt . Bei der zufa lligen E rzeugung von n( i) mu ss dar au f geac htet werden , dass n( i) von n(l) , . . . , n (i - 1) verschieden ist . Es werden ilog (n -i+ 1)1 ZufaIlsbits erzeugt un d die dargest ellte Zahl k solI bedeuten , dass n( i) die (k + l )-kleinst e freie Zahl ist . Mit einer Wahrscheinlichkeit VOn kleiner als 1/2 ist k + 1 > n - i + 1 und damit zu groB. Dann wird der Versu ch bis zu n-mal wiederholt. Die Wahrscheinli chkeit , keine Permutation zu erze ugen, ist mit hochst ens n/2n so klein , dass Victoria sich

11.3 Zur Komplexitat des Graphenisomorphieproblems

157

beliebi g ent scheide n kann . Wegen der genannte n Robustheit der IP-Klassen gegen kleine Anderungen der Fehl erw ahrscheinli chkeit fallt dieser zusatzliche Fehl er nicht ins Gewicht . Wir haben dies hier aus fuhrlich diskutiert und werden in Zukunft Au ssagen wie "erze uge 1r E Sn zufallig" ohne Kommentar verwenden. Wenn Go und G 1 nicht isomorph sind, ist H zu G, isom orph, abe r zum ande ren Gr aphen G 1 - i nicht isomorph. Also kann Bob i berechnen , indem er aIle n ' E S n auf Go und G 1 anwendet und das Erge bnis mit H vergleicht . Er setzt j = i und Vict ori a akzeptiert . Ihre Entscheidung ist korrekt . Wenn sie sich im ob en diskuti erten Fall , dass sie kein e Permut ation erzeugt , filr das Ak zeptieren der Eingab e entscheidet, hat dieses int er ak tive Beweissyst em sogar nur einse itigen Fehl er . Falls Go und G 1 isomorph sind, sind aIle dr ei Bob vorliegend en Gr aphen Go, G 1 und H isomorph. Es gibt soga r gleich viele n' E Sn mit H = 1r'(G o) wie 1r" E Sn mit H = 1r"(G 1 ) . Diese anschaulich klar e Au ssage wollen wir nah er bet ra cht en . Es sei G* = (V* , E* ) mit V * = {I , 2, 3} un d E* = {{I , 2}}. F iir 1r* definiert durch 1r*(I) = 2, 1r* (2) = 1, 1r*(3) = 3 ist 1r* (G* ) = G* . Allgemein bild en die Abbildungen 1r auf G mit 1r(G ) = G die A utomorphi smengrupp e Au t( G) von G. Sie bilden eine Gruppe beziiglich der Hin tereinande rausfiihr ung von Abbildungen . Da die Ordnung (od er Machtigkeit) einer Unt ergruppe die O rdnung der Gruppe te ilt, ist n! / IAut (G) I eine ganze Zahl. Wi r beh aupten , dass es gena u IAut (H )1viele n' E Sn mit H = 1r'(G o) gibt. Da es eine solche Abbildung n' gibt, bilden die Abbildungen it" 0 1r', 1r* E Aut(H) , IAut (H )1Abbildungen der gesuchte n Art . Mehr derartige Abbildungen kann es nicht gebe n. Falls 1f( Go) = H ist , ist 1r' 0 (1f) - 1 (H ) = H und 1r* := n' 0 (1f) -1 E Aut(H) . Dami t ist auch (1r*)- 1 E Aut(H) und 1f = (1r*)- 1 0 n' gehort zu den bereits bet racht et en Abbildungen . Nach Definit ion ist Prob(i = 0) = Prob(i = 1) = 1/2 und die einzige zusatzliche Informati on fur Bob ist der zufallige Gr aph H . Wir hab en gese hen , dass H un abhan gig vom Wert von i ein zufalliger Gr aph aus der Menge der n!/ IAut(Go) 1 = n !/I Aut (G d l zu Go und G 1 isomorphen Gr aphen ist . Also ist Prob(i = 0 I H) = Prob(i = 1 I H) = 1/2 und Bo b ist in der Sit uation , das Ergebnis eines fairen Miin zwurfes korr ekt anzugeben . Egal, wie er sich entscheidet, betragt seine E rfolgswahrscheinlichkeit 1/2 . Dami t ist auch die Fehlerw ahrscheinlichkeit von Victoria 1/2. Dieses intera kt ive Beweissystem hat einen einseitigen Fehler von 1/2 . Fiir nicht isomorphe Gr aphen ist die Entscheid ung korr ekt un d fur isomorphe Gr aphen wird mit Wahrscheinli chkeit 1/2 die falsche Entscheidung getroffen. Wenn wir dieses Protokoll zweimal ausfiihren und Vict ori a nur akzept iert, wenn dies in beiden Au sfiihrungen vorgeschlage n wird, ist ihr e Ent scheidung fur nicht isomo rphe Graphen korrekt . Fiir isomo rphe Gr aphen trifft sie nur noch mit Wahrscheinli chkeit 1/4 eine falsche En t scheidun g. Die Anz ahl der Kommunikationsrunden wachst nicht , da in jeder R unde der entsprechende Prot okollt eil zweimal ausgefiihrt werden kann . 0

158

11. Interaktive Beweise

In der Definition int eraktiver Beweissysteme haben wir, wie unsere Diskussion klar gem acht hat, Nicht determinismus und Randomisierung mit beschranktem zweiseitigem Fehler verbunden. Auch die Komplexitatsklasse BPP(NP) verbindet Nichtdeterminismus und Randomisierung (siehe Definition 10.5.2). Dabei darf ein BPP-Algorithmus bei Eingabe x ein NP -Orakel wiederholt aufrufen . Insbesondere darf die Orakel antwort negiert werden und BPP(NP) = co-BPP(NP). Wenn wir nun Randomisierung als "dritten Quantor" neb en ::J und V auffassen, wollen wir die Negation der Orakelantwort ausschlieBen . Wir definieren den Op erator BP auf Komplexitatsklassen C. Definition 11.3.2. Ein Entscheidungsproblem L gehort genau dann zu BP(C), wenn es ein Entscheidungsproblem L' E C mit folgenden Eigenschaft en gibt , wobei r E {O, 1}p(lxl) fur ein Polynom p ist und sich die Wahrscheinlichkeiten auf die Wahl von r beziehen: - Fur x E List Prob((x , r ) E L') ::::: 3/4 . - Fur x tJ- List Prob((x, r ) E L') ::::: 1/4. Hiermit folgt BP(C) S;;; BPP(C) . Insb esondere konnen wir BP(NP) folgendermaBen cha rakt erisieren. Es gibt ein Entscheidungsproblem L' E P und ein Polynom p , das die Lan ge von r und y in Abhangigkeit von Ixl beschr eibt, so dass gilt: - Fur x E List Prob(::Jy : (x , r,y) E L') ::::: 3/4. - Fur x tJ- List Prob(::Jy : (x,r,y) E L') ::::: 1/4 . W ahrend bei der Klasse BP(NP) die Gesamtrechenzeit polynomiell beschrankt ist, kann Bob bei der Klasse IP(2) beliebig lange rechn en . Da die Anforderungen an die Fehl erwahrscheinlichkeit dieselben sind, uberrascht das folgende Ergebnis nicht. Theorem 11.3.3. BP(NP) S;;; IP( 2) . Beweis. Victoria und Bob benutzen fur L E BP(NP) die in Definition 11.3.2 angegeb ene Ch arakterisierung. - Victoria erzeugt r E {O, 1}p(lxl) zufallig und sende t r an Bob . - Bob ber echnet ein y E {O, 1}p(lxl) und sendet y an Victoria. - Victoria akz eptier t , falls (x , r , y) E L' ist . Offensichtlich kann Victoria ihre Arb eit in pol ynomieller Zeit verrichten . Bob kann fur alle y E {O, l}p (lxl) die Eigenschaft (x,r, y) E L' ub erprufen . Wenn er ein geeignete s y findet , sendet er dies an Victoria. Dies gelingt, falls x E L ist , mit einer Wahrscheinli chkeit von mindestens 3/4 und, falls x tJ- List , mit einer Wahrscheinli chkeit von hochst ens 1/4. Damit ist L E IP(2) . D

11.3 Zur Komplexitat des Graphenisomorphieproblems

159

Das im Beweis zu Theorem 11.3.3 verwendete inter aktive Beweissystem konnen wir auch in Form eines Marchen s darstellen. Konig Artus (Arthur) st ellt seinem Zauberer Merlin eine Aufgabe (x , r) . Merlin soll ein y mit (x , r, y) E L' finden. Dies ist eine Aufgabe, die normale Mens chen in polynomieller Re chenzeit nicht erfiill en konnen . Dem Zauberer gelingt es , die Aufgabe meistens zu losen . Auch Zauberer miis sen und konnen mit exponentiell klein en Fehlerwahrscheinlichkeit en leb en. Diese Sichtweise von BP(NP) hat zu der Bezeichnung Arthur-Merlin-Spiele fur die zugeh6rige n Beweissyst eme und AM fiir die Komplexitatsklasse BP(NP) gefiihrt. Nach Theorem 11.3.3 ist der Nachweis, dass GI E BP(NP) ist, ein noch starkeres Indiz, dass GI nicht NP-vollstandig ist . Wir werden dieses Indiz sp ater auf ein starkeres Fundament st ellen . Aus GI E BP(NP) und der Annahme E 2 =I- [J2 folgt namlich, dass GI nicht Nf'
Beweis. Wir suchen eine Char akterisierung von GI , wie sie in Definition 11.3.2 beschrieben ist, urn GI E BP(NP) nach zuweisen . Es ist x = (Go , G I ) , wob ei wir davon au sgehen konnen, dass Go und G I auf der Knotenmenge {I , . .. ,n } definiert sind . Wir verwenden die Notation ,, ==" ftir Graphenisomorphie. Also muss y Informationen ent halt en, urn die F alle Go == G I und Go oj. G I zu unterscheiden. Die Basis ftlr diese Unterscheidung bildet die Menge Y := Y(GO ,G I) := {(H ,Jr) I Jr E Aut(H) und (H

== Go od er H == Gd}.

Anhand von WI konnen wir feststellen, ob Go == G I oder Go oj. G I ist. Falls Go == G I ist, sind die Bedingungen H == Go und H == G I aquivalent . Wir hab en im Beweis zu Theorem 11.3.1 geseh en , dass es n! / IAut(Go) 1viele Graphen H mit H == Go gibt . Fall s H == Go ist , ist IA ut (Go)1 = IAut (H )1und W I = n!. Ist jedoch Go oj. G I , kann fur jed en Graphen H hochstens eine der Bedingungen Go == H und G I == H erfullt sein und es ist W I = 2n!. Allerdings sehen wir nicht , wie wir WI effizient berechn en konnen . Es genugt jedo ch die Unterscheidung, ob W I = n! oder W I = 2n! ist, und damit eine approximat ive Berechnung von W I, die zudem kleine Fehlerwahrscheinlichkeiten erl aubt . Am Ende uns eres Beweises wird man erkennen, dass der Unters chied zwischen n! und 2n! zu gering ist . Daher benutzen wir Y' := Y x Y x Y x Y x Y . Dann ist W'I = (n!) 5, falls Go == G I , und IY'I = 32 · (n !)5, falls Go oj. G I ist . Der Vektor y aus der Charakterisi erung in Definition 11.3.2 setzt sich aus y' und y" zusamme n . Dabei solI y' E Y' sein . Wir mtissen jedoch fur y' einen 0-I-String fester Lan ge vor sehen und es muss ub erpruft werden , ob y' E Y ' ist. Dah er soll y" ein weit erer 0-I-String sein , der un s hilft zu ub erprilfen , ob y' E Y' ist.

160

11. Interaktive Beweise

Ein e notwendige Bedingung fur (x , r, y) E £ ' soll dah er sein , dass y = (y' , y") ist , wobei y' Gr aphen HI , " " H s und Permutationen 71"1 , " " 71"s beschreibt und y" Permutationen a I , . . . , a s der art beschr eibt, dass 71"i E Aut(Hi ) und Hi == a i(G O) od er Hi == a i(G I ) ist . Diese notwendigen Bedingungen lassen sich in polynomieller Zeit iiberpriifen . Die Lang e der Beschreibung von y' sei l. Wir bet rachten nur solche y' E {a, l}t , die in Y' ent halten sind . Dabei set zen wir a us Griinden , die gleich klar werden , vor au s, dass at If. Y' ist . Dies ist fur die nahe liegend e Beschreibung von Gr aphen und Permutationen erfullt , Es ist an der Zeit, zu besch reib en , wie IY'I randomisiert gescha tz t werd en kann . Dazu betrachten wir auf dem Universum U = {a,I}1 eine Famili e von Hashfunktionen mit Wert en in {a, l}k , wobei wir k spater spezifizieren. Bei zufalliger Wahl der Hashfunktion aus der Famili e soll fur jedes Z E {a, 1}1 mit Z -I o' die Eigens chaft Prob(h( z) = ak) = 2- k erftillt sein. Wir sind dann an der Wahrscheinli chkeit des Ereignisses ,,3y' E Y' : h(y') = ak" interessiert. Es ist nahe liegend, dass diese Wahrscheinlichkeit mit IY'I wach st . Zusatzlich sollen filr z,z' E {a,1}I , z -I z',z -I at, z' -I o', die Er eignisse, dass h( z) = ak bzw. h(z') = ak ist , un abhan gig sein. Alle Wahrscheinli chkeit en beziehen sich auf die zufallige Wahl der Hashfunktion . Diese Beweisidee wird nun konkreti siert. Die Familie der Hashfunktionen ent ha lt fur jede kx i-Mat rix W iiber {a, I} die Hashfunktion hw(z) = W · z, wobei z als Spalt envektor int erpretiert wird und die Rechnungen in Zz, also modulo 2, erfolgen. Die zufiillige Matrix W iibernimmt die Rolle des Zufallsvekt ors r in der Ch ar akterisierung in Definit ion 11.3.2. SchlieBlich ent halt L' aIle (x = (Go,Gd , r = W,y = (y',y")) , so dass y' E Y', y" die beschr iebene Hilfsinform ation , urn y' E Y ' zu iiberpriifen, und W . y' = ak ist . Nach den Voriiberlegungen ist klar , dass £' E P ist und nur noch die wahrscheinlichkeit stheoretischen Aussagen in der Char akterisierung von Definition 11.3.2 iibe rpriift werden miissen . Wir unt ersuchen zun ach st die zufiillige Hashfunktion hw( z) = W . z . Hier wird deutlich , warum wir nur Einga ben z -I al betracht en . Es ist mit Sicherheit hw(al) = o-. Sei nun z -I at und Zj = 1. Das i-te Bit von hw( z) ist die Summe aller WimZm , m -I i . und Wi jZj = Wij' Da sich die Werte von hw(z) fur Wij = a und Wij = 1 unterscheiden , nimmt das i-t e Bit von hw( z) die Werte a und 1 mit Wahrscheinlichkeit 1/2 an. Da in W die Zeilen un abhangig gewa hlt werd en, hat jeder Wert aus { a, I }", also auch ak , die Wah rscheinlichkeit 2- k , gleich hw( z) zu sein. SchlieBlich sind fur z -I z',z -I al, z' -I o' , die Zufallsvektoren hw( z) und hw(z') un abhangig. Es sei Zj -I zj . Dann ist WijZj = Wi jzj gena u dann, wenn Wij = a ist, und daher hat dieses Ereignis die Wahrscheinli chkeit 1/ 2. Unabhan gig von den Werten der Summe aller WimZm, m -I i . und der Summe aller WimZ;", m -I i . st immen die i-ten Bits von hw( z ) und hw( z') mit Wahrscheinli chkeit 1/2 iiberein . Die Aussage fur die Vektoren folgt wieder , da die Zeilen von W un abhan gig gewahlt werden .

11.3 Zur Kornplexitat des Graphenisomorphieproblems

161

Im nachsten Schritt untersuchen wir die zufallige Anzahl Saller y' E Y' mit hw(y') = Ok. Die Zufallsvariable S ist die Summe der IY' I Zufallsvariablen S(y'), wobei S(y') = 1 ist , wenn hw(y') = Ok ist , und ansonsten den Wert 0 annimmt. Mit Bemerkung A.2.3 folgt E(S(y')) = 2- k und mit Theorem A.2.4 folgt E(S) = IY 'I . 2- k . Da S(y') nur die Werte 0 und 1 annimmt , lasst sich nach Definition der Varianz leicht ausrechnen, dass V(S(y')) = 2- k . (1 - 2- k ) :::; 2- k ist. Somit folgt mit Theorem A.2.7, dass V(S) :::; IY' I . 2- k = E(S) ist. Da sich IY'I in den Fallen Go == G 1 und Go ¢ G 1 unterscheidet , ist es gut , dass IY ' I im Erwartungswert von S als Faktor auftritt. Aufierdem ist V(S) nicht sehr grofi. Die uns interessierende Wahrscheinlichkeit ist Prob(:3y = (y' ,y") : (x = (GO,G1) ,r = W,y = (y',y")) E £'). Wenn y' E Y' ist , gibt es auch ein passendes y" . Wir konnen das Ereignis also ktirz er darstellen und interessieren uns fur Prob(:3y' E Y' : hw(y') = Ok) oder in der ob en gewahlten Notation Prob( S 2': 1) . Diese Wahrscheinlichkeit sollte grof sein, wenn E(S) urn einiges grofer als 1 ist, und klein, wenn E(S) urn einiges kleiner als 1 ist. Daraus leitet sich die Wahl von k := llog(4 · (n!)5)l ab o Falls Go == G 1 ist , gilt

E(S) = (n!)5 . Tfl o g (4. (n !)5)1 < 1/4 . Mit der markoffschen Ungleichung (Theorem A.2 .9) fur t = 1 folgt

Prob(S 2': 1) < E(S)

< 1/4

und wir erhalt en fur (Go, Gd 'I:- GI die gewUnscht e klein e Akzeptanzwahrscheinlichkeit. Falls Go ¢ G 1 ist, gilt

E(S)

= 32 . (n!)5.

Tfl o g (4.(n !)5)1

2': 32· (n!)5 . ~ . T

log (4.( n! )5)

= 4.

Unser Ziel ist es, Prob(S 2': 1) 2': 3/4 zu beweisen . Aquivalent dazu ist Prob(S = 0) :::; 1/4 . Urn die ts chebyscheffsche Ungleichung (Korollar A .2.10) anwenden zu konnen , nutzen wir aus , dass aus S = 0 die Eigenschaft IS - E(S)I 2': E(S) folgt . Wir wahlen in der ts chebyscheffschen Un gleichung t := E(S). Dann folgt

Prob(S = 0) < Prob(IS - E(S) I 2': E(S)) < V(S) /E(S)2 . Wir hab en weiter ob en gezeigt, dass V(S) :::; E(S) und E(S) 2': 4 ist. Also folgt

Prob(S

=

0) :::; l /E(S) :::; 1/4

162

11. Interaktive Beweise

und somit Prob(S 2: 1) 2: 3/4 . Dies ist fur (Go, Gd E GI die gewunscht e groBe Akzept an zwahrscheinli chkeit . Insgesamt haben wir GI so cha rakterisiert, dass die Aussage GI E BP(NP) na ch Definition 11.3.2 bewiesen ist .

o Theorem 11.3.5. Falls GI NP-vollstiindig ist, so ist E 2 = II2 . Beweis. Fur die meist en Teile dieses Beweises biet et sich die in Kapitel 10 eingefilhrte Operandenschreibweise an. Urn E 2 = II2 zu beweisen , genug t es nach Lemma 10.4 .2, E 2 ~ II2 zu beweisen . Sei also L E E 2 und damit durch :3VP darst ellb ar. Wenn GI NP -vollst andig ist , dann ist GI co-NPvollst andig und der v-Operat or kann durch das Or akel GI ersetz t werden . Nach Theorem 11.3.4 ist GI E BP(NP) und wir konnen auf die Ch ar akterisierung von BP(NP) zurtickgreifen, die im Anschlus s an Definition 11.3.2 diskutiert wurde. F ur L ergibt sich also eine Dar st ellung durch :3(BP ):3P . Wi r werden spater zeigen , wie wir darau s eine (BP) :3P-Darstellu ng erhalten . Nach Theorem 10.5.1 ist BPP ~ II2 und (BP)P durch V:3P ersetz ba r. Wir konnen den Beweis von Theorem 10.5.1 dir ekt ohne neue Id ee dar auf ver allgemeinern, dass wir (BP):3P durch V:3:3P und dami t V:3P ersetze n konnen . Diese Darstellung beweist , dass L E II2 und E 2 ~ II2 ist . Es bleibt die Umformung einer :3(BP ):3P- Da rst ellung in eine (BP):3PDar st ellung zu zeigen .Wenn L eine :3 (BP ):3P-Darst ellung hat , gibt es ein En ts cheidungsproblem L' E P , so dass gilt:

x

L

=}

:3y : Prob(:3 z : (x ,y, z ,r)

E

L') 2: 3/4,

x'/:. L

=}

Vy : Prob(:3z : (x , y, z , r)

E

L') ::; 1/4.

E

Dabei beziehen sich die Wahrscheinlichkeit en auf den Zufallsvekt or r und filr n = [z] hab en die Vektoren y , z und r die Lan ge p(n) . Wir senken durch wiederh olte Ausfilhrung und Majoritat sentscheidung die Fehlerwahrscheinlichkeit auf 2- p (n ) / 4. Dann werden z und r lan ger , aber nicht x und y. Die Aussage ,,:3y: Prob(:3 z : (x ,y, z , r) E L') 2: 1 - 2- p (n)/ 4" bedeutet, dass es dieses y un abhan gig von dem Zufallsvektor r gibt. Damit folgt

x EL

=}

Prob(:3(y, z ) : (x , y, z , r ) E L') 2: 1 - 2- p (n ) / 42: 3/4.

Im zweite n Fall "x '/:. L " konnen wir nicht auf dieselb e Weise argument ieren oAngenommen , es gibt ein x '/:. L mit

Prob(:3(y , z ): (x , y, z , r )

E

L') > 1/4.

Dann gibt es fur mehr als ein Viertel aller rein "gutes Paar " (y, z ). Wir schreiben dies als Tab elle der au sgewahlten Zufallsvektoren r mit ihren zugehorigen gut en (y, z)-Paaren. Nach dem Schubfachprinzip gibt es ein y*, so dass y* bei einem Anteil von min dest ens 2- p (n ) der guten (y , z)-Paare der

11.4 Beweissysteme, die kein Wissen preisgeben

163

y- Teil ist. Hierbei geht ein, dass es nur 2P (n ) Vektoren y gibt. Dieses y* ist dann fur einen Anteil von mehr als 2- p (n ) / 4 aller r eine gute Wahl, das heiBt, fur ein x tJ- L gilt

3y(namlich y*) : Prob(3z : (x ,y, z ,r) E L') > 2- p(n )/4 . Dies steht im Widerspruch zur obigen Charakterisierung von x tJ- L fur die Fehlerwahrscheinlichkeit 2- p (n ) / 4. Damit ist die Annahme widerlegt und es gilt x tJ- L =;. Prob(3(y, z) : (x ,y , z ,r) E L') :S: 1/4 .

Insgesamt haben wir fur L eine (BP) 3P-Darstellung erhalten und den Satz bewiesen. 0 Am B eispiel des Graphenisomorphieproblems haben wir gesehen, dass die B etrachtung der polynomiellen Hi erarchic, die Charakterisierung ihrer Komplexitiitsklassen und di e Unt ersuchung interaktiver B eweissystem e zur komplexitiitstheoretischen Klassifikation konkreter Probl em e beitrag en . Di e Hypoth es e, dass GI nicht. NP-vollstiindig ist, ist nun mindestens so gut belegt wie die Hypothese, dass die polynomielle Hi erarchi c nicht auf der zweiten Stufe zu sammenbricht.

11.4 Beweissysteme, die kein Wissen preisgeben Der Grundgedanke in einem interaktiven Beweissystem ist , dass Bob Victoria mit Informationen so versorgt, dass diese den Beweis mit einer kleinen Fehlerwahrscheinlichkeit uberpriifen kann. So kann Bob zum Nachweis, dass zwei offentlich bekannte Graphen isomorph sind, sein Geheimnis at , die zugehorige Umnummerierung der Knoten, an Victoria senden . In diesem Sinn kann es kein interaktives Beweissystem geben, in dem Bob nicht irgendeine mit der Eingabe in Zusammenhang stehende Information pr eisgibt. Somit kann es kein interaktives Beweissystem geb en, das kein Wiss en pr eisgibt. Wenn Victoria sich dieses Wiss en jedoch in polynomieller Zeit selbst vers chaffen kann und wir polynomielle Zeit fur handhabbar halten , dann ist dies so, als hatte Bob kein Wi ssen pr eisgegeb en . In einem solchen Fall kann Bob ab er nicht mehr als Victoria und er hat kein Geheimnis. Wir gehen nun einen Schritt weit er und erlaube n Victoria erwart et e polynomielle Zeit . Dies beinhaltet exponent ielle Zeit mit ents prechend kleiner exponentieller Wahrscheinlichkeit . Wenn Bob kein Wissen pr eisgeb en will, also keine Information tiber sein Kennwort verraten will, dann muss er darnit rechnen , dass andere an diesem Wissen int eressiert sind. Dazu gehoren Spion e, die die Konversation belauschen, und auch Victoria , die vom vereinb arten Kommunikationsprotokoll

164

11. Interaktive Beweise

abweichen kann . Wir erl auben den Spionen allerdings nicht , in die Konversation einzugreifen und Nachrichten zu versenden od er zu verfalschen . Dies alles fiihrt zu der folgenden Definition von Beweisen , die kein Wi ssen preisgeb en (zero-knowledge proofs) . D efinition 11.4.1. Es seien B und V die randomisierten Algorithmen eines interaktiven Beweissyst ems fur das Entscheidungsproblem L . Dieses Beweissystem hat die perfekie Zem-Knowledge-Eigenschajt (perfect zero-knowledge proof), wenn es fur jeden polynomiellen randomisierten Algorithmus V' , der V ersetzen kann, also Nachr icht en vom gleichen T yp sendet , und das Algorithmenpaar (B, V') einen randomisierten Algorithmus A gibt , dessen maximale erwartete Rechenzeit polynomiell ist und der fur jedes x E L das , was bei der Kommunikatio n zwischen B und V' iibertragen wird , mit denselb en Wahrscheinli chkeit en liefert . Fur Problem e in P kann Victoria alle Info rm ationen selbst berechnen . Perfekte Zero-Knowledge-Beweise sind also nur fur Probleme auBerha lb von P int eressant . Ob sie fur solche Probleme exist ieren, ist zunac hst nicht klar. Fur das Gr aphenisomorphieproblem GI , das vermutlich nicht zu P gehort , gilt folgend e Au ssage: Theorem 11.4.2. Fiir GI gi bt es ein intemktives B eweissy stem mit perfekter Zem-Knowledge-Eigenschajt. Beweis, Es seien Go und G 1 die Gr aphen , so dass Bob s Geheimnis eine Abbildung zr" mit G 1 = n *(Go ) ist. Er mocht e beweisen, dass Go und G 1 isomorph sind , ohn e inn erhalb dieser Konversation Informationen ub er n * preiszugeb en . Der Tric k best eht darin, eine n zufalligen zu Go und G 1 isomorphen Gr aphen H zu erzeugen und spa ter unter Angab e einer isomorphen Abbildung zu beweisen , dass Go und H od er G 1 und H isomorph sind. Damit er im Fall nicht isomorpher Graphen Go und G 1 nicht betrugen kann , darf Victoria im Nachhinein ent scheiden, ob Bob die Isomorphie von Go und Hader die Isomorphie von G 1 und H beweisen muss. Diese Ub erlegungen fiihren zu folgend em int eraktiven Beweissystem : - Bob wahlt zufallig i E {a, I} und tt E Sn , berechnet H := n (G i ) und sendet H an Victoria. - Victoria wahlt zufallig j E {a, I} und sendet j an Bob . - Bob berechnet tt' E Sn und sendet ir' an Victoria . - Victoria akzeptiert, wenn H = n' (G j ) ist. Offensichtli ch kann Victoria ihre Arbeit in polynomieller Zeit verricht en . Wenn Go und G 1 isomorph sind und G 1 = n* (G o) ist , kan n Bob Victo ria mit Sicherheit dazu br ingen , die Eingab e zu akzeptieren. Falls i = j ist , gelingt dies bei Wahl von tt' = tt . Falls i = 1 und j = ist , ist H = n( G 1 ) und G 1 = n " (Go) , also H = n 0 tt" (Go) und n' = n 0 n* ist geeignet . Falls und j = 1 ist , ist H = n (G o ) und Go = (n *)-l (G d , schlieBlich i =

°

°

11.4 Beweissysteme, die kein Wissen preisgeben

165

also H = n o (n *)-l(Gd, und tt' = n o (n *)-l ist geeignet. Wenn Go und G 1 nicht isomorph sind, kann Bob Victoria im Fall i = j weiterhin dazu bringen, die Eingab e zu akzeptieren . Falls jedoch i =1= jist, sind H und G j nicht isomorph und Victoria akzeptiert kein n' , Da Prob( i =1= j) = 1/2 ist , betragt die Fehlerwahrscheinlichkeit bei einseit igem Feh ler 1/2 und kann wie im Beweis von Theorem 11.3.1 auf 1/4 gesenkt werd en . Victoria erhalt in der obigen Konversation das Tripel (H , j , n') als Information. Dabei ist , falls Go und G 1 isomorph sind , H ein zufalliger zu Go und G 1 isomorpher Graph, j ein zufalliges Bit und n ' eine Permutation mit H = tt' (G j ). Es sei nun V' ein beliebiger polynomieller randomisierter Algorithmus, der ein Bit j berechnet . Dann beschreiben wir den simuli erenden Algorithmus A wie folgt : - Wie derhole, bis i = jist : - erzeuge zufallig i E {O, I} und n E Sn, - be rechne H := n(G i ) , - simuli ere V' fiir die Situation, in der Bob H gesendet hat , und nenne das Ergebnis j . - A liefert als Ergebnis (H,j , zr} , wobei dies die Werte aus dem let zt en Schleifendurchlauf, also dem Durchlauf mit i = j, sind. Offensi chtlich kann die Schleife in polynomieller Zeit durchgeftihrt werden. Egal, wie V ' das Bit j berechne t , das Bit i st ammt a us einem fair en Munzwurf und geht in die Berechnung von j nicht ein. Daher st immen i und j mit Wahrscheinlichkeit 1/2 iiberein . Somit muss die Schleife nach T heorem A.2.12 im Durchschnitt zweimal durchlaufen werd en und die erwartet e Rechenzeit ist fur jede Ein gab e polynomiell. Da tt E Sn zufallig gewahlt wurde, ist , falls Go und G 1 isomorph sind , H ein zufalliger zu Go und G 1 isomorpher Graph. AuBerdem ist i ein Zufallsbit und damit auch j ein Zufallsbit , da j = i ist . SchlieBlich folgt aus H = n (G i ) und i = j , dass H = n (G j ) ist . 0 Die hier betrachtet en Geheimnisse (Kennw orter) hab en die Eigenschaft, nicht a bsolut sicher zu sein. Die Gr aphen Go und G 1 sind offentli ch bekannt und die Permutation it" mit G 1 = n *(Go) ist das Geheimnis oder Kennwort. Wenn jem and ein n mit G 1 = n( Go) berechnet , kann er oder sie sich als Bob ausge be n und wird die beschrieb ene Identifikationsproz edur iiberstehen , da er oder sie Victoria zum Akzepti eren bring en kann. Schoner ware es also, nicht nur fiir GI , sondern fiir Nl--vollstandige od er noch schwierigere Probleme inte ra kt ive Beweissyst eme mit perfekter Zero-Knowledge-Eigenschaft zu ent werfen. Dies ist bisher nicht gelungen . Fur NP-vollsUindige Probleme wie das Problem He zu ents cheiden, ob ein Gr aph einen Hamil tonkreis ent ha lt , gibt es inter aktive Beweissysteme mit einer abgeschwachten Zero-KnowledgeEigensch aft . Es wird die Exi st enz einer Einwegfunktion f (one-way function) vor au sgesetzt. Einwegfunktionen f : {O, I} * --+ {O, I} * sind injektiv und in polynomieller Zeit berechenb ar , aber es ist in polynomieller Zeit nicht moglich ,

166

11. Int eraktive Beweise

aus f( x) Informationen tib er das let zt e Bit von x zu ber echnen . Wir verzichten hier auf eine form ale Definition und gehen davon aus, dass es fur pol ynomielle Algorithmen wertlos ist , f( x) zu kennen , wenn sie am let zt en Bit von x interessiert sind. E inwegfunkt ione n erlaube n eine effiziente Bitf estl egung (bit commit me nt ). Dabei will Bob den Wer t b eines Bits wie bei einem Notar hint erlegen . Der Wer t bleibt gehei m, a ber im Streitfall kann geklart werden , welchen Wert b hat . Dazu produziert Bob eine gentigend lan ge zufallige Bitfolge r und berechnet x , ind em er b an r anhangt . Er berechn et und veroffentlicht f( x) . Irn Streitfall muss er x veroffent liche n . J ed er kann f auf x anwende n und das Ergebnis mit dem veroffentli cht en 'Wer t von f( x) vergleichen . Bob kann nicht betrtigen , da f inj ektiv ist. Folgendes konnt e ein pr aktisches Verfahren zur Bitfestl egung sein. Es wird eine gentigend groBe P rimzahl p erze ugt, bei der die Parit at der Bits gleich b ist. Von diesen Primzahl en gibt es gentigend viele, so dass bei zufalliger Erze ugung von Zahl en nicht zu viele auf ihre Primzahleigenschaft getest et werden miiss en . W ir haben ja schon mehrfach darauf hingewiesen, dass PRIMES in P ist. Dann wird eine weitere Primzahl q mit q < p zufallig gewa hlt und n := pq veroffent licht. Im Streitfall mu ssen die eindeutigen Primteiler bekannt gemacht werde n und es kann die P aritat des groberon Teilers berechn et werden . Zur Sicherheit dieser Bitfestl egung mus s ange nommen werden , dass das Faktorisierungsproblem FACT nich t polynomiell losb ar ist und dass b aus n nicht auf ande re Weise effizient berechnet werden kann. Definition 11.4.3. E in interak ti ves Beweissystem hat die Zero-KnowledgeEigen schaft unter kryp to gr aphischen Annahmen (computational zero-knowled ge proof) , falls es un t er de r An nahme der Exi sten z eine r Einwegfunktion die perfekte Zero-Knowledge-Ei gen schaft hat . Theorem 11.4.4. Das Hamilto nk reisp roblem He hat unter kryptographischen Annahmen interaktive B eweissystem e m it Zero-Knowledge-Eigens chaft. Beweis. Es sei G der Graph, von dem Bob als sein Geheimnis eine n Hamiltonkreis H kennt. Die Knotenmen ge von G sei {I , . . . , n } und H sei durch seine Kantenli ste beschrieb en . Dann wird folgend es inter aktive Beweissyst em verwendet: - Bob wahlt 1r E Sn zufallig, berechn et 1r( G) und bringt die Kan t enmen ge von 1r( G) in eine zufallige Reihenfolge. Fur die Beschreibung von 1r und der Kantenli st e von 1r(G) sende t Bob an Victoria fur jed es Bit eine Bitfestlegung. - Victoria wahlt zufallig i E {O, I } und sendet i an Bob. Falls i = 0 ist , entschhisselt Bob aile von ihm fest gelegten Bit s. Falls i = 1 ist, entschlilsselt Bob nur die Bit s der Kan ten des Hamiltonkreises 1r(H ) in 1r( G) . Falls i = 0 ist , akzep tiert Victoria , wenn sich Bob t atsachlich auf eine Permutation n ' E S n un d die Kan t enlist e von 1r'(G ) fest gelegt hat . Falls

11.4 Beweissystem e, die kein Wi ssen preisgeb en

167

i = 1 ist , akzeptiert Victoria, wenn die von Bob offenbarten Kanten einen Hamiltonkreis auf {I, ... ,n} bild en.

Offensichtlich kann Victoria ihre Arbeit in polynomieller Zeit verrichten. Falls G eine n Hamiltonkreis enthalt, kann Bob dem Protokoll so folgen , dass Victoria mit Sicherheit akz eptiert. Falls G keinen Hamiltonkreis ent ha lt, kann Bob sich zwar auf ein Paar (1f ,1f(G)) festlegen, a ber dann kann er fur i = 1 die Anforderungen nicht erfullen, da 1f( G) auch kein en Hamiltonkreis enthalt. Bob kann also bestenfalls eine der beiden Anforderungen erftillen. Da er sich entscheiden muss, bevor er i kennen lernt, kann er Victoria nur mit Wahrscheinlichkeit 1/2 dazu bringen, G zu akzeptieren . Die Fehlerwahrscheinlichkeit kann auf 1/4 gesenkt werden. Victoria erhalt in der obigen Konver sation mit Wahrscheinli chkeit 1/2 eine zufallige Permutation 1f und die Beschreibung von 1f( G) und mit Wahrscheinlichkeit 1/2 fur einen Hamiltonkreis H und eine zufallige Permutation 1f die Beschreibung von 1f(H) . Unter den kryptographischen Annahmen st ellt die Bes chreibung der Bitfestlegung keine verwertbare Information dar. Die anderen Informationen kann sie sich jeweils mit Wahrscheinlichkeit 1/2 beschaffen. Ein Hamiltonkreis H kann als Knotenpermutation 1f * beschrieb en werden . Fur zufalliges 1f ist auch 1f 0 it" eine zufallige Permutation. 0

Mit dem Beispi el interaktiver B eweissystem e mit Zero-Knowledge-Eigenschaft haben unr gezeigt, dass mod ern e Verfoh reii der Kryptographie die Komplexitiiistheorie als Fundam ent benotiq en.

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

12.1 Randomisierte Verifikation von Beweisen Interaktive Beweissysteme hab en sich in Kapi t el 11 als nutzliches Werk zeug her aus gest ellt. Hier werd en wir randomisiert verifizierbare B eweise (probabilist ically checkable proofs, PCP) untersuchen. Bei geeigneter Einschrankung der Ressourcen er ha lten wir eine neue Cha rakterisieru ng der Kornpl exitatsklasse NP. Diese Ch ar akterisierung, das so gena nnte P CP-Theorem, ist eine mehr als erstaunliche Aus sage und ihr Korrektheit sb eweis ist zu kompl ex , urn hier dar gest ellt zu werden . Wir werd en a ber in Kapi t el 12.2 ein schwacheres Result at beweisen , urn einen Einblick in die Moglichkeit en randomisiert verifizierbarer Beweise zu bekom men. Das PCP-Theor em gilt als das wicht igste Er gebnis der Komplexit at stheorie seit dem Theorem von Cook. Die in Kapitel 8 auf der klassischen NP-Vollstandigkeitstheorie beruhende Theorie der Kornplexitat von Approxim ationsproblemen stOBt ja an enge Gr enzen. Das PCP-Theorem errnoglicht nun neue Methoden , urn die Komplexitat von Approxim ationsproblemen zu untersuchen . In Kapitel12.3 werd en wir exemplarisch Nichtapproximierbarkeit sresultate fur MAX- 3-SAT und da s Cliquenproblem vorstellen und in Kapitel 12.4 die APX-Vollst andigkeit von MAX3-SAT beweisen . In K apitel 11.2 hab en wir nachgewiesen , dass NP <;;;; IP(l) ist . Das zugehorige int er aktive Beweissyst em war nur eingeschrankt int er aktiv. Bob sendet einen Beweis, dass x E List , an Victoria , die diesen det erministisch und fehlerfrei in polynomieller Zeit ub erpruft. Falls x E List , kann Bob einen Beweis berechnen , der Victoria ub erzeugt . Die Zeit zur Berechnung dieses Beweises ist nicht beschr ankt. Falls x tf- List , kann Victoria jeden Beweisver such als nicht ub erzeugend ent larven. Damit nu t zt die Komplexitatsklasse NP die Op t ionen , die IP(l) erlaubt, nicht voll aus. Bob und Victoria du rfen in inter aktiven Beweissystemen randomisiert arbeite n und Victoria darf sich bei ihrer Entscheidung mit einer Wahrscheinlichkeit von 1/4 irr en. Wenn Bob nur eine Nachricht, den Beweisversuch, sendet und unb eschr ankte Rechenkraft hat , dann nutzt ihm Randomisierung nicht s. E r kann berechnen , welcher Beweisversuch die best en Eigenschaft en hat , und diesen det erministisch benutzen . Urn die Kornplexitatsklasse NP zu char akt er isier en , beschranken wir Victo ria s Ressourcen . Sie darf zwar weiterhin einen randomisierten AIgorit hmus benutzen , aber Randomisierung wird als nicht beliebig verftigbar e I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

170

12. Das PCP -Theor em und di e Kornpl exit at von App rox imat ionspro blemen

Ressource angesehen. Die Anzahl der erla ubte n Zufallsbits wird beschrankt . AuBerdem wird der im int er aktiven Beweissyst em erla ubte zweiseit ige Fehler auf einen einseitigen Fehler eingesc hriinkt . Es sind co-RP-art ige Fehler erlaubt, also Fehlerwahrscheinli chkeit en von bis zu 1/2 bei Eingaben, die ni cht akzeptiert werd en sollen. Bis hierhin sind die bekannt en Charakt erisier ungen von Problemen in NP weit erhin erla ubt, ohn e auf Zufallsbit s zuzugreifen. Dah er wird auch der Zugriff auf den Beweis eingeschriinkt . Der Beweis ist verborgen und Victoria darf in Kenntnis der Einga be und der Zufallsbits eine beschr iinkt e Anzahl von Positionen berechnen und dann die Beweisbit s an den ausgewiihlten St ellen lesen . Victorias Zugriff auf den Beweis ist nichtadaptiv. Sie muss alle Positionen berechnen , bevor sie die zugeh6 rigen Bits lesen darf, Definition 12.1.1. F ur r, q : N --+ N ist ein (r (n ), q(n))-beschr iinkter randomisier ter Beweisverifizierer ein polynomieller Algorithmus V . F ur die Eingab e x der Liinge n und einen Beweis B , der ein 0-1-Vektor ist , hat der Algorithmus V Zugriff auf x und einen Zufallsvekt or r E {O, l }O(r(n)). Auf der Basis dieser Info rmation berechnet V bis zu O(q(n)) Positionen und erha lt als zusatz liche Inform ation die entsprechenden Bit s des Beweises. SchlieBlich wird die Ents cheidung V( x , r, B ) E {O, I} , ob x akzept iert wird oder nicht , berechnet . Da die Verifiziererin Victoria nur polyn omielle Rechenzeit hat , kann sie hochst ens polynomi ell viele Zufallsbit s und Beweisbits lesen . Dah er betracht en wir nur polynomiell beschr ankte Funktionen r (random bits) und q (query bit s). Wir erweit ern die Definition, ind em wir fur r und q die konst ante Funktion 0 zulasse n. Dazu ver allgem einern wir die O-Not ation so, dass 0(0) als 0 interpret iert wir d. Mit Hilfe von ressour cenb eschriinkt en rando misiert en Beweisverifizierern konnen wir ana log zu int erakt iven Beweissyst emen Komplexit atsklassen definieren . Definition 12.1.2. Ein Entsc heidungspro blem L gehort zur Komplexit atsklasse PCP(r( n) , q(n)) (probabili stically checkable pro ofs with O(r (n)) random bits and O(q(n)) query bits) , wenn es einen (r (n) , q(n ))-beschriinkten randomisierten Beweisverifizierer V mit folgend en Eigenschafte n gibt: - Fur alle x E L gibt es einen Beweis B(x) mit Prob(V(x ,r, B (x)) = 1) - F ur alle Beweise B und jedes x rt. List Prob(V(x , r, B) = 0) 2:: 1/2 .

=

1.

Wiederum ist die erlaubte Fehlerwahrscheinlichkeit von 1/2 in gewissen Grenzen willkutlich. Da es bei der Anzahl der Zufallsbit s und der zu lesenden Beweisbits auf konst ante Faktoren nicht ankommt, konnen wir konst ant viele unabhiingige Beweisversuche gleichzeit ig du rchftihren . W ir akzeptieren die Eingab e nur, wenn dies bei allen Beweisversuchen als Ent scheidung vorgeschlagen wird . So konnen wir die Wahrscheinlichkeit von jeder Konst anten (j < 1 auf jede Kon st ante E > 0 senken. Mit PCP (poly, q(n)) bezeichn en wir die Vereinigung aller PCP(n k , q(n) ), k E N, ana log wird PCP(r( n),poly) definiert .

12.1 Randomisiert e Verifikation von Beweisen

171

Da wir uns die Erzeugung des Beweises als nichtdet erministischen Prozess vor st ellen konnen und da wir einen co-RP-a rt igen Fehler erla uben, ste llen die folgenden Charakterisierungen von P, NP und co-RP als PCP-Klassen kein e Ub erraschung dar. Theorem 12.1.3. Es gelten die folg end en Aussagen :

- P = PCP(O , 0), - NP = PCP(O ,poly) , - co-R P = PCP(poly, 0). Beweis. PCP(O,O) ent halt gen au die folgenden Entscheidungsprobl eme L . Da q(n) = 0 ist , kann vom Beweis nicht s gelesen werden. Dies ist aquivalent dazu , dass es keinen Beweis gibt. AuBerdem muss Prob(V(x , r, B) = 0) = 1 fur x rt. L sein. Da es keine Zufallsbit s gibt, sind alle "Wa hrscheinlichkeite n" o od er 1. Wir erha lte n also genau die in polynomieller Zeit entsc heidbaren Probleme. PCP(O ,poly) erla ubt beliebig lan ge Beweise, von denen polynomiell viele Bits gelesen werd en durfen. Da es keine Zufallsbits gibt , sind es fur fest es x st ets dieselben Beweispo sitionen und der Beweis kann auf polynomielle Lan ge verkilrzt werden , wobei der Beweis dann ganz gelesen werden darf. 'W ieder wird man gels Zufallsbit s kein x rt. L akzept iert. Wir er ha lte n also genau die logikori entier t e Ch ar akterisierung von NP. Fur x E L gibt es einen Beweis polynomieller Lan ge, der Victoria ub erzeugt . Fur x rt. L lasst sich Victoria von keinem Beweis iiber zeugen . PCP(poly ,O) kann wieder durch ein Szenario ohne Beweise bes chrieb en werden. Dam it erhalten wir gena u die Charakterisierung von co-RP. 0

A.hnlich einfach sind die folgend en Uberlegungen, urn einen (r (n) , q(n»beschr ankt en randomisierte n Beweisverifizierer nichtdet erminist isch zu simulieren . Theorem 12.1.4. Falls L E P CP( r (n) , q(n » ist, gibt es eine nichtd eterministische Turingmaschin e, die L in Zeit 2 0 (r( n )+ log n ) entschei det.

Beweis. Die nichtdet erministische Thringm aschin e simuliert den (r (n), q(n»beschr ankt en randomisiert en Beweisverifizierer fur alle 20 (r (n » moglichen Belegungen des Zufallsvektors. Fur jede Belegung des Zufallsvektors werden in polynomieller Zeit p( n) hochstens p(n) Beweispositionen berechnet . Fur aIle der maxim al p(n) · 20 (r (n » = 20 (r (n ) + ]og n ) berechnet en Beweisposit ionen werd en die Beweisbits nichtdet erministi sch erzeugt. Dan ach werd en fiir die 20 (r (n » Belegungen des Zufallsvektors die Berec hnungen des Beweisver ifizierers simuliert. SchlieBlich wird die Eingabe akzept iert, wenn dies der Beweisverifizierer bei allen Belegungen des Zufallsvektors macht . Falls x E L ist , gibt es einen Beweis, fur den der Beweisverifizierer mit Wahrscheinli chkeit 1, also bei allen Belegungen des Zufallsvektors, die Eingab e akzeptiert. Falls x rt. List , wird fur jeden Beweis die Ein gab e fur mindest ens die Halft e

172

12. Das P CP-Theor em un d die Kom plexitat von Ap proximati ons pr oblemen

del' Belegungen des Zufallsvektors nicht akzept iert. Also erh alten wir einen nichtdet erministischen Algorithmus fur L . Da jede Rechnung des Beweisverifizierers in p(n) = 2°(logn) Schritten er folgt , lasst sich die Rechenzeit del' 0 nichtdet erministischen Turingmaschin e durch 20 (r (n )+ log n ) abschatzen, Als Korollar erha lte n wir eine weit ere Charakte risieru ng von NP. Korollar 12.1.5. NP

=

PCP(logn,poly ).

Beweis. Die Beziehung ,, ~ " folgt aus Theorem 12.1.3 und die Beziehung ,,:2" aus Theorem 12.1.4. 0

12.2 Das PCP-Theorem Korollar 12.1.5 ent ha lt die Aussage NP :2 P CP (log n , 1). Man kann vermuten , dass P CP(logn, 1) "viel kleiner" als NP ist . Es kann do ch nicht sehr hilfreich sein, wenn man nur konst ant viele Beweisbits lesen darf. Abel' gena u das st immt nicht . Theorem 12.2.1. (PCP-Theorem) NP = P CP(lo g n , 1). Die Historie des P CP-Theorems wiI'd ausfiihr lich von Goldreich (1998) beschri eb en . Feige, Goldwasser , Lovasz, Safra und Szegedy (1991) hab en bereit s die Verbindung zwischen ressourcenb eschrankt en randomisiert en Beweisverifizierern und Nichtapproximierba rkeitsresultate n aufgezeigt. Das PCPTheorem wurde 1992 von Aror a, Lund, Motwani , Suda n und Szegedy bewiesen (die Zeit schriftenversion wurde 1998 veroffentli cht) . Dan ach wur de die Anz ahl del' Beweisp ositionen , die gelesen werden durfen , in verschiedenen Arbeit en verkleinert. Es ist ausreichend, neun Beweisbits zu lesen , und dann ist die Fehlerwahrscheinlichkeit soga r durch 0,32 beschrankt . Wenn die erla ubte Fehlerwahrscheinli chkeit auf O,76 erh oht wird , gentige n dr ei Beweispo sitionen . Vari anten des PCP-Theorems, die besser e Nichtapproximierba rkeits resultate erla uben, wurden vorgest ellt (z. B. Bellare, Goldreich und Sudan (1998) und Arora und Safra (1998)) . Del' Beweis des PCP-Theorems ist zu lan g und zu schwierig, urn hier dargest ellt zu werden. Ein e grof3e Herausford erung liegt darin , einen Beweis des P CP-Theorems zu finden , del' fur Studierende "g ut verd au lich" ist . WeI' grofe re Anstrengungen nicht scheut , sei fur einen vollst andigen Beweis des P CP-Theorems auf die ausfuhrlichen und gut lesbar en Dar st ellungen in den Bu chern von Ausiello, Crescenzi, Gambosi, Kann , Mar chet ti- Spaccam ela und Protasi (1999) und Mayr , Prornel und Steger (1998) verwiesen. Urn NP ~ P CP(logn, 1) zu beweisen , genugt es, fur ein Nf'-vollst andigee Problem wie 3-SAT zu zeigen, dass es in P CP (log n , 1) ent ha lte n ist . Wie das Lesen von konst ant vielen Beweisbi t s die Losung eines Nl--vollstandigen

12.2 Das PCP-Theorem

173

Problems mit einem randomisier te n Beweisverifizierer er rnoglichen kann, wollen wir mit dem Beweis von 3-SAT E PCP(n 3 , 1) zeigen. In der Dar st ellung lehnen wir un s an Ausiello et al. (1999) an. Es sei eine Ei nga be fur 3-SAT bestehend a us den Klau seln CI,'." Cm tiber den Vari a blen X l , " " X n gegebe n. Ein klassische r Beweis fiir die Er fullbarkeit der Klauseln best eht aus einer Eingab e a E {a, I}" , die alle Klau seln erftillt . J edes Bit a ; ist eine sehr "lokale" Information , die nur den Wert von Xi betrifft . Ein randomisiert verifizierbarer Beweis, von dem nur wenige St ellen gelesen werd en du rfen , sollte so aussehen, dass jedes Beweisbit Teilinformationen tiber jedes a, enthalt. Die Information tiber a sollte also ub er den ga nzen Beweis "verschmiert" werd en . Bei diesen Betrachtungen gehen wir von einer erfullenden Belegung a a us. W ir konnen uns den zu a gehorenden Beweis B(a) als Codierung von a vorstellen. Dah er disku tieren wir auch, wie wir aus B(a') gegebe nenfalls erkenn en konnen , dass a' nicht erfullend ist . Spater mu ssen wir uns ub erlegen , wie wir mit Beweisversuchen B', die von allen B (a') , a' E {a, I}" , verschieden sind, umgehen. Hier deut en wir die wichtigst e Idee nur an. Falls B' von allen B(a') sehr verschieden ist , konnen wir das mit genugend groBer Wahrschein lichkeit ent decken. Anderenfalls soIl B ' in ein B(a') "korr igiert " werden , wobei wir dann B(a') untersuchen. Unser Code fur alle a E {a, I}" muss also eine effiz iente Fehlerkorre kt ur erla uben (fehlerko rrigierend e Codes, error-correcting codes ). Basis unserer Ube rlegungen ist eine Arithmetis ieru ng (arit hmetization) der 3-SAT -For mel. Positive Literale Xi werden durch 1 - Xi und negativ e Lit er ale X i dur ch X i ersetz t, aus Disjunktionen werden Produkt e und aus Konjunktionen Summe n. Also gilt beispielsweise

Nah eliegender war e eine du ale Vorgehensweise gewesen. So ist abe r der Gr ad des entstehenden Polynoms P durch die Anzahl der Lit er ale pro Klau sel, also 3, beschr ankt , Das Polyn om P hat folgend e Eige nschaften. Fa lls a eine Klausel erfullt , ist der zugehorige Term 0, wah rend der Term den Wert 1 fur nicht erfullende Belegungen hat. Also ist p(a) die Anzahl der von a nicht erfullte n Klau seln . Es wird sich allerdings als vorteilh aft erweisen, alle Rechnungen in Z2 durchzufuhren , Dann gibt p(a) nur noch an, ob gerade oder unger ade viele Klau seln nicht erfullt sind. Aus p(a) = 1 kan n also fehl erfrei geschlossen werden, dass a nicht alle Klau seln erfullt . Wi r konnen aber nicht aus p( a) = schlieBen, dass a erfiillend ist. Fur man che nicht erftillbare Klau selmengen wilrde dann die Fehlerwahrscheinlichkeit 1 betragen . Die Idee best eht nun darin, Klauseln zufiillig auszub lenden. Wenn eine gerade An zahl von Klauseln nicht erfullt ist und wir Klau seln zufiillig ausblenden, sollte eine gute Cha nce bestehen , dass eine ungerad e Anzahl von iibri g gebliebenen Klau seln nicht erfullt ist . Formal sei Pi das zur Klau sel c; gehorende Polynom. Fur einen Zufallsvektor r E {O ,1}m sei pr die Summe aller Pi mit r, = 1, also pr" =

°

174

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

°

TIPI + .. . + TmPm · Fur erfullende Belegungen a ist pi(a) = fur alle i und pr(a) = fur alle T. Fur nicht erfUllende Belegungen a nimmt pr(a) die Werte und 1 mit Wahrscheinlichkeit 1/2 an. Diese Eigens chaft hab en wir schon im Beweis von T heorem 11.3.4 (GI E BP(NP)) benutzt . Wir wiederholen das Argument. Da a nicht erfiillend ist, gibt es ein j mit pj(a) = 1. Unabhan gig von der Summe aller TiPi(a), i i- j , wird dieser Wert durch Tjpj (a) = "i mit Wahrscheinlichkeit 1/2 a uf jeden der beid en Wert e und 1 gebrac ht . Die Uberpriifung, ob pr(a) = ist, hat also die gewunschte n Eigenschaften . Falls a erfullend ist , gilt pr (a) = 0. Falls a nicht erfullend ist , betragt die Wahrscheinlichkeit ftir pr(a) = genau 1/2 . Urn pr(a) zu berechn en , muss Victoria abe r weit erhin a kennen. Wir werden nun die Situation fur Victoria umkehren. In der bish erigen Situation kennt sie v' , abe r nicht den Eingab ewert a fur p" , Wir werd en nun in Abhan gigkeit von a drei linear e Funk tionen L~ , L~ und L~ berechn en , deren Funktionstabellen das Codewort fur den Beweis a dars tellen . Victoria kennt zwar a nicht , sie solI abe r in der Lage sein, sich in polynomieller Zeit aus P und T Eingab evektoren b1 , b2 und b3 so zu berechnen , dass sie aus L~(bl) , L~(b2) und L~(b3) den Wert von pr(a) berechnen kann. Die Werte L~W ) , L~(b2) und L~(b3) erhalt sie, indem sie die passenden St ellen im Beweis, also im Codewort fur a, liest . Wir gehen von einem beliebigen Polynom q : {O ,1}n -4 {a, I} mit durch 3 bes chranktem Gr ad au s. Dab ei wird q in den Anwendungen einem der Polynome p r ent sprechen . Nachdem wir q ausmult ipliziert hab en , best eht es aus folgenden Summanden :

°

°

°

° °

- cq E {a, I} , dem konst anten Term, - der Summe aller Xi, i E I); , - der Summe aller XiXi» (i, j ) E Ii , und der Summe aller XiXjXk, (i , j , k) E Ig.

°

Da wir in 2 2 rechnen , sind die Koeffizienten aller Terme (Term nicht vorhanden) od er 1 (dann ist der Term vorha nden und das zugehorige Indextupel in der passenden I q-M enge ). Wir definier en nun

- L~ : 2~ -4 2 2 durch L~(YI , . ' " Yn) :=

L

aiYi,

I~i~n 2

- L~ : 2~ -4 2 2 durch L~(YI ,l , " . ' Yn,n) := 3

L

aiaj Yi,j und

I ~ i, j ~n

- L~ : 2~ -4 2 2 durch L~(Yl, I ,I " . " Yn,n,n) :=

L

aia jakYi,j,k·

I ~ i ,j ,k ~ n

Nach Definition sind L~ , L~ und L~ linea r. Ihre Funktionst ab ellen hab en 2 3 die Langen 2n , 2n und 2n . Das Codewort fur a hat also eine Lan ge von n2 n3 2n + 2 + 2 und best eht aus der Konkaten ation der dr ei Funktionst ab ellen . Victoria ber echnet sich fur q in polynomieller Zeit die zugehorige n cq , und Zusat zlich berechnet sie sich die charakte ristischen Vektoren cq , cq und cq von I);,Ii und Ig. Dab ei ent halt zum Beispiel c~ an Position (i, j )

13

Ij-

I{ ,

12.2 Das PCP-Theorem

175

Ii

ist , und ansonsten eine 0. In dem Codegenau dann eine 1, wenn (i, j ) E wort fur a liest sie die Werte L~( c~) , L~( c~) und L~(c~) . SchlieBlich berechnet sie sich cq

+ Ll(c~) + L~(c~) + L~(c~) .

Die Beh auptung ist , dass sie auf diese Weise q(a) berechnet hat . Sie hat den konstanten Term cq beru cksicht igt . Zusat zlich ist

Mit L~( c~) berucksichtigt sie die Terme von q, die Gr ad 2 hab en . An aloges gilt fur L~ und Gr ad 1 sowie L~ und Gr ad 3. Wir hab en also eine Codierung fur a E {O, I}" gefunden, die zwar groBe Lan ge hat , abe r von Victoria benu tz t werden kann, um mit drei ausgewa hlten Positionen p" (a) in polynomieller Zeit zu berechn en . Wir wissen nun also, wie der Beweis fur eine erftillba re Klau selmenge aussehe n solI. Es wird eine erfullende Belegung a gewa hlt und es werden die Funktionst ab ellen von L ~ , L~ und L~ als Beweis benutzt . Die Beweistib erpriifung wird dar in best ehen , pT(a) fur konst ant viele zufallige r zu berechnen und den Beweis zu akzeptieren, wenn aile den Wert hab en. Fur jeden dieser Test s gen ilgt das Lesen von drei Beweisposit ion en . Die Anzahl der Zufallsbits ist durch O(n 3 ) beschrankt , da 3-SAT-Formeln ohn e triviale Klaus eln und ohne Wiederholung einer Klau sel nur 2n + 4 . ( ~) + 8 . G) = O(n 3 ) Klau seln haben k6nnen und r eine zufallige Wahl der Klau seln beschreibt. Die Fehl erwah rscheinli chkeit bei nicht erftillt en Klau selmengen ist , wie schon diskutiert, fur jeden Test 1/2 . Allerdings gelte n diese Ub erlegungen nur ftir Beweise vom beschrieb enen Typ . Wir mussen a ber im Fall nicht erftillbarer Klau selmengen au f alle Beweise vernlinft ig reagieren . "Vir nehmen an, dass Beweise die "richt ige" Lan ge hab en , da spatere Beweispositionen nie gelesen werden und zu kurze Beweispo sit ionen nur eine zusa tz liche Ch an ce biet en , die Beweise als un erwunscht zu ent larven. Wie werden nun Beweise ub erpruft? W ir ben6ti gen vier Module:

°

-

Lln eari t atstest, Funktionsau swerter , Kon sist enz t est un d Beweisverifizierer .

Der Line aritat st est dient zur Ub erprufung, ob eine Funktionst ab elle eine linear e Funktion beschreibt. Wi r beschreiben , wie dies randomisiert mit einseit igem Fehl er und dem Lesen von konst ant vielen Beweisbits durchgefuhrt wird . Offensi chtli ch kann dieser Test nicht wie gewunscht gelingen, wenn der Beweis aus der Funktionst ab elle best eht. Wenn die Funkt ionstabelle gena u einen Wert ent halt , der die beschrieb ene Funkt ion von einer linearen Funktion unter scheid et, wird dies nur mit winziger Wahrscheinlichkeit ent deckt .

176

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

Wir unterscheiden dah er linear e, fast linear e und andere Funktionen, wobei wir die Begriffe spater form alisier en. Die anderen Funktionen muss en wir entlarven. Wir mus sen abe r hinnehmen , dass fast lineare Funktionen den Linearitatstest uberstehen konnen . Linear e Funktionen ub erstehen diesen Test st ets. Es wird sich her au sst ellen , dass fast lineare Funktionen nur einer linear en Funktion ahnlich sind. Wir versuchen dann, an St elle der fast linear en Funktion den Beweis so zu interpretieren , als wiirde er die ahnliche linear e Funktion beinhalten . Der Funktionsauswerter berechnet fur Ein gabewerte eine Schatzung des Funktionswertes der "zugebOrigen" linearen Funktion. Fur lineare Funktionen ist der Wert st ets korr ekt. Fur fast linear e Funktionen kann die Fehlerwahrscheinlichkeit durch eine Konstante a < 1 beschr ankt werden. AuJ3erdem kann die Fehlerwahrscheinli chkeit durch un abhangige Wiederholung und Majoritatsentscheidung gesenkt werd en . Der Funktionsauswerter liest nur konstant viele Beweisbits. Es gibt ein weiteres Problem . Es reicht nicht au s, dass der Beweis die Funktionst abellen von drei linear en Funktionen beinhaltet . Die Funktionen L~ , L~ und L~ han gen aile von a ab und sind somit verkniipft . Der Konsistenzt est ub erpnift, ob die drei betrachtet en linear en Funktionen , darunter event uell die Korrekturen fast linearer Funktionen, konsistent sind, also von derselben Eingabe a abstammen. Fur lineare Funktionen L~ , L~ und L~ ist der Test fehlerfrei. Tripel von nicht konsistent en linearen od er fast linearen Funktionen werd en mit Hilfe des Lesens von konst ant vielen Beweisbits mit konstanter Fehl erwahrscheinli chkeit j3 < 1 ent larvt . SchlieJ31ich t estet der Beweisverifizierer , wie schon beschri eb en , mit Hilfe des Lesens von konstant vielen Beweisbits, ob pr (a) = 0 fur Zufallsvektoren r ist. Falls der Beweis aus L~ , L~ und L~ best eht, wird der Wert von pr (a) korr ekt berechnet. Ansonsten kann die Fehlerwahrscheinli chkeit durch eine Kon stante "y < 1 beschrankt werd en. Insgesam t wird der Beweis (L~ , L~ , L~) fur erftillende Belegungen a mit Sicherheit akzept iert . Fur nicht erflillba re Klauselmengen kann ein Beweis akzept iert werden , wenn mindest ens einer der folgend en Faile auftrit t: - Einer der drei Linearitatst ests ent larvt eine Funktionst ab elle nicht , die eine nicht einmal fast linear e Funktion darst ellt. - Der Konsist enztest ent larvt nicht konsist ent e Funktionentripel nicht , wobei fast linear e zu linear en Funktionen korri giert werd en. - Aile berechneten pr (a) hab en den Wer t 0, wobei fast linea re zu linear en Funktionen korri giert werden. - Ein e der vielen Funktionsau swertungen liefer t einen falschen Wert. Hierbei ist zu beacht en, dass die Funktionsauswertung in den anderen Modulen verwendet wird. Wir erla uben jedem Linear itatst est eine Fehlerwahrscheinli chkeit von 1/18 , also zusa mmen eine Fehlerwahrscheinlichkeit von 1/6, und dem Kon sist enztest unter der Voraussetzung fehlerfr eier Linearitat st ests eine Fehl erwahrscheinli chkeit von 1/6 . Dami t bleibt fur die Beweis-

12.2 Das P CP-Theorem

177

verifikation eine Fehlerwahrscheinli chkeit von 1/6 , wobei wir voraussetzen durfen, dass die a nderen Tests fehlerfrei sind. Der Beweisverifizierer liest dr ei Beweisbits . Wen n wir dem Funktionsau swert er eine Fehlerwahrscheinli chkeit von 1/10 zubilligen, wird fur nicht erfullba re Klau selmengen ein Wert von 0 fur pr(a) nur dann berechnet , wenn pr(a) = 0 ist (Wahrscheinlichkeit 1/2) od er eine Funktionsau swertung einen falschen Wert liefert . Die Fehl erwahrscheinlichkeit ist also durch 4/5 beschrankt. Neu n unabhan gige Wi ederholun gen senken die Fehlerwahrscheinlichkeit auf unter 1/6. Ahnlich konnen die entsprechenden Par am et er fur die anderen Module berechnet werden . Es gentigt also zu zeigen, dass jeder Test mit einer Fehlerwahrscheinli chkeit, die durch eine Konst ante kleiner als 1 beschrankt ist , und mit Hilfe konst ant vieler Beweisbit s mit pol ynomieller Rechenzeit und O(n 3 ) Zufallsbits bewaltigt werden kann. Daraus kann der PCP-Verifizierer zusa mmengesetzt werden. Wir beginnen mit dem Lineari t atst est . Da wir tiber dem Korp er Z2 ar beit en , ist f : Z 2 -'> Z2 genau dann linear , wenn f( x +y) = f( x) + f(y ) fur alle x, y E Z2n ist. Eine Funktion fi st der Funkt ion 9 O-nah (o-close) , wenn bei Gleichverteilu ng auf Z2 die Eigenschaft Probx(f(x) -=I- g(x)) ::; 0 gilt. Wi r noti eren hier an Prob, welches Eleme nt zufallig gewahlt wurde, wobei es sich stets urn die Gleichvert eilung hand elt . Der Linearitat st est hat nun folgend es Aussehen : - W ahl e un abhan gig und zufallig x , y E zm und bezeichne nicht linear , wenn f( x + y ) -=I- f( x ) + f (y) ist .

f nur dann als

Dieser Test hat folgende Eigenschaften : - Falls f linear ist , best eht f den Llneari t at ste st . - Falls f fur ein 0 < 1/ 3 zu keiner linearen Funktion O-nah ist , dann best eht f den Lineari t atstest mit einer Wahrscheinlichkeit von weniger als 1 - 0/2. Die erste Eigenschaft gilt offensicht lich. Die zweite Eigenschaft formulieren wir aquiva lent urn zu: - Aus Probx,y(f(x + y) -=I- f( x) Funkt ion 9 O-nah ist.

+ f( y) )

::; 0/2 folgt , dass f eine r linearen

Der Nachweis dieser Behauptung wird dadurch erleichtert, dass wir eine lineare Funktion 9 definieren und fur sie zeigen, dass sie f O-na h ist . Zur Definition von g(a) betracht en wir alle f (a + b) - f (b),b E Z2 ' Fur lineare Fun kt ionen f erha lten wir stets den Wert f( a) . Dah er wahl en wir als g(a) den Wert aus {a, I }, der in der List e aller f(a +b ) - f(b) haufiger vorkommt . Bei Gleichh eit sei g( a) = O. Es bleibt zu zeigen: - g ist f o-na h, - gist linear . Die erste Eigenschaft wird durch Wid erspruch bewiesen . Sei also angenommen , dass sich fund 9 nicht O-nah sind . Dann ist

178

12. Das P CP-Theorem und die Komplexit at von Approximationspr oblemen

Probx(f(x) -1= g(x)) > O. Nach Kon struktion von g gilt

Proby(g(a) = f(a + y) - f (y)) 2: 1/2 . Also folgt

+ y) - f(y) -1= f( x)) Probx,y(f(x + y) - f(y) = g(x), g(x) -1= f( x)) L Proby(f(a + y) - f(y) = g(a) , g(a) -1= f( a))·

Probx,y(f(x

>

2- m .

aEZ2'

Fur jedes a ist g(a) = f(a) od er g(a) -1= f (a). 1m erste n Fall ist die betracht et e Wahrscheinli chkeit 0 und im zweite n Fall kan n die Bedingu ng g(a) -1= f(a ) wegfallen. Also ist

Probx,y(f(x

>

+ y) - f(y)

L

2- m

-1= f( x ))

Proby(f(a + y) - f (y)

=

g(a))

a EZ 2' ,g (a )i- f (a )

>

L

2- m

~

> 0/2.

aEZ2' ,g (a )i- f (a )

Die letzt e Ungleichung folgt , da aus Probx(f(x) -1= g(x)) > 0 folgt , dass ftir mehr als O· 2m aller a E ;Z~ die Eigenschaft g(a) -1= f(a) gilt . Damit erhalte n wir einen Widerspruch zur Vorau sset zung Probx,y(f(x + y) -1= f( x ) + f (y)) ::;

0/2 . Zum Beweis der Lineari t at von g unt ersuchen wir

p(a)

:=

Probx(g(a)

=

f(a

+ x ) - f( x)).

Nach Kon st rukt ion von gist p(a) 2: 1/2 . Wir zeigen , dass sogar p(a) 2: 1 - 0 ist . Wir wenden die Vorau sset zung auf x + a und y und a uch auf x und y + a an. Da bei zufalliger Wahl von x E ;Z~ auch x + a ein zufalliger Vektor a us ;Z~ ist , gilt

Probx,y(f(x

+ a) + f(y)

-1= f( x

+ a + y)) ::; 0/2

und

Probx,y(f(x ) + f(y

+ a) -1= f( x + a + y) ) ::; 0/2 .

Die Wahrscheinlichkeit fur die Vereinigung der Er eignisse ist also nach oben durch 0 beschrankt und die Wahrscheinli chkeit des Komplement s deshalb nach unten durch 1-0. Nach den De-Mor gan-Regeln ist dies der Durchschnitt der Er eignisse f( x +a) + f(y) = f( x +a+y) und f( x) + f(y + a) = f( x+a +y) ,

12.2 Das P CP-Theorem

insbesondere also eine Teilmenge des Ereignisses f( x f(y + a). Damit gilt

Probx,y(J(x

+ a) + f(y) = f( x) + f(y + a)) 2: 1 -

179

+ a) + f( y) = f( x) + 6.

Urn die Un abhangigkeit der Wahl von x und y au szunutzen , schreiben wir die Gleichung als f( x + a) - f( x) = f(y + a) - f(y) . Also ist

+ a) - f( x) = f(y + a) - f (y)) Probx,y(J(x + a) - f( x) = z , f(y + a) - f( y) = z )

1 - 6 :S Probx,y(J(x =

L zE{ O, l }

=

L

P rob x(J(x

+ a) - f( x)

=

z ) . Proby(J(y + a) - f (y) = z )

zE {O,l}

=

L

(Probx(J(x

+ a) - f (x) = Z))2 .

zE{ O,l }

Fur z = g(a) ist Probx(J(x + a) - f( x) = z ) = p(a). Dami t ergibt sich fur z -=I- g(a) der Wert 1 - p(a) . Somit ist 1 - 6 :S p(a)2 + (1 - p(a))2.

Da, wie ob en bem erkt , p(a) 2: 1/2 ist , folgt 1 - p(a) :S p(a) und

p(a)2 + (1 - p(a)) 2 :S p(a)2 + p(a)(l - p(a)) = p(a) und dam it die Zwischenb ehauptung. Dieses Er gebnis wenden wir dreimal an, wobei wir wieder ausnutz en, das s mit x auch x + a ein zufalliger Vektor aus ist . Es ergibt sich

z,rr

Probx(g(a) = f(a + x ) - f( x)) = p(a) 2: 1 - 6, Probx(g(b) = f(b + a + x ) - f(a + x )) = p(b) 2: 1 - 6, Probx(g(a + b) = f(a + b + x) - f( x)) = p(a + b) 2: 1 - 6. Dami t hat der Durchschnitt der dr ei Ereignisse eine Wahrscheinlichkeit von mindest ens 1 - 36. Dies gilt auch fur jedes von den drei Ereignisse n implizierte Er eignis. Wi r ad dieren die ersten beiden Gleichungen und su btra hieren die dri tte Gleichung. Es folgt

Probx(g(a ) + g(b) = g(a + b)) 2: 1 - 36. Da nach Vorau ssetzung 6 < 1/ 3 ist , gilt

Probx(g(a)

+ g(b) = g(a + b)) > O.

Die Gleichung g(a) + g(b) = g(a + b) ist a ber una bha ngig von der Wahl von x wahr od er falsch. Eine positive Wahrscheinli chkeit , die den Wert 0 od er 1 hab en muss, kann nur den Wert 1 hab en . Also ist g(a) + g(b) = g(a + b) fiir aile a und b und damit 9 linear.

180

12. Das PCP-Theorem und die Kompl exit at von Approximationsproblemen

Der Funktionsau swert er er ha lt als Eingab e die Funktionst ab elle einer Funktion f : 2:2 ~ 2:2 und ein a E 2:2 , Er solI fur 5 < 1/ 3 folgend e Eigenschaften erfiillen: - Falls f linear ist , so ist das Er gebnis f(a) . - Falls f nicht linear , aber 5-nah zu der linearen Funktion gist , dann solI der randomisiert e Funktionsau swerter den Wert von g(a) mit einer durch 25 beschr ankten Fehlerwahrscheinlichkeit Iiefern, Der Funktionsauswert er hat folgendes Aussehen : - W ahl e x

E

2:2 zufallig und berechne f( x

+ a) - f( x) .

Damit ist die ers te Eigenschaft offensichtlich erfullt . Die zweite Eigenschaft lasst sich folgendermaBen zeigen. Da sich fund 9 5-nah sind, ist

Probx(f(x) = g(x)) :::: 1 - 5 und

Probx(J(x

+ a) = g(x + a)) :::: 1- 5.

Damit betragt die Wahrscheinlichkeit , dass beide Ereignisse eint reten, mindest ens 1 - 25. Die beiden Er eignisse implizieren aber f( x + a) - f(x) = g(x + a) - g(x ) und wegen der Linearitat von 9 a uch f( x + a) - f( x) = g(a). Damit hat der Funktionsau swert er die gewiinschten Eigenschaft en . F ur den Kon sist enzt est liegen Funktionst ab ellen fur II , h und h VOL Die dar gestellt en Funktionen sind linear od er einer linear en Funktion 5-nah . Fur 5 < 1/24 solI der Konsistenzt est folgende Eigenschaften hab en : - Falls die Funktionst ab ellen lineare Funktionen vom Typ Lf, L~ und L~ fur ein a E {O, l} " dar st ellen , best ehen die Funktionst ab ellen den Kon sist enzte st . - Falls es kein a E {O, I} " gibt, so dass die durch die Funktionst ab ellen dar gest ellt en Funktionen II , h und h zu L f , L~ und L~ 5-nah sind, dann sollen die Funkt ionstab ellen den Konsist enzt est nur mit einer durch eine Konst ant e kleiner als 1 beschr ankten Fehlerwahrscheinlichkeit best ehen . Der Kon sist enzt est hat folgendes Aussehen : 2

- W ahle zufallig und un abhan gig x, x' , x" E 2:~ und Y E 2:~ . - Definiere xox' durch (x oX' k j = xiXj und x" oy durch (x" 0Y)i,j,k = X;'Yj,k. - Benu t ze den Funktionsau swerter zur Berechnung von Schat zern b fur II (x) , b' fur II (x') , b" fur II (x") , c fur h (x 0 x' ), c' fur h (y) und d fur h (x" 0 y) . - Die Funktionst ab ellen best ehen den Kon sist enzt est , wenn bb' = c und b"c' = d ist.

12.2 Das P CP-Th eorem

181

Lin eare Funktionen L'{, L '2 und L 3 bestehen den Konsisten ztest. Fur sie ist der Funktionsau swerter fehl erfrei und es ist

An alog folgt L f( x") . L'2(Y) = L 3(X" 0 y). Fur die zweite Eigenschaft wird ausgenutz t, dass fur 8 < 1/24 die Fehlerwah rscheinli chkeit des Fu nktionsau swerter s durch 28 < 1/12 beschr iinkt ist. Damit ist die Fehl erw ah rscheinlichkeit aller sechs Funktionsau swertungen zus ammen durch 1/2 beschriinkt. Wir nehmen nun an, dass die Funktionsau swertungen fehl erfrei verl aufen. Die zu h 8-n ah e linear e Funkt ion hab e die Koeffizienten a; und die zu fz 8-nahe lineare Funktion die Koeffizienten bi,j' Es sei ai,j := aia j ' Wir betrachten die Matrizen A = (ai,j) und B = (bi,j ) und nehmen an, dass die Funkt ionsauswertunge n korrekt , abe r die Funkt ionst ab ellen inkonsistent sind. Dann ist A i= B . Die zuge horigen Eingab en x und x ' stellen wir als Sp altenv ektoren dar. Der Konsisten zt est vergleicht x T A x' und x T B x' und beruht darauf, dass fur A i= B und zufiillige x und x ' mit einer Wahrscheinli chkeit von mindest en s 1/4 die beid en Wer te verschied en sind und somit die Inkonsist enz belegt wird . Wenn sich A und B in der j-t en Spalte unterscheid en , ist d ie Wahrscheinlichkeit, dass sich x T A und x T B an der j-ten St elle unt erscheid en , 1/2. Dies folgt mit dem bereit s hiiufiger verw endet en Ar gument tib er den Wer t von Skal arprodukten x T y und x T z fur y i= z und zufiilliges x. Falls sich x T A und x T B unterscheid en , unterscheid en sich mit eine r Wahrscheinli chkeit von 1/2 auch (x T A) x' und (x T B) x' . Wenn wir alle Module mit den richtigen P aram etern verw enden , folgt 3-SAT E PC P(n 3 , 1) und NP ~ PCP(n 3 , 1) . Urn die Anz ahl der Zufallsbits dr astisch zu senken , mti ssen wir mit ku rzeren Beweisen auskomme n. Eine Id ee besteht darin , die linearen Funkt ionen in dem von un s beschriebenen An satz durch P olyn om e klein en Grad es zu ersetzen. Daruber hinau s wird ein so genanntes Kompo sitionslemma (composit ion lemma) gezeigt, das aus zwei Verifizierern mit unterschiedlichen Eigenschafte n eine n verb esserten Verifizierer liefert. Wie schon ange de utet, wollen wir nicht ti efer in das P CP-Theor em einsteigen. Es sollte zumindest klar geworde n sein, dass Beweise, von den en nur konstan t viele St ellen gelesen wer de n du rfen , erstaunlich viele Inforrnationen liefern konnen, Dies gilt abe r nur fur Beweisversu che, bei denen falsche Beweise nicht immer ent larvt werden. W ie schwierig dieses E rgebnis zu vermitteln ist , zeigt folgendes Zit at aus "The New York Times" vom 7.April 1992: "I n a discovery t hat overturns cent ur ies of mathem atical tradition, a gro up of grad uate stude nts and young resear chers has discovered a way t o check even the longest and most complicated proof by scru t inizing it in ju st a few spots .. . "

182

12. Das PCP-Theorem und die Kornplexitat von Approximat ionsproblemen

12.3 Das PCP-Theorem und Nichtapproximierbarkeitsresultate Der gerade zitierte Ar tik el fahrt folgendermaBen fort : " . . . Using t his new result, t he resear chers have already mad e a landmark discovery in computer science. T hey showed that it is impossible to comp ute even approximate solut ions for a lar ge group of pr act ical problems that have long foiled resear chers . . . " . Dass diese Aussage stimmt , werden wir an den Beispielen MAX- 3-SAT und MAX-CLIQUE zeigen. Das PCP-Theorem errnoglicht es uns, die in Kapitel 8.3 diskutierte Lilckent echnik besser zu nutz en . Mit Hilfe der Aussage 3-SAT E PCP(log n , 1) werden wir 3-SAT so a uf MAX- 3-SAT polynomiell reduzieren , dass folgende Eigenschaften fur eine Konst ante 0 > erftillt sind:

°

- Falls die gegeb ene Klau selmenge erfullbar ist, so ist auch die erze ugte Klauselme nge erftillba r. - Falls die gegebe ne Klau selmenge nicht erfullbar ist , so gilt fur die erze ugt e Klaus elmenge, dass hochst ens ein Anteil von 1-0 aller Klau seln gleichzeit ig erftillbar ist.

°

Wir wahl en nun E > so, dass 1 + E = 1/ (1 - 0) ist . Wenn MAX- 3SAT einen polynomiellen Approximationsalgorithmus hat, dessen Approximationsgtit e kleiner als 1 + E ist , dann folgt NP = P . Wir konn en namli ch 3-SAT folgendermaBen losen. Zunachst wird die beschrieb ene Transformation und dann auf das Er gebnis der Approximationsalgorithmus fur MAX-3-SAT angewende t . Fur die Losung wird der Anteil a der er ftillt en Klauseln berechn et . Ist a > 1 - 0, so ist die gegebene Klaus elmenge wegen der zweiten Eigenschaft der polynomiellen Reduktion erfullba r. Ist a ::; 1 - 0, so kann wegen der Approximationsgut e des Approximationsalgorithmus und der ersten Eigenschaft der Reduktion die gegebe ne Klauselmenge nicht erftillbar sein. Diese Beweisstrat egie werd en wir nun konkreti sieren . Theorem 12.3.1. Es gibt eine Konstante E > 0, so dass polynomielle Approximatio nsalgorithm en Jilr MAX- 3-SAT mit einer kleinere n Approximationsgilte als 1 + E nu r exis tieren, wen n N P= P is t. Beweis. Wir vervoll st andigen die oben beschrieb ene Anwendung de r Luckentechnik. Nac h dem PCP-Theorem gibt es ganzzahlige Kon st anten c und k , so dass es fur 3-SAT einen randomisiert en Beweisverifizierer gibt, der fur Klau selm engen auf n Vari ablen hochst ens c . log n Zufallsbit s benutzt und hochst ens k Bit s des Beweises liest . Wi r konnen annehmen, dass genau lc . log n J zufa llige Bits vorliegen und stets gena u k Bits des Beweises gelesen werden . Es gibt dann N := 2 Lco!og n J ::; n C Belegungen des Zufallsvekt ors. F ur

12.3 Das PC P-Theorem und Nichtapproxim ierbarkeitsresultate

183

jede Belegung der Zufallsbi t s und jede 3-SAT-Einga be gibt es gena u k Beweispositionen , die gelese n werden. Also kann es fur jede 3-SAT-Eingabe nur kN verschiedene Beweispositionen geben, die eine positive Wah rscheinli chkeit hab en , gelesen zu werden. AIle anderen Beweispositionen sind irre levant. Dah er konnen wir von Beweisen ausgehen, deren Lan ge genau kN betragt . Die Menge moglicher Beweise ist somit gleich der Menge {O, 1 }kN. Es sei C eine Menge von Klauseln der Lan ge 3 auf n Vari abl en . Zu C betracht en wir N boolesche Funktionen fr : {O, 1 }kN -+ {O, I} , 0 ::; r ::; N - 1. Der Index r bezieht sich auf den Zufallsvektor, der als Bin ar zahl interpret iert wird. Fur fest gewa hltes r und die gewa hlte Klau selmenge liegen die k Posit ionen jr (1) < .. . < jr (k ) des Beweises, die gelesen werden, fest . Es soll f r(Y) den Wer t 1 gena u dann annehmen, wenn der randomisierte Beweisverifizierer fur die Kla uselmenge C und die Belegung r des Zufallsvektors den Beweis Y akzept iert . Syn t aktisch beschr eiben wir alle Funktionen in Abhan gigkeit von Y = (Yl , . .. , YkN ), also aller Bit s des Beweises. Entscheidend ist abe r, da ss jede Funktion t- nur von k der y-Var iablen essenziell abha ngt. Nun konnen wir die Eigenschaft en des Beweisverifizierers als Eigenscha fte n der Funktionen f r a usdrticken: - Falls die Klau selmenge erfullbar ist , gibt es ein Y E {O, 1 }kN, so dass alle f r(Y ),O ::; r ::; N - 1, den Wer t 1 hab en . - Falls die Klau selmeng e nicht erfullbar ist , gilt fur jedes Y E {O, l}k N , dass hochst ens die Halft e aller f r (Y) , 0 ::; r ::; N - 1, den Wer t 1 hat. Die polyn omiell vielen Funkt ionen i- han gen essenziell nur von konst ant vielen Variabl en abo Es ist also in polynomieller Zeit moglich , fur alle Funktionen f r die konjunktive Normalform zu berechnen. Sie best eht fur je de Funkt ion aus hochst ens 2k Klaus eln der Lan ge k . Wir wend en nu n die polynomi elle Redukti on SAT ::;p 3-SAT (Theorem 4.3.2) an, um die Klau selmenge jeder Funktion f r durch Klau seln der Lan ge 3 zu ersetzen. Dab ei wird jede der gegeb enen Klau seln durch k* = max{l , k - 2} Klauseln ersetzt. Um die ob igen Eigenscha fte n der fr -Funkt ionen auf die neue Klau selmenge zu tibert ragen , ist zu beacht en, dass fr schon dann den Wert 0 hat , wenn eine ihrer hochst ens 2k Klau seln den Wert 0 hat . Mit der beschri eb enen Transformation er ha lte n wir fur f r hochst ens k * · 2k Klau seln , von denen nur eine nicht erfullt sein mu ss. Also gilt: - Falls die urs priingliche Klau selmenge erfullbar ist , so sind die neu gebildete n maximal k* . 2k . N Klau seln gemeinsa m erfullba r . - Falls die urspriingliche Klauselmenge nicht erfullba r ist , gib t es fur jede Belegung der Vari abl en fur die neu gebildeten Klau seln mindest ens N / 2 Klau seln , je eine fur die Halfte der N fr- Fun kt ionen, die nicht erfilllt sind. Fur 5 := (N /2 )/(k* . 2k . N) = l / (k * · 2k + 1) gilt also, dass hochst ens ein Ant eil von 1 - 5 der Klauseln de r neu gebildete n Klau selmenge gemeinsam erfullbar ist, wenn nicht alle Klau seln gemeinsa m erftillbar sind. Mit den

184

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

Voriib erlegungen hab en wir das T heorem fur c := 1/(1- 0) -1 > 0 bewiesen .

o Der Beweis von Theorem 12.3.1 zeigt , dass wir bessere Er gebnisse erha lt en , wenn wir k verkl einern, wahrend sich die Konstante c nur auf den Gr ad des Polynoms, das die Rechen zeit beschr ankt , auswirkt. Wenn k = 2 ist , erhalten wir eine Klau selmenge, deren Klau seln eine Lan ge von 2 haben. Fur sie lasst sich in polynomieller Zeit feststellen , ob aIle Klau seln gemeins am erflillbar sind (siehe Kapitel 7.1). Ein der artiger randomisiert er Beweisverifizierer fur 3-SAT od er ein anderes Nl--vollstandiges Problem wiird e NP = P imp lizieren . Theorem 12.3.1 und die Existen z eines polynomiellen Approxim ationsalgorit hmus mit endlicher Approximationsgiite fur MAX-3-SAT implizieren das folgende Koroll ar. Korollar 12.3.2 . Es is t MAX- 3-SAT E APX - PTAS, falls NP -=f. P ist. Wir kommen nun zum Problem MAX-CLIQUE. Dieses Problem hat bei der Suche nach "besseren PCP-Theoremen " im Mittelpunkt gestanden (Arora und Safra (1998) , Hast ad (1999)) . Hier konnen wir das best e bekannte Resultat nicht beweisen und begniigen uns mit folgend em Theorem . Theorem 12.3.3. Es ist MAX-CLIQ UE rt- APX, falls NP -=f. P is t. Beweis. Auch hier wenden wir die Liickent echnik an. Wie im Beweis von Theorem 12.3.1 benutzen wir fur 3-SAT einen randomisierten Beweisver ifizierer , der fur Klauselmengen auf n Variabl en lc-log n J Zufallsbits zur Verfugung hat und gena u k Bit s des Beweises liest . Wieder sei N := 2Lc.]ognJ ::; n", Zu diesem randomisierten Beweisverifizierer konstruieren wir in polynomieller Zeit folgenden Gr aphen . Zu jeder Belegung des Zufallsvektors r betrachten wir aIle 2 k Belegungen der k gelesenen Beweisbi ts. Jede Belegung, fur die der Beweis akzept iert wird , wird durch einen Kno t en im Gr aphen reprasentiert. Die Anz ahl der Knoten ist also durch 2k . N na ch ob en beschrankt. Die Knoten , die zum gleichen r gehore n, bilden eine Gruppe. Knoten derselb en Gruppe sind nie durch eine Kante verbunden . Knoten verschiedener Gruppen werden genau dann durch eine Kante verbunden , wenn sie sich in den Belegungen der Beweisbits, die sie beide lesen , nicht widerspr echen . Wenn die gegebe ne Klau selmenge er ftillbar ist, gibt es einen Beweis, der fur aIle Belegungen von r akzept iert wird. Aus jeder Gruppe betracht en wir den Knot en , der diesen Beweis re prasent iert . Nach Definition bilden diese Kno t en eine Clique der GroBe N . Wenn die gegebene Klau selmenge nicht erftillbar ist , wird jeder Beweis nur fur die Halfte der Belegungen von r akzeptiert . Wenn es eine Clique der Gr oBe N ' > N / 2 gibt, mussen nach Ko nstruktion die N ' Kno t en aus N ' Gruppen kommen. Au Berd em widersprechen sich die gelesenen Beweisbit s paarweise nicht. Also gibt es einen Beweis, der mit all diesen par ti ellen Belegungen von Beweisbits kompatibel ist . Dieser Beweis wird fur N ' der N und damit

12.3 Das P CP-Theorem und Nichtapproximierbarkeitsresultate

185

mehr als die Halfte aller Belegu nge n von r akzeptiert im Wi dersp ru ch zur Vorau sset zung, dass die gegebene Klau selm enge nicht erfullbar ist . Falls also NP f P ist , gibt es keinen po lyno miellen Algori thmus fur MAXCLIQUE, der eine Ap proximation sgiit e kleiner als 2 erreic ht . Im Gegen sat z zum Beweis von T heorem 12.3.1 geht die Kon st ant e k nicht in die GroBe der entstehenden Lucke ein. Diese ist 2, weil der randomisierte Beweisverifizierer eine durch 1/2 beschr ankte Fehlerwahrscheinlichkeit hat. F ur jede Konst ant e e > 1 gibt es fiir 3-SAT a ber auch einen PCP (log n, 1)Ver ifizierer, dessen Fehlerwahrschoinllchkeit durch l i e beschrankt ist . Wenn wir mit diesem randomisiert en Beweisverifizierer denselb en Beweis d urchftihren , er ha lten wir eine Lucke mit de m Fak t or e und damit den Beweis des T heore ms. D Wi r hab en fur de n Beweis von T heorem 12.3.3 das P CP-Theorem wieder direkt angewendet . In T heo rem 8.4.4 hab en wir eine P TA S-Reduktion von MAX -3-SAT a uf MAX- CLIQUE mit a (c) = e beschrieben . Somit erhalt en wir filr MAX- CLIQUE a us Theor em 8.4.4 das gleiche Nichtapp rox imie rbarkeit sresult at , das wir ftir MAX-3-SAT in T heorem 12.3.1 gezeigt hab en . Im Gegensat z zu MAX-3-SAT hat MAX-CLIQUE die Eige nschaft der Selbst verbesserung (self-im provability), mit der wir a us eine m polyn omiellen Approximationsalgor ithmus mit Cute e einen pol ynomiellen Approxim at ionsalgor ithmus mit Giite e l / 2 konstruier en konnen . Dies konnen wir, da sich der Grad des P olynoms fur die Rechenzeit erh oht, nur konst an t oft wiederholen. Die 2k Cute kann also fur jede Konst ante k von e au f e l / und damit unt er jedes l + c gesenkt werden. Somit erhalten wir T heo rem 12.3.3 aus T heorem 12.3.1, ohne no ch einmal das P CP-Theorem anzuwenden. F ur de n Nachweis der Eigenschaft de r Selbstverbesse rung bet ra cht en wir zu un ger ichtet en Graphen G = (V, E) de n P rod uktgraphen G 2 auf V x V . E r ent ha lt die Kant e {(Vi ,Vj) , (Vk ,Vt}}, wenn (i , j) f (k,l) , ({vi ,vd E E ode r i = k) und ({Vj, VI} E E oder j = l) ist . Aus eine r Clique auf {VI, . . . , v r } in G er ha lten wir die Clique au f allen (vi ,vj ), l :::; i,j :::; r , in G 2. Wenn cl(G ) die maximale Cliquengrobe in G bezeichn et , ist also cl( G 2) ~ cl( G) 2. Sei nun andere rseit s eine Clique der GroBe m in G 2 gegeben. Wir bet racht en die Knotenpaare (Vi ,Vj ), die diese Clique bild en . Dann muss es in der ersten od er zweiten Komponent e dieser P aare mindestens m l / 2 l Kn ot en geben . Urn cl( G 2 ) = cl( G ) 2 zu zeigen , beweisen wir, dass diese m 1/ 2l Kn ot en eine Clique in G bild en. Wenn Vi und Vj in der erste n Kom ponente der Kn ot enp aar e der Clique in G 2 vorkommen , gibt es Vk un d VI, so dass (Vi, Vk) und (Vj,VI) zur Clique in G 2 gehoren und somit durch eine Kant e verbunde n sind . Dies impliziert aber nach Definition von G 2, dass {Vi, Vj} E E ist . Die Ar gument e verl au fen analog, wenn Vi und Vj zur zweite n Koo rdin ate der Kn ot enpaar e geho ren. Wir verbessern einen po lyn om iellen e-Appr oximationsalgorit hmus A fur MAX- CLIQUE, indem wir zu G de n G raphen G 2 berechnen , dar auf A anwenden , eine Clique der GroBe m erha lten, darau s, wie ob en beschr ieb en ,

r

r

186

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

eine Clique der GraBe Im 1/ 2l fur G berechnen und als Ergebnis prasentieren. Dann ist cl(G 2 )/ m :::; c und

Wir erhalt en also einen c 1/ 2-Approximationsalgorithmus , dessen Laufzeit polynomiell ist. Wir werd en keine weit eren Nichtapproximierbarkeitsresultate ableiten. Kann und Crescenzi (2000) verwalten die besten a kt uellen Resultat eoFUr die von uns intensiver behandelten Optimierungsprobleme listen wir die aktuell besten Schranken auf. Die ApproximationsgUten beziehen sich auf polynomielle Algorithmen, E ist st ets eine beliebige positive Konstante und die Negativresultate set zen, wenn nichts anderes vermerkt ist, NP i= P voraus. MAX-SAT: 1,2987- approximierbar und APX-vollstandig. MAX-k-SAT: 1/(1-2 - k)-approximi erbar fur k 2: 3, wenn aIle Klauseln k verschiedene Literale ent halten, aber nicht (1/ (1 - 2- k ) - E )-approximierbar. MAX-3-SAT: 1,249-approximierbar, auch wenn sich Liter ale in Klauseln wiederholen durfen . MAX-2-SAT: 1,0741-approximierbar, aber nicht 1,0476-approximierbar, wobei sich Literale in einer Klausel wiederholen durfen . MIN-VC: 2-approximierbar, aber nicht 1,3606-approximierbar . MIN-GC: O( n . (log log n )2/log 3 n )-approximierbar , abe r nicht nl /7-c_approximierbar, sogar nicht n1- c-approximierbar, falls NP i= ZPP ist . MAX-CLIQUE: O(n/log 2 n)-approximierbar, aber nicht n 1/ 2- c-approximierbar , sogar nicht n1- c-approximierbar, falls NP i= ZPP ist . MIN- TSP: Nf'Osvollstandig. MIN-Tspsym,Ll : 3/2-approximierbar und APX-vollstandig. MAX-3-DM: (3/2 + E)-approximierbar und APX-vollstandig. MIN-BP: 3/2-approximierbar, ab er nicht einmal (3/2 - E)-approximierbar, (71/60 + 78/(71 opt) )-approximierbar und (1 + (log2 opt) /opt)-approximierbar , wobei opt hier den Wert der optimalen Losung bezeichnet . MIN-SC : (1 + In n) -approximierbar, wobei n die Machtigkeit der Grundmenge ist , a ber filr ein c > 0 nicht (c · In n )-approximierbar und nicht ((1 - E) In n )-approximierbar , falls sich polynomielle nichtdeterministische Algo rithmen nicht allgemein durch deterministische Algorithmen mit Laufzeit O(nloglogn) erset zen lassen .

12.4 Das PCP-Theorem und APX-Vollstandigkeit In Kapitel 8.5 haben wir be reits fur MAX-W-SAT und MIN-W-SAT nachgewiesen, dass sie Nf'Ovvollstandig sind . Hier wollen wir das PCP-Theorem

12.4 Das PCP-Theorem und APX- Vollst and igkeit

187

anwenden, urn MAX-3-SAT als APX-vollst andig nachzuweisen. Dieses E rgebnis ist der Ausgangspunkt ftlr viele weit ere APX-Vollst iindigkeit sresult ate, die wir je doch nicht diskut ieren. Bisher wussten wir , dass NP = P aus MAX-3- SAT E P TA S folgt . Mit dem neuen Er gebnis ist MAX-3-SAT E P TAS nur, wenn PTAS = APX ist . 1m ersten und entscheidenden Schrit t des Beweises zeigen wir, dass MAX- 3-SAT MAX-APX-vollst andig ist , wobei MAX-APX die Maximierungsprobleme aus AP X enthalt. An schlief3end zeigen wir , dass sich je des Problem a us MIN-AP X auf eine MAX-AP X-Vari an t e von sich selbst bezliglich ,,:SPTAS" redu zieren lasst . Dies fuh rt zu dem angeklindigte n Resultat . Wir wollen zunac hst die Idee des MAX- APX-Vollst andigkeit sresultats disku tieren . Wir bet racht en ein P robl em A a us MAX-APX, das sich in polyno mieller Zeit mit Glit e r* ~ 1 approx imieren lasst . Dabei kann r " eine sehr grof3e Kon st ant e sein. Dagegen ist MAX-3-SAT nur fur recht kleine Ap proxim ationsglit en ein schwieriges Probl em . Mit der Approxim ationslosung fur A er halte n wir ein Intervall [a , r * . a] fur den Wert einer optimalen Losung. Dieses Intervall zerlegen wir in Subint ervalle Ii := [f i - 1 . a, fi . a], i ~ 1, fur ein f > 1. Solan ge f a uch eine Kon st ant e ist , er halten wir konst ant viele Subintervalle. Fii r jedes Sub int ervall ist nun abe r der Quotient aus ob erer und unterer Grenze so klein , dass sich das Teilp roblem Ai , best ehend aus den Eingab en mit opti malem Losungswert in Li , bezliglich ,,:S P TAS " au f MAX- 3-SAT reduzieren lasst . Wi r stehen dab ei natlirlich vor dem P roblem , aus Losungen fur die konstruierten MAX-3-SAT-E ingaben wieder Losungen genlige nder Glit e fur die gesamte A-Eingab e zu bilden . Diese Ideen werden im Beweis des folgend en Lemmas ausgeflihrt . Lemma 12.4.1. MAX- 3-SAT ist MAX-AP X-vollstiindig. Beweis. Am Ende von Kapitel 12.3 haben wir MAX-3-SAT als 1,249approximierba r beschrieben . Die Aussage MAX-3-SAT E APX folgt abe r direkt aus einem einfachen Argum ent . Jede Klausel wird von min desten s einer der beiden folgend en Belegungen erfullt , der Belegung aller Vari abl en mit oder der Belegung aller Variabl en mit 1. Diejenige der be iden Belegungen, die mehr Kla useln er fullt, hat eine dur ch 2 beschrankt e Approximat ionsgute. Sei nun A E MAX-APX und r " eine konst ante durch einen polynomi ellen Approxim ationsalgori thmus AL erreic hbare Approxim at ionsglit e. Wir wollen A :SPTAS B fur B = MAX-3-SAT nachweisen . In der Definition 8.4.1 fiir das Kon zept ,, :SPTAS" laut et die Ford erung an die Glit e der ftlr A aus der App roxirnationslosung fur B erze ugten Losung

°

rB (J (x ), y ) :S 1 + a (c) =} rA(x ,g(X ,y,c) ) :S 1 + c. Wir werd en fur a : Q+ ---+ Q+ eine lineare Fun ktion a (c) = e] (3, (3 > 0, benu t zen . Also kann 1 + a (c) jeden rationa len Wert r > 1 annehme n. Es ist e = a(c) . (3 und fur r = 1 + a (c) ist 1 + e = 1 + o (e) . (3 = 1 + (r - 1) · (3. Die oben genannte Ford erung an die Glit e von g(x ,y, c ) ist aquivalent zu

188

12. Das PCP-Theorem und die Komplexitat von Approximat ionsproblemen

rB (f (x ), y) :::; r

=}

rA(x ,g( x ,y,r)) :::; 1 + (3. (r -1) .

Folgende Wahl des Par am et ers (3 wird sich als geeignet her au sst ellen : (3 := 2(r* log r " + r" - 1) . (1 + c)/c,

wob ei e > 0 nun eine Kon st ante ist , fur die Theorem 12.3.1 erfilllt ist . AuBerdem wird c so gewahlt , dass (3 rational ist. Je kleiner die "schwierige Lucke" fur MAX-3-SAT und je schlecht er die gegebe ne Approximation von A ist , desto grofier ist (3 und desto schwacher sind die gestellten Anforderungen an die zu berechnende Approximationslosung fur A . Der Fall r* :::; 1 + (3. (r -1) lasst sich einfach behandeln . Schon der Approxim ationsalgorithmus AL liefert eine genugend gute Approximationslosung. Fur aIle Eingab en x des Problems sei f( x) dieselb e beliebige Ein gab e fur B . Wir werden namli ch g(x , y, r ) un abhan gig von y definieren . Es sei g(x , y, r) die Losung s(x ), die AL ftlr die Ein gab e x berechnet. Dessen Ap proximationsgute ist durch r* :::; 1 + (3. (r -1) beschr ankt und damit ist die Forderung an die Cute von g(x, y , r) erfullt. Wir konnen nun annehmen , dass b := 1 + (3. (r - 1) < r* ist. Leider lassen sich in diesem Beweis ein paar arit hmet ische Abschat zungen nicht vermeiden . Zun achst wird k := 110gb r*l definiert . Aus b < r" und der Ungleichung log z ;::: 1 - z - l fur z ;::: 1 folgt log r" log r " k < - - + 1< +1 - log b - 1 - l ib (3 . e b . log r* b- 1 r* log r* + r* - 1 1 b-l +b-l < b-1 b -1 2 · (1 + c) und

b-1

c

- - < --,---,---...,(3 2k(1 + c)' Aus b = 1 + (3. (r - 1) folgt b -l

r

=

T

+1<

c 2k(1 + c)

+ l.

Mit s(x ) bezeichn en wir wieder die von AL fur die Eingabe x berechnet e Losung und mit VA(X, s) bezeichnen wir den Wert dieser Losun g. Dazu sei Vopt (x ) der Wert einer optimalen Losun g von x . Damit ist

VA (X, s) :::; Vopt (x ) :::; r" . VA (X, s) :::; bk . VA(X, s), wobei die let zt e Ungleichung aus der Definit ion von k folgt. Nun te ilen wir das betracht et e Intervall von Losungswerten in k Intervalle von geometrisch wachsender Grofe ein, also in die Intervalle Ii = [bi . VA (X, s), bi+l . VA (X, s)], O :::; i :::;k -l. Die Intervalle werden zunac hst einzeln beh andelt . F ur 0 :::; i :::; k - 1 betrachten wir folgenden nichtdet erminist ischen polynomiellen Algorithmus ALi fur Ein gaben fur A :

12.4 Das PCP-Theorem und APX-Vollst andigkeit

189

- Es wird nichtdeterministisch eine Losung s' E S (x) erzeugt (die Definit ionen in Kapitel 8.1 implizier en , dass dies in polynomieller Zeit moglich ist ). - Die Ein gabe wird akzept iert, wenn V A (X, s' ) 2: bi . V A(X, s) ist . In diesem Fall bleib en s' und v A (x , s') auf dem Arbeit sband st ehen. Wir konnen nun die Methoden aus dem Beweis des Theorems von Cook anwende n, urn die von diesem Algorithmus akzept ier te Spr ache durch eine 3-SAT-Formel "Ii auszudriicken. Ein e wichtige Beobachtung ist , dass wir aus ein er erfullenden Belegung in polynomieller Zeit die zugehorige Losung s' und ihren Wert V A (X , s') berechnen konnen . Dies liegt daran, dass die erfiillende Belegung auch die akzept ierende Konfiguration codie rt. Wir konnen die Algori thmen ALi so gestalt en, dass sie dieselbe Rechenzeit benotigen. Dies fiihrt dazu , dass alle Formeln "Ii , 0 ::; i ::; k - 1, dieselbe Anzahl an Klau seln hab en . SchlieBlich definieren wir
L

(vopt(
O:<:;j :<:;k - l

2: Vopt (
= Vopt (
Wir verbinden die beiden Schr anken fiir Vopt (
Mit einer einfachen Umformung folgt

190

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen 1 - 2k(1 - l /r)

:s:

l /ri'

J etzt greifen wir auf die fr iiher bewiesen e Un gleichung

r <

e 2k(1 + e)

e + 2k(1 + e) + 1 = ------:----' -------:--'2k(1 + e)

zuruck und er halten 1 - 2k(1 - l /r) > 1 - Zk : -c: +-::-2--:-k~-;-1-+-c:" 7)

= 1 - 1 + c: : c:/(2k )

1 + c:/(2k ) 1 + c: + c:/(2k )'

Zusammen folgt

r, <

1 + c: + c:/(2k) c: 1 + c:/(2k ) = 1 + 1 +c:/ (2k ) < 1 +c:.

Diese Approxim ationsgut e sichert un s, dass wir sogar eine erfullende Belegung von
Aus der erfullende n Belegung von
12.4 Das P CP-Theorem und AP X-Vollst andigkeit

191

dem gegeb enen Problem A eine schlecht e Giite hab en , nun eine gut e Giit e bekommen . Dah er sollte der Wert b von x abha ngig sein. Da A E APX ist, gibt es fur A einen polynomiellen Approximationsalgorit hmus AL, dessen maximale Approximationsgute durch eine Kon st an t e r * :::: 1 nach ob en beschr ankt ist . Wir konnen r * ganzzahlig wahl en . Mit s*( x) bezeichnen wir die von AL fiir die Eingab e x berechnet e Losung, Das Maximierungsproblem B hat dieselb en Eingaben wie A und a uch fur jede Eingab e dieselbe Menge zulassiger Losungen . Die Bewertung der Losungen wird definiert durch:

- VA (X, y)::; VA (X,S* (x )) - VA (X, y) > VA (X, s*(x ))

y) := (r * + 1) 'VA(X,S* (x )) -r* 'VA(X,y), VB (X, y) := VA( X, s*( x)) .

=?- VB (X, =?-

Diese Bewertungsfunktion kann in polynomieller Zeit ausgewertet werd en. Wir konnen den Algorithmus AL als Approximationsalgorithmus fur das Maximi erungsproblem B verwenden . Nach Definition von VB ist VB (X, s* (X)) = VA (X, s*(x)) und

VA(X, s*(x )) ::; Vopt,B(X) ::; (r " + 1) . VA (X, s*( x)) . Hier au s folgt Vopt,B(X) /VB(X, s*(x)) ::; r * + 1 und AL hat fur B eine durch r * + 1 beschr ankte Approximationsgiite und B E APX. W ir entwerfen nu n die approximat ionser ha lte nde Reduktion von A a uf B . Dazu definieren wir f( x) = x und bet ra cht en somit dieselbe Eingabe fur die Probleme A und B. Die Riicktran sform ation han gt nur von der Eingabe x und der Losung y , abe r nicht von der Approximationsgiit e r a bo Wie im Beweis von Lemma 12.4.1 messen wir die Cut e mit r und nicht mit E:. Dann definieren wir

- VA (X, y) ::; VA (X, s*(x )) =?- g(x , y,r ) := y, - VA (X, y) > VA(X, s*( x)) =?- g(x , y, r ) := s*(x ). Damit ist g in polynomieller Zeit berechenb ar. SchlieBlich setzen wir r * + 1. Dann haben wir folgende Forderung zu ub erprufen :

r B(f(x) , y) ::; r

=?- r A(X,g(X,

!3

:=

y, r)) ::; 1 +!3' (r - 1) .

Gemaf der Definition der Bewertungsfunktion und der Definition von unterscheiden wir zwei Falle. Der einfachere Fall ist der Fall v A (x , y) > VA(X, s*(x )). Dann wird s*(x ) als Er gebnis gewa hlt und s*(x ) ist besser als y. Somit folgt g

r A(x , g(x , y,r )) = r A(x, s"(X)) ::; r " ::; r* r

+ r" + r

= 1 + !3 . (r - 1),

wobei die let zt e Gleichun g aus der Definition von !3 folgt. Sei nun also VA(X, y)::; VA(X, S* (x) ) und dah er g(x ,y ,r) = y. Wir hab en VB gerade so definiert , dass die zu zeigende Beh auptung gilt. Der Beweis hierzu best eht in einer lan geren Rechnung. Es ist

192

12. Das PCP-Theorem und die Kornplexitat von Approximationsproblemen

und dah er ist es ausreichend , VA(X, y) durch (1 + (3. (r - 1)) . Vopt,A(x) nach oben ab zuschat zen , Nach Definition von VB(X, y) ist

VA(X, y) = ((r * + 1) . VA(X, s*(x)) - VB(X, y)) /r*. Na ch Vorausset zung ist rB(f(x) , y) = rB( x , y) = Vo pt,B(X)/VB(X, y) ::::: r und somit

VB(X, y)

~

Vopt,B(x )/r.

Eine einfache Rechnung zeigt , dass l /r erh alten wir

~

2 - r fur r

~

1 ist . Zusammen

VA (X, y) ::::: ((r* + 1) . VA(X, s*(x )) - (2 - r)vopt,B(x)) /r* = ((r* + 1) · VA(X, S*(x)) - VoPt,B (x ))/r* + (r - 1)· Vopt,B(x )/r*. Wir schatzen zunachst den zweiten Summanden ab. Es ist Vopt,B(X) ::::: (r* + 1) . VA (X, s*(x)) na ch Definition von VB . Da (3 = r"

+ 1 und

s*(x ) r *-optimal fur A ist , folgt

(r - 1) · Vopt,B(x) / r* ::::: (r - 1) · (3 . VA (X, s*(x ))/r* ::::: (3 . (r -1)· Vo pt,A(X). Also reduziert sich die Behauptung auf

((r * + 1) . VA(X, s*(x)) - VoPt,B(x ))/r* ::::: Vo pt,A (X). Diese Ungleichung ist sogar als Gleichung korr ekt . Hier geht die spezielle Wahl von VB ein. Sie bewirkt , dass fur A und B fur die Ein gab e x dieselb e Losung y* optimal ist. Also gelt en VA(X, y*) = Vopt,A (X), VB (X, y*) = Vopt,B(X) und

VB (X, y*) = (r* + 1) . VA(X, s*(x )) - r" . VA(X, y*). Daraus folgt

((r* + 1) . VA( X, s*(x )) - Vopt,B (x ))/r* = Vopt ,A(X). In sgesamt ist

VA(X, y) ::::: (1 + (3. (r - 1)) . Vopt,A(X) und das Lemma bewiesen .

o

Aus Lemma 12.4.1 und Lemm a 12.4.2 erha lten wir das angest rebte Hauptresultat . Theorem 12.4.3. MAX-3-SA T ist APX-vollstandig.

12.4 Das P CP-Theorem und APX-Vollst andigkeit

193

Dieses Ergebnis ist der Ausgan gspunkt, urn mit Hilfe approximat ionserhalt ender Reduktionen weit ere APX-Vollst andigkeit sresul t at e zu erha lte n.

Das PCP- Theorem enthiilt eine neue Charakteris ierung der Komplexit iitsklasse NP. Dabei entsteht durch die erlaubte einseitige Fehlerwahrscheinlichkeit von 1/ 2 eine grofJe "Luc ke" zwischen den Eingaben, die akzeptiert werden sollen, und den Eingaben, die ni cht akzeptiert werden sollen. Di ese Lu cke ermo glicht neue Anwendungen der Liickent echsuk, um Nichtapproxim ierbarkeitsresultate und Vollstiindigkeit sresultate jUr K omplexitiit sklassen fur A pproximationsproblem e zu beweisen.

13. Weitere klassische Themen der Komplexitatstheorie

13.1 Uberblick Wie schon in der Einleitung betont , liegt der Schwerpunkt dieses Lehrbuchs auf konkret en komplexitatstheoret ischen E rge bnissen fiir wichtige Problem e. Neu ere Asp ekte wie die Komplexitat von Approximationsproblem en od er inter ak tive Beweissystem e stehe n dab ei im Vord ergr und und st ru kture lle Asp ekte werden auf den Kern reduzier t , der fur die gewtinschten Erge bnisse notig ist. Dan eb en gibt es klassische Them en der Komplexitatstheorie mit Ergebnissen von fundam ent aler Bed eutung. Von diesen sollen einige in diesem Kapitel dar gestellt werden. Die bisher untersuchten Komplexitatskl assen basieren auf der Ressource Rech en zeit . Es ist nahe liegend, eine analoge T heor ie filr die Ressource Sp eicherplatz aufzu bauen. In Kapit el 13.2 werden die zugehorigen Komplexitatskl assen definiert . Es zeigt sich , dass alle Entsc heid ungs probleme, die in der pol yn omi ellen Hierar chie ent halten sind, auf polynomiellem Platz entscheidbar und damit in PSPACE enthalt en sind. Problem e, die bezu glich polyn omieller Reduktionen P SPACE-vollstand ig sind, gehoren dann, falls E k =I- PSPACE ist , nicht zu Ek . Sie sind also wiederum bezuglich de r Ressource Zeit besonder s schwierig. PSPACE-vollst andige Problem e werden in Kapit el 13.3 vor gestellt . Die nachste naturliche Fr age ist die nach einem An alogon der polynomiellen Hierarchie, genauer Zeithierar chie, fur spe icherplatzbasiert e Kornplexit atsklassen . Sie kann es nicht gebe n, denn Nichtdet erminismus kann mit qu adrati sch groferern Plat zb ed arf deterministi sch simuliert werden (K apitel 13.4) und Nichtdet erminismus kann mit gleiche m Pl at zb ed arf "conichtdet erministisch" simuliert werden (KapitelI3.5) . Ein e weitere Moglichkeit, Pl atzbeschrankungen einzusetzen, ist es, polynomielle Reduktionen , genauer Zeitred uk tionen , durch Platzreduktionen zu ersetzen. Reduktionen , die nur logarithmischen Pl at zb ed arf erforde rn , schra nken den Begriff polynomieller Reduktionen ein und errnogliche n eine n Einblick in die Struktur von P . Dabei ergi bt sich, welch e Problem e in P auf Rechnern mit vielen Prozessor en vermutlich nicht in pol ylog arithmischer Zeit losb ar sind . Diese Fr agen werden in Kapit el 13.6 diskutiert . Schli e£lich streifen wir in Kapitel 13.7 eine weitere Variant e vieler Problem e. In Kapitel 2.1 hab en wir zwische n Optimierungsproblem en , Wertproblem en und Entscheidungsproblem en unt erschied en . Bei eine m Ent scheidungsproblem fra gen wir uns, ob eine Losung mit eine r gewisI. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

196

13. Weitere klassische T heme n der Kom plexitatstheori e

sen Eig enschaft exist iert. Eine Verallgemeinerung ist da s zugehorige Anzahlproblem , bei dem die Anz ahl der Losu ngen mit der betracht et en Eigenschaft berechnet werd en soil.

13.2 Speicherplatzbasierte Komplcxltatsklassen Wie schon bei den rechenzeitbasiert en Komplexit atsklassen werden wir fur Definitionen als Rechnermodell Thringm aschinen bet racht en . Der Speicherplat zb edarf bei Ei ngabe x und einer determinist ischen Rechnung kann durch die Anzahl verschiedene r besucht er Speicherzellen gemessen werden. Bei nichtdeterministischen Rechnungen miissen aile Rechenwege bet racht et werden . Da es bei den meist en Problemen notwendig sein kann, die gesa mte Ein gab e zu lesen , ist sublinearer P latz nicht sinnvoll. Diese Messung des Pl atzb ed arfs ist jedo ch zu grob. Wir sehen daher ein Eingabeband (input tape ) vor, bei dem Anfan g und Ende marki ert sind und a uf dem nur gelesen werd en dar f (read-only) , und das eigent liche Band der Turingmaschine, genannt Arbeitsband (working tape ). Der Pl atzbed arf bezieht sich nur a uf die auf dem Ar beit sband besucht en Speicherzellen , wobei wir das Band einseit ig beschranken , also nur Speicherzellen mit Adresse i 2: 1 erlaube n. Der P latzbedarf ist dann gleich dem grobten i . so dass Spe icherzelle j besucht wurde. Definition 13.2.1. Die Komplexit at sklasse DTAPE( s(n )) ent hiilt aile Entscheidungspro bleme , die von einer det erminist ischen Th ringmasc hine mit Pl atzb ed arf Is( lxl)l bei Eingab e x entsc hieden werd en konnen . An alog ist NTAP E (s(n )) fur nichtdet erministi sche Turingmaschin en definiert. PSPACE ist die Vereinigung aller DTAPE(n k ) , k E N, und NPSPACE die Vereinigung aller NTAPE(n k ) , k E N.

Die Bezeichnungen sind nicht konsist ent , da sich TAP E und SPACE auf dieselb e Ressour ce beziehen . Auch hier hab en wir uns fur die geliiufigste n Bezeichnungen entschieden. Es fallt a uf, dass wir es bei der Pl at zschranke s(n) sehr genau nehmen . DTAPE( n) erla ubt n Speicherzellen au f dem Arbeit sband , wahrend wir bei linear er Zeit O( n ) Rechenschritte erla uben. Dies erklart sich durch die folgend e Bemerkung, mit der wir zeigen, dass sich beim Pl at zb ed arf konst ante Faktoren problemlos einspa ren lassen . B emerkung 13.2.2 . Fur jede naturliche Zahl kist DTAPE (s (n )) = DTAPE (s(n) jk) un d NTAPE (s(n)) = NTA PE (s(n) j k) . Beweis. Wir ersetzen das Arbeit salphab et r durch I" := r k x {I, .. . , k} . Dann konnen wir in einer Speicherzelle k Bu chst ab en aus T unterbringen und vermerken , welcher dieser k Bu chst ab en "eigent lich" gelesen wird . Die zugehorigen Simul ationen sind nun offensicht lich. 0

13.2 Speicherplatzbasierte Komplexitat sklassen

197

An dieser Stelle wollen wir fur diejen igen , die mit den Klassen der Chomsky-Hiera rchie vertraut sind, Bemerkungen zur Kl asse CSL (contextsensit ive la nguages) der durch kontextsensitive Grammatiken beschr eibbar en Sprachen einstreuen (au sfuhrlicher z.B. in Wegener (1999)). Wenn wir von der Erzeugun g des leeren Wortes absehen, sind kont ext sensitive Grammat iken monoton. Die rechte Seite jeder Ableitungsregel ist also nicht kiir zer als deren linke Seit e. Somit lasst sich fur eine Sprache L , die durch eine kontextsensitive Crammatik G beschrieb en ist , folgendermaJ3en nichtdet erministisch ub erprufen , ob x E List . Auf dem Arbeit sb and wird ein Bereich der Lange Ixl markiert. Dort wird eine Abl eitung, die mit dem St artsymbol S beginnt, nichtdet erministi sch erzeugt . Abl eitungen , die die Pl at zschr anke nicht einhalt en , werden abgebr ochen, wobei x nicht akzeptiert wird. Ansonst en wird die erzeugte Folge nach jedem Abl eitungsschrit t mit x verglichen und bei Gleichh eit wird x akzeptiert. Dies zeigt CSL ~ NTAPE(n). Wir ver zicht en hier auf den Beweis der Umkehrung und halten nur das Ergebnis fest . Theorem 13.2.3. CSL = N TA PE (n ).

Dieses Theor em zeigt , dass wir mit speicherplat zbas ierte n Komplexit atsklassen wichtige Problemklassen chara kterisieren konnen . Int eressant sind Zusamrnenhan ge zwischen Pl atzb ed arf und Zeitbedar f. Der Grundgedanke der folgenden Uberlegung ist einfach , Wenn eine Rechnung auf beschrankt ern Pl atz zu vieI Zeit ben6tigt hat , hat sie eine Konfigurat ion (siehe Kapite l 5.4) wied erholt erzeugt . Ei ne Konfiguration ist eine Mom ent aufnahme der Turingm aschin e. Die Menge moglicher Konfigurat ionen bei Eingab elan ge n lasst sich durch Q x {l , .. . , n } x {l , . . . ,s(n )} x r s (n ) beschr eib en , namlich d urch die Angab e des Zustands q E Q, der Positi on i E {I , . . . , n} auf dem Eingabe band, der Position j E {I , . .. , s( n )} a uf dem Arbeit sb and und dem Inhalt y E r-s» des Arbeitsb ands. Wenn es einen akzept ierende n Rechenweg gibt, gibt es einen akzept ierende n Rechenweg, auf dem sich keine Kon figurat ion wiederholt un d der daher eine durch IQI·ti- s (n)· IF ls (n) = 2 °(log n + s (n ) ) beschr ankt e Lan ge hat. Da wir Rechenschri t t e za hlen konnen , konnen wir Rechenwege, die nach IQI . n . s (n ) . IF ls(n) Schrit t en nicht gestoppt hab en , beenden und auf diesen Rechenwegen die Eingabe nicht akzeptieren. Die einzige Vorau sset zung ist , dass s (n ) aus n in de r Zeit 2° (logn +s(n)) berechenb ar ist. Dies ist fur aile "vern linft igen" Pl at zschranken der Fall . Also gilt folgen de Bemerkung: Bemerkung 13.2.4. Falls s (n ) auf Pl atz s (n) in Zeit 2°(logn+ s(n) ) berechenbar ist, k6nnen det erminist ische Turingm aschinen mit Pl at zbed arf s (n) d urc h determinist ische Tu rin gm aschinen simuliert werden, die mit Pl atz s (n ) und Zeit 2 ° (log n + s (n )) auskomrnen. Gleiches gilt fur nichtdet erministi sche Turingm aschin en .

Zwischen Pl at z und Zeit gibt es also maximal einen exponen t iellen Blowup , wenn s( n) ::::: log n ist . Pl at zschranken s (n) = o(1ogn) spielen oft eine

198

13. Weitere klassische Themen der Komplexit atstheorie

Sonderrolle, da die Pos it ion auf dem Eingabeband als Hilfsspeicher dienen kann. Dies erklart , warum wir spater bei manchen Ergebnissen s(n) ::::: log n voraussetzen. Aus Bemerkung 13 .2 .4 folgt direkt DTAPE(logn) <::; P . Theorem 13 .2 .5. Falls s(n) in Zeit 2°(logn+ s(n)) berechenbar ist, lassen sich nichtdeterministische Turingmaschinen mit Platzbedarj s(n) durch deterministische Turingmaschinen mit Zeitbedarj und Platzbedarj 2°(logn+ s(n)) simulieren. B e we is . Es sei L E NTAPE( s(n)) und M die zugehorige nichtdeterministische Turingmaschine. Wir beschreiben den Kon figur at ionengraphen von M , der fiir jede der 2 0( logn+ s (n )) Konfigurationen einen Knoten ent ha lt. Von jeder Konfigurat ion gehen Kanten aus , die auf die rnoglichen Nachfolgekonfigurationen zeigen . Mit Ti efensuche kann auf diesem Graphen in linearer Zeit bezogen auf die GroBe 20 (log n + s (n )) ent schieden werden, ob aus der Anfangskonfiguration eine akzeptierende Konfigur at ion erre ichbar ist . 0 Insbesondere ist NTAPE(logn) <;;; P. AbschlieBend wollen wir die polynomielle Hierarchie mit PSPACE verg leichen . Theor em 13 .2 .6. Fur alle kist Ek C PSPACE und somit ist PH C PSPACE. B eweis . Dieses Ergebnis beweisen wir durch Induktion tiber k. Es ist Eo = P <::; PSPACE, da es in po lynomieller Zeit nicht moglich ist , mehr als polynomiellen P latz zu benutzen . Wenn LEEk = NP(Ek-d ist, gibt es mit der logikorient ierten Darstellung von E k ein Entscheidungsproblem L' E Ek -l und ein Polynom p, so dass

L = {x I ::Jy

E

{O, l}p(! x l): (x, y)

E

L'}

ist . Nun werden aile y in lexikographischer Reih enfolge ausprobiert. Fur die Speicherung des aktuellen y wird polynomieller P latz p(lx l) benotigt und fur die Uberprtifung, ob (x, y) E L' ist , nach Induktionsvoraussetzung beztiglich Ix l + p( lxl) polynomieller Platz, insgesamt also beziiglich Ix l polynomieller P latz. 0 Zusammenfassend gilt fur aile k ::::: 1 DTAPE(logn) <::; NTAPE(logn) <::; P <;;; NP <::; E k < PSPACE <::; NPSPACE. In Kapite l 13.4 zeigen wir, dass PSPACE = NPSPACE ist . Von allen anderen Inklusionen wissen wir nicht , ob sie echt sind. Allerdings muss mindestens eine Inklu sion echt sein, da mit Diagonalisier ung sar gum enten (siehe z. B. Reischuk (1999)) bewiesen wurde, dass DTAPE(log n) eine echt e Teilk lasse von PSPACE ist .

13.3 PSPAC E-vollst andige Probleme

199

13.3 PSPACE-vollstandige Probleme Na ch Definition 5.1.1 ist ein Entscheid ungsproblem L PSPACE- vollstiindig (PSPACE-complet e) , wenn es zu PSPACE gehort und sich jedes Entscheidungsproblem L' E PSPACE polynomiell a uf L reduzieren liisst , also L' ::;p L gilt . So wie NP- vollstiindige Probleme nichtdet erministi sch in linearer Zeit losbar sein konnen , beanspruchen PSPACE-vollstiindige P robl eme nicht not wendigerweise viel Pl atz. Mit Theorem 13.2.6, also E k <;;;; PSPACE, kann abe r ein PSPACE-vollst iindiges P roblem nur dann in E k ent halte n sein, wenn E k = PSPACE ist . Fur PSPACE-vollst iindige Problem e ist es also "noch unwahrscheinlicher" als fur NP-vollst iindige P robl eme, dass sie in polynomieller Zeit losbar sind. So wie die Verallgemeinerung SAT~IR von SAT das erste P roblem ist , das als E k-vollst iindig nachgewiesen wurde, so ist es auch hier eine nah e liegende Verallgemeinerung dieser Problem e, die sich als PSPACEvollst iindig erweist. Definition 13.3.1. Eine quantijiziert e boolesche Formel (qu antified boolean formula) besteht aus einem booleschen Ausdruck E( x) tiber 0, I,X l, . . · , X n und den bool eschen Op eratoren 1\ (AND), + (OR) und --, (NOT) , bei dem alle Vari abl en qu antifiziert sind: (Q 1Xl )' " (Qnxn) : E (x ) mit Qi E f 3,V}. Das Ent scheidungsproblem QBF ent hiilt aIle wahren qu antifiziert en booleschen Formeln .

In den QBF-Eingab en ist also die Anzahl der Qu antorenwechsel nur durch die Anzahl der Variablen (minus 1) beschr ankt . Somit ist QBF eine naturliche Verallgemein erung von SAT~ IR ' Theorem 13.3.2. QBF ist PSPA CE- vollst iindig. Beweis. Es ist QBF E DTAPE( N) <;;;; PSPACE, wobei N die Eingabeliinge ist . Es ist leicht, fur einen booleschen Ausdru ck tibe r Kon st ant en auf linearem Pl at z zu entsc heiden, ob er wahr ist . Dies zeigt die Aussage fur n = O. Im allgemeinen Fall mu ssen wir die beiden Werte fur X l nachein ander betracht en und dab ei qu antifi zier t e boolesche Aus driicke iiber n - l Vari abl en betracht en . Fur den Ube rgang von n - 1 auf n geniigt also konst anter Extrapl at z. Mit Bem erk ung 13.2.2 folgt die Behauptung. Wir miissen nun ein beliebiges E ntsc heidungs problem L E PSPACE polynomiell auf QBF reduzieren . Nach den Erge bnissen aus Kapit el13.2 konnen wir annehmen, dass L von einer Turingmaschin e M fur ein Pol ynom p auf Pl atz p(n) in Zeit 2 p (n ) entschieden wird. W ie im Beweis des Theorems von Cook (Theorem 5.4.3) werden wir die Berechnung von M in boolesche Formeln iibertragen. Wi r wissen , wie wir Konfigurat ionen auf Pl atz p( n) durch Vari abl en a usdrucken konnen und wie boolesche Formeln test en , ob die VariabIen eine mogliche Konfiguration dar st ellen. Wir verwenden die abkiirze nden Schr eibweisen 3K und VK fur die Quan tifizierung von den Vari abl en , die die Kon figuration dar steIlen , und nehmen stets an, dass wir den Test,

200

13. Weitere klassische Them en der Komplexit atsth eorie

ob die Variablen eine Konfiguration beschreib en , konjunktiv an die beschriebene Formel anhangen. Die Formel S(K, x) t estet, ob K die Anfan gs- od er St artkonfiguration zur Eingab e x ist, und A(K) t est et , ob K akzeptierend ist . SchlieBlich soll T j (K, K ') fur zwei Konfigurationen K und K' t est en , ob K' in 2j Schritten aus K entsteht. Der erste Versuch, die Ein gab e x fiir das Entscheidungsproblem L in eine quantifizierte boolesche For mel Q( x) zu t ransformieren , lautet :

Es ist klar , dass x genau dann in L ent ha lte n ist , wenn Q( x) wahr ist . Allerdings ist Tp (n) (Ko, K a ) noch nicht in der erla ubte n syntaktischen Form. Wir beschreib en , wie wir allgemein Tj(K 1, K 2 ) in die erlaubte Form bringen konnen, FUr j = 0 konnen wir die Kon struktion a us dem Beweis des Theorems von Cook tibernehmen . Induktiv ist die Dar st ellung

korr ekt. Sie fuhrt auch schlieBlich zu einer syntakt isch korr ekt en Dar st ellung, allerdings einer von exponent ieller Lan ge. Diese kann also nicht in polynomieller Zeit berechnet werd en . Die eigent liche Idee in diesem Beweis best eht darin, T j auf einen Aufruf von Tj - 1 an St elle der zwei Aufrufe in der obigen Form el zuruckzufiihren. Wir behaupten , dass sich Tj(K1, K 2 ) darstellen lasst durch

mit

Falls Tj(K1, K 2 ) wahr ist , sei K 3 die nach 2j - 1 Schritten aus K 1 erreichte Konfiguration. Dann ist der Ausd ru ck A (K 1, . . . , K s) fur alle Paar e auBer (K 1, K 3 ) und (K3 , K 2 ) wahr. Der Ausdruck wird auch in diesen Fallen wah r, da T j - 1(K1,K3 ) und T j - 1(K 3 , K 2 ) wahr sind . Wenn die Formel fur die Wahl K 3 wahr wird , folgt , dass T j- 1(K1, K 3 ) und T j - 1(K 3 , K 2 ) und damit Tj (K 1, K 2 ) wahr sind . Diese Formel lasst sich nun verwend en , urn Tp( n ) (Ko , K a ) auf einen To-Ausdruck zurtickzufuhren. Da bei wird tiber 3 . p( n) Konfigurationen qu antifiziert und es gibt p( n) Ausd rticke von der Form A(K1, ... , K s) und schlieBlich einen To-Ausdr uck. Da Konfigurationen mit polynomiell vielen Variablen beschrieb en und mit Formeln polynomieller Lan ge auf syntakt ische Korrektheit uberpruft werden konnen und auch der Gleichheit st est von Kon figu rationen nur Formeln polynomieller Lan ge br au cht , hat die gesa mte Q( x)-Formel polyn omielle Lange. Ihr einfach st rukturierter Aufbau errnoglicht eine Kon struktion in polynomieller Zeit . Mit dieser polynomiellen Reduktion von L auf QBF ist das Theorem bewiesen . 0

13.3 PS PACE-vollstandige Probleme

201

Es gibt eine lan ge List e PSPACE-voIl st andiger Probleme (siehe z. B. Garey und Johnson (1979)) . Interessant erweise gehoren dazu viele bekannte Spiele, wenn diese auf beliebi ge Gr ofe ver aIlgem einert werden. Fu r die bekannten Br ettspiele Go und Dam e gibt es nah e liegend e Ver aIlgemeinerungen auf Spielbret t er der Gr oBe n x n . Derar tige Ver aIlgemeinerungen von Schach wirken dagegen kunstlich. Zu diesen Spielen gehort folgendes Ent scheidungsproblem . Fur eine erla ubte St eIlun g der Spielst eine od er -figuren und einen der Spieler steIlt sich die Frage, ob dieser Spieler eine Gewinnstrat egie hat . Diese Frage lasst sieh, wenn die Spielerin Alice am Zug ist und ihr Gegner Bob heiBt , ausdrucken dur ch:

::3 Zug von Alice

\:j

Ztige von Bob ::3 ... : Alice ha t gewonnen.

Diese Dar st eIlun g hat eine gewisse Ahnlichkeit mit QBF-Ausdrucken . Auf Beweise, dass bestimmte veraIlgemeinert e Spiele PSPACE-voIlstandig sind, verzichten wir hier (siehe z. B . Reischuk (1999)). Diese Aussagen biet en einen Ansat z, urn zu verstehen , warum es un s fur die gangigen Bret t grofen noch nieht gelungen ist zu entscheiden, wer eine Gewinnstrat egie hat . Wegen der im Beweis benu t zt en Verliingerung st echnik (padding techniq ue) zeigen wir , dass das Wo rtprobl em [iir kontext sensitive Grammatiken W CSL P SPACE-voIlsUindig ist . Bei WCSL best eht die Eingab e aus einer kont extsensitiven Gr ammatik G und einem Wort w. Es soIl entsc hieden werden , ob w von G erze ugt wird . Theorem 13.3.3. W CSL ist PSPACE- vollst iindig. Beweis. Die Eingab e best ehe aus G und w. Die Bemerkungen vor T heorem 13.2.3 zeigen, dass W CSL E NTAPE(n) ist . In Kapitel 13.4 zeigen wir, dass NT APE (n ) ~ DTAPE( n 2 ) ist . Also ist WCSL E PSPACE . Sei nun L E PSPACE gege ben und M eine det erminist ische Tu rin gmaschine, die L auf polynomieIlem Pl at z p( n) ~ n entscheidet. Aus L konstruieren wir das Ent scheidungsproblem LONG(L). F ur ein bisher nieht benutz t es Sonderzeiehen Z ent halt LONG (L) aIle x Zp(!xIHx l mit x E L . An die Worter x E L werd en p( lx l) - [z ] Sond er zeiehen angehangt . Die Lan ge des neuen Wortes ist somit p( lx l). Wir konnen p von so einfacher Form wahl en , dass die Ub erprtifung, ob die Ein gab e die rieht ige Anz ahl von Sonderzeiehen am Ende hat , auf Pl at z p( lx l) moglich ist . Dan ach muss nur entsc hieden werden , ob x E List . Dies ist nach Vorau sset zun g auf Pl at z p( lx l) moglich. Durch die kiinstliche Verl an gerung folgt LONG(L) E DTAPE(n) . Nach T heorem 13.2.3 ist LO NG(L) eine kont extsensitive Spr ache. Der Beweis von T heorem 13.2.3 ist konstruktiv und zeigt , wie eine kontext sensitive Gr ammatik G(L ) fur LONG(L) aus der zu LO NG(L) gehOrenden linear en plat zb eschr ankt en Turin gmaschine M konstruiert werden kann. Da die Lan ge der Beschreibung von M nur von L und p und nicht von der Eingabe x abhangt, ist die Rechenzeit zur Berechnung von G(L) kons tan t beztiglich [z ], Zu x konnen wir also in polynomieIler Zeit G(L) und das Wort w = xZp( lxl)-lx l berechnen . Nach

202

13. Weitere klassische Themen der Komplexitat stheorie

Kon struktion ist x genau dann in L ent ha lte n, wenn w von G(L) erze ugt werden kann. 0

13.4 Nichtdeterminismus und Determinismus bei Platzschranken Um nichtdet erministische Rechnungen det erministisch zu simuliere n, simulieren wir alle exponentiell vielen Rechenwege. Dies erfordert exponent ielle Rechen zeit . Bezogen auf den Pl at zb ed arf mtissen wir "nur" verwalten , welche Rechenwege bereits simuli ert wurden. Dass dafur nicht unb edingt exponent iell mehr Pl atz notig ist , ist nicht ganz iiberraschend . Bevor wir das entsprechende Ergebnis formulieren , wollen wir auf ein t echnisches Detail hinweisen . Hier und in Kapitel 13.5 wollen wir fur eine Pl atzschranke s (n ) in der Lage sein, einen Sp eicher bereich mit s (n ) Speicherzellen zu reservieren . Dies soll auf Pl atz s (n) moglich sein. Diese Anforderung wird zwar nicht von allen, aber von allen wichtigen Funktionen s (n ) erfiillt . Dah er klassifizieren wir die gutart igen Pl atzschr anken . Definition 13.4.1. Eine Funkt ion s : N --+ N hei£t platzkonstruierbar (space const ruct ible), wenn es eine s (n )-platzbeschrankte deterministische Turingmaschine gibt , die bei Eingabe x die Bin ardar st ellung von s(lxl) berechnet . Wenn wir s(l xl) in Bin ard arstellung hab en , konnen wir auch auf P lat z s ( lx l) einen Speicherbereich der Lan ge s (lx l) markieren . Theorem 13.4.2. (Theorem von Sa vitch) Falls die Funktion s (n) ::::: log n platzkonstrui erbar is t, gilt NTAPE( s(n)) ~ DTAPE(s( n z)) .

Beweis. Es sei L E NTAPE(s( n)) und M eine nichtdet erministische Turingmaschine, die L auf Pl atz s( n ) entsc heidet . Die Turingmasc hine M ' wird L det erministisch auf Pl at z O( s(n) Z) entscheiden. Die Beh auptung folgt dann mit Bemerkung 13.2.2 . Die Turingmaschine berechn et die Bin ardar st ellung von s(lxl) bei Eingabe x und beschreibt Konfigurationen von M stets als Konfigurationen mit s(lxl ) Spe icherzellen. Dies ist auf Grund der Pl at zkonstruierbarkeit von s rnoglich. Mit Bemerkung 13.2.4 und der Vorau sset zun g s (n ) ::::: log n konnen wir annehmen , dass M mit Pl atz s (n ) und fur eine Kon st a nt e c E N mit Rechenzeit 2 c os(n) a uskommt . Wir beschr eiben spater, wie wir det erministisch a uf Pl atz O( (j + 1 )s(n)) uberprtifen konnen , ob M in 21 Schritten aus der Konfiguration K 1 die Konfiguration K z erre ichen kann. Die Beh auptung folgt hieraus durch Anwendung auf die Anfan gskonfiguration Ko(x) , die akzeptierende Konfiguration K; und j = c· s (n ). Hierb ei hab en wir angenomme n, dass es nur eine akzeptierende Kon figuration gibt . Dies konnen wir leicht

13.5 Nichtdeterminismus und Komplementbildung bei prazisen Platzschranken erre ichen , indem wir die Th rin gmaschine den Speicherbe reich mit Leerzeichen beschr eib en lassen und den Kopf auf Speicher zelle 1 bringen , bevor sie akzeptiert . Fur j = 0 ist die Aussage einfach , da wir aus K 1 die rnoglichen Nachfolgekonfigurati onen erzeugen und mit K 2 vergleichen konnen . F ur den Induktionsschr itt verwenden wir wie in Kapitel13.3 das Priidikat T j (K 1 ,K2 ) , das wah r ist , wenn K 2 in 2j Schritten aus K 1 entstehen kann. Es gilt

Wir benu tz en nur Ext ra platz, urn j zu spe ichern un d alle K 3 in lexikographischer Reih enfolge auszuprobieren. Dab ei benotigen wir Pl atz fur zwei Konfigurat ionen und j . Die Konfigurationen K 1 und K 2 sind gegeben. F ur jedes K 3 wird auf P lat z O(j · s (n )) ub erpruft , ob Tj -1 (K 1, K 3 ) wahr ist . Im negativen Fall wird der lexikographische Nachfolger von K 3 erzeugt und mit ihm weit ergearbeit et. Im positiven Fall wird auf dem gleichen Pl at z ub erpruft, ob Tj - 1 (K 3, K 2 ) wahr ist. Im negativen Fall wird wie ob en verfahren und im positiven Fall ist T j(K1, K 2 ) wah r. Wenn alle K 3 ohne Erfolg getestet wurden , ist Tj (K 1, K 2 ) nicht wah r. Insgesamt benotigen wir fur den Test von T j den Pl atz fur den Test von T j - 1 und Extra platz von O( s(n)) . Damit ist der benotigt e Pl atz O((j + 1) . s(n )) und das T heore m bewiesen . D Korollar 13.4.3. PSPA CE = NPSPACE. Bezogen a uf polynomiellen Pl at z bricht die in Analogie zur polynomiellen Hierarchie definierte Hierarchie auf der unt erst en Stufe, namli ch PS PACE, zusamme n.

13.5 Nichtdeterminismus und Komplementbildung bei prazisen Platzschranken W ir konnen die E rgebnisse aus Kap it el 13.4 so interpret ieren , dass zur Simulation von Nicht determinismus durch Det errninismu s etwas mehr Pl atz a usreicht, wah rend wir gla ube n, dass wir fur dieselbe Aufgab e viel mehr Rechenzeit br auchen . Daher ist es sinnvoll, speicherplatzbas ierte Komplexitatsklassen fur fest gelegt e Pl at zschranken s (n) zu unt ersuchen . St ar t end mit den Komplexitat sklassen DTAPE(s(n)) , NTAPE( s(n)) und co-NTAP E(s (n )) lasst sich analog zur polynomiellen Hier ar chie eine Folge von speicherplatzbasierten Komplexit atsklassen definieren . W ah rend vermut et wird , da ss alle Komplexit at sklassen der polynomiellen Hierarchie verschieden sind , ist dies bei speicherplat zbasiert en Komplexitiit sklassen selbst bei einer fest gelegt en Pl atzschr anke nicht der Fall. W ir werden fur gutart ige Funktionen s (n ) 2: log n zeigen, dass NTAPE(s (n) ) = co-NTAPE(s (n )) ist , und darnit , dass die angedac hte Hier archie a uf der ersten Stufe zusarnmenbricht . Die Frage, ob sogar DTAPE(s(n)) = NTAPE(s (n)) ist , ist no ch nicht bean twortet .

203

204

13. Weitere klassische T hemen der Komplexitatstheori e

Fur den Spezialfall s (n ) = n ist dies das LBA-Problem (linear bounded a utomaton problem), namli ch die Frage, ob das Wortproblem fur jede kontextsensit ive Gr ammatik det erministisch auf linear em Pl atz losbar ist . Urn das angede utete Theorem zu beweisen , m ilssen wir einen nichtdet erministis chen Algorithmus "effiz ient" co-nicht determinist isch simulieren. Die Effizienz bezieht sieh abe r isoliert auf den Pl atzb ed arf und nieht auf die Rechenz eit . Theorem 13.5.1. (Th eorem von Immerman und Sze lepcsen yi ) Falls die Funktion s( n) ~ log n platzkonstrui erbar ist, gilt NTAPE( s(n)) = co-NTA PE (s (n )).

Beweis. Es genugt , NTAPE(s( n)) <:;: co-NTA PE (s(n )) zu beweisen , da dara us co-NT A PE(s(n )) <:;: co-co-NT A PE(s (n )) = NTAPE( s(n)) folgt. Sei also L E NTAP E (s (n )) und M eine nichtdet erministi sche Tu rin gm aschin e, die L auf Pl at z s (n ) ent scheidet . Auf Gru nd der Pl atzkon struierbarkeit von s(n) ~ log n und Bem erkung 13.2.4 konn en wir annehmen, das s M fur eine Kon st ante c E N auf jedem Rechenweg nach hochst ens 2c . s (n ) Rechenschrit ten gest oppt hat . Wenn wir alle Rechenwege determini stis ch auf Pl atz s(n) simulieren kon nt en , konnt en wir sogar das T heore m von Savit ch verbessern und das LBA-Problem losen , Bevor wir die Beweisidee er lautern, wollen wir einige t echnische Details festhalten . Fur die Eingabe x der Lange n werden Konfigur ationen von M stet s auf Pl atz s(n) beschri eb en . Wegen der Pl at zkonstruierbarkeit von s (n ) konnen wir ent sprec hende Sp eicherbereiche ste ts abstecken. Wir benotigen Zahl er , die Wert e aus {O, . .. , 2c . s (n ) } annehmen konn en . Fur jeden Zahler gen Ugen c- s(n ) + 1 Sp eicher zellen . Wenn wir also nicht mehr als konst ant viele Konfigurationen und Zahler gleichzeitig absp eichern, halten wir die Plat zschra nke O( s( n)) und nach Bemerkung 13.2.2 die Pl at zschr anke s( n ) ein. Urn L E co-NTA PE (s (n )) zu beweisen , durfen wir Eingabe n x E L auf keinem Rechenweg akzeptiere n und miissen Ein gab en x Ft L auf mindest ens einem Rechenweg akzept ieren. Der nichtdet erministische Algorithmus M' filr L wird auf man chen Rechenwegen sicher sein, dass x E List und mit der Antwort "x E L " st oppe n. F ur List "x E L " gleiehbedeutend mit "nicht akzeptieren" . Auf man chen Rechenwegen ist M' nicht sieher, ob x E L od er x Ft List. Auf diesen Rechenwegen schreibe n die Anforderungen an die Fehlerwahrscheinlichkeit vor , mit "x E L " zu stoppen. Dies garant iert, dass jeder Rechenweg fiir x E L die richti ge Entscheidung trifft . Dartiber hin aus muss M' garant ieren, dass es fur x Ft L mindest ens einen Rechenweg gibt , auf dem man sieher sein kann, dass x Ft List . Wann konnen wir sieher sein, dass x Ft List ? Nur dann , wenn wir wissen , dass aile von der Anfan gskonfiguration Ko(x) fur x er reichbaren Konfigurationen nicht akzeptiere nd sind. Nehme n wir einmal an, dass wir die Anz ahl A( x) der von Ko( x) aus erreichba ren Konfigurat ionen kennen. Dann gehen wir folgendermaBen vor . Wir zahlen die Konfigurationen von 1\!I lexikogr aphi sch auf. Dazu muss nur die akt uelle Kon figuration K gespeichert werden.

13.5 Nichtdeterminismus und Komplementbildun g bei prazisen Platzschranken Dann iiberpriifen wir nichtdet erministisch, ob K von Ko( x) aus in 2c . s (n ) Schritten erreichbar ist . Dazu verwend en wir Platz ftir einen Zahl er und zwei Konfigurationen , die die verstrichene Rechenzeit und die erre ichte Konfiguration K' beinhalten und eine nichtdeterministisch erze ugte Konfiguration K". Ist K " keine direkt e Nachfolgekonfigurat ion von K' , ist dieser Versuch misslungen und wir st oppe n mit "x E L" . Sei also K" dir ekte Nachfolgekonfiguration von K '. Falls K" = Kist , wissen wir, dass K von K o(x) aus erreichbar ist . Falls K" =1= Kist , set zen wir den Prozess mit K' := K" und einer neu gewa hlte n Konfigurat ion K " fort. Falls eine erre ichbare Konfigurat ion akzept ierend ist , st oppen wir mit "x E L". Dieser Prozess stoppt nach spa tes t ens 2c .s (n ) Schritten. Wi r verwenden einen zusatz lichen Zahl er , der mit dem Wert 1 fur die Anfangskonfigurat ion startet. Fiir jede andere Konfiguration K, die wir als erre ichba r und nicht akzeptieren d identifiziert hab en , wird der Zahl er urn 1 erhoht . Wenn wir aile moglichen Konfigurationen K ausprobiert und nicht gest oppt hab en , vergleichen wir den Konfigurationszahl er z mit A(x) . In jedem Fall ist z :::; A(x) . Ist z < A(x) , hab en wir mindestens eine erre ichbare Konfiguration mit dem nichtdet erministischen Algorithmus nicht als erre ichba r klassifiziert . Unser Versuch , aIle erreichba ren Konfigurationen zu identifi zieren , ist also misslungen und wir st oppen mit "x E L" . Ist dagegen z = A(x) , hab en wir aile erreic hbaren Konfigurationen identifi ziert und fest gest ellt , dass sie nicht akzeptierend sind. In diesem Fall sind wir sicher , dass x rf. List, und konnen mit diesem Ergebnis st oppe n. Fur jede erre ichbare Konfiguration gibt es eine Konfigur ationenfolge der betracht eten Lan ge, die eine zugehorige Rechnung beschreib t . Dah er gibt es filr x rf. L mindestens einen Rechenweg in dem beschrieb enen nichtdet erminist ischen Algorithmus, der zum Er gebnis "x rf. L " filhrt . Wir hab en das Theorem bewiesen , wenn wir zeigen konn en , dass wir A(x ) nichtdeterministisch berechnen konnen. Die nichtdet erminist ische Berechnung einer Zahl soli bedeut en , dass Rechenwege erfolglos abgebrochen werd en konnen , Rechenwege nie ein falsches E rgebnis liefern und mind est ens ein Rechenweg das richtige Er gebnis liefert . In der nichtdeterministischen Berechn ung von A (x) best eht die neue Idee dieses Beweises. Die zugehOrige Methode wird induktives Ziihlen (inductive count ing) gena nnt, da wir A t( x) , 0 :::; t :::; 2c . s (n ) , die Anzahl der in hochst ens t Schritten von Ko( x) a us erre ichba ren Kon figurationen , induktiv berechnen . Offensichtli ch ist A o(x) = 1, da wir nur eine Anfangskonfiguration hab en . Es sei nun At (x) bekannt un d A t+l (x) zu berechnen . Dazu werd en aile Konfigurationen K in lexikographischer Ordnun g bet racht et und die in t + 1 Schritten erreichbaren Konfigurationen werden geza hlt . F iir je des K und den korrekt en Wert von A t( x) wird, wie ob en beschri eb en , filr jede Konfigurati on K ' ub erpruft , ob sie in t Schritten erre ichba r ist. Die Konfigu rat ion Kist genau dann in t + 1 Schritt en erre ichba r, wenn sie zu den in t Schri tten erreic hba ren Kon figurationen gehort oder eine direkte Nachfolgekonfigurat ion einer in t Schritt en erre ichbaren Konfiguration ist . Aile Versuche, in denen nicht aile

205

206

13. Weitere klassische Themen der Komplexitatstheorie

A t( x) in t Schritten erreichbare n Konfi gurationen auch als solch e identifizier t werden , werden er folglos abge broche n . Auf diese Weise wird nie ein falsches Ergebnis berechn et . Es gibt abe r einen Rechenweg, auf dem stets die A t( x) in t Schritten erreichbaren Konfigurationen als solche erkannt werd en und dah er fur jed es K richt ig entschiede n wird, ob es in t + 1 Schrit t en erreichbar ist. In diesem Fall wird A t+1(x) korrekt berechn et . Ins gesamt er halten wir die gewtinscht e nichtdetermini stische Berechnung von A(x) und damit den nichtdet erministi schen Algorithmus fur L. Die geforde rten Platzschranken werden ein geh alten , da wir stets nur konstant viele Konfi gurationen und Zahler abspe ichern. D

13.6 Komplexitatsklasson innerhalb von P Nach T heorem 13.2.5 ist DTAPE(logn) <::::: NTAP E( log n ) <::::: P. Wi r interessiere n un s nun fur P rob lem e, die in P ode r NTAPE(log n ), abe r vermutlich nicht in DTAPE(log n) ent halten sind. Dieses Int eresse ist nicht offen sichtlich , denn a us pr aktischer Sicht ist zumindest linearer Plat z problemlos verfligb ar. Der Grund fur un ser Int eresse ist die so genannte parallel computation hypothesis , die besagt , dass geringe r und insb esondere logarithmischer Platzb edarf und polylogarithmische Rechen zeit auf Rechn ern mit polynomiell vielen Prozessor en eng verknupft sind . Diese un erwartete Beziehung werd en wir in Kapit el 14 nah er beleu cht en . P robl eme, die in P, aber vermut lich nicht in DTAPE(log n) ent halten sind, sind zwa r effizient berechenbar , abe r verrnutlich nicht gut " parallelisier bar". Bei der Unter suchung de s Verhaltnisses von DTAPE(logn) und NTAP E (log n ) st oBen wir auf ein An alogon zum NP~ P­ Problem . Diese An alogie weist un s auch den Weg, wie wir vor geh en werden. Wir konnen die betracht et en Komplexitatsklassen nicht t renne n . Dah er suche n wir in ihn en schwierigste Probleme. Nac h den Bem erkungen zu Beginn von Kapitel 10 konnen wir bei diesen Bet rachtungen nicht a uf polynomielle, genaue r zeit polynomielle Redukti onen zurtickgreifen . Innerh alb von P sind nur mit weniger Ressourcen berechenbare Problemtran sfor mationen sinnvoll. Bei der Unt ersuchu ng der Beziehungen zwische n P und NP hab en wir polynomielle Algori thmen erlaubt . Daher ist es nahe liegend, bei der Untersuchung der Beziehungen zwische n DTAPE(logn), auch LOG-SPACE genannt , und P Algori thmen mit loga rit hmische m Pl at zb ed arf zu erlaube n. Nac h un seren bisheri gen Definitionen konn en wir au f logarit hmi schem Plat z auch nur eine Au sgab e logar ithmischer Lan ge berechn en. Dies ist fur Tr an sformationsabbildungen zwischen Problem en nicht ausreic hend . Dah er erlauben wir ein Au sgab eb and, auf dem nur von links nach rechts die Ausgabe geschriebe n werde n darf (write-only) . Dieses Au sgab eb and wird beim Pl atzb ed arf nicht berticksicht igt . Definition 13.6.1. Das E ntscheid ungs problem A ist a uf das Entscheidungsproblem B logarithmisch reduzierbar (log-sp ace reducibl e) , Notat ion

13.6 Komplexitat sklassen innerhalb von P

207

A

:Slog B , wenn es eine auf logarithmischem Plat z berechenbare Funkt ion gibt, die Eingab en fur A auf Ein gab en fur B so a bbildet, dass fur die zugehOrigen Sprachen L A und L B gilt :

f

Wir verwenden die Kurzformen "polynomiell reduzierba r" fur polynomielle Zeit und "logarit hmisch redu zierb ar " fiir logar ithmischen Platz. Verwechslun gen sind nicht moglich, da in logar ithmischer Zeit nicht sinnvoll gerechnet werden kann und polynomieller Pl atz bereit s die Losung aller Probleme in PSPACE erla ubt. Definition 13.6.2. Fur eine Komplexit atsklasse C ist A C-vollst andig beztiglich logarithmischer Reduktionen (log-sp ace complete ), falls A E C ist und alle B E C logarithmisch auf A reduzierb ar sind.

Da Rechnungen auf logarithmischem Plat z in polynomieller Zeit simuli ert werden konnen , folgt A :Sp B aus A :S log B . Logarithmische Reduktionen hab en die Eigenschaft en , die wir von ihnen erwarten: -

:S log

- A

ist transitiv.

:S log

B, B

E

DTAPE(log n)

=}

A

E

DTAPE(log n) .

- C :2 DTAPE(logn ),L C-vollst andig bezuglich logarithmischer Reduktionen und L E DTAPE(logn) =} C = DTAPE(log n). Wi r ver zichten auf den Beweis dieser Eigenschaft en, der dem von polynomiellen Reduktionen her bekannten Schem a folgt. Die einzige Ausnahme ist , dass wir fur eine Eingabe x und die Tr an sform ationsabbildung f nicht f( x) bere chnen und abspeichern konnen . Immer wenn de r j-te Bu chstabe von f( x) benotigt wird, ber echnen wir die erst en j Bu chst ab en von f( x) , vergessen dabei die erst en j - 1 Bu chst ab en und er ha lte n auf logarithmischem Pl at z den gewunschten Buchst ab en. Da f( x) polynomi elle Lan ge hat , lasst sich auch der Zahler, der die von f( x ) bereit s berechneten Bu chst ab en zahlt , a uf 10garit hmischem P latz verwalten. Um die neuen Begriffe mit Leben zu fiillen , werden wir zwei wichti ge Probleme vorst ellen , von denen eines Pvvollst andig und das andere NTAPE(log n )-vollst andig bezuglich logari thmischer Redukti onen ist. Zun achst betracht en wir das A uswertungsproblem f ur Schaltkreise (circuit value problem, CVP). Die Eingab e best eht aus einem Schaltkreis Suber den Op erationen AND , OR und NOT und einer Eingab e a fur S. Der Schaltkreis S hat einen ausgezeichneten Ausgab ebau st ein . Es soll S(a) , der Wert am Ausgab eb au st ein von S bei Ein gab e a , berechnet werden. Die praktische Bedeutung dieses Problems ist offensichtli ch.

208

13. Weitere klassisch e T he me n der Komplexita tstheorie

Theorem 13.6.3. CVP is t P- vollstiindig beziiglich logarithmischer R eduktionen . Beweis. Es ist CVP E P, da wir die Bau st eine des Schaltkreises S in t opologischer Reihenfolge auswerten konnen . Sei A E P und Meine deterministische Thringmaschine, die A in polynomieller Zeit p(n) ent scheidet. Sei nun x eine Ein gab e der Lan ge n , fur die iiberpriift werd en solI, ob x E A ist . An dieser St elle verweisen wir auf ein recht einfaches Er gebnis, das wir in Theorem 14 .2.1 beweisen werden . Auf logar ithmischem Pl atz lasst sich a us der Beschreibung von M ein Schaltkreis S n berechn en , der auf allen Ein gaben der Lan ge n dasselb e Er gebnis (0 ~ nicht akzept iere n, 1 ~ akzeptiere n) berechnet . Somit wird x auf (Sn , x ) t ransformiert und es ist x E A gena u dann, wenn (Sn , x) E CVP ist . D Die Aussage ist nicht iiberraschend . Lasst sich jeder Schaltkreis par allelisier en , also a uf kleine T iefe bringen , dann ist jedes in polynomieller Zeit losb ar e Problem gut parallelisierbar. Ein er der erst en Algorithmen, den man kenn en lernt, ist die Tiefe nsuche (depth-first sear ch, DFS) auf ungericht eten und gerichte te n Gr aphen . Damit lasst sich das Problem der Frage nach der Exist enz eine s W eges von einem Startpunkt (source) s zu einem Zielpunkt (te rmina l) t (s-t-connectivity in dir ect ed graphs, DSTCON) in linearer Zeit losen. Theorem 13.6.4. DSTCON ist NTAPE(logn)-vollst iindig beziiglich logarithm ischer R edukt ionen . Beweis. Es ist DSTCON E NTAPE(logn) . Wir konnen beginnend mit z = 1 und v = s auf dem Arb eitsband einen Zahl er z verwalten und einen Knoten v abspeichern . In der Adj azenzli st e des akt uellen Knotens v wird nichtdeterministisch ein Knoten als neuer akt ueller Knoten ausgewa hlt und der Zahl er um 1 erhoht. Wenn der Knoten t akt uell wird, wird die Ein gabe akzept iert. Wenn der Zahl er den Wert n erre icht, ohne dass t akt uell wurde, wird die Ein gab e nicht akzept iert . Offensi chtlich werden gena u die Gr aphen mit einem Weg von s nach t akzept iert. Sei nun L E NTAPE(log n) und M eine nichtdet erministische Thringmas chin e, die L auf Pl at z log n ent scheidet . Wir konnen annehme n, dass es nur eine akzeptierende Konfiguration K a gibt. Zu jeder Ein gab e x gehort der Konfigurationengraph G( x), dessen Kno t en den Konfigurationen von M ent sprechen. Der Graph ent ha lt eine Kante von K nach K' , wenn M bei Eingabe x in einem Schritt von K zu K' wechseln kann . Zu x bilden wir als Ein gab e f( x) fur DSTCON den Gr aphen G(x) , den St ar tknot en s, der die Anfangskonfiguration darst ellt, und den Zielknoten t = K a . Nach Kon struktion ist offensi chtlich , dass genau dann x E List , wenn G (x) einen Weg von s nach t enthalt. Die Funkt ion f kann zudem auf logari thmischem Arbeitsband erzeugt werden . Die Konfigurationen hab en Lan ge o (log n) und konnen auf logarithmischem Pl at z erze ugt werden . Fiir jede Konfigur ati on ergibt sich

13.7 Die Komplexitat von Anzahlproblemen

209

aus der Beschreibung von M die Adj azenzliste, also die List e der dir ekten Nachfolgekonfigurationen. D Nach dem T heorem von Immerman und Szelepcsenyi ist DSTCON au ch in co-NTAPE (1og n) ent halt en . Dieses Ergebnis iib errascht , da wir uns den zugehorigen nichtdet erministischen Algorithmus fur co-DS T CON nur schwer vorstellen konnen . Erst der Beweis des genannt en Satzes zeigt, wie man eine n solchen Algorithmus erhalt , Allerdings ist es verniinftig zu vermut en, dass DSTCON rt- DTAPE(1ogn) ist. Ansonst en ist DTAPE(1ogn) NTAPE (log n) .

13.7 Die Komplexitat von Anzahlproblemen Fur viele Problem e sind die Optimierungsvariant e, die Vari ante als Wertproblem und die Ents cheidungsvariant e von pr aktischer Bedeutung. Wi r konn t en un sere Uberlegungen oft auf die En t scheidungsvar iante kon zent rieren, da alle Varianten NP- aquivalent sind . Hier fugen wir den Betrachtungen mit der Vari an t e als Anzahlproblem eine weit ere Fac et te hinz u. Wenn wir be i der Schaltkreisverifikation ub erprtifen sollen, ob Sp ezifikat ion 8 und Re alisierung 8 ' nich t ub erein stimmen , konnen wir 8 ffi 8' (ffi ist EXOR) a uf Erfullbarkeit ub erprufen . Die Anzahl erftillende r Belegungen von 8 ffi 8' gibt die An zahl der E ingab en an, auf denen 8' falsch arbeitet . Mit # SAT (number-SAT) bezeichnen wir das Problem, fur Schaltkreise die Anza hl der erfUllenden Belegungen zu berechnen. Fur viele ande re der von uns betracht et en Probleme erge be n sich auf natlirliche Weise Anzahlproblem e. Nicht aIle von ihnen hab en eine pr aktische Bed eutung wie # SAT. Die An zahlvarianten von P roblemen mit Nl- -voll standiger En t scheidungsvariante sind offensichtlich NP-schwieri g. Wenn wir die Anzahl der zulassigen Losungen berechnen konnen , konnen wir auch entscheid en , ob es eine zulassige Losung gibt . Interessant sind in diesem Zus ammenhan g also schwierige Anzahlproblem e, fur die die zugehorigen Ent scheidungsproblem e polynom iell losb ar sind. Wir er inne rn uns an das Heiratsproblem 2-DM. Wir konn en un s die Einga be als bipartiten Graphen G auf den beiden n-elem entigen Knotenmengen U und V vorstellen. Eine Kant e {u , v } deutet an, dass sich u und v mogen und ein Team bilden konnen . Ein perfektes Mat ching besteht aus ti Zweiert eams, so dass jed er Knoten in genau eine m Team ist . In vielen Lehrbuchern ub er effiziente Algorithmen finden sich pol yn om ielle Algori thmen zur Losung dieses Problems. Fur das Problem der Berechnung der Anz ahl perfekter Matchings # P M gibt es bisher keinen pol ynomiellen Algorithmus. Wi e lasst sich die Schwierigkeit von # P M komplexitatstheoret isch begrunden ? Wir benotigen eine Komplexitatskl asse, die fur Anz ahlproblem e die Rolle ub ernimrnt, die NP ftlr Entscheid un gsproblem e spielt .

210

13. Weitere klassische Themen der Komplexitatstheorie

Definition 13.7.1. Die Kornplexitatsklasse # P (gesprochen: number P, sharp P oder auch Anzahl P) ent ha lt aIle Anzahlprobleme # A, fur die es eine polynomiell zeit beschrankte nichtdet erministische Turingmaschin e gibt, die fur jede Ein gabe x so viele akz eptierende Rechenwege hat, wie es Losungen fiir x gibt. Bemerkung 13.7.2 . #SAT E #P und #PM E # P. Beweis. Fur # SAT erze ugen wir nichtdeterministisch eine Eingabe a E {O, I}" des gegebenen Schaltkreises, also jedes a auf genau einem Rechenweg, und berechnen , ob a eine erfullende Belegung fur S ist . Bipartite Graphen G k6nnen durch 0-I-Matrizen M beschrieben werden, wob ei die Zeilen den Knoten in U und die Spalten den Knoten in V ent sprechen. Es ist Mu ,v = 1 genau dann, wenn {u , v} eine Kante in Gist. Die Anz ahl perfekter Matchings in G ist dann gleich der Pernuuiente (permanent) fur M definiert durch perm(M) :=

L

M 1 ,1r(1) . M 2 ,1r( 2 )

.. .. •

M n ,1r(n ) '

1rES n

J ede Permutation 1r E Sn entspricht einem m6glichen perfekten Matching und jedes Produkt liefert den Wert 1, wenn dieses Matching in G existiert, und den Wert 0 sonst. Es ist # P M E #P. Die zugeh6rige nichtdet erministische Thringmaschine erzeugt jede Permutation 1r a uf gena u einem Rechenweg und akzept iert die Ein gab e, wenn das zu tt gehorende Produkt den Wer t 1 hat. Die Thringmaschine akzeptiert auf dem Rechenweg zu 1r genau dann, wenn 1r ein perfektes Matching ist . 0 Definition 13.7.3. Ein Anz ahlproblem # A ist # P-vollstiindig, wenn # A E #P ist und fur jedes Problem # B E # P gilt, das s # B ~T # A ist . Da die Ausgabe bei Anzahlproblemen eine Zahl ist, ist es nicht ub erraschend, dass wir a uf Thringreduktionen zunickgreifen . Wenn es eine Abbildung f gibt, die Eingaben x fur # B auf Eingab en f(x) fur # A so abbildet, dass x und f( x) dieselb e An zahl von Losungen hab en , dann folgt dar aus #B ~ T # A. 1m Beweis des Theorems von Cook st ehen akzept ierende Rechenwege der gegeb enen Th rin gm aschin e und erfiillende Belegungen der ent st ehend en SAT-Formel in bijektiver Beziehung. Dami t ergibt sich der erste Teil des folgend en Theorems. Theorem 13.7.4. # SA T und # PM sind # P-vollstiindig. Die Auss age fur # P M wollen wir nicht beweisen (Valiant (1979)) . Sie zeigt, dass die Berechnu ng der Anz ahl perfekter Mat chings oder der Permanente nur dann in polynomieller Zeit moglich ist , wenn NP = P ist. Die # P-Vollst andigkeitstheorie erfullt daher die in sie gest eckt en Erwartungen .

13.7 Die Komplexitiit von An zahlproblemen

211

Wir beenden unsere Betrachtungen mit der Bemerkung, dass wir in polynomieller Zeit entscheiden konn en , ob die Anzahl perfekter Matchings ungerade od er gerade ist . Dieses Problem ist aquivalent zu der Berechnung von perm(M) mod 2. In 25 2 gilt - 1 = +1 und daher stimmen Permanente und Det erminante iiberein. Es ist aus der linearen Algebra bekannt, dass die Det erminante einer Ma trix in polynomieller Zeit berechnet werden kann.

14. Die K omp lexitat von nichtuniformen Problemen

14.1 Grundlegende U b er'l egun ge n Ohne dies bisher t hematisiert zu haben , war en unsere Ube rlegungen auf Softwar elosungen ausgerichtet . Wer einen effizienten Algorithmus fur ein Optimierungsproblem wie das TSP oder da s Ru cksackproblem entwerfen will, denkt an einen Algorithmus, der fur eine beliebige Anzahl von Stadton od er Objekt en arbeitet . Beim Hardwar eentwurf ist die Situation anders. Wenn ein Prozessor mit 64-Bit-Z ahl en ar beite t , soll ein Dividierer fur Zahlen der Bitlange 64 die er sten 64 Bits des Quotienten berechnen . Das zugehorige Berechnungsmodell ist ein S chaltkreis (circuit) . Schaltkreise fur Einga belange n hab en die boo leschen Vari abl en Xl , . . . , X n und die booleschen Kon st ant en und 1 als Eingab en . Sie lassen sich als Folge G I , . . . , G s von Baust ein en (Gatter , gates) beschreib en . Jeder Bau stein G i hat zwei Ein gan ge E i ,l und E i ,2, fur die die Ein gab en und die frtiheren Bau steine G I , .. . , G i - l in Frage kommen . Er wendet eine bin are bool esche Op er ation 0Pi a uf seine Eingange an. Die im Schaltkreis realisierten Funktionen ergebe n sich auf natiirliche Weise. Die Eingab evari able Xi wird auch als Funktion a ufgefasst , ebenso eine boolesche Kons t ante als konst ante Funktion. Wenn an den Eingang en von G i die Funkt ionen g i ,l und g i ,2 realisiert werden , wird von G, die Funktion

°

realisiert. Anschaulicher ist die Dar st ellung von Schaltkreisen durch gericht ete azyklische Graphen . Die Ein gab en un d Baust eine bilden die Knoten des Graphen. J eder Baust ein hat zwei eingehende Kanten, die seine Eingange veranschaulichen. Irn allgemeinen Fall milssen wir den erst en vom zweite n Eingang unter scheid en . Wenn wir uns auf symmetrische Op er at ionen wie AND , OR und EXOR beschranken , kann darauf verzichtet werd en . Ein Schaltkreis S realisiert 1 = (iI , .. . , 1m) : {O ,1}n ----+ {a, I} ?", wenn jede Koordinatenabbildung !J an einem Ein gan g od er Bau stein realisiert wird. Ein Schaltkreis fur die Addition von drei Bits wird in Abbildung 14.1.1 ver an schauli cht. Das Summenbit wird an G 4 und das Ub ertragsbit an G s berechn et . Zur Beurteilung der Effizienz eines Schaltkreises biet en sich zwei MaBe an . Die S chaltkreisgrofl e (circuit size od er kur zer Grofe und size) ist gleich der Anzahl der Bau steine und somit ein MaB fur die Hardwareko st en und I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

214

14. Die Komplexitat von nichtuniformen Problemen

Abb. 14.1.1. Ein 3-Bit-Addierer . die sequenzielle Rechenzeit. Wir stellen uns dabei vor, dass die Bausteine in der angegebenen Reihenfolge au sgewertet werd en und die Auswertung eines Bausteins Kost en 1 verursacht . In Wirklichkeit sind Schaltkreise "Parallelrechner ". Die Bausteine G 1 und G 2 konnen ebenso gleichzeiti g au sgewertet werden wie na ch der Auswertung von G 2 die Bausteine G 3 und G 4 . Die Tiefe eines Bausteins sei die Lan ge des langsten Weges von einer Eingab e zu dem Baustein . Alle Bausteine mit Tiefe d konnen dann im d-t en Zeittakt ausgewertet werden . Die Scholikreistie]e (cir cuit depth oder kiirzer Ti efe und depth) ist die maximale Tiefe eines Bausteins im gegeb enen Schaltkreis. Der Beispi eladdierer hat GroBe 5 und Tiefe 3. So wie wir unsere Betrachtungen auf Entscheidungsprobleme konzentriert haben , werden wir hier boolesche Funktionen I : {O,1}n -+ {a, I} mit eine r Ausgabe in den Vordergrund ste llen. Im Hardware entwurf kann eine spe zielle Eingabegrofe wichtig sein. Ein e asympt ot ische kornplexitatstheoretische Analyse kann sich ab er nur auf Folgen I = Un) von booleschen Funktionen beziehen. Eine Schaltkreisfamili e oder Folge von Schaltkreisen S = (Sn) realisiert I = Un) , wenn I n von Sn berechnet wird. Nun erha lte n wir folgende Beziehung zwischen Entscheidungsproblemen auf {a, l} * und Folgen bool escher Funktionen I = Un) mit In : {O ,1}n -+ {a, I} . Zum Entscheidungsproblem A gehort die Funktionenfolge I A = U;;) mit I;; (x) = 1 genau dann , wenn x E A ist. And ererseit s gehort zu I = Un) das Entscheidungsproblem A f ' fur das die Ei nga be x der Lan ge n genau dann akzept iert werden solI, wenn In( x) = 1 ist . Auf Grund dieser Beziehungen betracht en wir in diesem Kapitel nur Ein gab en iiber dem Alphab et {a, I} . Fiir die Folge I = Un) bool escher Funktionen wollen wir die Kornplexitatsmafe GroBe und T iefe analysieren. Dab ei sei Cf(n) die minimale Gro f e eines Schaltkreises, der I n berechnet , und D f (n) sei analog fur die Ti efe definiert. In Kapitel 2 haben wir beh auptet , dass die Zeitkornplexitat eines Problems ein robustes MaB ist . Impliziert dies, dass die Zeitkomplexitat von

14.1 Grundlegende Ube rlegunge n

215

A und die Schaltkreisgrofe von fA eng verknilpft sind? Boolesche Funktionen lassen sich stets durch ihre disjunktive Normalform realisieren . Eine naive Analyse zeigt , dass deren GroBe durch n ·2 n und deren Tiefe durch n+ [log n ] beschr ankt ist . Dies gilt auch fiir Funktionenfolgen f/: , fur die A nicht rekursiv, also nicht berechenbar ist . Es gibt soga r nicht rekursive Sprachen , die fur jede Ei ngabelange n ent wede r alle Eingaben od er keine Eingab e entha lte n. Dann ist jedes f/: eine konst ante Funktion, deren Schaltkreisgrofe bet ragt . Hier wird der Unterschied zwischen Softwarelosungen , also Algorithmen , und Hardwar elosungen wie Schaltkreisfamilien deutli ch. Mit einem Algorithmus fur beliebige Eingab elangen hab en wir auch einen Algorithmus fur die Ein gab elan ge ti . Anderer seit s brau chen wir die gesa mte Schaltkreisfamilie, urn Eingabe n beliebi ger Lan ge bearb eit en zu konnen. Ein Algorithmus hat eine endliche Beschr eibungslan ge, ein Scha lt kreis ebenfalls, a ber wie steht es mit der Schaltkreisfamilie? Fur ein nicht rekursives Entscheidungsp robl em A ist die Folge der zugehorigen DNF-S chaltkreise nicht berechenb ar. Ein Algorithmus ist eine einheitliche (englisch: uniform) Beschreibung eines Losungsverfahrens fur alle Ei ngab elan gen. Wenn wir eine der artige Problemlo sung wtinschen , spreche n wir in schlechte r Ub erset zun g von einem un iform en Problem . Eine Schalt kreisfamilie S = (Sn) ftihrt ers t dann zu einer einheit lichen Beschr eibung eines Losun gsverfahrens , wenn wir einen Algorithmus hab en, der Sn a us n ber echnet . Es kann also sein, dass es kleine, abe r schwer zu berechnende Schaltkreise Sn fur I; gibt, wahrend groBe Schaltkreise S~ fur I; effizient zu ber echnen sind . Ein e Scha lt kreisfamilie S = (Sn) , wobei Sn die Gr oBe s(n) hat , heiBt einhei tlich beschreibbar oder unifo rm , wenn S n bei Ein gab e n auf Speicherplat z o (log s( n )) berechenbar ist . Wenn wir in diesem Kapitel von einheit lich beschreibb aren od er uniform en Schaltkreisen sprechen, begnugen wir un s oft mit dem Nachweis, dass Sn in bezogen auf s (n ) polynomieller Zeit berechenb ar ist . Es ist stets einfach, abe r man chm al muhselig zu beschr eib en , wie darau s eine Berechnung auf logari thmischem Pl at z wird. J edes Entsche idungsproblem A auf {a, I} * hat eine nichtuniform e Variant e, die aus der Folge f A = U/: ) von booleschen Funkt ionen best eht . Die nicht uni form en Komplexitatsmafe sind Schaltkreisgrofle un d -t iefe, wobei auch nichtuniform e Schaltkreisfamili en zugelassen sind . Damit erfassen wir einen neuen Asp ekt der Komplexit at von P robleme n. Ein nicht uniform er Dividierer kann nutzlich sein. Wenn wir einen 64-Bit- Divid ierer brauchen, muss dieser nur einmal erze ugt od er berechnet werd en und kann dan n in vielen Prozessoren eingesetz t werd en. Daher sind wir daran interessiert, wie uniforme un d nichtuniforme Komplexit atsmafe in Beziehun g stehen. In Kapitel 14.2 simulieren wir uni form e Tu rin gmaschinen durch uniforme Schaltkreise, wob ei Zeit und Crofe sowie P latz und Ti efe in Relation gesetzt werd en . Scha lt kreise konnen nicht rekurs ive P robleme losen und somit nicht allgemein durch uniforme Tu ringmaschin en simuliert werden . Wir werd en nichtuniforme Tu ringmaschinen vorstellen, die Schaltkreise effizient simu lieren konnen .

°

216

14. Die Komplexitat von nichtuniformen P roblemen

Wi eder werden Zeit und Crofe sowie Pl atz und T iefe in Relation geset zt. Insgesamt stellt sich her au s, dass Zeit fur Turingm aschinen und Schaltkreisgrofe sehr eng verknupft sind. Die Beziehungen zwischen Speicherplatz und Schaltkreistiefe und damit par alleler Rechenz eit sind zwar erstaunlich eng, abe r dennoch sind Schaltkreise kein nichtuniformes Rechenmodell, das die Ressource Speicherplatz asy mpt oti sch exakt widerspiegelt. Ein der ar tiges Rechenmodell werden wir in Kapitel 14.4 vorstellen . Fur Komplexitiitsklassen , die P enthalten, st ellt sich die Frage, ob all ihre Problem e durch Schaltkreise pol ynomieller Gr oBe losb ar sind. In Kapitel14.5 zeigen wir , dass dies fur die Komplexitiitsklasse BPP der Fall ist . Wenn ein der artiges Resultat auch fur NP gilt , erhalten wir eine neue Moglichkeit, schwier ige Probleme zu bearbeiten . Dies ist, wie in Kap it el 14.7 bewiesen wird, nur moglich, wenn die polynomielle Hierar chie auf der zweite n Stufe zusa mme nbricht . Zuvor pr iisentieren wir in Kapitel 14.6 eine Charakte risierung nichtuniform er Komplexitiitsklassen.

Schaltkreise bilden das grundlegend e Hardwaremod ell. Nur einheitlich beschreibbare oder uniforme Schaltkreise fiihren zu einer ejJizienten algorithmi schen Liisunq. Mit den nichtuniformen KomplexitiitsmajJ en SchaltkreisgrojJe und Schaltkreistiefe werden neue A spekte der Komplexitiit von Problem en erfa sst. Es ist auch aus praktischer Sicht wichtig zu wissen, ob ein Problem schwieri g ist, weil es grojJe Schaltk reise erfordert oder weil die B erechnu ng klein er Sch altkreise nicht ejJizient moqli ch. ist.

14.2 Simulationen von Turingmaschinen durch Schaltkreise Die Ziele unserer Betrachtungen lassen sich wie folgt zusa mmenfassen: - Turingm aschin en mit kleiner Rechenzeit konnen durch un iform e Schalt kreise kleiner Gr oBe simuliert werden. - Turingm aschin en , die mit wenig Sp eicherplatz auskommen, konnen durch uniforme Schaltkreise kleiner Tiefe simuliert werden . Das erste Ergebnis vergleicht die Rechenzeit von Turingmaschin en mit der Zeit fur die Auswertung eines Schaltkreises. Das zweite Ergebn is impliziert, dass wenig Speicherplat z eine effiziente Berechnung bei P arall elverarbeitung errnoglicht , und ist eine Basis der so genannten parallel computati on hypoth esis tiber die enge Beziehung von Speicher platz und par alleler Rechen zeit . Worin liegt das P robl em einer Schritt-ftir-Schrttt-Simulation einer Turin gm aschine durch Schaltkreise? T uringmaschinen konnen Ver zweigungen (if-Abfragen) vorsehen und es hiingt von der Eingab e ab , welche Sp eicherzelle im t-ten Rechenschritt gelesen wird. Die Konfiguration wird in einem Rechenschritt zwar nur lokal geiinde rt , abe r wo sie geiindert wird , hiingt von

14.2 Simulationen von Turingmaschinen durch Schaltkreise

217

der Eingab e a bo St ereotype Thringm aschin en (siehe Definiti on 5.4.1) lesen im

t-t en Rechenschritt stet s dieselbe Sp eicher zelle. Wir haben in Lemma 5.4. 2 gezeigt , wie Thringm aschinen mit qu adratischem Zeitverlust durch stereotype Thringm aschinen simuliert werden konnen . Dort wurde auch erwa hnt , dass sogar ein logarithmischer Extrafaktor aus reicht , also Zeit O( t( n) log t( n )) fiir die Simulation eine r t(n)-zeitbeschr iinkten Turingm aschin e. Dah er werden wir hier untersu chen, wie wir stereot ype Turingm aschinen Schritt fur Schritt durch Schaltkreise simulieren konnen, Die Anfan gskonfi guration kann kostenlos durch die Eingabevariabl en und boolesche Konstanten beschri eb en werden . Wir betracht en den t-t en Rechenschr it t und setzen eine Beschreibung der Konfiguration nach t - 1 Rechenschri tten vor aus. Nur der Zust and und die Inschrift der gelesenen Sp eicher zelle ande rn sich in diesem Rechenschritt. Da die Zustandsm eng e Q und das Arbeitsalphab et r endlich sind, ben oti gen wir nur konstant viele Bit s der Beschr eibung der Konfi gura tion , urn darau s den neu en Zustand und den neuen Inhalt der betrachtet en Sp eicherzelle zu ber echn en . Konkret geht es urn die Auswertung der Arb eitsvor schrift Ii : Q x r ----+ Q x r x {-I , 0, + 1}, wob ei die dritte Komponente bei st ereotyp en Thringm aschinen fur gege be nes t eine Konst ant e ist . Selbst die disjunktive Normalform zur Realisierung eines Schaltkreises fur Ii hat bezu glich der Einga beliinge n konstante GroBe, wob ei diese Konstante von der Komplexit iit von Ii abhiingt. Insgesamt erhalten wir eine n Schaltkreis der Grofe O(t(n)) , urn t(n) Rechenschrit t e der Thringmaschin e zu simulieren. Der Schaltkreis ist uniform, wenn sich die Leseposition in Schri t t t effizient berechn en lasst . Dies ist fiir die ob en erwah nten stereotype n Th ringmaschine n der Fall. Zusa mme nfasse nd erhalten wir folgendes Ergebnis.

Theorem 14.2.1. Eine stereotype t( n) -zeitbeschriinkt e Turingmaschin e kann durch Schaltkreise der GrofJe O (t(n)) simuliert werden. Eine t(n) -zeitbeschriinkte Turingmaschine kosin durch uniforme Schaltkreise der GrofJe O(t(n) logt(n)) simuliert werden. Die zuge horigen Schaltkreise hab en allerdi ngs auch eine Tiefe von O(t(n ) log t( n)) . Urn Schaltkreise klein er Tiefe zu erhalten, benotigen wir neue Id een .

Theorem 14.2.2. Ein e s(n) -speicherplatzbeschriinkte Turingmaschin e kann fur s*(n ) := m ax{ s(n) , [log nj} durch uniforme Schaltkreise der Tiefe O( s*(n) 2) simuliert werden. Beweis. Bei spe icherplatzbeschriinkten Turingrnaschinen gehen wir , wie in Kapit ell3.2 beschrieb en , davon aus, d ass die Eingab e auf eine m Eingab eb and steht, auf dem nur gelesen wer den darf. Die Anzahl verschiedener Ko nfigurationen ist durch k(n ) = 2° (logn+s(n)) = 20 ( s* ( n )) beschrankt . Wi r bet racht en den zuge horigen geri chteten Konfigurationengraphen , der fur jede Konfi gurat ion eine n Knoten ent halt. Die Kant enmen ge E(x) hiingt von der E ingabe x a bo Es sei (v,w) E E( x) , wenn die Turin gm aschine bei E ingabe x von

218

14. Die Komplexitat von nichtuniform en P ro bleme n

der Konfiguration V in die Kon figur ation w wechselt . Die Adj azenzmatrix sei A( x) = (av,w(x)) . Entscheidend ist , dass av,w(x) nu r von Xi essenziell abhiingt, wenn in Konfiguration v auf dem Ein gab eband die i-t e Speicherzelle gelesen wird. Dami t ist av,w(x) eine der Funktionen 0, 1, Xi od er X i' Alle Funktionen av,w(x) konnen also in Ti efe 1 in einem Schaltkreis berechnet werden . Es sei nun w(x ) = 1 genau dann, wenn bei Ein gab e X aus Konfigur at ion v in t Schr itten die Konfiguration w errei cht wird. F Ur t' E {I , . .. , t - I} muss aus v in t' Schr itten eine Konfigurati on u und dann in t - t' Schritten die Konfiguration w erre icht werden . Also ist

at

t av,w(x) =

Vav,u(x) /I. au,w t- t ' (x) , t'

u

wobei V eine Disjunktion beschreibt . Die Matrix At ergibt sich als boolesches Matrizenprodukt von At r und At - t' . Die T iefe zur Realisierung dieses Matrizenprodukts betragt 1 + [log k (n) 1 = O( s* (n)) . Alle Konjunkti onen benotigen Tiefe 1 und fur jede der Disjunk tionen kann ein balan cierter binar er Baum verwendet werd en . Auch aus Kapitel 13.2 wissen wir , dass wir eine akzeptierende Konfiguration nur erreichen, wenn wir sie in k(n) ::::: 2 p og k (n )1 Schritt en erreichen. Also berechnen wir mit pogk(n)l = O( s*(n)) Matrix2i multiplikationen alle A , 1 ::::: i ::::: [log k(n)l SchlieBlich tiberprufen wir mit der Disjunktion aller a; 0f1,: k(n)l (x ) fur die Anfangskonfiguration Vo und die akzept ierenden Konfigurationen w , ob die Ein gabe x akzepti ert wird . Die T iefe dieses Schaltkreises ist beschr ankt durch 1 + (1 + pogk(n) l) ' pogk(n)l

+ pog k(n )l = O(s*(n) 2).

Der ent ste hende Schaltkreis ist uniform . Die Arbeit sweise der Turingm aschine geht nur in die Berechnung der av,w(x) ein. D Wir kennen keine Simul ati on von Tu rin gmaschin en mit geringer Rechenzeit und klein em Speicherplat zb edarf durch Schaltkreise, die kleine GroBe und kleine T iefe haben. Es ist ehe r zu erwarten, dass es eine derartige Simulation nicht gibt.

14.3 Simulationen von Schaltkreisen durch nichtuniforme Turingmaschinen Schaltkreisfamilien S = (S n) bild en ein nichtuniformes Berechnungsmodell, weil wir uns nicht darum kumrnern, wie wir bei Eingab eliinge n den Schaltkreis S n erhalte n. Damit eine Turingm aschine eine Schaltkreisfamili e simulieren kann, muss sie ebenfalls eine von n = lxi , abe r nicht vom Inhalt der akt uellen Ein gab e x a bhangige Information kost enlos erha lte n. Ein e nic htuniform e Tu ringm aschine ist eine Tu ringmaschin e mit zwei Ein gab eb andern, auf

14.3 Simul ationen von Schaltkreisen durch nicht unifor me Turingm aschinen

219

denen nur gelesen werd en darf. Das erste Eingab eband ent ha lt die Eingabe x und das zweite Eingab eband die Hilfsinformation h( lx l), die fiir alle Eingab en gleicher Lang e identisch ist . Die Anzahl moglicher Konfigurationen einer nichtuniformen Thringm aschine, die auf dem Arbeit sband maximal s (n ) Speicherzellen besu cht , ist durch das zweit e Eingab eband urn den Faktor h( n) grofe r als bei ein er norrnalen Turingmaschin e. Sie betragt 28 (logn+s(n)+]ogh(n)). Haufig wird das zweit e Eingab eband als Orak elband und die Hilfsinforrnation als Or akel bezeichnet. Die Ergebnisse aus Kapitel 14.2 lassen sich auf die Situation verallgemeinern, dass wir nichtuniforme Turingmaschinen durch (nicht uniforme) Schaltkreise simulieren . Die Hilfsinformation h( n) bildet fiir S n einen konstanten Teil der Eingabe. Wir werden nun in gewisser Weise die Umkehr ergebnisse zu den Ergebnissen a us Kapitel 14.2 zeigen: - Kleine Schaltkreisfamilien konnen durch schnelle nichtuniforme Tu ringrnaschinen simuliert werden. - Schaltkreisfamilien mit kleiner Tiefe konnen durch nichtuniforme Thringmaschinen mit geringem Pl atzbed arf simuliert werden. Das zweit e Ergebnis ist das zweit e St andbein fiir die parallel comp utati on hypothesis. Wir benutzen fiir Schaltkreisfamili en S = (Sn) folgend e Bezeichnun gen : - s(n) fiir die Gr oBe von Sn und s*(n ) fiir m ax {s(n) ,n}, - d(n) fur die Tiefe von S n und d*(n) fur m ax{d(n ), [log n[ }, - fn fiir die von Sn berechn et e Funktion, - A f fur das zu f = Un) gehorende Entscheidungsproblem.

Theorem 14.3.1. Das zur S chaltkreisfamili e S = (Sn) gehOrende Entscheidungsprobl em A f kann von einer nichtuniformen Turingmas chin e mit zwei Arb eit sbiind ern in Zeit O( s*(n)2) auf Platz O( s*(n)) gelOst werden. Beweis. Als Hilfsinformation bei Ein gab elan ge n verwenden wir eine Beschreibung des Schaltkreises S n . Diese ent ha lt eine List e aller Baustein e, die als Tripel aus Op er ation, erste m Vorgang er und zweitem Vorgan ger dar geste llt werden. Fur jeden Vorgan ger wird zunac hst der Typ, also Kon st ante, Teil der Eingab e od er Baus t ein , vermerkt und dan ach die zugehorige Nummer . Die Lang e dieser Beschreibung betragt O(s(n) logs*(n)) . Die Thringmaschin e bearbeit et nun die Baust eine in ihr er nattirlichen Reih enfolge. Auf dem ersten Arbeit sban d ste hen die Er gebnisse der bereit s ausgewertete n Bausteine. Wenn die Turingmaschine die Eingabewerte und die zugehorige Op er ation kennt, kann sie das Er gebnis des Bau st eins berechnen und an das Ende der E rgebnisliste schreiben. In der Hilfsinforrnat ion ste ht, wo jeder der Eingab ewerte eines Bau st eins zu finden ist . Bei einer Kon st ant en ist die Informat ion dir ekt gegeben. Ansonsten wird die Nummer des Bau st eins od er des Eingab ebits auf das zweite Arbeit sband geschriebe n.

220

14. Die Kompl exit at von nichtuniformen Problemen

Falls der Vorganger ein Baustein ist, wird der Kopf des erst en Arbeit sb andes an das linke Ende des Bandes gebracht . An sonsten wird analog auf dem Eingab eb and ges ucht. W ah rend von der Zahl auf dem zweiten Arbeitsb and 1 subt rahiert wird, bis der Wert 1 erreicht wird , wandert der Kopf auf dem erste n Arbeitsb and jeweils eine Posi tion nach recht s. Am Ende dieses Vorga ngs liest der Kopf auf dem ersten Arbeit sband die gesuchte Information . Es ist leicht zu sehe n, dass fur die Bau stein- ode r Eingab enummer i eine Anza hl von O( i) = O( s*(n» Schritt en ausreicht. Da s (n ) Bau st ein e mit je zwei Vorgangern beh andelt werden mtiss en, ist die Gesamtzeit durch O( s*(n)2) beschrankt . Auf dem erst en Arbeitsband stehe n nie meh r als s( n) Bits und auf dem zweiten Arbeit sband steht eine durch s* (n) beschrankte Zahl. D Wenn wir eine Tu ringm aschine mit eine m Arbeit sb and erhalten wollen , konnen wir das in Kapitel 2.3 genannte Simulat ionsergebnis verw enden und er halten eine Zeitschranke von O( s*(n)4) . Hier kann aber direkt eine O( s *(n)210g s *(n»-zeitbeschrankt e Tu rin gm aschine beschri eb en werden . Auf d ie Det ails wollen wir ver zicht en. Wenn die gege be ne Schaltkreisfamilie uniform ist, kann bei Eingab en der Lan ge n zunachst S n berechn et und dann die beschrieb ene Simulation ange wende t werden .

Theorem 14.3.2. Das zu r S chaltk reisfamili e S = (S n) gehOrende Enischeidung sprobl em A f kann von einer nichtunif ormen Turingmaschine auf Platz o (d*(n» qeliist uierden . Beweis. Wir hab en nun nicht mehr den Sp eicherplatz, urn die E rge bnisse aller B au stein e abzus peic he rn. Dies ist aber auch nur notig, wenn die Ergebnisse von B au st ein en mehrfach ben 6ti gt werden. Dies ist nicht der Fall, wenn der Schaltkreis gr aphentheor etisch ein Baum ist. Wir konnen Schaltkreise so "e nt fa lte n" , dass aus ihnen Baume werden . Dazu werden fur die Knot en des Schaltkreises in topologischer Reih enfol ge Knoten mit r Nac hfolgern zusammen mit all ihren Vorgan gern durch r Kopien ersetzt, die je eine n Nac hfolger erhalten. Dab ei erhoht sich die Tiefe des Schaltkreises nicht . Schaltkreise, bei dene n aile Bauste ine nur hochsten s eine n Nachfolger hab en , heiBen auch Formeln (formulas ). In Abbildung 14.3.1 wurde der Schaltkreis aus Abbildung 14.1.1 ent faltet. Als Hilfsinformation bei Eingab elan ge n verwenden wir eine Form el E; der Tiefe d(n) fur i-: Deren Beschr eibung ent halt eine Liste aller Bau st eine in ihrer P ostorderreihenfol ge. Diese best eh t fiir einen Baum mit eine m Kn ot en aus diesem Knoten und ansonsten aus der Postorder des linken Teilbaums, gefolgt von der Postorder des recht en Teilb aums und der Beschr eibung der Wurzel. Bau st ein e werd en wiede r als Tripel aus Op er at ion , linker Vorgan ger und recht er Vorgan ger beschrieb en . Entscheidend ist , dass wir fur Bau stein vor gan ger deren Nummer nicht brauche n. Dies wird sich beim Korrektheitsb eweis fur die Simulation her au sstellen . Formeln der T iefe d(n ) hab en hochsten s 2d (n ) - 1 Bau stein e, von den en jed er eine Beschr eibungslan ge von O(1og n) hat . Die C esarntlange der Beschr eibung ist also O(2 d (n) logn) .

14.3 Simulation en von Schaltkreisen dur ch nichtuniforme Turingmaschinen

221

Abb. 14.3.1 Der 3-Bit-Addierer als Formel. Die Turingm aschine bearbeitet nun die Bau st eine in ihrer Postorderreihenfolge. Das Ar beitsband soll die Folge der Bau st einergebnisse ent ha lte n, die noch nicht als Eingab e fur ihr en Na chfolger verbrau cht word en sind. AuBerde m wird wie im Beweis von Theor em 14.3.1 Pl atz O(l og n) benotigt , um Wert e auf dem Eingabeband zu finden . Wie aber werden die Wert e von Bausteinvorgangern gefunde n? Bei der Postorderreihenfolge werden dir ekt vor einem Bau st ein sein linker und sein recht er Teilb aum ausgewerte t . Nur deren Wurzeln sind Bau st eine, deren E rgebnisse no ch nicht verwendet word en sind. Also st ehen die gesuchte n Werte am rechten E nde de r Ergebnisliste und die Turingm aschine ar be ite t korrekt . Ab schlieBend zeigen wir per Induktion tiber die T iefe d, dass auf dem Arbeitsb and nie mehr als d Ergebnisse st ehen . Damit ist dann der Pl atzbedarf d urc h O(logn + d(n)) = O(d*(n)) beschr ankt . Die zu zeigende Behauptung ist fur d = 1 offensichtlich er fullt . W ir betrachten nun eine Formel der T iefe d. Zur Au swertung der linken Teilformel genligen nach Induktionsvorau ssetzung d - 1 Speicherpl at ze. Am Ende ist no ch ein Speicherplat z besetzt . Zur Auswertung der rechten Teilforme l gentige n wieder nach Induktionsvoraussetz ung weit ere d-1 Speicherplat ze. Insgesamt genligen d Sp eicherplatze, Am E nd e sind no ch zwei Spei cherplat ze belegt. Nach Au swertung der Wurzel ist no ch ein Speicherpl at z belegt. 0 Wenn die gegebe ne Schaltkreisfamilie uniform ist , kann die Information tiber einen Bau st ein a uf Pl atz o (log 2d (n») = O(d(n )) berechn et werd en. Also kommt dann sogar eine uniforme Turingm aschin e mit Pl atz O(d*(n)) au s.

S chaltkreisfamilien und nichtunif orme Turingmaschin en stehen ebens o in enger B eziehung wie Turingmaschin en und uniform e Schaltkreisfamilien. Dobei sind S chaltk reisgrojJe und R echenzeit ebens o wie Schaltkreis tiefe und Speicherplatzbedarf polynomiell verknilpft .

222

14. Die Komplexitat von nichtuniformen Probl emen

14.4 Branchingprogramme und Platzbedarf Wi r st ellen ein nichtuniformes Berechnun gsmodell vor , das mit seiner Crof e den Plat zb edarf nichtuniformer Turingm aschin en asympt ot isch exakt cha ra kt erisiert. Dieses Berechnungsmodell hat ne ben sein en Wurzeln in der Kornplexit atstheorie au ch Wur zeln als Datenstruktur fiir boolesche Funktionen . Dah er gibt es zwei gebra uchliche Bezeichnungen , narnli ch branching program (BP) und binary decision diagram (BDD) . Die deu t schen Begriffe Verzweigungsprogramm und Entscheidungsdiagr amm hab en sich nicht d urc hgesetz t . Stat t desse n wird von Br an chingprogr ammen od er BDDs gesprochen. Obwohl es sprac hlich unschon ist , ilb emehmen wir diese Konvention. Ein B ran chin gprogramm arbe itet auf n bool eschen Vari abl en X l, . • . , X n und erlaubt nur zwei element are Typ en von Befehlen, die durch Knoten in einem Gr aphen reprasentiert werden . Ein Ver zweigungs- od er Ent scheidungsknot en v ist mit einer Vari abl en Xi markiert und hat zwei ausgehende und die ande re mit 1 markiert ist. Wenn v Kant en , von den en eine mit in einer Berechnung erreicht wird , wird in Abhan gigkeit vom Wert von Xi die entsprechende Kant e benutzt , um zu einem Nachfolger zu gelangen. Ein Aus gabeknoten w ist mit einem Wert c E {a, I} markiert und hat keine ausgehende Kant e. Wenn w erreicht wird , ist die Au swertung der Funktion abgeschlossen und der Wert c wird ausgege be n. Ein Bran chin gprogramm ist ein gerichteter azy klischer Gr aph, der aus Ver zweigungsknoten , auc h inn ere Knot en gena nnt , und Au sgab eknot en , auch Senken genannt, best eht. J eder Knoten v in einem Br an chin gp rogramm realisiert auf folgende Weise eine bo olesche Funktion i.: Zur Berechnung von I v (a) starte n wir am Knoten v und fuh ren die Befehle an den Kno t en aus, bis wir eine Senke erre ichen. Der Wert von I v(a ) ist gleich der Markier ung dieser Senke. Fur Br anchin gprogr amme gibt es zwei nah e liegende Komplexit at srnafe. Die Lange eines Branchingprogramms ist die Lange des lan gston Berechnungsweges im Br anchingprogramm und ein MaB ftir die max imale Zeit ftir die Auswertung einer der dar gest ellten Funktionen . Die GrojJe eines Branchingprogramm s ist die An zahl seiner Knoten und die Bran chingprogr ammkomplexit at BP(J) einer Funktion I wird als minimale G roBe eines Branchingprogra mms, das I darstellt, definiert . An diesem Komplexit atsm af sind wir hier int eressiert. Abbildung 14.4.1 ent halt ein Bra nchin gprogramm, das an seinen Ein gangsknoten die beiden Funktionen realisiert , die den beiden Au sgab ebi t s bei der Add it ion von dr ei Bit s ents prechen. Nur aus Grunden der trber sichtlichkeit ent ha lt es zwei l-Senken. Warum st ehen nun Branchingprograrnmg rofe und Speicherplatz fur nichtuniforme Turingm aschinen in enger Beziehung? Bei der Ausw ertung von I v ist es ausreichend, sich den gerade erreichte n Knoten zu merken. Andererseits kann ein Br an chingprogramm den schon im Beweis von T heore m 14.2.2 bet racht et en Konfigurationengr aphen fur eine spe icherplatz beschrankte Turin gm aschin e direkt simuliere n. Diese Erkennt nisse werde n nun formalisiert.

°

14.4 Branchingprogramme und Platzbedarf

223

Abb. 14.4.1. Ein Branchingprogramm fur die Addition von drei Bits .

Wir bezeichnen dab ei mit BP*(fn) das Maximum von BP(fn) und n und setzen wied er s*(n) = max{ s(n) , [log n ]}. Theorem 14.4.1. Das zu f = (fn) gehOrend e Entscheidungsproblem A f kann von einer nichtuniformen Turin gmaschin e auf Platz O(1og BP*(fn)) geliJst werden. Beweis. Als Hilfsinformation bei Eingab elange n verwenden wir die Beschreibung eines Branchingprogr amms G« minimaler GroBe fur fn. Die Beschreibung ent halt ein e Aufzahlung der Kn ot en . Jeder Knoten wird durch seinen T yp, also inn erer Knoten od er Senke, seine Nummer und seine int erne Info rm ation beschri eb en . Let zt ere best eht fur eine Senke aus dem Wert, der an ihr ausgegeben wird, und fur einen inn eren Kn ot en aus dem Tripel Nummer der bearbeitet en Vari abl en, Nummer des O-Nachfolgers und Nummer des l-Nachfolgers. AuBerdem sei die Nummer des Knotens , der I« dar st ellt, ste ts 1. Auf diese Weise ha t jeder der BP(fn) Knot en eine Beschr eibung der Lan ge O(logBP*(fn)) . Auf dem Arb eit sb and wird der akt uelle Kno t en vermerkt, also zu Beginn der Knot en mit Nummer 1. Ist eine Senke erreicht , wird die richtige Ent scheidung get roffen und die Berechn un g gest oppt . Ansonst en wird der Wert der bearb eit et en Variablen auf dem Eingab eband gesucht. Dan ach ist der neue akt uelle Knoten , narnli ch der xi -Nachfolger, bekannt . Er wird in der Hilfsinformation gesucht und erset zt den bisher akt uellen Knoten au f dem Arbeit sb and . 0 Theorem 14.4.2. Ein e s (n )-speicherplatzbeschriinkte Turingm aschine kann durch Branchingp rogramme der GrojJe 20 (s' (n» simuliert werden. Beweis. Wir wissen bereits, dass die Anz ahl verschiedener Konfigurationen der Tu ringm aschine bei E ingab elan ge n d urc h 20 (s' (n» beschrankt ist. Das Br an chingprogramm G n erhalt fur jede von der Anfangskonfiguration aus err eichbare Konfiguration einen Kn oten. Akzep t ierende Konfigurationen

224

14. Die Komplexitat von nichtuniformen Problemen

werden l-Senken , nicht akzept ierende Endkonfigurationen werden O-Senken und alle ande re n Konfigurationen werden inn ere Knoten . Der innere Knoten fur eine Konfiguration K wird mit der Vari ablen X i markiert, die in K auf dem Eingabeband gelesen wird. Der O-Nachfolger ist der Knoten , der die Konfiguration reprasent iert, die au s K in einem Schritt erreieht wird , wenn Xi = 0 ist . An alog wird der 1-Nachfolger defini ert. Da wir nur a uf allen Eingaben ha ltende Turingm aschinen betracht en , erhalten wir einen azyklischen Graphen und damit ein Branchingprogramm. An dem Knoten, der der Anfangskonfiguration ent spricht, wird die boolesche Funktion realisiert, die dem Akzeptanzverhalten der Turingmaschine auf Eingab en der Lang e n ent sprieht. 0 Was ande rt sieh, wenn die gege bene Turingmaschine nichtuniform ist und die Hilfsinformation eine Lan ge von h(n) hat ? Die Anzahl der Konfigurationen und damit die Gr oBe des simulierenden Br anchingprogramms wachst um den Faktor h(n) :::;; 2 fIog h (n )1 . Dies hat zu der Konvention gefuhrt, bei niehtuniformen Turingmaschinen zu dem Sp eicherplatzbedarf den Wert [log h( n) l zu addieren. Wir konnen st at t dessen auch s** (n) = max{s(n), [log n ], pogh(n)l} defini eren. Der Term [log n ] hat fur das Einga beband die gleiehe Fu nktion wie der Term [log h( n) l fur das Band mit der Hilfsinformation. K orolla r 14 .4. 3 . Ein e s (n) -speicherplatzbeschriinkte nichtunijorme Turingmaschi ne kann durcli Bmnchingprogmmme der GrojJe 20 (s" " (n ) ) simuliert uierden .

Die Ergebnisse lassen sieh fur den " normalen" Fall , dass s(n) 2:: logn , BPUn) 2:: n und h(n) polynomiell bes chrankt ist , zus ammenfassen : Sp ei cherplaizbedar] und Logarithmus der BmnchingprogmmmgrojJe haben dieselbe Gr ojJenordnung.

Um fur Sprachen L E NP, L E P od er L E NTAP E (log n ) nach zuweisen, dass sie nieht zu DTAPE(1og n) gehoren, kann man versuchen , superpolynomi elle untere Schr anken fur die Branchingprograrnmgrofle der Funktionen jL = U;;) zu beweisen . Dies ist auch der am haufi gsten aus probierte Ans atz fur derartige Ergebnisse. Bish er wach sen die so erzielt en unteren Schranken fur die Bran chingprograrnmgrofe lan gsam er als qu adratisch (siehe Kapi t el 16) .

14 .5 P oly nomielle Schaltkreise fii r P robleme in BPP Wir haben schon mehrfach diskuti ert, dass BPP " nicht viel grofer " als P ist . Es ist moglich , dass BPP = P ist , abe r die Frage, ob BPP = P ist , ist no ch unbeantwo rtet . Hier unt erm au ern wir die Au ssage, dass Probleme in

14.5 Polynomielle Schaltkreise fur Probleme in BPP

225

BPP komplexitatstheoretisch nicht viel schwieriger als Probleme in P sind. Fur ein Entscheidungsproblem A E BPP lassen sich die booleschen Funktionen fA = (f;;) von Schaltkreisen polynomieller GroBe berechnen. Wenn diese Schaltkreise einheitlich beschr eibbar waren, dann wurde P = BPP folgen . Bisher konnen jedoch nur nichtuniforme Schaltkreise fur beschrieben werden. Der Trick liegt darin, dass wir fur BPP-Algorithmen die Fehlerwahrscheinlichkeit sehr klein machen konnen - so klein , dass es nach dem Schubfachprinzip eine Belegung der Zufallsbi ts geb en muss, fur die der BPPAlgorithmus fehlerfr ei arbeitet. Diese Belegung der Zufallsbits wahlen wir als Hilfsinformation fur eine nichtuniforme Turingrnaschine , die dann, wie in Kapitel14.2 und 14.3 beschrieben , durch Schaltkreise simuliert werden kann.

f;;

Theorem 14.5.1. Entscheidungsproblem e A E BPP kimn en durch polynomiell zeitbeschriinkte deterministische ni chtuniforme Turingmaschin en qelost werden. Die booleschen Funktionen f A = (f;;) haben polynomielle SchaltkreisgrojJe. Beweis. Da A E BPP ist , gibt es nach Theorem 3.3.6 eine randomisierte Turingm aschin e M , die A in polynomieller Zeit p(n) mit einer durch 2- (n+l ) beschrankten Fehlerwahrscheinlichkeit ents cheidet . Wir betrachten nun eine 2n x 2p( nLM atrix, wob ei die Zeilen die Ein gab en der Lange n und die Spalten die Belegungen des Zufallsvektors r reprasentieren. Da in p( n) Schritten nicht mehr als p(n) Zufallsbits ver arbeitet werd en konnen, ist es au sreichend, Zufallsvektoren der Lan ge p(n) zu betrachten . Die Matrix ent ha lt an der St elle (x , r) eine 1, wenn M auf Eingabe x fur den Zufallsvektor r einen Fehler rnacht. Ansonst en ist der Eintrag O. Da die Fehlerwahrscheinlichkeit durch 2- (n+l) beschrankt ist , ent halt jede Zeile hochst ens 2p (n ) - (n +l ) Einsen . Die Gesamtzahl der Einsen in der Matrix ist also durch 2P(n ) - 1 beschr ankt. Nach dem Schubfachp rin zip muss sogar die Halft e der Spalt en aus lauter Nullen bestehen . Einer der zugehorigen Zufallsvektoren r~ wird als Hilfsinformation h( n) fur eine nichtuniforme Turingmaschine M' gewa hlt. Die Turingmaschin e M' simuliert M fur die fur alle Eingab en der Lange n fest gewahlte Belegung des Zufallsvektors. Damit ar beitet sie determinist isch und fehlerfrei. Auferdem ist ihr e Rechenzeit ebenfalls durch p(n) beschrankt . D

Fur BPP-Algorithmen mit geniige nd kleiner Fehlerwahrscheinlichkeit gibt es einen fur alle Eingab en gleicher Lan ge goldenen Rechenweg. Dieser Rechenweg kann effizient simuliert werden - wenn er bekannt ist . Die Schwierigkeit bei der allgemeinen Derandomisierung (derandomization) von BPPAlgorithmen, also deren det erministischer Simul ation, liegt in der Schwierigkeit , diesen goldenen Rechenweg zu finden. Das wiederum liegt nicht daran, dass es nur wenige goldene Rechenwege gibt . "Venn wir die Fehlerwahr scheinlichkeit des BPP-Algorithmus auf 2- 2n senken, ist der Anteil goldener Rechenwege an allen Rechenwegen mindest ens 1 - 2- n .

226

14. Die Komplexit at von nichtuniformen Problemen

14.6 Komplexitatsklassen fur Berechnungen mit Hilfsinformationen Bevor wir un s fragen, ob wir NP-Algorit hmen ebenso wie BPP-Algorithmen durch Schaltkreise polynomieller GroBe simulieren kon nen , wollen wir zu nichtuniformen Turingmaschinen gehorende Komplexitatsklassen nah er unt ersuchen . In polyn omieller Zeit kann nur eine polynomielilan ge Hilfsinformation gelesen werden . Dah er erla uben wir nur Hilfsinform ationen polynomieller Lange. AuBerdem beschranken wir uns auf det erministische und nichtdet erministische polynomiell zeitbeschr ankt e Berechnungen. F ur beide Aspekte sind Ver allgemeinerungen nah e liegend .

Definition 14.6.1. Die Komplexitatsklasse P j poly ent ha lt Entscheidungsproblem e, die von nichtuniformen det erministi schen Turingm aschinen mit einer Hilfsinformation polynomieller Lan ge in polynomieller Zeit entsc hieden werden konnen . An alog ist NP j poly fur nichtdet erm inistis che Turingmaschinen definier t . Die folgende Ch arakterisierung von P j poly folgt aus den fruher en E rgebnissen . Korollar 14.6.2. Pj poly enthiilt genau die En tscheidungspm bleme A , fur die f A = U;;) polynomielle S chaltkreisgrofle hat .

B eweis. Theorem 14.3.1 besagt , dass aus polynomieller Schaltkreisgrofe fur fA = U;;) die Beziehung A E P j poly folgt . T heorem 14.2.1 und die Bemerkungen zu Beginn von Kapi t el 14.3 beschreib en die andere Richtung der Beh auptung. 0 Nun konnen wir Theorem 14.5 .1 auch in der tlbliche n Kurzform prasent ieren. Korollar 14.6.3. BPP

<:;;;

Pjpoly.

Das zent rale NPi=P-Problem hat ein nichtuniform es Analogon , das NP j polyi=P j poly-P roblem. Urn ein besse res GefUhl fiir die Kornpl exit at sklasse NP j poly zu erha lten, st ellen wir auch fur diese Komplexit atsklasse eine schalt kreisbas ier te Cha rakterisieru ng vor. Da NP der Verwendung eines Exist enzqu antors tiber einem polynorniell lan gen Bitvektor "ents pricht", miissen wir Schaltkreisen die Moglichkeit gebe n, einen Existenzqua nto r zu realisieren .

Definition 14.6 .4. Ein nichtdeterminist ischer Schaltkreis S ist ein Schaltkreis, bei dem die Ein gab evariablen in Eingaben x der Funktion und nicht det erministische Vari ablen y eingeteilt sind . Der Scha lt kreis realisiert am Baustein G die bool esche Funktion f auf [z] Variabl en , die fur die Eingab e a den Wert 1 annimmt , wenn es eine Belegung b der y-Var iabl en gibt , so dass an G fur (a, b) der Wert 1 berechn et wird .

14.7 Gibt es polynomielle Schaltkreise fur alle Probleme in NP?

227

Theorem 14.6 .5. NPjpoly en thiilt gen au die Entscheidu ngsproblem e A , fu r die es fur die booleschen Fun kt ionen f A = U:( ) nic htdeterministische Sc halikreise polynomieUer Grofle gibt . B eweis. Sei zun achst angenommen, dass A E NP j poly ist . W ir konnen anneh men , dass wir eine nicht uniforme nichtdet erministische Tu rin gm aschin e M fur A hab en, die auf Eingabe n der Lan ge n gena u p(n) Schritt e macht , wob ei p ein Polynom ist . Der Schaltkreis Sn , der M auf Eingab en der Lan ge n simulieren solI, erha lt neb en den n Eingab evariabl en konst ante Ein gab en , die die Hilfsinformation fur M bei Ein gab elan ge n dar st eIlen , und p(n) nichtdete rminist ische Eingab evari ablen , die die von M benu t zt en nichtdeterrnini st ischen Entscheidungen beschreib en. Bezogen a uf diese verlangerte Eingabe arbeitet M deterministi sch und kann durch einen polynomiellen Schalt kreis simuliert werden. Dieser Schaltkreis realisiert als nichtdet ermi nist ischer Schaltkreis mit der beschri eb enen Ein teilung der Ein gab evariabl en Es seien nun nichtdeterministische Schaltkreise S = (Sn) fur f A = (1;;) gegeben. Die nichtuniforme Turingmaschine M erha lt als Hilfsinform ation fur Eingab en der Lan ge n eine Beschreibung von Sn' Sie erzeugt nichtdet erminist isch Werte fur die nichtdet erministischen Var iablen und simuliert S n auf dem so erganzte n Eingab evektor . Damit wird in polynomieller Zeit A nichtdet erministi sch entsc hieden. 0

f;; .

14.7 Gibt es polynomielle Schaltkreise fur alle Probleme in NP? Da BPP <:;; P j po ly ist , stellt sich die Frage, ob auch od er soga r NP <:;; P j poly ist . Dies wurde zwar nicht unb edingt zu effizienten Algorithmen fur Nl-- aquivalente P rob leme fiihren , wir wurden aber besser erkenn en , was die Schwierigkeit dieser Probleme a usmac ht . Da sich polynomielle Reduktionen durch Schaltkreise polynomieller GroBe simulieren lassen , sind ent weder aIle NP vollst andigen Probleme in P j poly ent halte n oder kein Nl-
228

14. Die Komplexitat von nichtuniformen Problemen

wir? Nach unseren Erfahrungen ist die St andardantwort SAT od er 3-SAT . Diese Wahl ist a uch hier geeignet . Wichti g fur un seren Beweis ist jedo ch nur , dass das gewa hlte NP-vollst andige Problem folgend e Eigenschaft hat . Definition 14.7.1. Ein Ents cheidungsproblem A heiBt polynomiell selbstreduzierbar (polynomially self-redu cible) , wenn es aufsich selbst so turingreduzierbar ist, dass die Aufrufe des Unterprogramms fur A nur kilrzere Eingab en betreffen als die zu entscheidende Ein gab e. Wir werd en spa ter sehen, wie diese Eigenschaft ausge nutz t wird . Zun achst zeigen wir beispielh aft fur zwei der uns bekannten NP-vollstandigen Probleme, dass sie polynomiell selbstreduzierbar sind. Lemma 14.7.2. SAT und CLIQUE sind polynomiell selbstreduzierba r. Beweis. Fil r SAT entscheiden wir Eingaben, in denen keine Vari abl e vorkommt , dir ekt in polynomieller Zeit . Ansonst en wahl en wir fur die Ein gab e E eine darin vorkommende Variable x aus, bilden Eo = E !x=o und E 1 = E [x=l und befr agen das Unterprogramm fur SAT fur diese beiden kiir zeren Eingaben . Es ist E genau dann erfullba r, wenn mindestens eine der beiden Formeln Eo od er E 1 erfullbar ist . Fur CLIQUE entscheiden wir Ein gab en mit n = 1 od er k = 1 direkt in polynomieller Zeit . Es sei nun (G, k) eine Ein gab e fur CLIQU E. Es entstehe G 1 a us G, ind em wir einen Kn ot en v ent ferne n, und G 2 aus G, indem wir den Subgraphen auf allen mit v verbundenen Knoten bilden. Beide Gr aphen G 1 und G 2 hab en eine ktlrzere Beschreibung als G . Wir rufen nun CLIQUE fur (G 1, k) und (G 2 , k - 1) auf und akzeptieren (G , k) gena u dann, wenn mind est ens einer der beiden Aufrufe von CLIQUE seine Eingab e akzeptiert. Diese Ent scheidung ist korr ekt , da G gena u dann eine Clique der GroBe k ha t, wenn G schon ohne v eine Clique der Grofe khat od er eine v ent ha ltende Clique der GroBe khat . Der zweite Fall ist aber aquivalent dazu , dass es auf den Nachbarn von v eine Clique der GroBe k - 1 gibt . 0 Zu einem polynomiell selbst reduzier ba ren Problem A bezeichnen wir mit MA die polynomiell zeitbeschr ankte Tu ringmaschine, die A mit Aufrufen eines A-Unterprogram ms fur kurzere Ein gab en entsc heidet . Diese Turingmaschin e kann nun auch eingeset zt werden, wenn bei den Unterprogram maufrufen ein anderes Entsc heidungsproblem B gelost wird. Die dann von M A akzept ierte Spr ache bezeichnen wir mit L(M A , B). SchlieBlich solI fur C S;; {O,l}* mit C~n die Menge aller x E e mit Ixl ::; n bezeichnet werden . Nun sind wir in der Lage, ein tec hnisches Lemm a zu beweisen, das Kons equ enzen aus der polynomiellen Selbstredu zierbarkeit von A zieht . Lemma 14.7.3. F ur ein polynomiell selbstreduzierb ares E nt scheidungsproblem A und eine Sprache B S;; {O, 1}* sei L(MA , B) ~ n = B~ n . Dann ist a uch A ~ n = B~n '

14.7 Gibt es polynomielle Schaltkr eise fiir alle Probleme in NP?

229

B eweis. W ir zeigen d ie Au ssage mit Induktion tiber n . FUr n = 0 ist die einzige erlau bt e Eingab e das leere Wort. Da es keine kurzeren Worter gibt, wird das Unt erprogramm von M A gar nicht aufger ufen und es gilt A s: o =

L(MA, A) s:o = L(MA , B) s:o = B s: o· Es seien nun L (MA , B) S:n+l = B S: n+1 und A s: n = B s: n vor ausgeset zt . Zu zeigen ist A S: n+1 = B s: n+1 . FUr ein Wort der Lange n + 1 befragt die

T'uringm aschin e das Un terprogr amm nur fur Wort er y mit Iyl ::; n . E s ist also gleichgtiltig, ob das Unterprogramm die Sprache A, A s: n = B s: n od er B akzeptiert. Damit folgt A S: n+1 = L(MA , A) S:n+l = L (MA , B) S: n+l = B S: n+l' wob ei die let zt e Gleichung nach Vorau sset zung gilt . In sgesamt ist das Lemma

D

b ew~sen .

FUr un sere weiteren Ube rlegunge n wahlen wir ein polyn omi ell selbstred uzier bares NP-vollstandiges E ntscheid ungs problem A . Der ar ti ge Problem e hab en wir j a in Lemma 14.7.2 kennen gelernt . Wied er sei M A die polynorniell zeit beschrankte Thrin gm aschine, die A mit Hilfe kur zerer Anfragen an ein A-U nt erprogr amm entscheide t . Unser Ziel ist es, aus A E P j poly, also der Exist enz pol ynomieller Sch altkreise S = (Sn) fur f A = (f;;) , E2 = E3 zu folgern. Dazu ist es notwendig, dass die E ingaben fur A bin ar codiert sind. Schaltkreise bearbeit en nur Eingaben eine r festen Lange. F Ur unser e Bet racht ungen hatt en wir gerne Schaltkreise, die alle Eingab en bis zu einer Lan ge m bearbeit en konnen . Dazu betracht en wir eine n Schaltkreis mit E ingab elange m + [log m l, der die ers t en [log m l E ingabe bits als Zahl i E {I, . . . , m } interpretiert und dann den ursp runglichen Schaltkreis Si auf den nachst en i Einga be bits simuliert . Es ist leicht, aus S = (Sn) derartige Schalt kreise S;;' mit ebe nfalls polynomieller G roBe in polyn omi eller Zeit zu kons truieren . Wenn nun ein Unterprogr amm au fgeru fen werden soll, das fur beliebi ge i :::; m den Schaltkreis Si auf einer Eingabe x der Lan ge i simuliert, dann konnen wir dieses Unterprogramm durch ein Unterprogr amm, das S;;' simuliert, ersetzen . Innerhalb des Unt erprogr amms wird zunachst eine passende Eingabe fur S;;' berechn et . Nach diesen Uberlegungen folgt , dass L(MA , S;;' )<m = A <m ist. Anders ausge druckt: FUr Eingaben x der Lange i ist x E L (MA , S;;') genau dann , wenn Si( X) = 1 ist. Mit diesen VorUberl egungen werden wir nun zeigen, wie wir aus der Annahme , dass Schaltkreise fur das Nf--vollstandlge Problem A polynomielle GroBe hab en , ableiten konnen , dass Spr achen aus E 3 soga r zu E 2 gehore n.

Theorem 14.7.4. A us NP

~

P j poly folgt E 2 = E 3 .

Beweis. Wir betrachten das polynomiell selbstred uzierbare Nl--vollstand lge Ent scheidungsproblem A . Falls NP ~ P j poly ist, gibt es fur A eine Schaltkreisfamilie S = (Sn) pol ynomieller GroBe, d ie fA = (f;; ) realisier t . Wi r wer den auch die in den Vorb etrachtungen konstruier t en Schaltkreise S;;' polyn omi eller Gr oBe verwenden. Es sei nun L E E 3 . Nac h T heo rem 10.4.3 gibt es fur L eine :3\1:3Charakterisierung mit einem polynomiellen P radikat . Diese konnen wir in

230

14. Die Komplexitat von nichtuniformen Probl emen

eine 3V-Charakterisierung mit eine m NP -P radikat verwandeln . Da A NPvollst andig ist , konnen wir das NP-Pradikat mit einer polynomiellen Tr an sform ation f auf A reduzieren . Also gilt fiir ein Pol ynom p

L

= {x I 3y, Iyl :::; p(lxl) Vz, Izi

< p(lxl) : f( x , y , z ) E A } .

Die Lan ge von f( x , y, z) ist fur ein Polynom q durch q(lxl) beschrankt. Wir behaupten , dass sich L au ch auf folgende Weise chara kte risieren lasst , wobei p' ein geeignetes Polynom ist .

L

= {x I 3(S , y) , lSI :::; p'(l xl), Iyl :::; p( lxl) V(w, z), Iwl :::; q(lxl) , Izi :::; p( lxl) : S beschreibt einen Schaltkreis mit in [z ] pol ynomieller GroBe fur E ingaben , deren Lan ge hochst ens q(lxl) betragt , w E L(MA, S) ¢} Slwl(w) = 1, S berechn et auf f( x , y , z ) den Wert I}.

Dam it diese Charakteri sierung L E E 2 beweist , miissen die dr ei Eigenschaften in polynomieller Zeit tibe rprtlfba r sein. Fur die erste Bedingun g ist dies bei der ubli chen Beschreibung von Schaltkreisen klar , ftlr die zweite Bedingung folgt dies, da M A polynomiell zeitbeschrankt ist, wir die Unterp rogr ammaufrufe durch die Simul ation von S ersetzen konnen und die Auswer tung von Schaltkreisen in polynomieller Zeit moglich ist . Da f eine in pol ynomieller Zeit bere chenbare Transformation ist , kann auch die dritte Bedingun g in polynomieller Zeit ub erpruft werden. SchlieBlich zeigen wir , dass die Cha rakterisierung von L korr ekt ist . Sei zunac hst x E L . Als Schaltkreis S wahl en wir einen Schaltkreis polynomieller GroBe, der fur (b,a) E {O,l} fI ogq(lxi)l X {O,l}q(l xi) uberpruft , ob das Prafix von a der Lange bin(b) zu A gehort . Dab ei beschr eib t bin(b) die durch b dargest ellte Zahl aus {I , .. . , q( Ixl)}. Wir betracht en S als Schaltkreis fur Ein gab en a mit lal :::; q(lx l), die er auf ZugehOrigkeit zu A iiberpruft. Die Korrektheit der zweiten Bedingung hab en wir schon in den Voruberlegungen gezeigt . Nach Lemma 14.7.3 akzept iert S gena u die E ingaben a us A und damit f( x , y , z ). Im Umkehrschluss nehmen wir an, dass x die angegebene Ch ar ak t eri sierung errnoglicht . Mit der zweiten Bedingung folgt aus Lemma 14.7.3, dass S die Eingab e (b, a) E {a, 1}fIogq(lxi)l+q (I Xi) gena u dann akzeptiert, wenn das durch b bestimmte P rafix von a zu A gehort . Aus der dritt en Bedingung folgt f( x , y , z) E A . Die Au ssage x E L folgt nun a us der zuvor angege be nen Ch ar ak t erisierung von L. In sgesam t ist das T heorem bewiesen. 0 Die Ergebnisse aus Korollar 14.6. 3 und T heo rem 14.7.4 lassen sich so interpret ieren , dass NP vermutli ch beziig lich der Schalt kre isgrofe schwierigere Probleme ent ha lt als BPP. Insb esondere wird wohl NP nicht in BPP ent halte n sein.

15. Kommunikationskomplexitat

15.1 Das Kommunikationsspiel Das Ziel der Kornplexitatstheorie besteht darin, die Mindestressourcen zur Losung von algorithmischen Problemen abzuschatzen. Die bisher bewiesenen unteren Schr anken beruhen auf komplexitatstheoretischen Hypothesen od er beziehen sich a uf spezielle Szenarien wie das Black-Box-Szenario. In diesem und dem folgenden Kapitel werden ohne komplexitatstheoretische Hypothese untere Schranken fur eine Ressource unter der Bedingung, dass eine andere Ressource beschrankt ist, gezeigt, also so genannte Trade-off-Resultate. Dazu gehoren in Kapitel 16 untere Schr anken fur die GroBe tiefenbeschrankter Schaltkreise od er fur die GroBe langenbeschrankter Branchingprogramme. Die wohl frtihesten Resultate dieser Art bezogen sich auf die Flache A und die parallele Rechenzeit T von VLSI-Schaltkreisen (siehe auch KapiteI15.5). Ftir bestimmte Funktionen f = Un) hat Thompson (1979) gezeigt, dass das Produkt aus Flache und quadrierter Rechenzeit asymptotisch mindestens wie n 2 wachsen muss, formal ausgedriickt: AT 2 = fl(n 2 ) . Also konnen Flache und parallele Rechenzeit nicht gleichzeitig sehr klein werden. Yao (1979) hat den Kern der beim Beweis dieser Schranken benutzten Ideen herausgefiltert und von der konkreten Anwendung getrennt . Daraus entstand die Theorie der Kommunikationskomplexitat, die auf folgend em K ommunikationsspiel (communication game) beruht. Alice und Bob kooperieren, urn eine Funktion f : A x B ~ C bei verteilter Information tiber die Eingabe aus zuwerten . Es soll f(a , b) mit a E A und b E B berechnet werden, wobei Alice a, ab er nicht b, und Bob b, aber nicht a kennt . Wie die Eingabe auf Alice und Bob verteilt wird, gehort zur Problemstellung. Das Ziel besteht darin, dass Alice und Bob wissen, dass sie beide f(a, b) kennen. In der Theorie der Komrnunikationskornplexitat wird nur der Fall endlicher Mengen A, B und C behandelt. In den meisten unserer Beispiele untersuchen wir boolesche Funktionen mit einer Ausgabe, also den Fall A = {O, 1}m,B = {O, I}" und C = {O, I}. Das Kommunikationsspiel stellt die zwischen Alice und Bob ausgetauschte Information in den Mittelpunkt. Das Ziel ist die Minimierung der maximalen Anzahl (bezogen auf die verschiedenen Eingaben (a, b)) von ausgetauschten Bits. Urn dies zu prazisieren, miissen die Spielregeln erklart werden. Bei Kenntnis der Funktion I , aber in Unkenntnis einer konkret en Eingabe (a, b) I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

232

15. Kommunikationskornplexit at

einigen sich Alice und Bob auf ein K ommunikationsprotokoll (communication protocol) P , das aus einem Protokollbaum (protocol t ree) T p zur Auswertung von f best eht. Der Protokollbaum ist ein bin ar er Baum, bei dem je der inn ere Knoten von einer O-Kante und einer l -K ante verlassen wird. Die Blatter sind mit Werten c E C markiert. Jeder inn ere Knoten v ist Alice od er Bob zugeordnet , also A-Knoten oder B-Knoten. Zu jedem A-Knoten v gehort eine Menge A v <:;;; A mit der Interpretation, dass nur Eingab en (a , b) mit a E A v diesen Knot en erre ichen konnen , und eine Entscheidungsfunktion gv : A v -+ {O, I }. An aloges gilt filr B-Knoten . Dieser Protokollbaum wird nun fur konk ret e Eingabe n (a, b) E A x B folgendermaBen benutzt. Die Kommunikation beginnt an der Wurz el, die somit fur aIle Eingab en erreicht wird. Falls der A-Knoten v er reicht wird, berechn et Alice gv(a) und sendet gv(a) an Bob . Dar auf wird der gv(a)-Nachfolger von v erreicht . An aloges gilt filr B -Knot en. Damit der Protokollbaum zur Auswertung von f geeigne t ist , muss das fur die Ein gab e (a , b) schlieBlich erreichte Blatt l(a, b) mit f( a, b) markiert sein. Wenn Alice und Bob das Protokoll P verwenden , tauschen sie fur die Ein gab e (a, b) genau soviele Bits a us, wie es Kanten auf dem Weg von der Wurzel von T p bis zu l(a , b) gibt . Die Tiefe dp(a, b) des Blattes l(a , b) in Tp beschreibt den Kommunikationsaufw an d bei Eingabe (a , b). Die Lange des Protokolls P wird als Max imum aller dp(a , b) definiert und mit l(P) bezeichnet . SchlieBlich ist die Kommunikationskornplexit at (communication complexity) C(J) die min imale Lan ge eines P rotokolls zur Auswertung von f . Da wir uns nicht urn die Ressourcen kummern, die es erfordert , sich tiber das Protokoll zu einigen, ist die Kommunikationskornplexit at ein nichtuniformes Komplexit at smafi. AuBerdem wird von manchen Aspekten wie der Beschreibung und der Auswertung der Entsc heidungsfunkt ionen gv an den inneren Knoten abst rahiert. Dah er filhrt ein kurzes Protokoll nicht unb edingt zu einer effizienten Cesamtlosung des betracht et en Problems. Dagegen hab en groBe untere Schr anken filr die Kommunikationskomplexitat die Kon sequenz , dass das Problem nicht effizient losbar ist. Wir sind daher vor allem an unt eren Schranken interessiert und benu t zen ob ere Schr anken , urn zu ube rprufen, wie gut die erzielte n unt eren Schr anken sind . Wir ver an schaulichen die Definit ionen an einem Beispiel. Die boolesche Funktion f( ao, . .. , a3, bo, .. . , b3, so, Sl ) solI den Funkt ionswert 1 gena u dann annehme n, wenn alsl = blsl fur lsi = So + 2s1 ist . Wir beschr eib en zunac hst informell ein Protokoll zur Auswertung von I , wenn Alice ao, . . . , a3 und So und Bob bo, . .. , b3 und Sl kennt: -

Alice sendet so. Bob sendet Sl. Bob ber echnet lsi und sendet bl sl' Alice berechnet ls i und send et 1 gena u dann, wenn alsl = blsl ist .

15.1 Das Kommu nikat ionsspi el

233

Der zuge horige P rotokollbaum ist in Abbildung 15.1.1 veran schaulicht , wob ei die Kn ot en als Markierung ent halte n, wer ein Bit sendet und wie dieses Bit berechnet wird.

Abb. 15.1.1. Ei n P rot okollbaum, bei dem aus Grunden der Ubersicht lichkeit die let zt e Ebene fehlt. Die l-Kan t en filhr en zu I-Bliittern und die O-Kanten zu 0-Blattern.

Das P rot okoll hat eine Lan ge von 4. Die Anzahl der so genannte n Kommunikation srund en (comm uni cat ion rou nds) betragt 3, da auf jedem Weg des P rot okollbaums die Rolle, wer send et und wer em pfangt , nur zweimal wechselt . Wenn Alice ao, aI , bo, b: und So und Bob az, a3, oz, b3 und SI kennt , kann folgendes Protokoll der Lan ge 3 verwend et werden : - Alice sendet So. - Bob sendet SI. - Alice und Bob berechnen lsi- Falls lsi ::; 1 ist , kann Alice entscheiden, ob alsl = blsl ist , und das Ergebnis an Bob senden. Ansonst en kann Bob entscheiden, ob alsl = blsl ist , und das E rgebnis an Alice senden. Bevor wir die moglichen Anwendungen der Theorie der Kommunikationskornplexitat diskutieren , wollen wir an einem einfach aussehenden Beispiel zeigen, dass es keinesfalls einfach ist , gute Protokolle zu entwerfen. Wir untersuchen folgende Funktion f n: {O, 1} n X {O, 1} n ---* {1, . . . , n} . Alice int erpretiert ihre Ein gab e a als charakte ristisc hen Vektor einer Menge A <:: {I , . .. , n} . Die Menge A ent ha lt also i genau dann, wenn a; = 1 ist . Analog int erpret iert Bob b als Menge B . Es solI f n(a , b) der Median der Mult ime nge A u B sein. Wenn also A und B zusammen s Element e ent ha lte n, ist f n(a, b) in der sort iert en Folge da s Element an Positi on Is/21- Wir wollen zeigen, dass die Kommunikationskornp lexit at von f n von der Gr oBe 8(logn) ist . In diesem Fall ist die untere Schranke [log n 1 einfach zu zeigen. Da A = {i} und B = 0 sein kann, muss jeder Protokollbaum ein Blat t mit Marki erung i ent ha lte n. Die unter e Schr anke folgt , da binar e Baume mit mindest ens n Blattern eine Mindest t iefe von [log n1 hab en .

234

15. Kommunikationskomplexit at

Zun achst st ellen wir ein einfaches Protokoll der Lan ge o (1og2 n) vor. Dazu fuhren Alice und Bob eine bin are Suche auf {I , . . . , n } nach dem Median M durch. Die gen annte Schr anke folgt also, wenn Alice und Bob mit einem Protokoll der Lange O(logn) entsc heiden konnen , ob M ::; m fiir ein m E {I , . .. , n } ist . Hierzu send et Alice die Anzahl aller Elemente in A und die Anz ahl der Elemente i E A mit i ::; m . Nun kann Bob die Anzahl aller Elem ente in Au B , wobei wir st ets Multimengen betracht en , und die Anz ahl der Elemente i E A u B mit i ::; m berechnen . Dah er kennt er die Antwort auf die gestellte Frage und kann diese an Alice senden . Das Protokoll mit Lange O(1ogn) ist komplexer . In einem Vorb ereitungsschritt tauschen Alice und Bob die Wert e IAI und IBI a us. Dazu geniigen 2flo g(n + l)l Bit s. Es sei nun k die kleinste Zweierpotenz, fur die k 2: IAI und k 2: IBI ist . Offensichtli ch ist k < 2n . Alice und Bob fullen ihr e Menge nach einem vorgegeb enen Schema so auf, dass am Ende IAI = IBI = kist und sich der Medi an von A u B nicht geandert hat . Falls IAI + IBI gerade ist , werden gleich viele Element e 1 wie n als Fiillelem ent e benutzt . Ansonsten wird das Elem ent n einmal mehr als Fiillelement gewa hlt. Alice und Bob kennen den Wert von k . AuBerdem verwalten sie eine Intervallm enge ga nzer Zahl en als mogliche Kandidat en filr den Wert des Medi an s. Da die GroBe dieser Menge I eine Zweierpotenz sein solI, beginnen sie mit I = {I , . . . , 2 [log nl }. W ir zeigen die Behauptung, indem wir ein Protokoll der Lan ge 2 beschreib en , das ausreicht , um k od er II I zu halbieren. Spatest ens nach [log n l + log k - 1 = O(1og n ) dieser Schritte ist III = 1 od er k = 1. Falls III = 1 ist , kennen Alice und Bob das einzige Element in lund damit den Medi an . Falls k = 1 ist , tauschen Alice und Bob die einzigen Eleme nte aus A und B aus. Der Med ian ist gleich dem kleineren der beiden Elemente. Es muss noch das angekiindigte Protokoll der Lange 2 beschri eben werden. Alice berechn et den Medi an a' der aktuellen Menge A und Bob ana log b'. Es sei i das minimale Element in I. Alice betracht et die Bin ardarstellung der Lang e flog IIll von a' - i und sendet das signifikantest e Bit a* an Bob . Analog berechnet und sendet Bob tr : Falls a* = b" ist , muss fur den Medi an M die Bin ardarstellung von M - i der Lan ge [log II ll mit a* beginn en. Dies geniigt , um II I zu halbi eren. Falls a* = 0 ist , wird I durch seine erste Halft e ersetz t, ansonsten durch seine zweit e Halft e. Fur den Fall a* -=/= b* betracht en wir aus Symmetriegriinden nur die Situation a* = 0 und b* = 1. Dann ent fernt Alice die kleinere Halft e der Elemente aus A und Bob die grofere Halft e der Element e aus B . Damit wird k halbiert, abe r der Median nicht ver andert. Das Medi anproblem hat also eine Kommunikationskornplexitat von 8 (logn) . Dieses Beispiel hat auch gezeigt, dass Protokollbaume gut fur strukturelle Ub erlegungen geeignet sind, wahrend konkrete Protokolle besser algorit hmisch beschrieben werden . In welchen Bereichen kann das Kommunikationsspiel Anwendungen finden ?

15.1 Das Kommunikationsspiel

235

In Netzwerken oder Multiprozessorsystemen mit verteilter Information beschreibt die Kornmunikationskornplexitat direkt den Mindestaufwand zur Losung einer Aufgabe. Dabei handelt es sich urn ein Kommunikationsspiel mit vielen Beteiligten . Oft reichen jedoch schon die Ergebnisse fur das Szenario, in dem wir aus den Beteiligten zwei Gruppen bilden , die durch Alice und Bob reprasentiert werden. Da diese Anwendungen auf der Hand liegen , werden wir nicht mehr naher auf sie eingehen. In dem schon erwahnten Beispiel der VLSI-Schaltkreise sind Chips rechteckige Flachen mit vorgegeb en en Positionen, wo die Eingabebits bereitgest ellt werden. Fur Chips mit Flache A gibt es nun einen Schnitt, dess en Lange hochstens A 1/2 + 1 betragt , so dass jeweils ungefahr die Halfte der Eingabebits auf jeder Seite des Schnitts liegen . Die beid en Chipteile mussen "kommunizieren", damit der Chip seine Aufg ab e erftillen kann. Diese Gedanken werden in Kapitel 15.5 ausgeftihrt. Wenn wir bei Turingmaschinen die Anzahl der Bander auf 1 beschranken und die Eingabe in der Mitte zerl egen , muss tib er diesen Schnittpunkt genug Information flieBen , damit die Turingmaschine ihre Aufgabe erfullen kann. Wir werden in Kapitel15.6 mit Hilfe der Komrnunikationskornplexitat zeigen , dass es Probleme gibt , die auf I-Band-Turingmaschinen Zeit f2(n 2) erfordern, wahrend 2-Band-Turingmaschinen mit linearer Zeit auskommen. In Kapitel 16 werden wir zeigen, dass es bei stark ti efenbeschrankten Schaltkreisen und Bausteinen mit unbeschr anktem Eingangsgrad fur Funktionen mit bestimmten Eigenschaften viele Kanten geb en muss , da jede Kante nur wenig zur notwendigen Kommunikation beitragen kann. Branchin gprogramme mit noch naher zu beschreib enden Restriktionen konnen so in Schichten eingeteilt werden , dass klein e Bran chingprogramme zu einem effizienten Kommunikationsprotokoll fur die dargestellte Funktion und eine geeignete Verteilung der Eingabe fuhren. Falls also die Kommunikationskornplexitat der Funktion groB ist, muss auch das Br anchingprogramm groB sein . Bevor wir zu den Anwendungen kommen, zeigen wir, wie wir untere Schr anken fur die Kommunikationskomplexitat beweisen konnen , In Kapit el 15.2 untersuchen wir das bereits definierte det erministische Kommunikationsspiel. Spater erweitern wir die Methoden auf randomisierte Kommunikationsprotokolle. In Kapitel 15.3 untersuchen wir den Fall eines einseitigen , abe r unbeschrankten Fehlers, also nichtdet erministische Protokolle, und in Kapitel 15.4 ein- und zweiseitige Fehler, die nur mit kleiner Wahrscheinlichkeit eint ret en durfen .

Das Kommunikationsspiel zwischen Alice und Bob ist eine Abstraktion vieler sehr unterschiedlicher Problem e. Fragestellungen werden auf den Kern des Informationsaustausches zwischen zwei an der ProblemlOsung beteiligten M odulen reduziert. Untere Schranken filr die K ommunikationskomplexitiit konkreter Funktionen haben also in zahlreichen Modellen Kons equenzen fur die Komplexitiit des betrachteten Problems.

236

15. Kommunikat ionskomplexitat

15.2 Untere Schranken fur die Kommunikationskomplexitat Das Beispi el der Medi anberechnung hat deutlich gemacht, dass wir nicht auf naive Weise argu me ntieren konnen , urn die Kommunikationskornpl exit at eine r Funktion zu bestimmen . Selbst in dem zuvor untersucht en Beispiel eine r Funktion f mit zeh n Eingab ebits und zwei verschiedenen Auft eilungen der Eingab e gla u be n wir bish er nur, dass die angege benen Protokolle der Lan ge 4 und 3 optim al sind. Der Schliiss el zum Beweis unterer Schr anken liegt in der Unter suchung von Prot okollbaumen und der Erkennt nis, dass die Men gen L, ~ A x B aller Eingab en , die eine n Knot en v er reichen , ga nz spez ielle E igenschafte n hab en . Offensichtlich bilden die Mengen L, fiir die Blat ter v des Protokollbaums eine P artiti on , also eine disjunkt e Zerlegung von A x B. Wi r zeigen nun ind uktiv tiber d ie Tiefe des Knot ens v, dass L; = A v x B ; fur Men gen A v <;;;; A und B ; <;;;; B ist. Fur die Wurzel r ist offen sicht lich I; = A x B . Sei nun ein Knot en v mit L, = A v x B v und den beiden Nac hfolgern V a un d VI gegeben . Aus Symmetriegrtinden konnen wir anne hmen, dass vein A-Knot en ist . Nac h Definit ion ist I vo = g;I(O) X B v und I v! = g;l (l) x B v . Damit ist die Be haupt ung scho n bewiesen . In eine m Protokollbaum ftir f folgt fur ein mit c markiertes Blatt, dass f a uf der Menge A v x B ; die konst ante Funktion c sein mu ss. Men gen vom Typ A' x B ' spielen also eine besondere Rolle und sollen dah er eine n beson deren Name n erhalten. Zu dessen Motivation definieren wir zunac hst die Kommunikationsmatrix (communicati on matrix) der Funkt ion f: A x B ---7 C. Sie hat IAI Zeilen , die die part iellen Eingab en a E A reprasent ieren , und IBI Sp alt en , die die par ti ellen Eingaben b E B reprasentieren . An Position (a , b) steht der Eintrag f(a , b). Die Kommunikationsm atrix ist also nur eine ande re For m der Funktionst ab elle, die die Aufteilung der E ingabe zwische n Alice und Bob wid ersp iegelt. In den Abbildun gen 15.2.1 und 15.2.2 sind fur n = 3 die Kommunikation sm atrizen der Funktionen GT = (GT n ) (G r6Ber-Vergleich , greater t han) und EQ = (EQ n ) (Gleichh eitst est , eq ua lity test) angege be n . Wenn lal den Wert der Bin ard ar st ellung a bezeichn et, ist GTn (a , b) genau dann 1, wenn la l > Ib l ist, und EQn( a,b) genau dann 1, wenn lal = Ibl ist . In Abbildung 15.2.1 ist die Menge {DOl , 010 , 011} x {011, 100, 101, 110, 111} gekennzeich net. Diese Men ge bild et eine Submatrix oder a uch ein geome tris ches Rechteck . Da gegen ist die in Abbildung 15.2.2 markiert e Menge {ODD, 001,100, 101} x {DID, 011 ,110, 111} geometrisch eine Vereini gung von vier Recht ecken . Wir bezeichnen sie abe r als kom bina torisches R echteck, da die Zeilen - und Sp alt ennummerier un g in der Kommunikationsmatrix willkiirlich ist un d die betracht et e Menge nach geeigneter Zeilen- und Spaltenpe rmutation auch ein geometrisches Recht eck ist . Abkiirzend wird jede Men ge A' x B ' mit A' <;;;; A und B ' <;;;; B als Rechteck (rectangle) der Kommunikationsm atrix bezeichnet . Das Recht eck heiBt einfarbig od er m onochroma tisch , wenn aile f( a, b), (a, b) E A' X B ' , denselben Wert hab en . Wi e schon

15.2 Untere Schranken fur die Kommunikationskornplexitat

000 001 010 011 000 00 1

0 1

0 0

0

0 0

100 101 0

0

237

110 111 0

0

---- --- - - -----

10

0

0

0

01 I

I

10 01 0 0 0 1 '0 0 0 0 11 1______ -0 ______

,

0 10

I

I

0

0 11

1

1

1

100

1

1

1

1

0

0

0

0

101

1

1

I

I

I

0

0

0

11 0

I

I

I

1

I

I

0

0

III

I

1

1

1

1

I

I

0

A b b . 1 5.2.1. Die Kommunikationsmatrix von GT 3 •

000 00 1 010 0 11 100 101 110 III 000

I

0

001

0

1

010

0

0

011

0

0

r-- --

10 01 1 1 1.9 __ .9~

0

0

0

0

I

0

0

0

0

I

0

0

I

0

0

1

r- -- -

r- ---

10 01 1 1 1.9 __ .9~ 0

0

0 0 r--- 10 01 1 1 1.9 __ .9~

100

0

0

101

0

0

110

0

0

0

0

0

0

I

0

111

0

0

0

0

0

0

0

I

10 01 1 1 1.9 __ .9~

Abb. 15.2.2. Die Kommunikationsmatrix von EQ3.

beim Graphenfiirbungsproblem identifizieren wir Zahlen und Farben. Wenn uns der Funktionswert c interessiert, sprechen wir von c-Recht ecken. Wir fassen nun unsere Betrachtungen zusamme n. Ein Protokoll der Lange l filhrt zu einem Protokollbaum mit hochstens 21 Blattern. Daher wird die Eingabemenge an den Blattern in hochstens 21 einfarbige Recht ecke zerlegt . Dies konnen wir umformulieren zu folgendem Ergebnis, wobei wir ausnutz en, dass C (1) ganzzahlig ist . Theo r e m 15 .2 .1. Es sei f : A x B ----+ C gegeben. Wenn jede Partition von A x B in einfarbige Rechtecke mindestens r Rechtecke benotigt, kann die

238

15. Kommunikationskompl exitat

K om munikationskomplexitiit von f nicht kleiner als 110g r 1 sei n, d. h. C (1) 2: 110g r l

Wir beschreib en , wie wir dieses Theorem anwenden konnen, Die GroBe des Recht ecks A' x B' sei als IA' I · IB'I definiert. Wenn ge die Grofe des grofite n c-Rechtecks ist , benotigen wir mindest ens r e := flf - l (c) l/ gel c-Rechtec ke. Wenn wir die Summ e aller r e , c E C , mit r bezeichn en , liefert Theorem 15.2.1 die untere Schr anke flog r 1fur C (1). Diese Methode ist fur EQ n geeignet . Es ist f-l(l) = 2n , da fiir a E {O,1}n gena u die P aar e (a , a) auf 1 a bgebildet werden . And ererseit s kann kein Recht eck A' x B' mit IA'I 2: 2 oder IB'I 2: 2 nur P aar e (a , a) ent halten. Somit ist rl = 2n . Offen sichtlich ist ro 2: 1 und r 2: 2n + 1. Also ist C(EQ n) 2: flog(2 n + l )1 = n+1. Es folgt soga r C (EQ n ) = n + 1, da Alice ihr e Eingab e der Lan ge n an Bob send en kann und dieser dann das Er gebnis ber echnen und an Alice senden kann. Theorem 15.2.2. C(EQn )

= n + 1.

F ur GT n reicht dieses Argum ent nicht aus. So zeigt sich in Abbildung 15.2.1, dass es O-Recht ecke und l-Rechtecke gibt, die ein Viert el aller Ein gab en ub erd ecken . Als untere Schr anke erha lte n wir nur den Wert 3. Anderer seit s glauben wir nicht , dass GT n einfacher als EQ n ist . Indem wir bisher die Ein gaben geza hlt hab en , haben wir implizit aIle Eingab en als gleichbedeute nd angese hen. Wenn die Funktion "einfache Teilb ereiche" hat , bricht un ser Abzahl argum ent zusammen. Wir andern nun unsere " Zahlweise" , indem wir eine Wahrscheinli chkeit sverteilung p auf A x B wahl en . W ir messen die p-GroBe von A ' x B' durch peA' x B') . Theorem 15.2.3. Es sei p ein e Wah rschein lichkeitsvert eilung auf A x B . W enn fur j edes einfarbige R echt eck R die Be dingung peR) ::::: e erfii llt ist, gilt C(1) 2: 110g(l / c)l

Beweis, Da p( A x B) = 1 ist, werden mindestens f1 / c1einfarbige Recht ecke benotigt , um eine Part ition von A x B in einfarbige Recht ecke zu errnoglichen. Das Ergebnis folgt nun aus Theorem 15.2.1. D W ir wollen diese Methode auf die Funktion GT n anwenden. Int uitiv ist GTn(a, b) einfach zu berechnen, wenn lal und Ibl sehr verschieden sind . Wir betracht en dah er die Gleichvert eilung auf den 2 · 2n - 1 Ein gab en (a, b) mit la l = Ib l od er la l = Ibl + 1. In der Kommunikationsmatrix sind dies die Eintrage auf der Hauptdiagon alen und dir ekt unt erhalb der Hauptdiagonalen. Wenn ein O-Recht eck (a , a) und (b, b) mit a i= b ent ha lt , ent ha lt es auch (a, b) und (b, a ) un d es ist GTn(a , b) = 1 oder GTn(b , a) = 1. Also gilt peR) ::::: 1/(2 . 2n - 1) fur O-Recht ecke R . Wenn ein l -Recht eck (a, b) und (a' , b') mit lal = Ibl + 1, la' i = WI + 1 und lal < la'i ent ha lt , ent ha lt es a uch (a , b') mit lal < WI + 1 und es ist GT n(a, b') = O. Also gilt peR) ::::: 1/(2 ·2 n -1) auch fiir l-Recht ecke R. Mit Theorem 15.2.3 folgt

15.2 Untere Schranken fur die Kommunikationskomplexitat Theorem 15.2.4. C ( GTn )

239

= n + 1.

Wenn wir unseren Beweis der unt er en Schr anke fur GT n nah er betracht en , hab en wir O-Recht ecke und 1-Rechtecke einzeln betracht et . Wi r hab en geze igt, dass je des O-Recht eck nur ein Eingab ep aar (a, b) , das pos it ive Wahrscheinli chkeit hat , ent ha lt en kann. An aloges gilt fiir 1-Recht ecke. Bei einer derartigen Anwendung von T heore m 15.2.3 ist eine einfachere Argument ation moglich. Definition 15.2.5. F ur f : A x B -. C und ein c E C heiflt S <;;; A x B c- Verwirrmenge (c-fooling set), wenn f( a , b) = c fur aIle (a, b) E S ist , aber stets fur zwei verschiedene (a , b) , (a' , b' ) E S mindest ens einer der Wert e f (a, b') und f (a' , b) von c verschieden ist. Die Idee ist , dass die Eingaben a us S Alice und Bob bei kurzen Protokollen verwirren . Dies form alisieren wir in folgend em T heore m. Theorem 15.2.6. W enn es fur f : A xB -. C und c der Grofle s., gibt, is t

E

C eine c- Verwirrmenge

CU) 2: rlog :L Se l· eE e

Beweis. Es gen tigt zu zeigen, dass jede Part ition von A x B in einfarbige Recht ecke min dest ens s., c-Rechtecke beno ti gt . Definit ion 15.2.5 sicher t, dass ein c-Rechtec k nicht zwei Elemente einer c-Verwirrmenge ent ha lte n kann. Damit ist das T heorem bewiesen . D Fur die Funktion GT n bild en die Paar e (a, a) eine 0-Verwirrmenge der GroBe 2n und die Paar e (a, b) mit lal = Ibl + 1 eine 1-Verwirrm enge der GroBe 2n

-

1. Also ist

Wi r wollen noch zwei weite re Funktionen behandeln , die im weite ren Verlauf eine Rolle spielen. Die Funkti on DIS = (DI Sn ) (Disjun kt heitstest, disjoi nt ness test) interpretiert die Eingab en a, b E {O ,1}n als charakterist ische Vektoren der Mengen A , B <;;; {I, ... , n} und testet, ob A n B = 0 ist . Also ist

+ ... + an bn) , + fur OR steht . Die Funktion IP =

DIS n (a , b) = , (al bl

wob ei ' fur NOT und dukt , inner pro duct) ist durch IP n (a , b)

=

(IP n) (Skalarpro-

al bl EEl .. . EEl an bn

definiert , wobe i EEl fur EXOR steht . Es hand elt sich also urn das Skalarprodukt tiber Z2. Die Abktirzung IP hab en wir in Kap itel 11 schon an eine Kompl exit at sklasse vergeben. Da Verwechslun gen ausgeschlossen sind , benu t zen wir fur das Skalarprodukt denn och die gebrauchliche Abktirz ung IP.

240

15. Kornmunikat ionskomplexitat

Theorem 15.2.7. Es ist C(DISn ) = n

+ 1 und n :s; C(IPn ) :s; n + 1.

Beweis. Die ob eren Schr anken sind offensichtlich, da Alice ihre gesa mte Eingab e an Bob senden kann, der dann die Ausgab e berechnen und an Alice senden kann. Fur DIS n bild en die P aar e (a , a), wob ei a das bitweise Komplement von a ist, eine I-Verwirrmenge der Grofe 2n . Also werden mindest ens 2n I-Bliitter und mindest ens ein O-Blatt benotigt . Darau s folgt die unt ere Schr anke. F ur IP n greifen wir auf die Abzahlrn ethode aus Theorem 15.2.1 zuruck. Es ist IIP~ l(O)1 > 2Zn / 2, da fur a = on die Funkt ion IP n fur alle (a, b) den Wert 0 annimmt und fur a =1= on dies fiir gena u die Hiilfte aller b der Fall ist . Letzt ere Eigenschaft hab en wir scho n in mehreren Zusammenhiingen ausgenutzt. Es seien a mit ai = 1 un d b1 , ... , bi- 1, bi+l , . . . , bn festgelegt . Dann fiihrt gena u einer der beiden Werte ftir bi zum IP-Wert O. Konnen wir zeigen, dass jedes O-Recht eck R hochstens 2n Ein gab en (a, b) ent ha lt, br au chen wir mehr als 2n / 2 O-Recht ecke, urn aIle O-Ein gaben zu uberd ecken . Urn die GroBe von O-Recht ecken R abzuschatzen, machen wir un s den algebraischen Cha rakter des.Skalarproduktes zunutze. F ur eine Menge A ~ {O, I} " sei (A) der von A inn erh alb des Zz- Vektor raums Z~ aufgespannte Unt erraum. F ur jedes O-Recht eck R = A x B , ist auch (A) x (B) ein 0Recht eck. Dies folgt aus der leicht zu verifizierenden Beziehung

wobei auf der linken Seit e EB das bitweise EXOR bezeichnet . Also hat das groflte O-Recht eck die Gest alt A x B , wob ei A und B orthogon ale Unterriiume von Z~ sind. Die Dim ension von Z~ ist n und aus der Orthogon alitiit von A und B folgt dim (A) + dim(B) :s; n. SchlieBlich ist die GroBe von R gleich IAI ·IBI und IAI .I B I = 2d im ( A ) . 2d im ( B ) :s; 2n .

o Die Dar stellung der Funkti on f du rch ihre Kom munikationsm atrix M] legt es nah e, Methoden der linear en Algebra auf diese Matrix anzuwenden. Dies ftihrt zu der Ran gmethode (rank lower bound method) zur Abschiitzun g der Kornmunikati onskornplexit at von f. Theorem 15.2.8. Es sei Rang(f ) der Rang der Kommunikatio nsmatrix Mf tiber lR, wobei f den Bildbereich {O, I } hat. Dann ist

C (f) 2: flog Rang(f)l · Beweis. W ir zeigen, dass jedes Kom munikat ionsprotokoll ftlr f einen Prot okollbaum T mit mindest ens Ran g(f) vielen I-Blat t ern erfordert . Dar aus folgt die Behau ptung. Es sei A v x B ; die Menge der Eingabe n, die in T das

15.2 Untere Schranken fiir die Kommunikat ionskornplexit a t

241

J-Blatt v erreichen. Zu v bilden wir die Matrix M v , die an der St elle (a , b) genau dann eine 1 ent ha lt , wenn (a, b) E A v x B ; ist . Die Matrix M ; entha lt fur a E A v Zeilen , die gleich dem charakte rist ischen Vektor von B ; sind , und fur a rt- A v Nullzeilen. Also ist Ran g(Mv ) = 1, falls A v x B; i=- 0 ist, und Rang(Mv ) = a sonst . Au Berd em ist M ] die Summe aller M; fur die l -Blatter v. Dies folgt , da jede Eingabe (a, b) E f - 1(1) zu einem l-Eint rag in genau einer Matrix M v fuhrt . Die bekannt e Sub additivitat der Ran gfunktion fuhrt fur die Menge L(T ) der I -Blat t er von T zu R ang(Mf)

<

L

Rang(Mv ) < IL (T ) I·

vE L( T)

Also ent halt jeder Protokollbaum fiir

f mindest ens R ang(Mf) viele 'l-Blatter. D

Die Kommunikationsmatrix fur EQn ist die Identit atsmatrix und hat den vollen Ran g 2n . Dar au s folgt die untere Schranke 2n fur die Anzahl der 1Blatter. Wenn wir auch die Anzahl der a-Blatt er betracht en wollen , konnen wir die negierte Funktion EQn betracht en . Es sei En die 2n x 2n-M atrix aus lauter Einsen. Dann ist R ang(En ) = 1. Da M» = En - M 1 ist , folgt aus der Subadditivitat der Rangfunktion, dass R ang(Mf) ~ Ran g(M1 ) + 1 ist . Es folgt die untere Schranke 2n - 1 fur die Anzahl der O-Blatter und C(EQ n) 2:: n +1. Die Kommunikationsm atrix von GT n hat Ran g 2n- l (siehe Abbildung 15.2.1) und die Kommunikationsm at rix von GT n sogar Rang 2n . Also folgt C(GT n) = n+ l auch mit der Rangmethod e. Fur IP n unt erscheidet sich die Kommunikationsmatrix von der vielfach untersucht en Had am ardMat rix H n nur wenig. F ur un sere Zwecke ist es ausreichend , die Had am ardMat rix mit Hilfe der Kommunikationsm atrix fur IP n zu definieren. Es ist Hi, ; = E n - 2 . M 1p n . Da H n den vollen Ran g 2n hat , konnen wir mit der Ran gmethode die Lucke aus Theorem 15.2.7 schlieBen und C (IP n ) = n + 1 beweisen . Dennoch kann es muhselig sein, fur jede neue Funkt ion a uf die hier vorgeste llten Methoden zuruckzugreifen. Dah er sind wir an einem auf das Kommunikationsspiel zugeschnit tenen Reduktionskon zept interessiert . Definition 15.2.9. Es seien f : A x B -+ C und g : A' X B ' -+ C gege ben. Eine R echt eckreduktio n (rectangular redu ction) von f auf g, Notat ion f ~rect g, best eht aus einem Paar (h A , h B) von Transformationen h A ; A -+ A' und lie : B -+ B ' , so dass f(a , b) = g( hA (a ), h B( b)) fur alle (a , b) E A x B ist . Lemma 15.2 .10. Au s

f

~ rect

9 folgt C (f ) < C (g).

B eweis. Alice kann sich a' := hA (a) berechnen , ebe nso Bob b' := h B (b). Ihr Kommunikationsprotokoll best eht darin, ein optimales Protokoll fur 9 auf (ai, b') anzuwenden. Nach Definit ion des Konzept s der Recht eckreduktionen ist dieses Protokoll korr ekt . D

242

15. Kommuni kationskornpl exit at

Da bei der Kommunikationskomplexit iit von den Kost en fur die Berechnun gen abstrahiert wird, miissen keine Anforderungen an die Berechnungskompl exit iit von h A und hB geste llt werden. Bisher hab en wir un s dam it begniigt , die Komrnunikationskornpl exit at bei gegebener Auft eilung der Eingab e zwischen Alice und Bob zu unt ersuchen . In man chen Anwendungen (siehe Kapitel 16) ben6tigen wir eine st iirkere Aussage: Fiir je de Aufziihlung der Var iablen muss es einen Tr ennpunkt gebe n, so dass bei der Aufteilung der Vari ablen , bei der Alice die Vari abl en vor dem Trennpunkt und Bob die anderen Vari ablen erhiilt, die Kommunikat ionskomplexitiit der Funktion grof ist. Dies ist fur die bisher beh an delt en Funktionen E Qn , GT n , DIS n und IP n nicht der Fall. Bei der Vari ablenreihenfolge a I , b1 , a2, bz .: . . , an, bn ist die Kornmunikationskornplexit at fur jede n Tre nnpunkt durch 3 beschr iinkt . Mit der so genannte n Ma skentechnik erha lte n wir aus allen vier betracht eten Funkt ionen eine im obigen Sinn schwierige Funkti on . W ir definieren nur die Maskenvari ante EQ~ von EQn , da GT~ , DIS ~ un d IP ~ analog definiert werden . Die Funkt ion EQ ~ ist auf 4n Vari abl en ai , a~ , bi , b~ , 1 :::; i :::; n , definiert . Der Maskenvektor a' verkiirzt den Vektor a auf a*, indem alle ai , fur die a~ = 0 ist , gest richen werden. Eb enso ent steht b* aus b mit Hilfe von b'. Wenn a* und b* eine unterschiedli che Lan ge hab en, ist EQ~ (a , a', b, b') := O. Wenn a* und b" die Liinge m hab en , ist EQ~( a , a' ,b ,b') : = E Qm (a*, b* ). Wir betracht en nun eine beliebige Reihenfolge der 4n Vari abl en und setzen den Trennpunkt an die St elle, an der wir zum ersten Mal n/21 a- Vari abl en oder n/21 b-Variablen gesehen hab en. Wenn es sich urn n /21 a- Vari abl en handelt, gibt es hinter dem Tr ennpunkt mindest ens n/21 b-Vari abl en und umgekehrt. Das folgende Ergebnis zeigt, dass die Maskenvarianten aller bet rac hteten Funktionen schwierig sind.

r

r

Theorem 15.2 .11. W en n A lice min destens m indestens n/21 b- Vari ablen erhiilt, gilt

r

C(EQ~) ~ C (E Qrn/21) =

Analoge R esult at e gelten fu r

rn/21

r r

a- Varia blen und Bob

rn / 21 + 1. GT~ , DIS~

un d

IP~ .

Beweis. Alice und Bob miissen alle Eingaben (a, a' , b, b') behandeln , insbesondere auch den Fall, dass a' genau n/21 an Alice gegebene a- Variabl en und b' genau n /21 an Bob gegebene b-Variablen auswa hlt. Dann verbl eibt das Problem EQrn/ 21 ' bei dem Alice alle a-Vari abl en und Bob alle b-Variabl en D erhalte n hat .

r

r

AbschlieBend behandeln wir eine strukt urell kompliziertere Funktion, genannt mittleres Bit der M ultiplikation (middle bit of multiplication , MUL = (MUL n)) . Das Produkt zweier n-Bit-Zahlen hat eine Bitliinge von 2n. Das Bit mit der Wertigkeit 2n - 1 , also das Bit an Pos it ion n - 1, wird als mit tleres Bit der Multiplikation bezeichnet . Es ist von besonderem Int eresse, da

15.2 Unte re Schranken fur d ie Kommunikati onskornplexit a t

243

es in vielen Berechnungsmodellen rnoglich ist, die Berechnung der anderen Bit s der Multiplikat ion auf die Berechnung des mittleren Bits zu reduzieren. Aus Grunden der einfachere n Darst ellung betracht en wir nur den Fall, dass n gerade ist. Theorem 15.2 .12. W enn Alice und Bob jeweils n /2 B it s des Faktors a erhalten und die Bits des anderen Fakto rs b beliebig zwischen ihnen aufg et eilt sin d, gilt C(M ULn ) ~ n/8l.

r

B eweis. Die Idee best eht darin , eine Subfunktion von MULn zu finden , deren Komrnunikat ionskomplexit at wir mit den friiheren Ergebnissen durch n/8l nach unten abschatzen konnen . Wir werden also viele Vari ab len so durch Konst ant en erset zen, dass die entst ehende Subfunktion bei der gegebenen Aufteilung der Vari ab len auf Alice und Bob eine hohe Kornmunikationskornplexitat hat . Wir suchen nach einer Dist an z d E {I , . .. ,n - I }, so dass es eine moglichst hohe Anzah l m von Paaren (ai , ai+d) mit folgend en Eigenschaft en gibt:

r

- Alice und Bob haben in ihr er Eingab e jeweils gena u eines der Bits ai und ai+d, - 0 ::; i ::; n /2 - 2 und n /2 ::; i + d ::; n - 1. Zunachst mot ivieren wir das Ziel. Unsere allgemeinen Betrachtungen werden durch ein Beispiel veran schau licht . F ur n = 16 und d = 7 gebe es vier Paare mit der gewunscht en Eigenschaft, namli ch (al ' as) , (a3' alO) , (as, a12) und (a6' a13), wob ei Alice al , a6, alO und a12 und Bob a3,as, as und a13 kennt . Wir wollen die Berechnung des mittleren Bits der Mult iplikat ion a uf die Berechnung des Ub ertragsbits bei der Additio n zuruckfiihren , wobei Alice fur jede P osit ion das Bit genau eines Summanden kennt. Wenn der zweit e Faktor b genau zwei Einsen , und zwar an den Positionen j und k, ent ha lt , wird aus der Mu lt iplikatio n von lal und Ibl die Add it ion von lal . 2] und lal . 2 k . W ir wollen j und k so wahl en , dass das Bit a, aus lal · 2] und das Bit ai+d a us lal · 2k an dieselbe Position kommen . Also muss j - k = d sein. AuBerdem solI das P aar (i , i + d) mit dem grofiten i-Wert an die Posit ion n - 2 kommen. 1m Beispiel muss j = 8 und k = 1 sein (siehe Abbildung 15.2.3). Damit das B

A

B

A

a l5 a l 4 al3 al2 a ll alO a g

0

0

0

0

0

0

0

as

a7

A

B

a6

a5

B

A

B a4

as

A a2

al

al5 al4 al 3 al2 a ll alO ag

as

A

ao

0 A

B

a7

a6

a5

B

0

0

0

a4

a3

0

0

a2

al

B

0

0

ao

0

A

?

A b b . 15.2.3. Die Multiplikation von jaj und der Zahl Ibl mit zwei Einsen an den P osit ione n 1 un d 8. Die Bits , von den en wir wissen , dass sie zu Alice od er Bob gehoren , sind gekennze ichnet .

244

15. Kommuni kationskornplexitat

mittlere Bit der Multiplikation , dessen Po sition in der Abbildung mit "7" gekennzeichnet ist , das Ubertragsbit bei der Summe der aus den ausgewa hlte n Paar en entstehenden Zahlen wird, im Beispiel die Zahlen (a6' as, a3, al ) und (a1 3' a12, alD, as), gehen wir folgendermaBen vor. Die P aare, die innerhalb zweier ausge wa hlte r P aar e liegen , im Beispiel (a4' all) und (a2' ag), werden auf (0,1) gesetz t, damit sie einen Ub ertrag von frilheren Positionen an die nachst e Position weit ergeb en. Alle an deren nicht gekennzeichneten Bits , im Beispiel ao, a7, a14 und alS, werden a uf gesetz t , damit sie die Summe nicht beeinfiu ssen . Das Er gebnis ist in Abbildung 15.2.4 veran schauli cht .

°

0

0 al al

1

0

0

0

0

0

a l( 1

as

0

0

0

0 a6 a s

0 a3

0 al

0 a 13 a12 1 a lO 1 as

0

0

0

0 a6 as

0

0

0 a3

0

0

0

0

0 al

0

0

?

Abb. 15.2.4. Die Summanden nach Konstantsetzung einiger a-Bits. Die erst en acht Positionen konnen keinen Ub ert rag erze ugen, da es an ihnen jeweils hochst ens ein Bit gibt. Bis zum erste n P aar (ai, ai+d) folgen Paar e (0,0) , die keinen Ub ertrag erze ugen. Die Paar e zwischen ausgewahlte n Paar en geben ankomme nde Ub ertrage weiter , erzeugen aber keine neuen Ub ertrage. Somit erre icht der Ube rt rag der Summe der aus den ai-Bi t s und der aus den ai+d-Bit s gebildeten Zahl en die Posit ion n - 1. Da do rt wiederum ein Paar (0,0) ste ht , erha lten wir als Teilp roblem bei der Berechnung des mittleren Bits der Multiplikation die Berechnung des Ubertragsbits zweier m- st elliger Bin ar zahlen , wobei Alice an je der Stelle ein Bit kennt. Bei der Addition sind die beiden Bits an der selb en Position gleichbede utend . Wi r erha lt en also das Problem CARm (u, v) der Berechnung des Ubert rags (ca rry bit) bei der Summe der m-st elligen Zahl u , die Alice kenn t , und der m-st elligen Zahl v, die Bob kennt . Das Theorem folgt dah er aus den beiden folgend en Behauptungen : - C (C AR m) = m + 1. - Es ist moglich , m ::::

rn/81 -

1 zu wah len.

Zum Beweis der ersten Behauptung bet racht en wir die Funktion GTm , die nach Theorem 15.2.4 eine Kommunikat ionskomplexit at von m + 1 hat . Da allgemein fund 1 dieselb e Kommunikationskomplexitat hab en , ist C (GT m) = rn-l-L Die Beh au ptung folgt dah er a us GT m :SrectC ARm nach Lemma 15.2.10. Zum Entwurf der Recht eckredukti on ste llen wir fest , dass GTm(a , b) = 1 aquivalent zu lal :S Ibl und CARm (a, b) = 1 aquivalent zu lal + Ibl :::: 2m od er 2m - [c] :S Ibl ist . Dami t bilden die folgend en Transformationen eine Recht eckreduktion von GT m auf CARm . Sei hA(a) := a' mit la' i = 2m - Ial und hB(b) := b.

15.3 Nichtdet erminist ische Kommunikationsprotokolle

245

Die zweit e Beh auptung folgt mit Hilfe des Schubfachprinzips. Es sei k die Anz ahl der a., 0 ::::: i ::::: n /2 - 1, die Alice kennt . Dann kennt sie n /2 - k der aj , n / 2 ::::: j ::::: n - 1, und bei Bob ist die Sit uation gena u umgekehr t . Von den n 2 /4 Paaren (ai ,aj) , 0 ::::: i ::::: n /2 -1 , n /2 ::::: j ::::: n -1 , gibt es demnach k 2 + (n /2 - k)2 Paar e, von denen Alice genau ein Bit kennt. Diese Anzahl ist fur k = n /4 minimal und dann ist sie n 2 /8 . Nach dem Schubfachprinzip hab en mindest ens (n 2 / 8) /(n - 1) ~ n / 8 und darnit mindestens n/81 dieser Paar e (ai ,aj) dieselb e Indexdifferenz d = j - i . Da der Fall i = n /2 - 1 verbot en ist , konnen mindest ens n/81 - 1 P aar e mit den gewiinschte n Eigenschaft en gewa hlt werd en . D

r

r

Di e Kommunikationsmatrix spielt beim B eweis unie rer Sch mnken fur die Kommunikationskomplexitat eine zenirale Rolle. Protokollb iium e miissen mindest ens so vie le Bl att er haben , wie es einf arbiger Recht ecke bedarJ, um die Kommunikationsmatrix zu partitionieren. N eben der Untersuchun g der rnaxim alen Grofle einf arbiger R echt ecke bezogen auf eine beliebige Wahrs cheinlichkeitsvert eilung auf der Eingabem enge konnen untere Schmnken fur die Kommunikationskomplexitat mit Hilfe von Verwirrmengen und der Rangmethod e bewiesen werden.

15.3 Nichtdeterministische Kommunikationsprotokolle In Kapitel 3 hab en wir nichtdet erministische Rechnungen als randomisierte Rechnungen mit einseit igem Fehler , der nur kleiner als 1 sein muss, eingeftihrt . Den gleichen Weg wollen wir bei der Definition nichtdet erministischer Kommunikationsprotokolle gehen. Fur eine randomi siert e Kommunikation wird im Protokoll fest gelegt , wie viele Zufallsbits Alice und wie viele Zufallsbit s Bob zur Verfugung ste hen. Der Zufallsvektor r A der Lan ge lA von Alice ist un abhan gig vom Zufallsvekto r r e der Lan ge lB von Bob. Alice kennt r A , a ber nicht re , und Bob kennt r s , aber nicht r A. Wenn das Protokoll am Knoten v vorsieht , dass Alice ein Bit sendet , kann sie die Entscheidung, welches Bit sie send et , wie bisher von ihr er Eingab e a und dem erreichten Knoten v, a ber a uch von r A abha ngig machen . Analoges gilt fur Bob . Damit wird fur ein Eingab ep aar (a, b) ein zufalliger Weg durch den mndomisierten Protokollbaum gewa hlt . Die Fehlerwahrscheinlichkeit fur einen Protokollba um fur fund die Eingabe (a, b) ist die Wah rscheinlichkeit , dass ein Blatt , dessen Markierung von f(a , b) verschieden ist , erreic ht wird . Wenn r A E {O ,I}lA un d r e E {O ,I}IB fest gelegt sind , ergibt sich in Abh an gigkeit von (r A, r B) ein det erministi sches Protokoll. Insgesamt best eht ein randomisiertes Protokoll also aus der zufalligen Wahl eines von 2l A +IB det erministischen Protokollbaurn en. Dah er ist die Vorstellung eines randomisiert en balan ciert en bina ren Baums der Tiefe l A + ie gefolgt von det erministischen Protokollbaumen hilfreich. Kommunikationskost en verursachen in

246

15. Kommunikati onskomplexitat

diesem Baum die det erministischen P rotokollbaume, aber nicht der da ru be r liegende randomisierte Baum. Wenn wir einseit ige Fehler untersuchen wollen, miissen wir un s auf Ent scheidungsprobleme, also Funktionen f : A x B -+ {O, I} , beschr anken . Nichtdet erminismus ist als einseit iger Fehler fur Eingaben aus f -1(1) definiert, wob ei die Fehlerwahrscheinlichkeit kleiner als 1 sein muss. Im Protokollbaum bedeut et dies, dass fur (a, b) E f - 1 (0) aIle Wege positiv er Wahrscheinli chkeit an einem O-Blatt enden, wahrend es fur (a, b) E f-1(1) mindest ens einen Weg posit iver Wahrscheinli chkeit geben muss , der an einem l-Blat t endet . Wenn wir aIle Wege positiver Wahrscheinli chkeit und die Markierungen der erreicht en Blat t er bet racht en , erhalten wir den Funktionswert als Disjunktion dieser Markierungen . Daher sprechen wir auc h von OR-Nichtdeterminismu s. CoNicht determinismus fur f kann als Nichtdet erminismus ftir 7 definiert werden , abe r a uch als AND-Nichtdeterminismus, da wir den Funktionswert als Konjunktion der Markierungen aller Blat t er , die mit positiver Wah rscheinlichkeit erreicht werden , erha lte n. Als neu en Typ von Nichtdet erminismus ftihr en wir den EXOR-Nichtdetermini smu s ein. Ein randomisiertes EXORProtokoll berechnet genau dann 1, wenn ungerad e viele Blatter mit Markierung 1 mit posit iver Wahrscheinlichkeit erreicht werd en . Dieser T yp von Nichtdet erm inism us hat bei BDDs als Dat enstruktur fur boolesche Funktionen sogar pr akti sche Bedeutung (siehe z. B. Wegener (2000)) . Hier werden wir ihn als einen Vert reter erweiterter nichtdet erministis cher Kon zepte untersuchen . Von weiterem Interesse sind Zahlklassen (die Anzahl der Wege zu l-Blattern hat modq einen bestimm t en Wert) und Majorit atsklassen (die Wahrscheinlichkeit , ein Blatt mit der richti gen Marki eru ng zu erreichen, ist grofler als 1/2 , dies entspricht zweiseit igem unb eschr anktem Fehler) . Bevor wir nichtdeterministische Protokolle ent werfen od er untere Schr anken fur die nichtdet erministische Kommunikationskomplexitat beweisen , wollen wir diese Komplexitatsmafle kombinatorisch klassifizieren . Wir erinnern daran, das s wir untere Schr anken fur die det erministi sche Kommunikationskomplexit at mit Hilfe der minim alen Anzahl N (J ) einfar biger Recht ecke, urn die Kommunikationsmatrix zu partitionieren, bewiesen hab en . Es gilt dann [log N(J)l :S C (J ). Bei det erministischen P rotokollen ist es notwendig, mit P artitionen der Kommunikationsm atrix zu arbeiten, da jede Eingab e gena u ein Blatt im Protokollbaum erre icht. Bei nichtdet erministischen Protokoll en konnen fur jede Eingab e viele Blatter erre icht werd en . Die Eingabe n, die ein Blatt v mit positiver Wahrscheinli chkeit er reichen , bilden jedo ch weit erhin ein Rechteck. Dies folgt mit denselben Argument en wie in Kapitell5.2 fiir det ermini stische P rot okolle. Nun definier en wir die kombinatorischen MaBzahl en , mit denen wir die nichtdet erministischen Kommunikationskomplexit at smaBe COR (J ), CAND(J) und CEXOR(J) char akterisieren konnen . Definition 15.3.1. F ur f : A x B -+ {O, I} sei NoR(J) die minimale Anzahl von l-Recht ecken, urn die J-Eintrage der Kommunikationsm at rix von f zu ub erdecken . Das Ma E NAND(J) ist ana log fur O-Rechtec ke und die D-Eintrage

15.3 Nichtdeterministische Kommunikationsprotokolle

247

der Kommunikationsm atrix definiert. SchlieBlich sei NEXOR(J) die minimale Anzahl von Rechtecken , so dass (a, b) genau dann unge rade oft tiberdeckt wird , wenn f(a , b) = 1 ist . Das folgende Ergebn is zeigt, da ss diese Ub erd eckungsrnafe die nichtdeterministische Kommunikationskomplexitat fast exakt cha rakterisieren. Theorem 15.3.2. Es gelten die folgenden B eziehun gen :

- flogNo R(J)l ::; COR(J ) ::; 1l0g( NOR(J) + 1)1 + 1, - flog NANo(J) l ::; CANO(J) ::; 1l0g(NANO(J) + 1)1 + 1, - 1l0g N Ex o R(J)1 ::; CEXOR(J) ::; 1l0g (NEXOR(J) + 1)1 + 1. Beweis. Der Beweis verlauft fur alle dr ei Behauptungen analog. Wir konzent rieren uns auf den OR-Fall , also den iiblichen Nicht dete rminismus. Alice und Bob einigen sich iiber eine minimale Ub erd eckung der Einsen der Kommunikationsmatrix mit I-Recht ecken und iibe r eine Nummerierung dieser Recht ecke mit Zahlen aus {I , ... , NoR (J )}. Alice unt ersucht, welche dieser Recht ecke die Zeile fiir ihre Eingab e a schneiden. Wenn es kein solches Rechteck gibt, sendet sie die Nachricht 0 als Binar zahl der Lange ilog (NoR(J)+ I )l In diesem Fall wird ein O-Blat t erreic ht . Ansonst en wahlt Alice nichtdet ermini stisch die Nummer i eines l-Recht ecks, das die a-Z eile schneidet, und sendet i . Bob kann dann entsc heiden, ob die Eingabe (a,b) im gewa hlte n I -Rechteck liegt . Diese Information sendet er an Alice. Es wird ein akzeptierendes Blatt genau dann erreicht, wenn (a, b) in dem nichtdet erministisch gewa hlte n I -Rechteck liegt . Fiir den anderen Teil der Behauptung betracht en wir den Protokollbaum, in dem an jedem Kno t en Alice od er Bob mit Hilfe der ihr od er ihm zur VerfUgung st ehend en Information ents cheidet, welches Bit gesendet wird. Bei einem Protokoll der Lan ge c = CoR(J ) hat dieser Protokollbaum hochst ens 2C Blatter und hochst ens 2c J-Blatt er. Die Ein gab en , fur die mit positiver Wahrscheinli chkeit das Blat t v erreicht wird , bilden wiederum ein Recht eck R v . Alle Eingab en aus R; fiir ein I- Blatt v werden akzeptiert . Also bilden alle R; fur die l-Blatter v eine Ub erd eckung der Einsen in der Kommunikationsm atrix durch hochst ens 2c I-Recht ecke. Somit ist log NoR (J ) ::; COR(J) und die Beh auptung folgt , da CO R(J ) ganzzahlig ist . 0

Dieses E rgebnis hat Ku shilevit z und Nisan (1997) dazu ver anl asst , COR(J ) als log NOR(J) und dami t als rein kombinatorisches MaB zu definieren . Erst nach dieser Definition ste llen sie den Zusammenh an g zu nichtdet errninistischen Protokollen her . Theorem 15.3.2 zeigt , dass beid e Her an gehensweisen im Wesentli chen aquivalent sind. Welche von unseren Methoden fur den Beweis unt erer Schr anken fur die det erminist ische Kommunikat ionskomplexitat lassen sich auch im nichtdet ermini stischen Fall anwenden? Die Met hod en im det er mini stischen Fall sind - die Abschatzun g der GroBe von einfar bigen Recht ecken , event uell beziiglich einer Wah rscheinlichkeit svert eilung auf den Ein gab en ,

248

15. Kommunikat ionskomplexit a t

- die Konstruktion groBer Verwi rr mengen als Spezialfall der obigen Methode und - die Ran gmethode. Wenn l -Recht ecke nur einen e-Antei l aller Einsen abdecken konnen , dann br au cht nicht nur eine Partition der J-Eintrage in l-Recht ecke, sondern auch eine Ube rdeckung der I-Eintrage durch l-Recht ecke mindestens 11/c:l viele Recht ecke. Somi t fiihr en die erst en beiden Methoden eingeschra nkt a uf die Einsen der Kommunikationsmatrix zu unteren Schr anken fur die Lan ge von OR-nichtdeterminist ischen Protokollen . Analoges gilt natti rlich fur die Nullen der Kommunikationsm at rix und den AND-Nicht det erminismu s. Theorem 15.3.3. Es sei p eine Wah rs cheinlichkeit sverteilung auf f - 1(1) ~ A x B . W enn fur j edes l-Rechteck R die B edin gung p(R) :s: e erfilllt ist, gilt COR(f) 2:: [log l Zs]. Wenn f eine l-Verwirrm enge der GrojJe s hat , gilt COR(f ) 2:: [log s1. A naloge Ergebnis se gelten f ur O-Rechtecke, 0- Verwirrmengen und C AND (f).

Ftir CEXOR(f) erha lt en wir mit diesen Method en kein e unteren Schr anken , da die zu den Blattern eines Protokollb aums gehorenden Recht ecke fur EXOR-Protokolle nicht einfarbig sein mtissen . Andererseit s hilft die Rangmethode beim OR- und AND-Nicht det erminismus nicht , wie das Beispiel der Funkt ion E Qn zeigt. Im Beweis von T heorem 15.2.8 erga b sich die Kommunikationsm atrix M als Summe der Matrizen M v , die die zu den I-Blattern gehorenden l -Recht ecke darst ellen . Dies lag daran, dass jede l-Eingab e genau ein I-Blatt erre icht. Diese Bedingun g ist fur nichtdet erministi sche Protokolle nicht mehr er fullt . Anders ist die Sit uat ion beim EXOR-Nicht determinismus, wenn wir die Matrizen tiber Z2 addieren. Genau die l-Ei ngab en erreichen ungerade viele I -Blat t er und fuhren dah er in der Z2-Summe aller M; zum Eint rag 1. Also kann folgendes Resultat gena uso wie Theorem 15.2.8 bewiesen werd en . Theorem 15.3.4. Es sci Ra ng2(f) der Rang der Kommunikationsmatrix Mf iioer Z2, wobei f den Bildbereich {O, I} hat. Dann ist

CEXOR(f) 2:: [log Ran g2(f)1· Das Beispi el der Matrix

1 10] 101

M = [

01 1

zeigt, dass Ran g2(M) kleiner als Rang(M) sein kann. Theorem 15.3.5. Fur die ni chtdetermini stische Ko mmunikationskomplcxitiit der B eispielfu nktionen EQn' GTn, DIS n , IP n und M ULn gilt:

15.3 Nichtdeterministische Kommunikationsprotokolle

249

- COR(EQn) 2: n , CAND(EQn) :::; [log n ] + 2, CEXoR(EQn) 2: n . - Co R( GTn) 2: n , C AND( GTn) 2: n , C EXOR( GTn) 2: n . - COR(DISn) 2: n , CAND(DISn) :::; [log n] + 2, CExOR(DISn) 2: n- llog(n +l) J . - CoR(IPn) 2: n -1 , CAND(IP n) 2: n , CEXOR(IPn) :::; [log n] + 2. - Falls Alice und Bob j e n /2 Bits eines Fakiors kennen, ist COR(MULn) 2: fn /8l - 1, CAND(M ULn) 2: fn/8l - 1, CEXOR(MULn) 2: fn/8l -1. B eweis. Bei einem nichtdet erministischen Protokoll fur EQn kann Alice nichtdet erministi sch i E {I , .. . , n} erzeugen und zusammen mit a; an Bob senden . Bob t est et , ob a; =1= b, ist , und sendet das Ergebnis an Alice. Sie akzept ieren die Ein gab e, wenn a i =1= b, ist. Damit ist CAND (EQn) = COR(EQn) :::; [log n l + 2. Dasselb e Protokoll mit dem Test ai = bi = 1 zeigt CAND(DISn) :::; [log n] + 2 und CExoR(IP n ) :::; [log n] + 2. Im let zt en Fall gibt es genauso viele akzept ierende Rechenwege, wie es Summ anden a ib i mit Wert 1 gibt. Die unteren Schr anken folgen aus Theorem 15.3.3 und Theorem 15.3.4 sowie den Ergebnissen aus Kapitel1 5.2 fur die Beispi elfunktionen . Die Funktion EQn hat eine 1-Verwirrmenge der GroBe 2n und der Z2-Rang der Kommunikationsmatrix ist 2n . Die Funktion GT n hat eine 1-Verwirrmenge der GroBe 2n - 1, eine O-Verwirrmenge der C rofe 2n und es ist offensichtli ch, dass der Z2-Rang der Kommunikationsmatrix 2n - 1 ist . Die Funktion DIS n hat eine 1-Verwirrmenge der Gro Be 2n . Zur Abschatzung von CExo R(DIS n) beschreib en wir eine geniigend groBe Untermatrix der Kommunikationsm atrix, die vollen Ran g hat. Dazu bet racht en wir nur die Eingab en (a, b), bei denen a genau In/2J und b genau fn /2l Einsen enthalt . Wir wahlen nun eine giinstige Nummer ierung der Zeilen und Spalt en. Wenn die Ein gab e a zur i-t en Zeile gehort, dann soli das bitweise Komplement b := a zur i-te n Spalt e gehore n. Auf diese Weise erha lten wir die Id entitat sm atrix, die nur auf der Hauptdiagonalen Einsen hat . Zwei Vektoren mit Ln/2J bzw. fn/2l Einsen konnen ja nur dann keine gemeinsame Ein s haben, wenn der eine Vekt or das bitweise Kornpl ement des anderen Vektors ist . Die Identitatsm atrix hat a uch iiber Z2 vollen Ran g, also Ran g ( Ln/ 2J)' Dieser Bin omialkoeffizient ist der groflte unt er allen G) und damit ist ( Ln/ 2J) 2: 2n / (n + 1). Also folgt mit der Ran gmethode CEXoR(DIS n) 2: n - llog(n + 1)J. Die unt ere Schranke lasst sich noch verbessern, wenn zur Abschat zung des Bin omialkoeffizient en die Stirling-Form el verwend et wird . Im Beweis von T heorem 15.2.7 wurde gezeigt , dass I IP~ I ( O) I > 2 2n /2 ist und jedes O-Recht eck hochst ens 2n Nullen iiberd eckt . Dar au s folgt die untere Schr anke ftir CAND(IP n) . Die Subfunktion von lPn , fur die an = bn = 1 ist, ist lPn-I ' Da COR(IP n - l) = CAND(IPn - l ) 2: n - 1 ist , folgt CoR (IP n ) 2: n - 1. SchlieBlich hab en wir im Beweis von T heorem 15.2.12

250

15. Kommunikationskomplexitiit

gezeigt, dass CARrn/Sl -l eine Subfunktion von MUL n bei der gege benen Auft eilung der Vari ablen ist . Dureh Reehteekreduktion hab en wir dieses P roblem auf GT rn/ Sl - l zur uckgefuhrt . Daher folgen die unt eren Schranken fur MUL n aus den unteren Sehranken ftir GT n und der Eigensehaft CExOR(f) = CEXOR(J) . Diese let zt e Eigensehaft ist einfaeh zu zeigen. Die Anzahl der Wege zu J-Blattern wird urn 1 erhoht, wenn an der Wurzel nichtdeterministiseh entsehieden wird , ob ein I-Blat t erre ieht wird od er das gegebene Protokoll verwendet wird. 0 Die Kornmunikat ionskornplexit at von f: {O j I} " x {o, l}n ----+ {0, 1} ist naeh ob en dureh n+1 beschr ankt, Bei den fruh er bet raehteten Ent seheidungsund Op timierungsp robl emen war oft eine Reehenzeit von ungefahr 2n der schlimmst rnogliche Fall. Exponentiell bessere Reehenzeit en , also polynornielle Reehenzeit en ga lt en als effizient . Aus dieser Analogie kon nen wir eine Funktion f : {O, I} " x {o,1}n ----+ {O , I} mit einer polylogar it hmisehen Kornmunikationskomplexit at als dureh Kommunikationsprotokolle effizient losbar bezeichnen. Es seien also P eorn , NP eorn, eo-NPeorn und N P~o~OR die Komplexitatsklassen aller f = (In) , f n: {o,l}n x {o,1}n ----+ {0,1} , die eine deterministisehe, 0 R-niehtdeterministi sehe, AND-nichtdeterministisehe bzw. EXOR-nicht determin ist isehe Kommunikatlonskompl exit at hab en , die dureh ein Polynom in log n beschra nkt ist . Theorem 15.3.5 in Verbindung mit der Eigenseha ft COR (J ) = CAND (f) und den E rgebnissen aus Kapitel 15.2 besagt , dass die vier genannten Komplexitatsklassen paarweise versehieden sind. Von den dr ei nichtdet erministisehen Komplexit atsklassen ent ha lt keine eine andere. Aus dieser Sieht hab en wir viele zent rale Fragen mit relat iv einfaehen Methoden beantwort et . AbsehlieBend zeigen wir noeh , dass P eorn = NPeornneo-NPeorn ist, wob ei wir das Ergebnis als obere Sehr anke fur die det erministisehe Kommunikationskomplexitat formuli eren . Theorem 15.3.6 . Es gilt C (J ) = O(Co R(J) . CAND (J) ). Beweis. Alice und Bob einigen sich tiber eine Ub erd ecku ng der 1-Eingab en der Kommunikationsmatrix mit NOR(J ) 1-Reeht eeken und deren Nummerierung. Sie einigen sich aueh tiber eine Ub erd eckun g der O-Eingab en dureh NAND (J) O-Reeht eeke. Diese Ub erdeckungen bilden die Bas is fur ihr Protokoll. Dab ei maehen sie sieh folgende einfaehe Eigensehaft von Reehteeken zunutze. Wenn die Reeht eeke R un d R' beide die Zeile a und die Spalt e b sehneiden, ent ha lten sie beide (a, b) und hab en einen niehtleeren Durehsehnitt. Also konnen ein O-Reeht eek R und ein 1-Reeht eek R' hochst ens Zeilen oder Spalt en gemeinsam hab en . Fur ein 1-Reeht eek R und eine Menge von O-Reeht eeken gilt also, dass mindest ens die Halft e der O-Reeht eeke keine Zeile mit R gemeinsam hat od er mindestens die Halft e der 0-Reeht eeke kein e Spalt e mit R gemeinsam hat .

15.4 Randomisierte Kommunikationsp rotokolle

251

Das Protokoll wird aus maximal [log NAND(f) l Phasen best ehen , in denen jeweils nur [log NoR(f) l +0 (1) Bits kommuniziert werden. Die Schr anke folgt dann mit Theorem 15.3.2. Alice und Bob verwalten eine Kandidatenmenge K aller O-Recht ecke aus der gewa hlt en Uberdeckung, die die konkret e Ein gab e (a, b) ent halte n konn en , Zu Beginn sind das aIle NAND (f) Recht ecke aus der Uberd eckung der Nullen der Kommunikationsmatrix. Wenn K = 0 ist , endet die Kommunikation mit dem Ergebnis " f (a, b) = 1" . Falls K =1= 0 ist , ub erpruft Alice, ob es unter den Recht ecken der 1-Uberdeckung eines gibt, das die Zeile a schneidet und das mit hochst ens der Halft e der O-Recht ecke aus K eine Zeile gemeinsam hat . Wenn ein solches Recht eck R exist iert, sendet sie dessen Nummer an Bob . Anderenfalls t eilt sie Bob mit , dass ein derartiges Recht eck nicht exist iert . Im erst en Fall konn en Alice und Bob jeweils ausrechnen, welche O-Rechtecke aus Kno ch Kandidaten sind . Es sind dies die O-Rechtecke, die mit R eine Zeile gemeinsam hab en . Dami t hat sich die Gr oBe von K mindest en s halbi ert . Im zweit en Fall geht Bob ana log zu Alice vor . Er uberpruft, ob es unter den Rechtecken der 1-Ub erd eckung eines gibt, das die Spalte b schneidet und das mit hochst ens der Halft e der O-Recht ecke aus K eine Spalte gemeinsam hat . Er sendet die ent sprechende Nachricht und , falls seine Suche erfolgreich war, hat sich die GroBe von K mindest ens halbiert . Es bleibt zu beschreiben , was passiert , wen n Alice und Bob beide kein passendes Recht eck finden. Dann endet die Kommunikation mit dem Ergebnis " f (a, b) = 0" . Wenn namlich f(a , b) = 1 ist , hat das Recht eck R aus der 1-Ub erdeckung, das (a, b) ent halt, entweder die Eigenschaft , dass es mit hochstens der Halft e aller Recht ecke aus K eine Zeile gemeinsa m hat od er mit hochstens der Halfte aller Recht ecke aus K eine Spalte gemeinsam hat. 0 Im Fall f(a , b) = 1 findet also Alice oder Bob ein passendes Recht eck.

Ni chtd eterm in istische Kommunikation sproto kolle erlauben fur m anche Funktion en eine exponentielle Verring erung der Protokollliinqe. Die Kla sse dieser Funktion en hiingt vom qeuiiihlien Typ des Nic htdeterminis mus abo Untere Schranken fu r die nichtd eterministische K ommunikation skomplexitiit lassen sich in Abh angigkeit vom Typ des Nichtdeterm inismus aus den S chrankenm ethoden fur den deterministischen Fall gewinnen.

15.4 Randomisierte Kommunikationsprotokolle Wi r wollen un s nun randomisierten Kommunikationsprotokollen mit "kleinen " Fehler- od er Versagenswahrscheinli chkeiten widmen . Wie in Kapi t el 3.3 unterscheiden wir folgend e Situationen : - Das Protokoll ist fehlerfr ei und wir sind an der maxim alen (bezogen auf die Ein gab en) erwarte te n (bezogen auf die Zufallsbit s) Protokollliinge int eressiert . Hierzu gehOrt das Komplexitat smaf R o(f) .

252

15. Kommunikationskomplexit at

- Das Protokoll ist fehl erfrei, kann aber versagen, was durch die Antwort ,,?" angezeigt wird. Zu der erlaubten Versagenswahrscheinli chkeit E: < 1 gehort das Komplexitat sm af R?,c(J) . - F ur Funktionen f : A x B -+ {O, I} bed eutet einseit iger durch E: < 1 beschra nkter Fehl er , dass Eingaben aus (0) fehl erfrei bearbeitet werden , wa hrend bei E ingaben aus f -1(1) die Fehl er wahrscheinli chkeit durch E: beschrankt ist . Hier zu geh ort das Komplexitat sm af R 1,c(J) . - Das Komplexitatsm af R 2,c(J) bezieht sich a uf Protokolle mit eine r durch E: < 1/2 beschrankt en Fehl erw ahrscheinli chkeit fur jede Eingab e. Irn Fall f : A x B -+ {O, I} ist dies ein zweiseiti ger Fehler.

r:'

Die Fr age ist , wie robust diese Komplexit atsm afe gegeniiber Anderungen des P arameters E: sind . Kommunikationsprotokolle sind Algorithmen und daher konnen die Methoden aus Kapi t el 3.3 angewendet werden . Dort hatt en wir die Ub erl egung a uf pol yn om iell zeitbesc h ra nkte Algorithmen zugesc hnitt en , so dass polynomiell viele un abhangige Wied erholungen des Algorithmus unproblem atisch waren . Hier ist bei Funkti onen f : {O, I} " x {O, L}" -+ {O, I} schon n+1 eine ob ere Schr anke fur die deterministische Kommunikationskomplexitat von f. In vielen F all en konnten wir die Kommunikationskornplexitat von Funkti on en sogar asym ptot isch exakt bestimmen . Wenn wir also nur konst ant e Fak to ren als unprobl em ati sch anse he n, dann sind auch nur konstant viele un abhangige Wi ed erholungen eines Protokolls unproblem atisch. Aus den Ergebnissen und Beweisen von Kapitel 3.3 er halten wir nun folgende Ergebnisse.

Theorem 15.4.1. Fur die randomisiert e Kommunikation skomplexitiit und E: < 1 gelten die folgend en Beziehun gen:

- Ro(J) < 2 · R?,1/2(J) . - R?,1/2(J) < 2 · Ro(J) . - tu; (J) < k · R?,c(J) . - R 1,ck(J) ::::: i: R 1,c(J) . - R 2,2- k(J) ::::: 1(2 . ln 2) . k· c

2

l . R 2,1/2- c(J)

fur 0 <

E:

< 1/2 .

Auch der Beweis von ZPP = RP n co-R P (Theorem 3.4.3) lasst sich a uf die Kommunikationskornplex it at anwende n.

Theorem 15.4.2. Fur 0 <

E:

< 1/2 gilt

Urn zu unter suchen , wie gut ra ndomisierte Kommunikationsprotokolle sein konnen , betrachten wir als Mu st erb eispiel den Gleichh eitst est EQn. Das Ergebnis CAND( EQn) ::::: [log n] + 2 a us T heo rem 15.3.5 konnen wir neu int erpretieren. Wir hab en do rt i zufallig gewa hlt und die Eigenschaft "ai :I b. " getestet. Falls a :I b ist , wird mit eine r Wahrscheinli chkeit von mindest ens l /n ein Index i gewa hlt, fiir den a, :I b, ist . Also ist R 1,1- 1/n(EQn ) ::::: [log n] + 2.

15.4 Randomisierte Kommunikat ionsprotokolle

253

Urn auf konst ant e Fehlerwah rscheinli chkeit en fur kurze P rotokolle zu kornmen , helfen uns un abhan gige W iederholungen nicht . Dami t (l- l/n )k ::; 1/2 ist , muss k = D (n ) sein. Wir werden nun eine fiir den E ntwur f von randomisiert en Kommunikationspro t okollen grundlegende Technik vor st ellen . Bei einer det erministi schen Ent scheidung, ob a = b ist , ist es optimal, wenn Alice ihre Eingabe an Bob sendet. Wenn wir Fehler zulasse n, ist es ausre ichend, wenn Alice einen Fi ngerabdru ck (fingerprinting t echnique) von a an Bob sendet . F ingerabdr ucke ver schiedener Individu en a und a' konnen nur mit kleiner Wah rscheinli chkeit gleich sein. In diesem Sinn ist die Ausd ru cksweise irr efUhrend . Wir bet racht en ja die fur uns er Protokoll schwierigste n Ein gab en . In Wah rh eit werden wir je dem a E {O, l}n viele Fingerabdrticke so zuord nen, dass verschiedene Eingabe n a und a' nur wenige Finger abdrucke gemeinsam hab en . Bei zufalliger Auswahl des Finger abdrucktyps kann Bob die Eigens chaft "a =J b" mit kleiner Fehlerwahrscheinlichkeit iiberprufen . Theorem 15.4.3. R1 ,1!n (EQn) = O(log n) . Beweis. Alice und Bob interpret ieren ihre Eingaben als Bin ar zahl en lal,Ibl E {O, .. . , 2n - 1}. Beide berechnen sich die n 2 kleinst en Primzahl en . Aus der Zahlentheorie wissen sie, dass deren GroBe O( n 2log n) ist und sich jede dieser Primzahl en mit o (log n ) Bit s beschreiben lasst . Alice wa hlt zufiillig cine dieser P rim zah len aus. Wenn sie p gewahlt hat , sendet sie den Typ des Fingerabdr ucks, namlich p , und den zugehorige n F ingerabdruck, namli ch lal mod p , an Bob . Bob ub erpruft, ob lal == Ibl mod p ist , und sendet das E rgebnis dieses Test s an Alice. Die Eingab e wird akzeptiert, wenn lal == Ibl mod p ist. Die Lange dieses Protokolls bet ragt 8(log n) und Ein gab en (a, b) mit a = b wer den mit Sicherheit akzeptiert. Wi r wollen die Fehlerwahrscheinlichkeit fur Eingab en (a , b) mit a =J b abscha tzen , Wenn es unter den kleinst en n 2 P rimzahlen k gibt, fur die lal == Ibl mod p ist , betragt die Fehlerwahrscheinli chkeit k /n 2 . Wi r zeigen nun, dass es keine n P rimzahl en p mit lal == Ibl mo d p geben kann. Dafur beno tigen wir cine einfache Aussage aus der elementaren Zahl entheorie. Wenn lal == Ibl mod m l und lal == Ibl mod m 2 fur zwei t eilerfremde Zahl en m l und m 2 ist , dann ist auch lal == Ibl mod (m lm2 )' Die Bedingungen sagen aus, dass lal- Ibl ein ganzzahliges Vielfaches von m l und ein ga nzzahliges Vielfaches von m 2 ist . Da ml und m 2 teilerfremd sind, ist lal - Ibl dann auch ein ga nzzahliges Vielfaches von mlm2. Wenn nun die Gleichun g lal == Ibl mod p fur ti vers chiedene P rimzahlen gilt , gilt sie auch fur deren Produkt. Das Produkt von n Zahlen , die alle mindest ens 2 sind, ist aber mindest ens 2n . Wenn lal == Ibl mod N fur eine Zahl N::::: 2n gilt, ist lal = Ibl und a = b. Also ist die Fehlerwahrscheinlichkeit durch n / n 2 = l / n beschrankt . D

Wi r hab en in der Definitio n randomisierter Kommunikationsprot okolle in Kapitel 15.3 betont , dass Alice r A, abe r nicht re und Bob r e , aber nicht r A kennt. Was an dert sich, wenn es nur einen Zufallsvektor der Lan ge IA + IB

254

15. Kommunikationskomplexitat

gibt, den Alice und Bob beide kennen? Unser ursprtingliches Mod ell verwendete private Zufallsbits (private coins), wahrend wir es jetzt mit offentlichen Zufallsbits (public coins) zu tun hab en . Wir kennzeichnen die zuge horigen Komplexitatsmafe mit einem ob eren Index " pub", um dies zu verdeu tlichen . Offensichtlich gilt Theorem 15.4.1 auch fur Protokolle mit offentlichen Zufallsbits . Daruber hin aus gilt folgende einfache Bemerkung. Bemerkung 15.4.4. Ein Protokoll mit privaten Zufallsbits kann durch ein Protokoll mit offentli chen Zufallsbits simuliert werden , also gilt z. B.

R~~b(f) :::; R 2,e(f) . Beweis. Es seien lA und l e die Langen der Zufallsvektoren von Alice und Bob im Protokoll mit privaten Zufallsbits. Das Protokoll mit offentlichen Zufallsbits verwendet einen Zufallsvektor der Lan ge lA + l s - Bei der Simulation des gegeb enen Protokolls int erpretiert Alice das Prafix des Zufallsvektors der Lange lA als ihren Zufallsvektor und Bob macht dasselb e mit dem Suffix der 0 Lang e l B . Offentliche Zufallsbits konnen kurze und elega nte Protokolle errnoglichen, wie folgendes Ergebnis zeigt. Theorem 15.4.5. Ri~I~2(EQn)

< 2.

Beweis. Alice und Bob verwenden einen offentlichen Zufallsvektor r E {O, 1}n . Alice berechn et die Z2-Summe aller airi , 1 :::; i :::; n, und sendet das Ergebnis hr(a) an Bob. Die Bezeichnung h r solI an die Hashfunktion aus dem Beweis von Theor em 11.3.4 erinnern . Bob berechnet hr(b) und sendet das Ergebnis an Alice. Sie akzept ieren die Eingabe, wenn hr(a) =1= hr(b) ist . Die Lange des Protokolls ist 2. Wenn a = b ist , ist hr(a) = hr(b) fur alle r und das Protokoll arbeitet fehl erfrei. Wenn a =1= b ist , gibt es eine Position i mit a ; =1= bi· Aus Symmetriegrtinden sei ai = und b, = 1. Es sei h ;(a) die Z 2-Summe aller ajrj , j =1= i , analog h;(b) . Dann ist hr(a) = h;(a) und hr(b) = h ;(b) EB ri o Also betragt die Wahrscheinli chkeit, dass hr(a) = hr(b) ist, genau 1/2 und damit ist a uch die Fehlerwahrscheinli chkeit 1/2 . 0

°

Konnen sich RI ,e(f) und R eb(f) od er R 2,e(f) und R~~b(f) st ark unterscheide n? Es lasst sich zeigen , dass R I ,I/ 4(EQn) ;::: R 2,1/4(EQn) = S?(logn) ist. Aus Theorem 15.4.5 folgt mit Theorem 15.4 .1 dagegen Ri~I~4(EQn) :::; 4. Damit haben wir im Wesentlichen abe r auch schon ein Beispiel kennen gelernt, bei dem der Unterschied der beiden Mod elle am groflte n ist . Theorem 15.4.6. E s sei en f : {O, 1}n

X

{O, 1}n

Dann gelt en: - R 2,e+8(f) :::; R~~b(f) - R I ,e+8(f)

+ O(logn + logo-I) und < R'i~b(f) + O(logn + log o- I).

~

{O, I } und 0 >

°

gegeben.

15.4 Randomisierte Kommunikationsprotokolle

255

Beweis. In diesem Beweis nut zen wir a us, dass Kommunikat ionspro t okolIe ein nichtuniformes Modell bilden. Die hier erze ugten Prot okolle sind im Allgemein en nicht effizient berechenb ar. In diesem Aspekt und in der Methodik orient ieren wir uns an dem Beweis, dass BPP ~ P / poly ist (T heorem 14.5.1, Korollar 14.6.3) . Dort ga b es einen goldenen Rechenweg. Hier werden wir die Existenz von t = O(n · J -2) Rechenwegen nac hweisen, so dass die zufallige Auswahl eines dieser Rechenwege die Fehlerwahrscheinli chkeit nur von e auf e + J wachsen lasst. Dam it folgen die Aussagen des T heorems leicht . Alice und Bob einigen sich tiber die guten Rechenwege, Alice erzeugt mit ihren privat en Zufallsbit s ein zufalliges i E {1, . . . , t } und sendet i mit O(1og t ) = O( log n +log J - 1 ) Bit s an Bob. Dan ach simuliere n Alice und Bob den i-ten der gewahlten Rechenwege. W ir gehen von einem opt imalen randomisierten Kommunikat ionsp rotokoll mit einem 6ffent lichen Zufallsvekt or 'I' der Lan ge l aus. Die beiden Falle, namli ch einseit iger und zweiseit iger Fehler, werden mit denselb en Argument en behandelt . Es sei Z (a, b, '1' * ) = 1, wenn das gegebe ne Prot okoll au f der Eingabe (a, b) fur 'I' = '1'* eine falsche Ausgab e liefert , und Z(a, b, '1'*) = 0 sonst. Wir konnen uns die Z- Wer te als Ma trix vorstellen , deren Zeilen die Eingabe n (a, b) und deren Spa lte n die Vekt oren '1'* reprasent iere n, Nach Voraussetzung ist der Anteil Ein sen in jeder Zeile durch e besch rankt (bei einseitigem Fehler ent ha lte n die Zeilen fur (a, b) E f - 1 (0) keinen 1-Eintrag) . W ir wollen zeigen, dass es eine Auswahl von t Spalte n gibt, so dass die auf diese Spalten eingeschra nkte Submatrix in jeder Zeile nm einen Anteil von c:+J an Einsen hat (bei einseitigem Fehler enthalte n die ver kiirzten Zeilen ftir (a, b) E f- 1 (0) natiirlich keinen 1-Eintrag). Mit diesen t Auspragungen des Zufallsvektors, also diesen t Rechenwegen konnen wir da nn die oben bego nnene Argument at ion durchfiihren. Um exakt zu sein, milssen wir erwahnen, dass Spalt en auc h mehr fach gewa hlt werden durfe n. Die Exist enz dieser t Spalt en zeigen wir mit der probabilistischen Methode (probabilistic method) (siehe Z. B. Alon und Spencer (1992)). Hierb ei wird die Existenz eines Objekt s bewiesen , ind em fur ein geeignetes Zufallsexp erime nt gezeigt wird , dass die Wah rscheinli chkeit , dass das in dem Experiment erzeugte Objekt die gewunschte Eige nschaft hat , posit iv ist. Das Pot enzial dieser einfachen Methode hat Er dos als Erster er kannt und ausgenutzt. Hier werde n t Rechenwege '1'1 , " " rt zufallig und unabh an gig gewahlt . Es sei R die Zufallsvariabl e, die die Wert e '1'1," " rt jeweils mit Wahrsc heinlichkeit l/t an nim mt. Nach Definition gilt

E(Z (a, b, R )) =

L

Z(a, b,ri) /t.

l :; i:; t

Da aber auch '1'1 , • •• , rt zufallig gewa hlt sind , k6nnen wir die cherno ffsche Ung leichung anwenden, um die Aussage P rob(

L l :;i :;t

Z(a, b,ri)/t ~c: +J) ::; 2e- 02t

256

15. Kommunikation skornplexitat

zu beweisen. In Theorem A.2.11 haben wir eine Form der chernoffschen Ungleichung bewi esen , bei der Prob(X :::; (1 - 0)' E(X» nach oben abgescha tz t wurde. Hier beno t igen wir eine chernoffsch e Ungleichun g zur Abschatzung von Prob(X 2: (1 + 0) . E(X» (dazu siehe Motwani und Ragh avan (1995». Fur t = 2no- 2 + 1 ist 2e- 02t < 2- 2n . Da es nur 22n Eingab en (a , b) gibt, ist die Wahrscheinlichkeit, dass

L

Z(a , b, ri )/t 2: e + 0

I S i ::;t

fur irgendeine Eingab e (a, b) ist , kleiner als 1. Somit ist die Wahrscheinlichkeit einer Auswahl von rI , "" rt , bei der die Fehlerwahrscheinlichkeit fur jede Eingab e durch e + 0 beschr ankt ist , positiv und geeignete Vektoren rI , . . . , rt exist ieren. Insgesamt ist das Theorem bewiesen . D Fur konstantes e < 1/2 im Fall zweiseit iger Fehler und e < 1 im Fall einseit iger Fehl er konnen wir eine Kon st ante 0 > 0 so wahlen, dass €+o < 1/2 bzw. e + 0 < 1 ist . Aus Theorem 15.4.1 und Theorem 15.4.6 folgt dann

und

Diese Ergebnisse belegen eine gewisse Robustheit unseres Mod ells randomisierter Kommunikationsprotokolle mit privat en Zufallsbits. Wir haben au ch schon eine Methode zum Entwurf kurzer randomisierter Komrnunikationsprotokolle kennen gelernt. Unte re Schr anken bei einseit igem Fehler folgen aus unteren Schr anken fur nichtdet erministische Kommunikationsprotokolle. Was ist abe r mit dem Fall von randomisierte n Kommunikationsprotokollen mit zweiseit igem Fehler ? Wie in Kapitel 9.2 werden wir auf die Theorie der Zweip erson en-Nullsummen-Spiele zurtickgreifen, urn R~~b(J) durch ein MaB fur det erministische P rotokolle zu cha ra kte risieren, wobei allerdings die Eingabe zufallig gewahlt wird. Fur f : A x B -+ C betracht en wir Wahrscheinli chkeit svert eilungen p auf A x B und untersuchen det ermini stische Protokolle, deren Fehlerwahrscheinlichkeit beziiglich p durch e beschrankt ist. Mit Dp,E(J) bezeichnen wir die Lan ge des kiirzesten det erministischen Protokolls, das bei Wahl einer Ein gabe gemaf peine Schr anke von e fur die Fehlerwahrscheinlichkeit ermoglicht. Das zugehorige Komplexitatsmaf Dp,e wird vertei lungsbezogene Kommunikationskom plexitiit bezuglich (p, e) ((p , e)-distributional communication complexity) gen annt. Anschauli cher ist es jedoch, von der Kommunikat ionskomplexitat von e-Approximationen fur f beziiglich p zu sprechen . Theorem 15.4.7. Fiir f : A x B

-+

C und j edes 0 > 0 gilt

15.4 Randomisierte Kommunikationsprotokolle

257

- R~I~b(J) 2: max{Dp,e(J) I P Vert eilung auf A x B} und - R~~~o(J) < max{Dp ,e(J) I P Vert eilung auf A x B} , Beweis. F ur den Beweis der ,,2:-Bezie hung" gehen wir von einem randomisier ten Kommunikationsp rotokoll der Lan ge R~~b (J) mit Fehlerschr anke E: aus. Die Fehl erschr anke gilt fur jede Ein gab e (a', b) , also auch bei zufalliger Auswahl der Ein gab e gema f einer beliebigen Vert eilung p auf A x B. Wenn das randomisierte Protokoll einen Zufallsvektor r der Lan ge l benu t zt , handelt es sich um eine zufallige Auswahl zwischen 21 det erministischen Protokollen. Wenn aIle diese Protokolle be zuglich p eine Fehlerwahrscheinlichkeit hatten , die grofler als E: ist , hatte auch das randomisierte Protokoll eine Fehlerwahrschei nlichkeit grofer als E: im W iderspruch zur Ann ahme. Dah er gibt es ein det erministi sches Protokoll mit Lan ge R~~b(J) , das bei gemaf p gewa hlte r Eingab e eine durch E: beschr ankte Fehlerwahrscheinlichkeit hat. F ur den Beweis der ,,~ -Beziehung" untersuchen wir folgend es Zweip ersonen-Nullsummen-Spiel. Fur d := maxp{Dp,e(J)} kann Eva ein det er ministisc hes Kommunikationsprotokoll P der Lange d wshlen und Thomas darf eine Eingab e (a , b) wahl en . Die Auszahlungsmatrix M ent ha lt an der Po sit ion ((a, b), P) eine 1, wenn das Protokoll P auf (a, b) einen Fehler macht, und ansonste n eine O. Wir erinnern daran, dass Eva diesen Betrag an Thomas bezahl en muss. Nach Definition von d hat Eva gegen jede randomisierte Strat egie von Thomas, also gegen je de Wah rscheinlichkeitsverteilung p auf A x B , eine det erministische Strategie, also ein det erministisches Kommunikationsprotokoll, das ihre erwarte te Auszahlung durch E: beschrankt. Somit ist der Wert des Spiels durch E: beschr ankt. Mit dem Minimax-Theorem (siehe Owen (1995)) folgt , dass es fur Eva eine randomisierte St rategie, also eine Wah rscheinlichkeit svert eilung tiber die Protokolle mit durch d beschrankt er Lange gibt, die fur jede Eingab e (a, b) eine Fehlerwahrscheinli chkeit von hochst ens E: garantiert. Damit Alice und Bob dar aus ein gemeinsames randomisiertes Kommunikationsprotokoll machen konn en , miissen sie die zugehorigen Zufallsent scheidungen t reffen konnen. Dies ist mit einem gemeinsa men, also offentlichen Zufallsvektor moglich. Genau genommen brau chen Alice und Bob hier eine unendliche Folge zufalliger Bits, um Z. B . Wahrscheinli chkeit en wie 1/3 kor rekt realisieren zu konnen . Mit endlichen Zufallsvekt oren konnen sie die Fehlerwahrscheinlichkeit E: beliebig approximieren. 0 Auf den additiven Term 8 fur die Fehlerwahrscheinlichkeit konnen wir ver zicht en , wenn wir erlauben, dass die einzelnen Zufallsbits den Wert 1 nicht notwendigerweise mit der Wahrscheinlichkeit 1/2 annehmen, sondern das i-te Bit den Wer t 1 mit Wahrscheinli chkeit Pi annimmt. Diese Diskussion wollen wir nicht vertiefen , da wir mehr an der ,,2:-Beziehung" aus Theorem 15.4.7 interessiert sind. Um eine unt ere Schr anke fur R~:~b(J) zu beweisen , konnen wir also eine Vert eilung p auf A x B wahlen und eine unt ere Schr anke fur Dp,e(J) beweisen . Dies ist eine Form des Minimax-Prin zips von Yao. W ir stehen nun also vor der Schwierigkeit, unt ere Schranken fur Dp,e(J ) zu beweisen. Da wir wieder bei det erministi schen P rot okollen gelan det sind,

258

15. Kommunikationskomplexitiit

konnen wir hoffen , auf die GroBe von Recht ecken mit bestimmten Eigenschafte n zuruckgreifen zu konnen . Da wir fur einige Eingaben Fehler machen durfen , miis sen die Rechtecke, die fiir ein Blatt v die dort ankommenden Ein gab en beschreiben, nicht mehr einfarbig sein. Wenn die Fehlerwahrscheinlichkeit klein ist, miissen diese Recht ecke beziiglich p fast einfarbig od er klein sein. Fur f : A x B ~ {O, I} , eine Wahrscheinli chkeit sverteilung p auf A x B und ein Rechteck R ~ A x B sei R o := f - l(O) n R und R, := f- l (l ) nR und die Diskr ep anz (discrep an cy) von R beziiglich fund p sei definiert durch

Discp,j(R) := Ip(Rl )

-

p(Ro)l ·

Damit ist offensichtlich Discp,j(R) :::; peR) und kleine Recht ecke hab en kein e groBe Diskrep an z. SchlieBlich sei Discp(J) := max{Discp,j(R) I R

~

A x B Recht eck}

die Diskrep an z von f bezuglich p . Das folgende Resultat zeigt , dass eine kleine Diskr ep an z eine groBe verteilungsbezogene Kommunikationskornplexitat und damit eine groBe Kommunikationskornplexitat beziiglich randomisierter Protokolle mit zweiseit igem Fehler impliziert . Theorem 15.4.8. Fur Funkt ion en f : A x B ~ {a, I} , Wahrs cheinlichkeit sverleilungen p auf A x B und 0 < e :::; 1/2 gilt D p ,1/ 2- c(J ) ;::: log(2c:) - log(Discp(J)) .

B eweis. Dieses Er gebnis ergibt sich dir ekt aus den Definiti onen und einer einfachen Rechnung. Wir betracht en ein det erministisches Protokoll der Lan ge d := D p ,1/ 2- c(J ), das beziiglich p einen Fehler von hochst ens 1/2 - c: hat . Der zugehorige Protokollbaum hat hochst ens 2d Blatter vE L, an denen gena u die Eingab en aus einem Rechteck R; ~ A x B ankommen. Die Recht ecke R v , V EL , bilden eine Partition von A x B. Es sei E + die Menge aller Ein gab en, auf denen das Protokoll korr ekt a rbeit et , und E - := (A x B) - E+ die Menge der Eingab en , auf denen das Protokoll falsch arbeite t. Nach Vorau sset zung ist p(E-) :::; 1/2 - e und dah er p(E+) ;::: 1/ 2 + e. Es folgt

2c: :::; p(E+) - p(E -)

= L (p(E+ n R v) - p(E- n R v)) vE L

: :; L Ip(E+ n R v) vEL = L Discp,j(Rv)

p(E- n Rv)1

vEL :::; 2 d Discp(J) .

Hier gehen nur die Definitionen von Discp,j(R) und Discp(J) ein. Wir erha lte n die Behauptung, ind em wir die Ungleichung nach d := D p ,1/ 2- c(J ) auflosen.

o

15.4 Rand om isierte Kommunikationsprotokolle

259

Es ist oft nicht einfach, diese Methode anzuwenden. Exemplarisch untersuchen wir IP n ' Theorem 15.4.9. Es ist jilr 0 <

E :::;

1/2

R~~1~2- e(IPn) 2: n /2 + log s . Beweis. Nach Theorem 15.4.7 und Theorem 15.4.8 geniigt es, fur eine Verteilun g p auf {a, l }" x {a, l} " die Diskr epan z beliebi ger Recht ecke A x B durch 2- n / 2 nach ob en abzuschatzen. Wir betracht en dah er die Gleichverteilung u auf {a, I} " x {a, I}" . Dariiber hinaus ersetzen wir in der Kommunikationsmatrix M die Eintriige durch 1 und die Eintriige 1 durch -1. Damit erha lte n wir die so genannte Hadamard-Matrix H n . Sie hat den Vorteil, dass wir die Diskr ep an z von Recht ecken , nun bezogen auf die Farben 1 und -1 , algebraisch ausdriicken konnen. Nach Definitio n ist

°

Du,IPn(A

X

B) = I# {(a, b) E A x B I Hn(a ,b) = 1}-

=

I

L

# {(a, b) E A x B I Hn(a ,b) = - 1}1/22n Hn (a, b)I/2 2n.

(a ,b)E A x B n

Es sei eA E {a, 1} 2 der charakterist ische Vektor von A <;;; {a, I} " und ee der chara kt eris tisc he Vektor von B <;;; {a, l}n . Dann werden in el · u.: ee gena u die Hn(a, b) mit (a, b) E A x B a ufsummiert. Also ist

Du,IPn(A

lel· tt.: eBI/22n aus, lel · H n · eBI nach ob en durch 23n / 2 ab zuschatzen . Hierflir X

B) =

und es reicht konnen wir die algebraischen Eigenscha fte n von H n ausnutze n. Fur die 2 n x 2n -Id ent it iitsm atrix In folgt nach einfacher Rechnung:

H n . HJ = 2n . In. Die Mat rix Hi, . HJ hat an Position (a, b) den Eintrag

L

Hn(a , c) . Hn(b, c).

cE{O,l }n

Fiir a = b ist Hn(a , c) = Hn(b , c) E {-I , + 1}, Hn(a , c) . Hn(b, c) = 1 und die Summe ergibt 2n . W ie im Beweis von T heorem 15.4.5 folgt aus a i- b, dass IPn(a , c) = IPn(b, c) fur genau die Halft e aller c E { a, I }" gilt. Also hat die Halft e aller Hn(a , c) . Hn(b, c) den Wert 1 und die andere Halfte den Wert -1. Die Summe der Wert e ist daher 0. Da In nur einen Eigenwert , naml ich 1, hat , hat H n . HJ = 2n . In nur den Eigenwert 2n . Hieraus folgt , dass die Spektralno rm II H n 112 von H n den Wert 2n/ 2 hat . Die Norm von Vektoren 2 :::; ist ihre euklidische Lan ge. Also ist IIeAI12 = IAI '/2 :::; 2n / 2 und IIeBI 1 2n / 2 . Die Normen messen, wie st ark Vektoren durch Multiplikation mit dem

260

15. Kommunikationskomplexitat

unt ersucht en Vektor od er der unt ersucht en Matrix verlan gert werden . Also ist

und

D u ,IP n

(A x B) :::: 2- n j 2 fur beliebige Rechtecke A x B .

o

Randomisierte Kommunikationsprotokolle konn en. selbst bei recht klein en Fehlerwahrs cheinlichk eiten exponentiell kiirzer als deterministische Kommunikationsp rotokolle sein. Es ma cht kein en grojJen Unterschied, ob die Zufallsbits privat oder offentli ch sind. Wenn beziiqlich. einer Wahrscheinlichkeits verteilung auf den Eingaben j edes Rechteck der K ommunikationsmatrix fast zur Hiilfie Null en und Einsen enthiilt, ist die randomisierte Kommunikation skompl exit iit der zugehOrigen Funktion gmjJ.

15.5 Kommunikat.ionskornplexittit und VLSI-Schaltkreise Wir begnugen uns mit einer naiven Vorst ellung von VLSI-S chaltkreisen . Da wir abe r schon fur dieses Mod ell untere Schr anken erhalten, gelte n diese fur realisti sch eingeschra nkte Mod elle erst recht. Wir st ellen uns einen VLSISchaltkreis als rechteckiges Gitter der Lan ge lund Breit e b vor . E r hat die Fl ache A := b · lund besteht aus b . l Zellen. Jede Zelle kann hochst ens ein Bit der Ein gab e aufnehmen . Sie ist hochst ens mit den Zellen verbunden , mit denen sie sich eine Zellwand t eilt . Ub er diese Verbindung en kann pro Zeit t akt ein Bit in einer Richtung gesendet werden. Fur Funkt ionen mit einer Ausgabe y gibt es eine Zelle, die am Ende das Er gebnis beinhalt et . Ein VLSISchaltkreis fiir acht Ein gab en und eine Ausgab e ist in Abbildung 15.5.1 zu sehen.

I

I I

I

I I

I I X l

I I

I I

I I

I I X2

I I X4

I I

I I X7

X3 --,--,---, --, -X6 --,--,-- --,--,--

- - : - -

~: -

- : - y- :

~:

Abb. 15.5.1 Ein VLS1-Schaltkr eis der Breite 6 und Lange 4.

Darin erkennen wir , dass es immer einen Schnit t durch den Schaltkreis gibt, so dass ln /2 J Ein gab en auf der einen und In/2l Eingab en auf der anderen Seit e des Schnitts anliegen und der Schni tt hochstens l + 1 Zellwande

15.6 Kommunikationskomplexitat und die Rechenzeit von Turingmaschinen

261

um fasst. Aus Symmetriegriinden konnen wir dab ei l ::; b und damit l ::; A 1/ 2 vor au ssetzen . Ube r diesen Schnitt konnen pro Zeittakt nur l + 1 Bits kommuniziert werden . "Venn wir die Eingabebits der zu berechn enden Funktion so zwische n Alice und Bob aufteilen , dass Alice die Eingabebits auf der einen Seit e des Schnitts und Bob die ande ren Bits erh alt, konnen wir die Komrnunikationskomplexitat von f beziiglich dieser Aufteilung und die Flache A und die par allele Rechenz eit T des VLSI-Schaltkreises in Verbindung setzen . Es ist C(f) ::; (A 1/ 2 + 1) . T + 1. In jedem der T Zeitt akte werden ja nur A 1/ 2 + 1 Bit s iiber den Schnitt gesende t. Dies kann ein det erministisches Kommunikationsprotokoll simulieren . Der Ext ras ummand ,,+1" ist notig, da im VLSI-Schaltkreis nur eine Zelle, also nur Alice oder Bob, das E rge bnis kennen mu ss. In eine m Kommunikationsprotokoll mu ss die Ausgab e no ch kommuniziert werden . Da die Komplexit at von VLSI-Schaltkreisen iibli cherw eise durch AT2 gemessen wird , lasst sich un ser Resultat durch AT2 = Q(C(f)2) ausdriicken . Wie wir sehe n, diirfen wir hier die Aufteilung der Eingabe nicht willkiirlich vornehmen . Fiir das mittl ere Bit der Mul tiplikation MUL hab en wir jedo ch eine lineare untere Schranke fur die Kornmunikationskornplexit at bewiesen , die fur beliebi ge gr6Benbalanc ierte Auft eilungen der Bits des ersten Faktors unter Alice und Bob gilt . Wenn wir beim Schnitt durch den VLSI-S chal tkreis auch nur die Bit s des ersten Fa kt ors ber iicksichtigen , konnen wir die obigen Betrachtungen anwenden und erhalten folgendes Result at .

Theorem 15.5.1. Fur VLSI-Schaltk reise, die das mittlere Bit der Multiplikation fu r zwei Fakioreti der L ange n berechsien, gilt AT 2 = Q( n 2 ) .

15.6 Kommunikationskomplexitat und die Rechenzeit von Turingmaschinen Turingm aschinen mit k Bandern und Rechen zeit t( n) konnen von Turingmaschinen mit einem Band und Rechenzeit O(t(n)2) simuliert werden . Ist dieser qu adrati sche Mehraufwand n6tig? Wir werden diese Fr age zumindest fur line are Rechenzeit en beantworten , indem wir eine Sprache beschr eiben, die von eine r Turingm aschin e mit zwei Bandern in linear er Zeit entschieden werden kann und fur die Turingm aschinen mit einem Band qu adrati sche Zeit ben6tigen . F iir f = (fn) mit fn: {O, I} " x {O, I}" --+ {O, I} sei

Lj = {acb Iial =

lei =

Ibl, a, b E {O, l}* , c E {2} *, f lal(a, b) = I} .

Bemerkung 15.6.1. Die Sprach e L'EQ kann von eine r Turingmaschine mit zwei Bandern in Zeit O(n) entschiede n werde n.

Beweis. Beim ersten Lesen wird iibe rprii ft, ob die E ingabe vom T yp acb mit a,b E {O,l }* und c E {2}* ist . Irn positiven Fall wird b auf das zweite Band

262

15. Kommun ikationskomplexitat

kopi ert. Indem a und b gleichze it ig gelesen werden , kann ilb erpruft werden , ob sie di eselbe Lange hab en , und im positiven Fall kann EQ n (a, b) ber echnet werden . SchlieBlich kann iib erprilft werden , ob b und c dieselb e La nge hab en .

o Inter essant er als diese einfache Bemerkung ist de r Beweis unterer Schranken fur di e Rechen zeit von Turingm aschinen mit einem Band.

Theorem 15.6.2. W enn die Spra che Lj fur f = U n) von einer Turingm aschine M m it einem Band in Zeit t( n) entsc hieden werden kann, gilt RgubUn)

= 0(t(3n )/n + 1).

Beweis. Wir wollen ein randomisiert es, fehlerfreies Kommunikati onsprotokoll fur I; ent werfen, das fur jede E ingabe eine kleine durchschnittliche Lange hat . Alice kennt a E {O, I} " und Bob b E {O, I} " . In sb esondere kennen beide ti und di e Arbeitsweise von M auf der Eingabe w = a2 nb , wob ei 2n eine Folge von n Zweien beschreib t . Mit Hilfe des offentlich bekannt en Zufallsvektors wahlen Alice und Bob zufallig i E {O, . . . , n} . Damit wird das Band von M zwischen Alice und Bob aufgeteilt . Ali ce erhalt den linken Teil bis zur Sp eicherzelle ti + i und Bob den Rest. Da d er Kopf von M zu Beginn auf al steht , kann Alice den ersten Teil der Rechnung von M simuliere n. Wenn M di e Trennstelle nach rechts iib er schreit et, sendet Alice an Bo b, in welchem Zust and die Turingm aschine nach diesem Schritt ist. Dazu genuge n flog IQll = 0(1) Bits. Nun simuliert Bob d ie Turingm aschine, bis die Trennstelle nach links iib er schritten wird . Diese Prozedur wird fort gesetzt , bis M halt . Dann kennt entwede r Alice oder Bob das E rge bnis und sendet es an die ande re Person. Dieses Prot okoll ist fehl erfrei, da di e fehl erfreie Turing maschine M korr ekt simuliert wird . E s sei nun Zi = zi (a, b) die An zahl der Rechen schrit t e, bei denen M die Trennstelle zwische n Speicherzelle n + i und Sp eicherzelle n+ i+ 1 uberschreit et. Da in jedem Rechen schri t t maximal eine Trennstelle iibe rschritten wird und Iwl = 3n ist , folgt

Zo + ... + zn :s; t (3n ) und

(Zo

+ .. .+ zn )/ (n + 1) :s; t( 3n) /n .

Also senden Ali ce und Bob durchschnittlich ho chsten s t (3n) / n Nac hrichten der Lan ge 0 (1) und am Ende no ch eine Nachricht der La nge 1. Damit ist 0 das T heore m bewiesen . Da nach Theorem 15.3.5 CoR(EQn ) 2: n ist, ist auch R 1 ,2/ 3(EQn) 2: n und nach Theorem 15.4 .6 Ri~~2(EQn ) = D(n ). Mit der Varian te von T heore m 15.4 .1 fiir Protokolle mit offentlichen Zufall sbi t s folgt R gub(EQ n ) = D(n) . SchlieBlich er halten wir mi t T heo re m 15.6.2 das gew unschte E rge bnis.

15.6 Kommunikationskomplexi tiit und die Rechenzeit von Tur ingmas ch inen

263

Theorem 15.6.3. Fur Turingmaschinen mit einem Band, die L EQ in Zeit t(n) entscheiden, gilt t(n) = Q(n 2 ) .

Die Ergebnisse der letzten beiden Unterkapitel zeigen, dass Ergebnisse zur Kommunikationskomplexitiit konkreter Probleme die Losunq von Problemen aus sehr verschiedenen B ereichen unt erstiitzen.

16. Die Komplexitat boolescher Funktionen

16.1 Grundlegende Uberlegungen Wir hab en schon mehrfach betont , dass Entscheidungspro bleme oder Sprachen L ~ {O, I} * und Familien boolescher Funktionen I = Un ) mit einer Au sgab e in enger Beziehu ng stehen. Zu L gehort die Funktionenfamilie I L = Uf:) , wobei If: : {O, l} n -+ {O, I} ftir die Eingab e a den Wert 1 genau dann an nimmt, wenn a E List . Zu I = Un) mit In: {O, l ]" -+ {O, I } gehort das Entsc heidungsproblem L I» das sich als Vereinigung aller I;; 1 (1) beschr eiben lasst . Bei der Betrachtung von Familien boolescher Funkt ionen hab en wir jedo ch die einzelne Funktion In im Blickpunkt. Uns int eressieren also nichtuniforme Komplexitat smafe wie die GroBe und T iefe von Schaltkreisen od er die Gr oBe und Lan ge von Branchingp rogrammen. In Kapi t el 14 hab en wir die Unterschiede zwischen un iform en und nichtuniformen Kornpl exit atsmaBen diskutiert und in Kap it el 15 das nichtuniforme MaB der Kommunikationskomplexitat untersucht. Hier wollen wir versuchen, untere Schr anken fur die Kornplexitat bool escher Funktionen bezuglich der oben gena nnten Komplexitatsrnafie zu beweisen . Prinzipiell ist diese Aufgab e einfach zu bewaltigen . Es gibt 22" bool esche Funktionen I : {O, 1}n -+ {O, I} und nur 20(8 1og(8 +n» syntakt isch verschiedene Schaltkreise mit s Bausteinen. Diese Schranke folgt , da jeder Bau st ein nur endlich viele Op er ationen realisieren kann und fur jeden der beiden Vorgan ger die Auswahl zwischen weniger als s + n + 2 Moglichkeiten best eht. F ur ein geeignet gewa hlte s c > 0 lassen sich also mit c-2n In Baust einen nicht alle bool eschen Funktionen realisieren . Wenn wir fur In die bezuglich der lexikographischen Ordnung auf den Funktionst abellen erste Funktion wahl en , die nicht mit c - 2nIn Bau st einen realisierbar ist , hab en wir eine Familie I = Un) von bool eschen Funktionen hoh er Schaltkreiskomplexitat erha lten. Dies ist abe r nicht das, was wir wollen . Wir hab en j a auch in den Kapi t eln iiber das un iform e Komplexitatsmaf Rechenz eit nur rekursive Probleme diskutiert. 1m Mit t elpunkt un serer Unt ersuchungen standen sogar Probleme, die NP-einfach sind, insb esondere Ents cheidungsprobleme aus NP. Eb enso konzentrieren wir uns hier auf Familien I = Un) boolescher Funktionen , fur die das zugehorige Entscheidungsproblem Lf in NP ent ha lte n ist . Fur eingeschra nkte Modelle, wie zum Beispiel ti efenb eschr ankte Scha lt kreise , konnen wir exponent ielle untere Schr anken fur Funktionen I = Un) zeigen, fur die L f in polyn omiI. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

266

16. Die Komplexitat boolescher Funktionen

eller und sogar linear er Zeit entscheidbar ist . Urn die ob en beschriebenen Abzahltricks und auch Diagonalisierungsar gumente aus zuschlieBen , hat sich der Ausdruck eingebUrgert , dass boolesche Funktionen In: {O ,1}n ----+ {a, I} explizit defini ert (explicitly defined) sein sollen. In weit er gehenden Unt ersuchungen gibt es verschiedene Grade von "explizit definiert " , wir komm en a ber mit der Ford erung, dass L f E NP sein solI, aus. Die grundsatz liche Frage ist also, wie grof untere Schranken sein konnen , die wir ftir die Kornplexitat von explizit definierten booleschen Funktionen bezu glich nichtuniformer Komplexitatsmafe beweisen konnen. FUr die Kommunikationskornplexitat hab en wir lineare und damit grofitrnogliche untere Schranken gezeigt . Fur viele Schaltkreis- und Br anchingprogrammmodelle sind wir von den grofst moglichen unteren Schranken weit entfernt . Wir verfolgen dah er drei miteinander verknupfte Ziele, namlich - die Rekordj agd nach der grofst en akt uellen Schr anke ftir explizit definierte boolesche Funktionen und die verschiedenen nichtuniformen KomplexitatsmaBe, - die Entwicklung von Methoden fur den Beweis unter er Schr anken fur die verschiedenen nichtuniformen Komplexitatsmafe und - die Abschatzung der Komplexit at wichtiger boolescher Funktionen. Das Kapitel ist nach den nichtuniformen Komplexit atsm afien st rukt ur iert . In Kapitel16.2 wird die Crofe und in Kapitel16.3 die Tiefe von Schaltkreisen untersucht. Der Spezialfall monotoner Schaltkreise wird erwahnt. Die Er gebnisse fur allgemeine Schaltkreise sind ernuchte rnd . Viel besser ist die Situation, wenn wir den Eingangsgrad von Baus t einen nicht mehr beschranken, dafur ab er die Tiefe dr astisch beschr anken . Dieses Mod ell wird in Kapit el 16.4 ftir ver allgemeinerte AND- und OR-Baust eine beh andelt . Methoden , wie a uch verallgemeinerte EXOR-Bausteine berucksichtigt werden konn en , werden diskutiert. In Kapi tel 16.5 wird ein analoges Mod ell fur so gena nnte Thresholdschaltkreise untersucht . Dieses ist aus zwei Grunden von Bedeutung. Ein erseit s erhalten wir ein Mod ell fur dis krete neuronale Net ze ohne Ru ckkopplung und andererseits lassen sich die Grenzen unserer Techniken fur den Beweis unterer Schr anken in diesem Mod ell besonders gut ver anschaulichen. In Kapitel 16.6 betrachten wir allgemeine und eingeschrankte Bran chingprogramme. Insgesamt werd en in den Kapiteln von 16.2 bis 16.6 Methoden fur untere Schranken entwickelt und a uf wenige Beispielfunktionen an gewend et . Dah er beschr eiben wir a bschlieBend in Kapitel16.7 Reduktionskon zepte, mit denen sich die Ergebnisse auf viele Funktionen ub ertragen lassen .

16.2 Die GroBe von Schaltkreisen Schaltkreise sind als kanonisches Hardw ar emodell von offensicht licher Bedeutung. Wi r er innern daran , dass Bausteine zwei Eingange hab en und jede der

16.2 Die Gr oBe von Schaltkreisen

267

16 booles chen Funktionen a uf diese Ein gan ge anwenden konnen. Die Schaltkreisgrofe von t« ist die kleinst e Anz ahl von Bau steinen, mit den en L, berechnet werd en kann. Seit lan ger Zeit ste ht der Rekord fur explizit definierte bool esche Funktionen bei einer unteren Schr anke von 3n - O (log n) . Hierbei ist zu beacht en , dass die unt ere Schr anke n - 1 fur alle Funktionen , die von allen n Vari abl en essenzie ll abhangen, trivial ist . Dab ei hangt fn von X i essen ziell ab, wenn die Subfunktion en (Kofaktoren) fn lxi=O' definiert durch fnl xi=O(a) := fn(al," " a i-l , 0, ai+l , " " an) , und f nlxi=l verschieden sind . In diesem Fall muss mindestens ein Baustein des Schaltkreises auf Xi zugreifen. Wenn I; von n Vari abl en essenziell abhangt , enthalt ein Schaltkreis fur f n einen gerichte ten azyklischen Graphen mit n Eingangen und einer Senke, namli ch den Baustein , an dem I; berechnet wird. Da dieser Gr aph zusa mrnenh angend ist , muss er n - 1 innere Knoten , also Baustein e, enthalten. Andererseits sind die wenigen Beweise von Schr anken der GroBe (2 + c )n, e > 0, kompliziert . Wir zeigen daher eine (2n - 3)-Schranke, die ab er schon die Methode der Bausteineliminierung (gate elimination) verwend et , die auch die Basis fur alle grofieren Schr anken ist . Die Schr anke betrifft eine S chwellw ertfunktion, fur die ab er auch im Deutschen der Begriff Thresholdfunktion gebrauchlich ist. Die Thresholdfunktion T;):k ist auf n Eingaben definier t und liefert den Wert 1 genau dann, wenn unt er den Ein gab en mindest ens k Einsen sind. Die negative Thresholdfunktion T'Sk ist die Negation von T~k+l' Theorem 16.2 .1. Die S chaltkreisgrofJe von T?2 betriigt mindest ens 2n - 3. Beweis. Wir zeigen die Behauptung mit Induktion tiber n . Fur n = 2 ist = X l 1\ X 2 und die Behauptung ist trivial. Fur den Induktionsschritt besteht die Idee darin, eine Var iable Xi zu finden, deren Erset zun g durch die Konstante zu einem Schaltkreis fuh rt , bei dem wir min dest ens zwei Bau st eine einges part od er eliminiert hab en. Da T?'2Ix i=O die Funktion T{::;l auf den verblieb enen Vari ablen ist , muss der Rest schaltkreis nach Induktionsvorausset zung mind est ens 2(n - 1) - 3 Bausteine hab en. Da der ur sprungliche Schaltkreis mind est ens zwei Baust eine mehr hatte, ist die Behauptung gezeigt . Wir betrachten einen optimalen Schaltkreis fur T ;):2 und untersuchen seinen erst en Bau stein C l - Dieser hat zwei verschiedene Vari abl en als Eingange, da der Schaltkreis sonst im Widerspruch zu seiner Optimalit at verkleinert werden konnte. Aus den gleichen Grunden realisiert C l eine der zehn Funktionen , die von beiden Ein gan gen essenziell abhangen. Fur die Eingange Xi und Xj sind dies, wie eine Fallunt erscheidung zeigt , die Funktionen T ;):2( Xl , X 2)

°

fur a, b, c E {O, I} . Dab ei ist xf = Xi und X? = Xi' Unser Ziel ist es, zu zeigen, dass eine der Vari abl en Xi und Xj Ein gan g von mindest ens zwei Bau st einen

268

16. Die Komplexitat boolescher F'unktionen

°

ist . Sei dies Xi' Fur Xi = konn en die Bau steine, die auf Xi zugreifen , eingespart werd en , da sie mit vor aus gehenden oder nachfolgenden Bau steinen zu einem Baustein verschmolzen werden konnen . Nehmen wir also an, dass G I fur Xi und fur Xj der einzige Bau st ein ist , der auf sie zugreift . Falls G I vom erst en der beschrieb enen Typen ist, wird der Schaltkreis fur Xj := b von Xi unabhangig, obwohl fur n 2: 3 die Funkt ion T~2I xj =b essenziell von den restlichen Var iablen abha ngt . Falls G I vom zweite n der beschri eb enen Typen ist , erhalten wir fur Xi = Xj = und Xi = Xj = 1 denselb en Restschaltkreis im Widerspruch dazu , dass die beiden entstehenden Subfunktionen verschieden sind. Damit ist das Theorem bewiesen. D

°

Man muss befiircht en , dass diese Method e nicht a usreicht, urn supe rlinear e untere Schranken zu beweisen . Ein Ausweg besteht darin, Funktionen I« . {O, 1}n ---+ {O, l }" , also Funktionen mit n Ausgab en , zu betracht en . Bisher kann ftir keine explizit definiert e Funktion bewiesen werden , dass sie selbst in Schaltkreisen der T iefe O(lo gn) supe rlinear viele Baustein e benotigt . B ei der Un tersuchung der SchaltkreisgrojJe explizi t defini ert er boolescher Funktionen wird besonders deutlich, wie unzureichend unser R eservo ir ist, um untere S chranken fu r die Komplexitiit beziiqlich. praktisch wichtiger R echen m odelle zu beweisen . Monotone S chaltkreise sind ein Schaltkreismod ell, be i dem es nur ANDund OR-Bausteine gibt . Dann sind nicht mehr alle booleschen Funktionen realisierbar . Es ist offens ichtlich , dass Xl nicht realisiert werden kann. Urn die Klasse der von monotonen Schaltkreisen berechenb ar en Funkti onen zu beschr eib en , definieren wir auf {O, l} " die naturliche partielle Ordnung ,,:::::", wob ei (al , . . . , a n ) ::::: (bl , . .. ,bn ) ist , falls ai ::::: b, fur alle i ist. Eine boolesche Funktion f heiBt monoton , wenn f(a) ::::: f(b) aus a ::::: b folgt . Es ist nicht schwer , sich davon zu ub erzeugen , dass gena u die monotonen Funkt ionen durch monotone Schaltkreise realisierba r sind. Mit einer Verfeinerung der Methode der Bau st eineliminierung konnten superlineare Schranken fur die monotone Schaltkreiskomplexitat monotoner Funktionen mit n Ausgab en bewiesen werden . Dab ei erwies sich n 2 als natilrliche Gr enze, da superquadr atische Schr anken impli zieren , dass eine der Au sgab en eine supe rlineare Kornplexitat hat . Methodisch war es ein wichtiger Schritt , als es gelang, den For ts chri tt der Rechnung an den einzelnen Bau st ein en zu messen (Wegener (1982)) . Der Durchbru ch gela ng dadurch, diesen Fortschri t t nicht mehr exakt, sondern nur approximat iv zu messen. Razborov hat 1986 (die Zeitschrift enveroffentli chun g ist aus dem Jahr 1990) auf diese Weise exponenti elle untere Schr anken fur die mono tone Schaltkreiskornpl exitat des Problems CLIQUE bewiesen. Seine Beweismethode wurde von Alon und Boppan a (1987) ausge ba ut .

16.3 Die Tiefe von Schaltkr eisen

269

16.3 Die Tiefe von Schaltkreisen Schon in Kapi t el 14.3 hab en wir Formeln als Scha lt kreise definiert , die graph entheoretisch Baume sind. Dab ei du rfen die einzelnen Vari abl en an vielen Blattern des Formelb aums vorkommen . Die Formelqriijle L(J) einer booleschen Funkt ion fi st gleich der minim alen An zahl von Bau st einen in einer Formel, die f berechnet . Also hab en Forrnelba ume fur f mindest ens L(J) + 1 Blatter und damit eine Schaltkreistiefe von mindest ens rlog(L (J) + l)l Da wir Schaltkreise zu Formeln entfalten konnen , ohne die Tiefe zu vergrofern, hab en wir fur die Ti efe D(J) von f die folgende Bemerkung bewiesen . Bemerkung 16.3.1. Fur boolesche Funkt ionen

f

gilt

D(J) ~ pog(L (J ) + l) l Es gilt soga r die Umkehrun g D(J) = O(logL(J)) (siehe z. B. Wegener (1987)) . Somit ist die Aufgabe, superloga rit hmische Schra nken fur die Ti efe von Funktionen zu beweisen , aquivalent zu der Aufgab e, superpolynomielle Schranken fur die Forrnelgrofe zu beweisen . Von Schranken dieser C rofie sind wir weit ent fernt . Die grofite untere Schranke fur die Formelgrofe geht auf Nechiporu k (1966) zuruck und ist von der Crof eno rdnung n 2 /log n . Fur die T iefe er ha lte n wir eine untere Schranke von 2 log n -log log n - 0(1) . Wieder ist zu beacht en , dass die Schranke [log n 1fur Funktionen , die von n Variablen essenziell abhan gen , t rivial ist. Die untere Schr anke beruht auf der E rkennt nis, dass kleine Form eln nicht in der Lage sind, Funkti onen mit extrem vielen verschiedenen Sub funk tionen zu berechnen. Diese Met hode lasst sich nicht auf Scha lt kreise tibert ragen . Es ist fur eine explizit definiert e Funktion mit asy mptotisch maximaler Anzahl verschiedener Subfunktionen bekannt, dass sie linear e Schaltkreisgrofe hat . Wir betracht en hier disjunkt e Teilmengen Sl , " " S k der Variabl enmenge X = { Xl , . . . , X n } und bezeichnen mit Si die Anzahl verschiedener Funktionen auf Si , die wir erha lte n, wenn wir aile Ersetz ungen der Vari abl en aus X - Si durch Kon st ant e betracht en. Theorem 16.3.2. Fur disjunkte M engen nen f essenziell abhiingt, gilt

L(J) ~

(L

(2 +log s i )) /4-

Sl , " " S k

von Vari ablen, von de-

1.

l ~i~k

Beweis. Wi r zeigen die unt ere Schr anke, ind em wir die Anz ahl ti der Blatter , die zu Vari ablen a us S; gehoren, durch (2 + log si )/4 nach unt en abscha tze n, Es sei Wi die Menge der inneren Knoten im Formelba um, fur die es im linken und im recht en Teilbaum Si-Blatter gibt (siehe Abbildung 16.3.1). F ur ui; := [Wi t ist Wi = ti -1 , da wir nach Ent fernung aller (X - Si)-Blat t er und aller Knot en mit einem Ein gan g einen bin ar en Baum mit t i Blat t ern und

270

16. Die Komplexitat boolescher Funktionen

Abb.16.3.1. Eine Formel, in der ftlr 8 1 = {Xl , X2} und 8 2 = {X3, X4} die Knoten aus W I mit einem Pfeil von links und die Knoten aus W 2 mit einem Pfeil von rechts gekennzeichnet sind.

Wi inn eren Kno t en erhalte n. Wir bet racht en nun P fad e im Formelb aum, die an Si-BHittern od er W i-Knot en st arten , an W i-Knoten od er der Wurzel des Formelb aums enden und im Inneren keinen W i-Knot en ent halte n. Fur die Anzahl Pi dieser Pfad e gilt Pi ::; 2Wi + 1, da an jedem W i-Knoten nur zwei dieser Pfad e ankommen und an der Wur zel, wenn sie kein W i-Knoten ist , ein weite rer Pfad ankommt . In Abbildung 16.3.1 ist (G I, G s , G 7 ) so ein Pfad fur i = 1. Es sei g die Funktion , die nach Kon st antsetzun g aller Vari ablen auBerhalb von S, am An fan g eines dieser Pfade berechnet wird. Bis zum Ein gan g des letzten Kno t ens a uf dem Pfad hab en wir eine Subformel, die nur g und Kon st ante als Einga ben hat und dah er g, g, 0 od er 1 berechnet . Jeder der Pi Pfad e kann also die Ausgab e nur auf vier Weisen beeinflussen . Dah er gilt

D

Wi e grof kann diese Schranke asympto tisch hochst ens werd en ? F ur gibt es zwei ob ere Schr anken , namli ch

Si

- s, ::; 22 1Si l , da die Subfunktion en auf ISi l Vari abl en definiert sind, und - Si ::; 2n-I Sil, da wir die Subfunktionen erhalte n, ind em wir n - ISil Vari abien durch Kon st ante er setzen.

16.3 Die Tiefe von Schaltkr eisen

271

Nun kann mit Hilfe eleme ntarer Method en der Analysis gezeigt werd en , dass die Nechiporuk-Schranke fur jede Funkt ion O( n 2 j log n ) ist. Diese Schr anke wird fur eine einfac he Funkt ion bereit s erreicht. Wir betrachten ein Modell fur die indirekte Ad ressierung (indirect storage access, ISA = (ISA n )) , wobei ISA n fur n = 2m und k := m - [log mJ auf n + k Variabl en Xo, . . . ,Xn - 1, YO, .. . , Yk- 1 definiert ist . Der Vekto r Y wird als Binar zahl mit Wert Iy l int erp retiert und solI den Iy l-ten Block von x der Lan ge m ansprechen. Falls Iyl ~ lnjmJ ist , sei ISA n(x,y ) := 0. Ansonst en wird x (y ) .(x lyl.m, "" Xlyl·m+m- 1) als Ad resse interpretiert und es sei ISA n( x , y) := x lx(y)I' Theorem 16 .3.3. Fur die indi rekt e Adressierung gilt L(ISA n )

=

.f?(n2 jlogn) un d D(ISA n ) ~ 2 10gn - log logn - 0(1) .

Beweis. Nach Bem erkung 16.3.1 geniigt es, die Aussage fur die Forrnelgro f e zu zeigen. Wir wenden Theorem 16.3.2 auf die Mengen s., i :::; ln jmJ -1 , an. Dab ei ent ha lt Si die Variablen Xi.m, .. . , Xi.m+m-1 . Um die Anz ah l der Sub funktionen auf S, abz uscha tzen, set zen wir die y- Variablen so konst ant , dass Iy l = i ist . Dami t stellen die Si- Variablen die dir ekt e Adresse dar, um ein Bit des x- Vektors zu adress ieren. Somit bilden die Belegungen der x Variabl en auBerhalb Si einen Teil der Funktionst ab elle und es ist Si ~ 2n - m und log s, ~ n - m = .f?(n). Die Beh auptung folgt nu n, da wir lnjmJ = .f?(njlog n) Si -Mengen betracht en . 0

°:: ;

Es gibt zwar noch keine grofiere unt ere Schranke fur die Tiefe explizit definierter bool escher Funktionen , abe r es gibt eine Beweismethode mit zumindest groBem Potenzial. Diese Method e charakterisiert die T iefe bo olescher Funktionen j durch die Kommunikationskomplexlt at einer zugeho rigen Relation R ] . Definition 16.3.4. Zur booleschen Funkti on j : {O, l }" --+ {O, I} gehort die Relat ion Rf ~ j - 1(1) X j -1(0) x {I , .. . , n} , die alle (a , b, i) mit ai :f. bi ent halt . Das Kommunikationsspi el fur Rf best eht darin, dass Alice a E j - 1(1) und Bob b E j - 1(0) ken nt und sie sich ub er ein i E {l , ... , n } mit a; :f. bi einigen sollen. Das Kommunikat ionsspiel hat stets eine Losun g, da sich a E j -1 (1) und b E j - 1(0) unterscheiden miissen . Wir eri nnern daran , dass C (Rf ) die Kommunikat ionskom plexitat von Rf bezeichnet . Wi r betracht en nun Schaltkreise mit den ublichen Eingabe n X l , " " X n , und 1 und den zusatzlichen Ein gab en X l , .. . , X n , wob ei nur AND- und OR-Bau st eine erla ubt sind. Die Tiefe von j in diesem Mod ell wird mit D *(J) bezeichnet . Dann ist D(J) - 1 :::; D *(J) :::; 2D(J) . Die erste Ungleichung gilt, da die T iefe durch die negiert en Eingabe n maximal um 1 fallen kann. Fur die zweite Ungleichung erklaren wir zunac hst Negationen fur kost enfrei. So konnen wir einen Scha lt kreis dersel be n Tiefe konst ruieren , der nur NOT-, AND- und

°

272

16. Die Komplexitat boolescher Funktionen

EXOR-Baustein e ent halt. Da x EB y = x y + xy ist , konnen wir die EXORBau steine durch Schaltkreise der Ti efe 2 ersetzen und erha lte n einen Schaltkreis hochst ens doppelt er Tiefe mit NOT-, AND- und OR- Baus t einen . Durch eine Bottom-up-Anwendung der De-Morgan-Regeln werd en die Negat ionen zu den Eingab en "gezwungen", ohne die T iefe zu erhohen. Es ist also sinnvoll, D * zu un t er suchen , um Ergebnisse tiber D zu erha lte n. Theorem 16.3.5. Fur all e nicht konstanten booleschen Funktionen D *(f) = C(Rf )·

f

9ilt

Beweis. Diese erstaunliche Beziehung zwischen Ti efe und Kommunikat ionskomplexitat wird durch den Beweis erhellt . Wir beginn en mit der "2:: "-Beziehung. Alice und Bob einigen sich a uf eine tiefenopt imale Formel. Mit ihrer Kommunikation wollen sie einen Weg vom Baustein , der f berechnet , zu eine r Ein gab e Xi od er Xi mit a i i=- b, wahl en und sich damit tiber ein i mit (a , b, i) E Rf einigen. Die Schranke folgt , wenn fur jeden Bau st ein auf diesem Weg gena u ein Bit kommuniziert wird . Alice und Bob wollen den Weg so wahlen, dass sie nur Bau st eine G erre ichen, an denen Funktionen 9 mit 9(a) = 1 und 9 (b) = 0 realisie rt werd en. Dies ist zu Beginn am Bau st ein , der f ber echnet , nach Vorausset zun g gewa hrleistet. Wir unterscheiden , ob G ein AND- od er ein OR-Bau st ein ist , in beiden Fallen werden die Funktionen an den Eingangen mit 91 und 92 bezeichnet . Ftir einen AND-Ba ustein ist 9 = 9192· Also ist 91(a) = 1 und 92(a) = 1. And ererseit s ist mindestens einer der Werte 91(b) und 92(b) gleich o. Bob kann ausrechnen, welcher der beiden F alle eingetreten ist, und dies Alice mit einem Bit mit t eilen . Auf diese Weise einigen sie sich tiber einen dire kt en Vorgan ger G* , ftir den fur die dort realisiert e Funktion 9* wieder 9*(a) = 1 und 9*(b) = 0 ist . Der Fall eines ORBau st eins ist dual. Es ist 9 = 91 + 92, 91 (b) = 0, 92 (b) = 0 und mindest ens einer der Wert e 91 (a) und 92 (a) ist gleich 1. Hier kann Alice den passend en Vorgan gerbau st ein auswahlen und Bob mitteilen . Wenn sie auf diese Weise eine Eingabe erre ichen, kann dies keine Kon st ant e sein. 1st die Eingabe Xi , so ist ai = 1 und b, = 0, fur Xi ist dagegen a i = 0 und bi = 1. In jedem Fall hab en Alice und Bob ihre Aufgab e er fullt. Der Beweis der " s "-Beziehung ist komplizierter , obwohl er in gewisser Weise eine Umkehrung des obigen Beweises ist . W ir starten mit einem optimalen P rotokollbaum fur R] und bauen diesen in eine Form el fur fum . Innere Knoten, an denen Alice ein Bit sendet , werd en Oli-Bausteine, und Knoten , an denen Bob ein Bit sendet, werden AND-B aust eine. Blatter des Protokollb aums mit der Antwort i E {I , ... , n } werden durch Xi od er Xi ersetz t. Zumindest ist die T iefe der ent st ehenden Formel gleich der Ti efe des Protokollb aums. Wir mtissen noch entscheiden, welche Blat ter wir negieren, und dann beweisen , dass die Formel wirklich f berechnet . Wir betracht en ein Blatt des Prot okollb aums mit Markierung i . Aus Kapit el 15.2 wissen wir , dass die Menge der Ein gab en (a, b), die dieses Blatt erreichen, ein Rechteck A x B ist . Fur alle (a , b) E A x B ist a i i=- bi . Auf

16.3 Die Tiefe von Schaltkreisen

273

Grund der Rechteckstrukt ur ist entweder a, = 1 und bi = 0 fur alle a E A und b E B od er a i = 0 und bi = 1 fur alle a E A und b E B . Hier zeigt sich wieder , wie niit zlich die Erkenntnis ist , dass die Eingaben, die einen Knoten im Protokollbaum erreichen, st ets ein Recht eck bilden . Irn ersten Fall wird das Blatt mit Xi und im zweite n Fall mit Xi bezeichn et . Dami t ist die Formel vollst andig spe zifiziert. Um zu beweisen , dass die Formel f berechnet , beweisen wir eine starkere Au ssage. F ur jeden Kno t en v der Formel sei A v x B; das Recht eck der Eingab en (a, b) , die v erre ichen. Dann gilt fur die an v berechnet e Funktion 9v, dass 9v(a) = 1 fur a E A v und 9v(b) = 0 fur b E B ; ist . Das Recht eck an der Wur zel r ist f -l(1) x f -l(O) und aus der Aussage folgt 9r(a) = 1 fur a E f-l (1) und 9r(b) = 0 fur b E f- 1(0) , also 9r = f . Die Behauptung zeigen wir nun mit einer Strukturinduktion von den Blattern der Form el zur Wur zel. An den Blatt ern ist die Aus sage wahr, da wir das Literal an jedem Blatt passend gewa hlt hab en. Nun betracht en wir einen OR-Knoten v und das Recht eck A v x Bi; Fur die Vorgan ger V I und V2 gilt 9v = 9Vl + 9V2 ' Da Alice im Protokollbaum an vein Bit gesendet ha t , bilden A V1 und A V2 eine Partition von A v und es ist B; = B V1 = B V2' Fur (a, b) E A V1 X B V1 ist nac h Induktionsvor au sset zun g 9V l (a) = 1 und 9V l (b) = O. Dies impli zier t bereit s 9v(a) = 1. Fur (a, b) E A V2 X B V2 ist nach Induktio nsvorausset zun g 9V2(a) = 1 und 9V2(b) = O. Wi eder folgt 9v(a) = 1. Fur (a,b) E A v x B; ist a E A V1 od er a E A V2 und damit 9v(a) = 1. AuBerd em ist b « B ; = B V1 und b E B ; = B V2' also ist 9v(b) = 9Vl (b) + 9V2(b) = 0 + 0 = O. Fur AND-Knoten verlauft die Argumentation ana log. In sgesamt ist da s T heorem bewiesen. 0

Die Kommunikationskomplexitiit einer zu f qehiiretuieti Relation R] ist qleicli der Tiefe von fin Schaltkreisen mit AND-, OR- und NOT-Baustein en, bei denen Negationen bei der B erechruuiq der Tiefe nicht berilcksichtigt werden. Wieder zeiqt sich der breite A ruoeruiumqsberei ch. der Th eori e der K ommunikationskomplexit iit. Die vor an gehend e Aussage ist glilt ig, auch wenn die Charakterisierung aus Theorem 16.3.5 bisher nicht zu verb esserten Er gebnissen tiber die T iefe von Funktionen gefUhrt hat . Relationen konnen meh rer e richt ige Antworten hab en , was die Aufgab e von Alice und Bob erleichtert und dami t den Beweis unterer Schr anken erschwert . AbschlieBend betracht en wir den Fall monotoner Schaltkreise und das Komplexit at smaf D m fur die T iefe mon otoner Schaltkreise. Der Beweis der ,,:2: "-B eziehung von Theorem 16.3.5 kann naturlich auch auf den eingeschrankte n Fall mon oton er Schaltkreise angewendet werden. Alice und Bob erreichen stets eine nicht negierte Eingabe Xi und es gilt a.; = 1 und bi = O. Sie realisieren also soga r die Relation M f ~ t:' (1) X r' (0) x {1, . . . , n }, die alle (a , b, i) mit a; = 1 und bi = 0 ent halt . "Venn wir nun mit einem optimalen Protokollbaum fur lvIf starten und den Beweis der ,,:S; "-Beziehung verfolgen , dann erhalten wir eine monoton e Form el. An den Blat.tern gilt ja

274

16. Die Komplexit a t booles cher Funkt ionen

°

fur alle (a, b) E A x B , dass ai = 1 und b, = ist . Am Beweis, dass die Formel f berechnet , muss nichts gea ndert werden. Damit hab en wir folgend es Er gebnis bewiesen . Theorem 16.3.6 . Fiir alle nicht konstanten monotonen booleschen Funktion en f gilt Dm(J) = C(Mf ) · Tat sachlich wurden mit diesem Theorem groBe untere Schr anken fur die monotone Tiefe boolescher Funktionen gezeigt (sieh e z. B . Ku shilevitz und Nisan (1997)).

16.4 Die GroBe von tiefenbeschrankten Schaltkreisen Wie in Kapi tel 16.2 diskutiert, konnen wir moment an nicht einmal bei einer Ti efenb eschr ankung von o (log n) supe rlineare unter e Schr anken fur die Schaltkreisgrofe explizit definierter Funktionen beweisen. Ti efenb eschr ankungen von o(log n) sind nicht sinnvoll, da dann Funktionen , die von n Var iabIen essenziell a bhangen, nicht bere chenb ar sind . St attdessen ist es sinnvoller, die Beschr ankung aufzugeben, dass Bausteine nur zwei Eingab en hab en . Im einfachsten Modell sind AND- und OR-B aus t eine fur beliebi g viele Ein gaben und NOT-Baus t eine mit jeweils einem Ein gan g erlaubt . Da AND und OR assoziativ und kommutativ sind, ist die Semant ik dieser Bau st eine offensichtli ch. Es stellt sich die Frage, ob wir weit erhin die Anz ahl der Ballst eine od er besser die Anz ahl der Kanten als Komplexitatsmaf wahl en , Da Doppelkanten zwischen zwei Kno t en des Scha lt kreises durch Ein zelkanten ersetzt werd en konnen , ben6tigen Schaltkreise mit s Bau st einen hochst ens s . (s + n) Kanten . Da wir an exponent iellen unt eren Schr anken int eressiert sind, kon nen wir weit erhin die Anz ahl der Bau st eine als Schaltkreisgr6Be ansehen. Wenn ein OR- Bau st ein G einen OR-Bau st ein G' als Eingang hat , konnen wir G' durch dessen Eingan ge ersetzen, analog fur AND-Baust eine. AuBerdem verdoppelt sich die Gr6Be hochst ens, wenn wir die Negationen mit den De-Mor gan-Regeln zu den Eingan gen brin gen. SchlieBlich erreichen wir mit Bausteinen mit einer Eingabe, dass Kanten nur von Ebene k' zu Ebene k' + 1 verlaufen . Dies erho ht die Anz ahl der Bau st ein e bei Tiefe k hochstens urn den Faktor k - 1. Insgesam t erha lte n wir mit diesen MaBnahmen folgend e Struktur von Schaltkreisen der Tiefe k : - Ein gab en sind Xl, . . . , Xn , X l, . .. , X n , 0,1 und bilden die Ebene 0, die Menge der Bau st eine lasst sich in k Eb enen so einteilen, dass Kant en nur von Eb ene k' zu Eb ene k' + 1 verl aufen , - alle Baust eine einer Ebene sind vom gleichen Typ und - die Bau st ein e a uf Eb enen mit ungerader Nummer sind vom andere n Typ als die Bau st eine auf Ebenen mit gera der Nummer.

16.4 Die Crofie von t iefenbes chrankte n Schaltkreisen

275

OR-Baustein e lassen sich als Existenzqu antoren auffasse n (es gibt eine E inga be, die den Wert 1 hat) und AND-Bau stein e als Allquan toren . Schaltkreise der T iefe k mit eine m OR-Baustein au f Ebene k heiBen dah er in An alo gie zur Kornplexi t atsklasse E k auch E k-Schaltkreise und bei eine m AND-Bau st ein auf Ebene k auch Ilc-Scholikreise. E 2-Schalt kreise sind Disjunktionen von Monomen , manchm al auch als disjunktive Nor malformen (DN Fs) bezeichnet . Dies ist irrefuhrend, da eine Normalform eindeut ig sein und dah er nur d ie Disjunkt ion aller Min t erme DNF heiBen sollte. Besser ist der Au sdruck disjunktive Form (DF ), de n wir hier a uch verwenden wollen. An alog realisiert ein ll2-Schaltkreis eine Konjunktion von Klau seln , also eine konjunktive Form (CF) . Wir hab en gesehe n, dass wir uns auf Sch altkreise beschranken konnen , bei den en der Bausteintyp von Eben e zu Ebene wechselt , also alterniert . Dah er wird die Klasse der Familien j = (In) boolescher Funktionen , die bei konst anter Tiefe pol ynomielle GroBe hab en , mit ACo (alternating class) bezeichnet. Die Paritiitsjunktion (parity , PAR = (PARn) ist das EXOR von n Vari abIen . Sie ist neb en ihrer Negation die einzige Funktion, bei denen jed e DF die Maximalza hl von 2n - 1 Monomen der Lange n und jede CF die Maximalzahl von 2n - 1 Klau seln der Lan ge n ent halt. Da auBerdem nach Konstan t setzung einiger Vari abl en wieder eine P arit at sfunkti on oder deren Negation auf den restlichen Variablen entsteht , eignet sie sich gut fur den Beweis unt erer Schranken . Urn die Cut e der sp ater gezeigte n unteren Schranken beurteilen zu konnen, beweisen wir zunac hst eine ob ere Schra nke. Theorem 16.4.1. Die Pa ritiitsjunktion PARn kann in alternierenden S chaltkreisen der Tieje f(logn) floglognl +l mitO(n 2 f logn) Baustein en berechnet werden. Beweis. Wir starten mit eine m EXOR-Schaltkreis, bei dem die Bausteine eine n Eingan gsgr ad von [log n 1 hab en . Urn PARn zu realisieren , genugt ein balanciert er Form elb aum mit O( n flo g n ) Bau stein en und Tiefe l(log n )f log log n ] . Wi r erse tzen nun die EXOR-Bau stein e sowohl durch disjunktive als auch durch konj unktive Formen . Diese hab en jeweils eine GroBe von 2 1]og n l -l + 1 ::; n + 1. Die Grofie wachst auf O( n 2 f log n) und die T iefe auf 2 · I(log n ) f log log n 1 E be ne n, die wir un s als I(log n) f log log n 1 Schichten der T iefe 2 vor stellen. Die Negatione n werde n wieder zu den Eingabe n versc hoben . Die Bau st ein e G a uf der ersten Ebe ne eine r Schicht ha ben als Eingan ge Bau st ein e der zweiten Eb ene der vor he rigen Schicht . Diese Funktionen liegen durch unsere Verwendung eine r DF und einer CF sowohl an eine m AND- als au ch an eine m OR-Bau stein vor. W ir wahlen den Bau st ein vom gleiche n T yp wie G und konnen somit die zweite E be ne einer Schicht mit der ers ten Eben e der folgenden Schicht zu einer Ebene verschmelzen . Auf diese Weise sinkt die Tiefe auf I(log n) f log log n 1+ 1, ohne dass sich die Anzahl der Bau st ein e vergrofer t . D

276

16. Die Kornplexitat boolescher Funktionen

Die folgende untere Schr anke fur PAR" geht auf Hastad (1989) zur ilck. In sb esondere mit dem im Beweis verwendeten Austauschlemma (switching lemma) hat Hastad den Kern derarti ger Schranken freigelegt. Die Aussage, dass PAR if. ACo ist , war schon in einige n fruheren Arbeiten mit immer grofler werdenden unteren Schranken bewi esen word en.

Theorem 16.4.2. Alterni erende S chaltk reise der Tiefe k fu r PARn , n ~ 2, benoiiqen m indest ens 2Ln l/k / l OJ Baust ein e. Es ist PAR if. AGo. Um polyno m ielle GrojJe zu ermoqlichen, ist f ur eine K onstante c mindestens eine Tiefe von (log n) / (c + log log n) notig. Beweis. Entscheid end ist der Beweis der unt eren Schranke. Au s dieser Schranke folgt direkt PAR if. ACo und die Au ssage ub er die filr pol ynomielle GroBe benotigte Tiefe folgt mit einer einfachen Rechnung. Wir werden die Beh auptung durch Induktion tib er die T iefe k zeigen . Der Trick im Induktionsb eweis besteht darin , sich die auf der zweit en Eb ene berechn eten Funktionen genauer anzuschauen. Sie werden alle durch eine DF ode r alle durch eine CF dar gest ellt. Au s Symmetriegrilnden konnen wir uns auf den Fall von DFs beschr anken. Wenn wir jede DF durch eine aquivalent e CF ersetzen, sind die Bau steine auf Ebe ne 2 und E be ne 3 AND-B au st ein e und die E be ne n konnen verschmolzen werden. Auf den entstehenden Schaltkreis der Tiefe k -1 konnen wir d ie Induktionsvorau ssetzung anwenden. So einfach kann das Ar gument aber nich t sein . Fur die DF X IX2 + X3X 4 + ...+ Xn-lX n ent halt jede CF mindesten s 2n / 2 Kl au seln , die a lle eine Mindestlan ge von n / 2 hab en . Hastad hat die probabilistische Methode (siehe z. B. Alon un d Sp en cer (1992)) auf eine zufallige Konst antset zung zufallig ausgewa hlter Vari ablen angewende t. Die Anz ahl der konstant gesetz ten Variabl en soll so gewahlt werden , dass genilgend viele Variabl en ubrig bleiben und mit pos itiver Wahrscheinlichkeit alle DFs durch genilgend klein e CFs ersetzt werden konnen . Eine Analyse dieses Vorgehens zeigt, dass sich das gewilnschte Ergebnis nicht ergibt. Daher wird ein neuer Paramet er s, narnlich die grofite Anz ahl von Eingab en eines B au st eins auf der ersten E be ne, eingefilhrt. Wenn s klein ist, wie bei einer DF filr X IX2 + X3X4 + ...+ Xn -lX n , best eht die Hoffnung, dass lan ge Kl aus eln mit genilgend groBer Wahrscheinlichkeit durch 1 ersetz t werden . Diese Ideen werden im Austau schlemma (switching lemma) form alisiert . Austauschlemma. Es sei f eine DF auf n Variablen, deren Monome eine L ange von hochsiens s haben. Fur m > 0 wird eine zufa llige Subfunktion 9 von f m it folgend em Experiment erzeugt. Zuniichst werden n - m Variablen nach Gleichverteilung ausgewahlt und dann unabhangig von einander mit Wah rscheinli chkeit 1/2 auf 0 oder 1 gesetzt . Di e W ahrscheinli chkeit, dass es fu r 9 keine GF m it Klaus eln, deren Lange hochsi ens t ist, gibt, ist kleiner als (5ms /n)t .

16.4 Die GroBe von tiefenbeschr iinkten Schaltkreisen

277

Der technisch anspruchsvolle Beweis des Austauschlemmas soIl hier nicht beschrieb en werden (siehe Razborov (1995)) . Wir wollen mit Hilfe des Aust auschlemmas folgende Behauptung beweisen : - Es sei S := 2 lnl/ k/lOJ, ln l/ k/ lOJ 2: 1 und n(i) := In/ (l0 log S)k - i+IJ. Dann gibt es fur kein i E {2, . . . , k + 1} einen alt ern ierenden Schaltkreis fur PARn(i) , der Tiefe i , auf den Ebenen 2, . .. , i hoch st ens S Bausteine und auf Ebene 1 nur Bausteine mit hochstens log S Ein gangen hat. Zun achst folgern wir das Theorem aus dieser Behauptung. Wenn es ein en alt ern ierenden Schaltkreis fur PAR n gibt, der mit Tiefe k und S Bausteinen auskommt , dann konnen wir ihn durch einen Schaltkreis der Tiefe k + 1 erset zen, indem wir auf Ebene 1 nur X l, Xl , ... , X n , xn mit Bau st einen mit jeweils einem Eingang berechnen. Dieser Schaltkreis berechnet dann im Widerspruch zur Behauptung fur i = k + 1 die Funktion PARn in T iefe k + 1, wobei der Eingangsgrad auf Ebene 1 durch 1 beschrankt ist und die Eb enen 2, . .. , k + 1 hochstens S Bau st eine ent halten . AbschlieBend beweisen wir die Beh auptung durch Induktion tiber i. Fur i = 2 betragt die Anzahl der Variablen n(2) und es gilt

n(2) = l n ] (10 log S)k-l J = l(10n log S )/ (10 10g S l J 2: 10 log S > log S. Urn PAR n (2) in T iefe 2 zu realisieren , benotigen wir auf Ebene 1 Bausteine mit n(2) > log S Eingan gen , da alle Primimplikanten und Primklauseln diese Lang e hab en . Also gilt die Behauptung. Fur den Induktionsschritt wenden wir das Austau schlemma, event uell die du ale Form fur CFs, a uf m (i ) := In (i)/ (10 10g S )j, s: = logS und t := logS an . Die Wahrscheinli chkeit , dass sich eine DF od er CF nicht auf gewiins cht e Weise in eine CF od er DF umformen lasst , ist kleiner als

(5m(i)s /n(i)) t::::: (1/2)logS = l /S. Also ist die Wahrscheinlichkeit, da ss mindestens eine der hochst ens S DFs od er CFs nicht gut umformbar ist , kleiner als 1. Dies impliziert, dass es eine Kon st antsetzung von n(i) - m(i) der n (i ) Vari abl en gibt , bei denen sich alle DF s od er CFs auf der zweit en Eb ene so umfor men lassen , dass sich durch Vers chmelzung der zweite n und dritten Ebene ohne E rhohung der Anzahl der Bausteine eine Eb ene einsp aren lasst . Wir erha lte n also einen alt ern ierenden Schaltkreis der T iefe i - 1, der auf m(i) = n( i - 1) Variablen die Paritatsfunktion od er deren Negat ion berechnet . Bei der Gleichun g m( i ) = n( i - 1) haben wir ausgenutzt, dass fur ganze Zahl en a , b und j die Beziehung la/bj j = II a/bl- l j / bj gilt . Die Anzahl der Bausteine a uf den Ebenen 2, . . . , i - 1 ist weit erhin durch S beschr iinkt und die Baus t eine auf Ebene 1 hab en hochstens log S Eingiinge. Mit diesem Widerspruch zur Induktionsvorau sset zun g hab en wir das T heorem bewiesen . 0

278

16. Die Komplexitat boolescher Funktionen

Wenn wir nun auch EXOR-Bausteine mit beliebig vielen Eingan gen erlauben, konnen wir in polynomieller Crofe mehr Funktionen realisieren , da PAR nur noch einen Baustein benotigt . Wir konnen dann OR-Bau steine durch AND- und NOT-Bausteine und, da x = x EB 1 ist , NOT-Bausteine durch EXOR-Baus t eine erset zen. Doppelkanten machen auch als Eingan ge fur EXOR-Bau st eine keinen Sinn. Offensichtli ch konnen r Kanten , die dieselbe Funktion realisieren , durch r mod 2 K anten ersetz t werd en . Auf diese Weise erhalte n wir altern ierende Schaltkreise mit AND- und EXOR-Ebenen . Wenn wir EXOR als Z2-Summe auffassen , konn en wir die Uberlegungen fur konst antes m auf Zm-Summen erweitern . Ein MOD m-Baust ein liefert die Ausgabe 1 genau dann , wenn die Anzahl der Einsen an den Ein gan gen ein ga nzza hliges Vielfaches von m ist . Fur EXOR-Baust eine mu ssen wir nur einen Einga ng 1 hin zuftigen , urn MOD 2-B austeine zu erha lte n. Bei MOD m-Baust einen konnen r Kan ten , die dieselbe Funktion realisieren , durch r mod m Kanten ersetzt werden . Dah er ist es auch hier sinnvoll, die Gro Be des Schaltkreises als Anz ahl der Bau st eine zu definieren . An MOD m-B aus t einen wird "mo dular geza hlt ". Dah er wird die Klasse der Familien j = (In) bool escher Funktionen , die in altern iere nde n Schaltkreisen konst anter Ti efe und polynomieller GroBe mit AND- und MODm-Bau st einen berechenbar sind, mit ACCo[m] (alternating count ing class) bezeichnet . Wir betracht en zunac hst den Fall m = 2 und damit Rechnungen im Ko rp er Z2. Dies legt die Anwendung algebr aischer Methoden nah e. Bool esche Funktionen konnen als Z2-Polynome int erpreti ert werd en und hab en somit einen Gr ad , naml ich den Grad des zugehorigen Polynoms. Es ist einfach, Polynom e hoh en Grades zu berechn en , so zum Beispiel mit einem AND-Baustein das Po lynom X 1X2·· · X n mit dem maxim alen Grad n . Dieses Polynom ist abe r einem Polynom mit kleinem Grad , namli ch der Konst anten mit Grad 0, in dem Sinn ahnlich, dass sich diese beiden Funktionen nur an einer Stelle unterscheiden.. Anst elle der Ahnlichkeit konn en wir au ch die Distanz zweier Funktionen j und 9 definieren. Als Dist an zmaB biet et sich in diesem Zusammenhan g die Anzahl der Eingabe n a mit j(a) i=- g(a) an. Diese Idee hat Razborov (1987) benutzt , urn ftir explizit definierte Funktionen zu zeigen, dass sie nicht zu ACCO[2] gehoren . E r hat nachgewiesen, dass ACCO[2]-Funktionen einen kleinen Abst and zu einem Polynom recht kleinen Grad es hab en . Urn zu zeigen, dass j = (In) nicht zu ACCO [2] gehort , reicht es dann zu zeigen, dass I« zu allen Polynomen kleinen Gr ades einen groBen Abst and hat. Diese Ub erlegungen mtissen naturlich qu ant ifiziert und beziiglich der Tiefe k der Schaltkreise par am etrisiert werden. Razborov hat die Majoritiitsjunktion (majority fun ction, MAJ = (MAJ n ) ) untersucht , wobei MAJ n gena u dann die Au sgab e 1liefer t , wenn die Eingab e mindestens so viele Einsen wie Nullen ent halt . Er hat folgendes Resultat bewiesen.

°

Theorem 16.4.3. Die Majo ritiit sjunktion hat in alternierenden Schaltkreisen mit A ND- und MOD 2 -Baustein en bei Tieje O((log n )jloglog n) polyno-

16.5 Die GroBe von tiefenbeschriinkte n Thresholdschaltkreisen

279

mielle GrofJe un d bei T iefe o( (log n) f log log n) superpolynom ie lle GrofJe. In sbesondere is t MAl rf:- ACCO [2 ].

Smolen sky (1987) hat die ACCO[m]-Kl assen allgemeiner untersucht und folgendes Result at erzielt. Theorem 16.4.4. Es seien p und q ve rschiedene Primzahlen und k 2: 1 eine Konstante. Dann ist MODp 'f- ACCO [qk]. Nur Primzahl en und Primzahlpot enzen erlaube n bei MODm-Bau steinen eine n algebraischen Zugang. FUr aus mindesten s zwei verschiedene n Primza hlen zusammengesetz te Zahlen wie m = 6 ist es bisher nicht moglich, fur explizit definierte Funktionen nachzuweisen , dass sie nicht in ACCO[m] enthalten sind.

16.5 Die GroBe von t iefenbeschrtlnkten Thresholdschaltkreisen Da PAR rf:- ACo ist, hab en wir in Kapit el 16.4 EXOR-Bau st eine und aIlgemein er MODm-Bau st ein e zugelassen. An alog konnen wir nach dem Ergebnis MAJ rf:- ACCo [2] au f d ie Id ee kommen , MAJ-Bau st eine zuzulasse n . Um Negat ione n, Disjunkt ionen und Konjunktionen in einem Bausteintyp zu erfasse n und de n Zugriff auf konstante Eingab en UberflUssig zu machen , erlaube n wir aIle Thresholdfunktionen T;;k und aIle negativen T hresholdfunkt ionen T!2k als Bau st ein e. Wir erinnern d aran, dass an diesen Bau st ein en ub erpruft wird, ob unter den n E ingange n mindest ens bzw. hochst ens k Einsen sind. Die ent stehende n Schaltkreise hei£en Thresholdschaltkreise (threshold circuits) und bilden ein adaquates Modell fur diskret e neuronale Net ze ohne RUckkopplu ng. In Thresholdschaltkreisen konnen Mehrfachkanten sinnvoll sein. Das Ube rt ragsbit CARn bei der Addition zweier Zahlen der Bit lange n lass t sich beispielsweise mit ex po nent iell vielen Kant en durch einen T hresholdbaustein realisieren . Dies ist offen sichtlich , da CARn( a , b) genau dann den Wert 1 hat , wenn die Ungleichung

O:'Oi:'On - l

erfullt ist. Also wahl en wir den Threshol dwert 2n und jeweils 2i Kant en von a i un d bi zu dem Bau st ein . Auf diese Weise erhalte n wir zwei Kornpl exitatsm afe fur die GroBe von Thresholdschaltkreisen , namlich - d ie Anzah l de r Kant en und - die Anzahl der Bau st ein e.

280

16. Die Kornplexitat boolescher Funktionen

Im zweiten Modell kann man sich vorstellen , dass Kanten ga nzzahlige Gewichte t ra gen und ub erpruft wird , ob die gewichtete Summe der Eingab en den Thresholdwert erreicht. Da wir bisher nur fur die GroBe von Thresholdschalt kreisen sehr klein er konstan t er Tiefe ex pone nt ielle untere Schr anken beweisen konnen , bezeichnen wir mit TCO,d die Klass e der Familien f = Un) boolescher Funkt ion en , die in Thresholdschaltkreisen mit pol ynomiell vielen un gewicht et en Kan t en in Tiefe d realisierbar sind . Erstaunlicherweise lasst sich mit gewichteten K anten bei polyn omi eller GroBe maxi mal eine Eb ene einsparen (Goldmann und Karpinski (1993)) . Ziel dieses Ab schnitt s ist es, das Ergebnis IP t{. TCO,2 her zuleiten (Hajnal , Maass , Pudlak , Szegedy und Turan (1987)) . Hier verlauft moment an die Gren ze ftlr den Beweis ex pone nt ieller unterer Schr anken . Fur keine explizit definier t e Familie bo olescher Funktionen ist bisher bewiesen word en , dass sie nicht in T CO,3 ent halten ist . Urn etwas mit dem Mode ll vertraut zu werden , st ellen wir zunachst zwei po sit ive Ergebnisse vor. Theorem 16.5.1. PAR E T C O,2 und IP E TC O,3. Beweis. Der Schaltkreis fur PAR n kommt mit 2· In/21 + 1 Bau st einen au s. F ur die Eingab e x = (Xl , . . . , x n ) werden auf der ersten Eb ene T>k(X) und T
16.5 Die GroBe von ti efenb eschrankten T hresholdschalt kreisen

281

wir zunachst aile eingehenden Kanten und den Thresholdwert von k auf 2k . Da nun die gewichtete Summe auf jeden Fall gerade ist, ist der Thresholdwert 2k aquivalent zum Thresholdwert 2k - 1. Wenn wir dem Ausgabebaustein 2k - 1 Kanten von der Konstanten 1 mit Gewicht - 1 hin zufugen und den Thresholdwert durch 0 erset zen, andern wir die Ausgabe nicht. AuBerdem ist nun die gewichtete Summe der Eingaben ungerade und daher niemals O. SchlieBlich erhohen wir die Anzahl der Eingaben des Ausg ab ebausteins auf die nachste Zweierpotenz, indem wir Kanten, die die Konstante 0 realisieren, hinzufligen. Insg esamt ist die Grofe des Schaltkreises nur urn einen konstanten Faktor gewachsen. Wir nennen die so entstehenden Thresholdschaltkreise im nachsten Lemma modifizierte Thresholdschaltkreise. Lemma 16.5.2. Wenn 1: {o,l}n ----+ {O, I} in einem modifizierten Thresholdschaltkreis der Tiefe 2 so realisierbar ist, dass jeder Baustein maximal M = 2m Eingaben hat , dann gilt

Rrl~2-1/ (2M) (1) < m + 2 fur jede Aufteilung der Eingabebits zwischen Alice und Bob. Beweis. Alice und Bob machen den gegeb enen modifizierten Thresholdschaltkreis zur Grundlage ihres Kommunikationsprotokolls. Mit den offentlichen Zufallsbits wahlen sie zufallig einen der Eingange des Ausgabebausteins. Wenn wir die Eingange mit il , . . . , 1M bezeichnen, ist I(a) = 1 genau dann, wenn wlil (a) + . . . + WM 1M(a) :2': 0 flir die Kantengewichte Wi E {-I , I} ist . Alice und Bob wollen fur die zufallig gewahlte Funktion Ii den Wert Ii(a) berechnen , urn eine "Tendenz" fur die gewichtete Summe festzustellen. Die Funktion I i ist eine Thresholdfunktion auf hochstens M Eingangen und die Eingange sind Variablen. Die gewichtete Summe der Eingange kann hochstens M + 1 fortlaufende Werte - j, . .. , 0, .. . , M - j fur ein geeign etes j annehm en . Alice berechnet den Teil dieser Summe, den sie ausw erten kann, da sie die zugehorigen Eingabebits kennt. Diesen Wert sendet sie mit m + 1 Bits an Bob. Nun kann Bob den Thresholdbaustein auswerten und das Ergebnis an Alice senden. Danach treffen sie folgend e Entscheidung:

- Falls I i(a) = 0 ist , benutzen sie ein weiteres offentliches Zufallsbit, urn das Ergebnis der Kommunikation zufallig zu wahlen. Das Ergebnis 0 gibt keine Tendenz an . - Falls Ii(a) = 1 ist , ist ihr e Entscheidung 1, wenn ui, = 1 ist , und 0 , wenn ui; = -1 ist . Hier wird die durch wdi(a) angezeigte Tendenz fur die Entscheidung verwendet . Das Protokoll hat offensichtlich eine Lange von m + 2. Wir schatzen nun die Fehlerwahrscheinlichkeit fur die Eingabe a ab o Es sei k die Anzahl der Funktionen Ii mit I i(a) = 1 und ui; = 1, l die Anzahl der Funktionen I i mit Ii (a) = 1 und Wi = - 1 und M - k - l die Anzahl der Funktionen Ii mit Ii(a) = O. Wenn I(a) = 1 ist , dann ist die gewicht et e Summe aller

282

16. Die Kom plexita t boolescher Funktionen

uu], (a) positiv und dah er k 2: 1 + 1. Die Wahrscheinli chkeit einer falschen Entsch eidung betragt 1( 1 ) 11 11 l+2( M -k -l) = 2+ 2M (l - k )S 2- 2M '

M

Fur f(a)

=0

ist 1 2: k + 1 und das Ergebnis folgt analog.

D

Theorem 16.5.3. Thresholdschaltkreise der Tiefe 2 f ur IPn benotiqen fi r j edes konstante a < 1/4 und genugend grojJes n mindest ens 2 0 m Kanten . In sbesondere ist IP rt- TCO,2. Beweis. Wenn in T hresholdschalt kreisen der Tiefe 2 fur das innere Produkt 2cm Kanten ausreichen, dann gentigen in modifizierten Thresholdschaltkreisen 2a n +c Kanten fiir eine Konst an t e e und nach Lemma 16.5.2 ist

R~~1~2 _1 /2Qn+c+ l (IP n ) s a n + e + 2, wob ei Alice alle a-Bits und Bob aIle b-Bi t s kennt. Fur diese Aufteilung der E ingabe gilt nach Theor em 15.4.9

R~~1~2_1/2M*+ 1 (IP n ) 2: n/2 - a n - c - 1. Fur a < 1/4 und genuge nd groBes n wid er sprechen sich diese Schranken und das Theorem ist bewi esen . D

Di e aktu ellen Herausforderung en im B ereich der S chaltk reiskomplexit iit best ehen in den f olgenden Problem en: - Zeige fur explizi t defini ert e boolesehe Funktionen, dass sie nieht dureh S chaltkreise m it linearer GrojJe und logarithmiseher Ti efe bereehenbar sind. - Zeige fir explizit defini ert e boolesehe Funktionen, dass ihre Fortn elqrojle asymptotiseh schne ller als n 2f log n wiichst . - Zeige fur explizi t definiert e boolesche Funktionen, dass sie ni cht zu ACCO [6] qehoren. - Zeige fur explizit definiert e boolesehe Funktion en, dass sie nieht zu TCO,3 qehoren.

16.6 Die GroBe von Branchingprogrammen Branchingprogramme wurden in K apitel 14.4 definiert und motiviert. Die groflt en bekannten unteren Schranken fur die Bra nchingprogrammgrofe explizit definierter boolescher Funktionen basieren auf den selben Id een wie die groflten Schr anken fur die Forrnelgrofe (sieh e Kapitel16.3) . Fur f : {O, I} " ----+ {O, I} , de finiert auf X = { Xl , . .. , X n }, seien 51, . . . , 5 k disj unkte Teilm en gen von X und es sei Si die Anz ahl ver schied en er Subfunktionen von f auf 5 i , die wir erhalten , wenn wir alle Ersetzunge n der Vari abl en aus X - S, durch Konstante bet racht en .

16.6 Die GroBe von Branchingprogrammen

283

Theorem 16.6.1. Fiir disjunkte M engen Sl ," " Sk von Variablen, von denen f essenziell abhangt, gilt

L

BP(j) = D(

(logsi) /loglog si) '

1 ::; i ::;k , s , ~ 3

Beweis. Es sei G ein Br an chingprogramm minimaler Crofe fiir fund es sei

t i die Anz ahl der inneren Knoten in G , die mit Variablen aus S, marki ert sind. Es ist ausreichend , fiir s, ::::: 3

zu beweisen . Da f von allen Vari ablen a us S, essenziell abhangt, ist t i ::::: ISil. Andererse it s lasst sich jede der s, Subfunktionen auf S, von f in einem Br anchingprogramm der Crof e t i + 2 realisieren . Wenn wir namli ch alle Vari abl en au s X - S; durch Kon st anten ersetzen, konnen die Kanten auf die mit diesen Vari abl en markierten Knoten durch Kanten a uf die passend en Nachfolger ersetz t werden . Wi r sind daher daran interessiert , die Anz ahl verschiedener Funktionen abzuschatzen, die ein Br an chingprogr amm mit ti inn eren Knoten auf lSi! Var iab len realisieren kann . Fur die inne re n Kn ot en gibt es lSi It, verschiedene Kombinationen von Vari ablenzuweisungen. Fur den j -ten Kn ot en gibt es fur jede ausge hende Kant e ti + 2 - j mogliche Nachfolgeknote n. Also ist die zu untersuchend e Anz ahl hochst ens !S i lt , (( t i + 1)!)2. Diese Zahl darf nicht kleiner als Si sein. Mit der Ungleichung !Sil :::; ti erhalte n wir s , :::; t~i ((t i

Hier au s folgt t i

+ 1)!)2 = =

t~(ti) .

D((log Si )f log log s.) fur s; ::::: 3.

D

Theorem 16.6.2. BP(ISA n ) = D (n 2 /log 2 n) . Beweis. Hier konnen wir auf die Analyse von ISA n im Beweis von T heorem 16.3.3 zur tickgreifen. Wir erha lte n D (n /log n) S i-Men gen, fur die log s , = D(n) und dami t (log si) /log log Si = D(n/log n) gilt . Somit folgt die Schr anke aus Theorem 16.6.1. D W ahrend es fur allgemeine Br an chin gprogr amme an Methoden fur den Beweis groBer unterer Schranken ftir die BranchingprogrammgroBe explizit definierter Funktionen man gelt , ist die Situation bei langenb eschrankt en Bran chingprogrammen besser . Wir unt ersuchen , wie wir aus einem kleinen Br an chin gprogramm G fur f ein Kommunikationsprotokoll fur fund eine Aufteilung (a, b) der Variablen zwischen Alice und Bob erha lte n. Alice und Bob einigen sich tiber eine Nummerierung der Knoten von G. Sie t eilen sich die Knoten auf. Knot en mit Vari abl en , deren Wer t Alice kennt, heiBen A-Knoten und die anderen inn eren Knoten B-Knoten . Aus Symmet riegr iinden konnen wir annehmen, dass die Auswertung von f an eine m

16. Die Kornplexitat boolesche r Funktionen

284

A-Knoten beginnt . Alice verfolgt den Berechnungsweg fur die akt uelle Eingabe, bis sie auf einen E-Knoten oder eine Senke st oflt. Die Nummer dieses Knotens sendet sie an Bob. Falls eine Senke erreicht wurde, kennen beide f(a , b) und haben ihre Aufgab e erfullt . Ansonst en verfolgt Bob den Berechnungsweg, bis ein A-Knoten oder eine Senke erreic ht wird . Er sendet die Nummer dieses Knotens an Alice. Auf diese Weise fahren Alice und Bob fort , bis die Nummer der erreichten Senke ilbermit te lt wurde. Bezilglich der gegebe nen Aufteilung der Vari abl en zwischen Alice und Bob definieren wir die Schichtentiefe (layer depth) Id(G) als maximale Anzahl von Nachri cht en in dem beschriebenen Protokoll. An alog konnen wir Berechnungswege in A- und E-Abschnitte einteilen und Id(G) als die maxi male An zahl von Abschnitten auf einem Berechnungsweg definieren . Die obigen Ube rlegunge n ftihren dann fur die Kommunikationskomplexitat G(J) zu folgende m E rgebnis, wob ei IGI die Anzahl der Knoten von G beschreibt. Lemma 16.6.3. G (J ):::; Id(G) . flog IGll Aus dieser Aus sage erha lte n wir die Beziehung IGI

~

2C (f )/ l d(G ) -

I.

Wir kennen au s Kapitel 15 Funkt ionen I; auf n Vari abl en mit G(Jn) = 8(n). Im Fall allgem einer Bran chingprogr amme konnen wir ab er nicht ausschlieBen, dass ld( G) = S2( n ) ist . Die untere Schr anke wird dann nutzlos. Desh alb betrachten wir folgende eingeschriinkte Vari an t e von Bran chin gprogrammen. Definition 16.6.4. Es sei X = {Xl , . .. ,xn } die betrachtet e Vari abl enmenge. F ilr s E X m besteht ein s-st ereotupes B m nchin gprogm m m (s-obliviou s br an ching program) aus m + 1 E be nen, wobei aile Knoten a us der i-ten E bene, 1 :::; i :::; m , mit s; markiert sind, die Ebene m + 1 die Senken ent hiilt und Kan ten von Ebene i nur zu Ebe nen j > i verl aufen durfen . Fur ein k-1BDD (indexed BDD) besteht s aus der Konkatenation von k Permutationen von X. Fur ein k-OBDD (ordered BDD) best eht s aus der k-m aligen Wi ederholung einer Permutation von X . Bei stereotype n Br anchingprogrammen hab en wir die Hoffnung, die Variabl en so zwischen Alice und Bob a ufteilen zu konnen , dass die Schicht entiefe klein bleib t . Die hier einge fiihrte n eingeschriinkte n Branchingprogramme, insbesonder e 1-0BDDs od er kur z OBDDs, hab en eine praktische Bedeutung als Datenstruktur fur boolesche Funktionen . OBDDs mit fest er Permutation der Vari abl en oder kurz Vari abl eno rdnung sind die gebriiuchlichste Datens trukt ur fur bool esche Funktionen und unt ers til tz en viele Oper at ionen auf booleschen Funktionen (siehe z. B. Wegener (2000)) . Diese Datenstruktur geriit an ihre Grenzen , wenn die bet racht et en Funkti onen kein e kleine Dar st ellung haben. Dies motiviert die Unter suchung unt erer Schr anken fur die GroBe dieser Branchin gprogr amme und ausgewahlter Funkti onen . Wir beschr iinken uns

16.6 Die GroBe von Branchingprogrammen

285

hier auf die Maskenvari ant e E Q~ des Gleichheitst est s und die Berechnung des mittleren Bits der Multiplikation MULn . W ir erinnern daran, dass die Kornmunikationskornpl exit at von E Q~ mindestens m betragt , wenn Alice m der a- Vari abl en und Bob m der b-Vari abl en od er umgekehrt erhiilt . Die Kommunikationskornpl exitat von MUL n bet riigt mindest ens fm /81, wenn Alice und Bob je m Vari ablen eines Faktors kennen. Bei der Unt ersuchung von k-OBDDs gebe n wir gemaf der Variabl enordnun g einen Anfangst eil der Vari ablen an Alice und den Rest an Bob. Damit ist die Schichtentiefe durch 2k beschriinkt. Fu r EQ~ endet der Anfangst eil, wenn zum erst en Mal fn /21 a- Variabl en oder fn /21 b-Vari abl en im Anfan gst eilliegen . Fur MUL n trennen wir die Vari ablen so auf, dass Alice [n / 21 und Bob Ln /2 J Vari ablen des erste n Faktors erhalt . Somit erhalte n wir folgend e untere Schr anke. Theorem 16.6.5. Di e GrofJe von k-OBDDs, die len, betriigt 2 D (n / k ) .

EQ~

oder MUL n darstel-

F ur k-1BDDs und s-ste reotype Br an chingprogramme konnen wir eine kleine Schichtentiefe nur fur kleinere Vari abl enm engen A , B <:: X ga ra nt ieren. W ir erhalte n dan n gute unt ere Schr anken fur die Dar st ellungsgr6Be von i , wenn es eine Kon st ant set zung der Vari ablen a uBerha lb von Au B gibt, so dass die Kommunikationskomplexit iit der ents te henden Subfunktion fur die Vari abl enaufteilung (A , B) grof ist. Die bet rachtet en Funktionen EQ~ und MUL n hab en diese Eigenschaft . Fur k-1BDDs st arten wir mit zwei disjunkten Vari abl enmengen A und B , einer Aufteilu ng der Variabl en zwischen Alice und Bob . Wir betracht en dann die erste Var iabl enordnung als List e und ziehen einen Trennstrich, wenn zum ersten Mal f1 AI/21 A-Vari abl en od er f1BI/21 B-Vari abl en am Anfang der Variabl enlis t e stehen. Im ersten Fall ub erleben die f1AI/21 A- Vari abl en vor dem Trennstrich und die mindest ens fiBI/21 B- Vari abl en hinter dem Tr ennstrich. Im zweit en Fall ub erleb en die f1 B I/21 B- Variabl en vor dem Tre nnst rich und die mindest ens f1 AI/21 A- Variablen hint er dem Tr ennst rich. Bezuglich der anderen Variabl enordnungen fahren wir ana log fort , wobei ste ts nur die bis dahin ub erleb enden Vari abl en betrachtet werd en . Die P rozedur ub erleb en mind est ens flAI/2 k l A-Variablen und flBI/2k l B-Vari ablen . Bezuglich dieser Variablen ist die Schicht entiefe hochst ens 2k . Es kann jet zt sogar passieren , dass die Schichtentiefe kleiner ist , da A- oder B-Schicht en ben achbar t sein konnen . Fur EQ~ wahl en wir zu Beginn A als Menge aller a- Variabl en und B als Menge aller b-Vari abl en . F ur MUL n konn en wir die Variabl en des erste n Faktors gleichmaflig auf A und B aufte ilen. Theorem 16.6.6. Die GrofJe von k-IBDDs, die E Q~ oder M ULn darst ellen, betriigt 2 D (n / (k .2 k ) ) .

Nur fur k = o((logn)/loglog n) erha lte n wir aus T heorem 16.6.6 superpolynomielle untere Schranken . Im allgemeinen Fall s-st ereotyp er Br anchin gprogr amme sei m = 4kn fur EQ~ und m = 2kn fur MULn . Dann kommt je de

286

16. Die Komplexitat boolescher Funktionen

Vari abl e durchschnittlich k-m al in s vor . Es ist aber zu beachten , dass die Variabl en verschieden oft vorkommen konnen und nicht mehr in bestimmten Blocken genau einmal vorkommen. Es bed arf hier subtilerer kombinatorischer Methoden, urn zu zeigen , dass es nicht zu kleine Vari abl enmengen A und B gibt, fur die die Schicht entiefe klein ist . Fu r die Funktionen E Q~ und MUL n ergibt sich dann ftir die GroBe s-stereotyper Bran chingprogramme mit 4k 3 m = 4kn bzw. m = 2kn eine untere Schr anke von 2 Sl (n / (k .2 ) ) . Die hier besprochenen Schran kenmethoden lassen sich auch auf nichtdet erministische Br an chingprogramme anwenden . Diese konnen an inn eren Knoten beliebig viele ausgehende O-Kanten und 1-Kant en hab en . F ur j ede Ein gab e a gibt es dann w(a) Ber echnungswege, die zu Senken fuh ren . Die Ausgab e ist beim OR-Nicht determinismus 1 gena u dann, wenn mindest ens einer dieser Wege an der l-Senke endet , beim AND-Nichtd et erminismus miissen alle Wege an l -Senken enden und beim EXOR-Nichtdet erminismus unger ad e viele Wege. Lemma 16.6.3 Hi-sst sich auf alle drei Arten von Nichtdet erminismu s iibertragen . Im Kommunikationspro tokoll wahl t Alice ode r Bob innerh alb ihr er od er seiner Schicht nichtdet erministisch einen zulassigen Berechnungsweg. Damit lassen sich alle unteren Schranken fur MUL n auf alle Arten von Nicht dete rminismus iibertragen, bei EQ~ geht dies fur den OR- und EXOR-Nichtdeterminismus. Die zugehorigen unteren Schr anken fur die nichtdet erministische Kornmunikationskornplexitat hab en wir in Theorem 15.3.5 bewiesen. Unt ere Schr anken fur allgemeine , nicht notwend igerweise ste reotype, a ber langenb eschr ankte Branchingprogramme lassen sich nur mit Methoden auBerhalb der T heorie der Kommu nikationskornplexitat beweisen . Die dab ei verwendet en Methoden (siehe z. B. Beame, Saks, Sun und Vee (2000)) sind komplizierter und konnen als Ver allgemeinerung der T heorie der Kommunikationskomplexitat au fgefasst werden . Insbesondere ste hen ver allgem einert e Rechtecke im Mittelpunkt der Untersuchungen .

16.7 Reduktionskonzepte Wir hab en bisher den Schwerpunkt a uf die Entwicklung von Methoden zum Beweis unt erer Schr anken gelegt und diese Methoden nur exemplarisch auf wenige Funktionen angewendet. Mit Hilfe geeignete r Reduktionskonzep t e lassen sich die erzielte n Resultate auf viele weit ere Funktionen ub ert ragen . Wir wollen diese Kon zepte vorst ellen und an wenigen Beispielen eintibe n. Dab ei betrac ht en wir Famili en I = Un) von Funktionen , wobei In: {O ,l}p(n) ----+ {O, l }q(n) fur zwei polynomiell beschrankte Funktionen p und q ist . Da wir wieder polynomielle Grof e fur effizient halt en , darf I n auch p(n) Eingan ge hab en . In den meist en Fallen wird p(n) linear wachsen . Indem wir mehr als eine Ausgab e betracht en , konnen wir Funkt ionen wie die Mult iplika tion als Gan zes unt ersuchen . Allen Reduktionskonzept en ist gemeinsa m, dass I = Un) au f g = (gn) redu zierb ar ist , wenn In effizient dar stellb ar ist ,

16.7 Redukt ionskonzepte

287

wenn auch gm-Bausteine zur Verfugung st ehen. Dabei mu ssen die Kost en der gm-Baustein e fur den jeweiligen Zweck fair bewertet werden . Urn die Notation verstandlich zu machen ist folgend e Definition ntit zlich. Die Komplexitatsklasse NCI (Nick 's Class , was sich auf Nick Pippenger bezieht ) ent halt alle Familien f = U n) boolescher Funktionen , die in Schaltkreisen aus Bausteinen mit Einga ngsgrad 2 in loga rithmischer Tiefe und damit auch polynomieller GroBe berechenb ar sind. Definition 16.7.1. Es ist f = Un) eine Projektion von 9 = (gn), Notation f :Sproj g, wenn fur eine polynomiell beschr ankte Funktion r die Bits von fn(Xl , " " Xp(n ») an vorgegeb enen St ellen von gr(n)(Yl"'" Yp' (r(n») realisiert werden , wobei Yi E {O ,l,Xl,Xl , .. . , Xp(n), Xp(n)} , l :S i :S p'(r(n)) , ist . Falls es fur jedes j E {I , . .. , p(n )} maximal ein i mit Yi E {Xj ,Xj} gibt , ist die Projektion einm al lesend (read-once projection) , Not ation f :Srop g. Definition 16.7.2. Es ist f = Un) ACo-reduzierbar (con st ant depth reducible) auf 9 = (gn) , Notat ion f :Sed g, wenn es fur I; polynomiell groBe Schaltkreise konstanter Ti efe gibt , die AND- und OR-Bau st eine mit unb eschr anktern Eingangsgrad, NOT-Bausteine und gm-Bausteine enthalten durfen , Dabei tragt ein gm-Baus tein den Wert m zur Schaltkreisgrofe bei. Definition 16.7.3. Es ist f = U n) NCI-reduzierbar auf 9 = (gn) , Not at ion f :S l g, wenn es fur f n polynomiell groBe Schaltkreise logarithmischer Tiefe gibt, die Bausteine mit zwei Eingangen und gm-Bau steine enthalt en durfen. Dabei wird die Ti efe eines gm-Baust eins mit [log m l und seine GroBe mit m bewertet . Reduktionskonzepte sollen transitiv sein . Dies lasst sich fur alle vier neu definierten Reduktionskonzepte recht leicht nachweisen. AuBerd em sind die Konzepte bezuglich ihr er Anforderungen geordnet :

f :Srop 9

=}

f :Sproj 9

=}

f :Sed 9

=}

f :S l g.

Auch hierfur verzichten wir a uf den einfachen Beweis. Wi e konnen wir Reduktionskon zepte einsetzen? Projektionen machen uns das Leb en leicht . In Schaltkreisen od er Formeln fur gr(n) konnen die Variablen ents prechend der Projektionsvorschrift ers et zt werd en, urn einen Schaltkreis od er eine Formel ftlr I; zu erhalten . Also ist GUn) :S G(gr (n») , LUn) :S L(gr(n») und DUn) :S D(gr(n»)' Bei einer monotonen Proj ektion durfen die negierten Variablen Xl, .. . ,Xp(n) nicht verwend et werden. Dann gelt en die gen annt en Beziehungen auch fur monotone Schaltkreise und Formeln. In einem Branchingprogramm fur gr(n) konnen wir die Variabl en in den inneren Knoten ebe nfalls gernaf der Projektionsvorschri ft erset zen. Aus einem xrKnoten wird ein xr Knote n, wenn wir die Markierungen an den ausgehenden Kanten austauschen. Ein inn erer Knoten mit Markierung 0 kann erset zt werden . Alle ankommenden Kanten werden auf den O-Nachfolger umgeleitet. Gleiches gilt fur die Markierung 1. Aus st ereotypen Branchingprogrammen werden wieder stereotype Branchingprogr amme, wobei die Anzahl

288

16. Die Komplexitat boolescher Funktionen

der Ebenen hochst ens sinkt . Allerdings werden aus k-OB DDs und k-IBDDs nur dann wied er k-OBDDs und k-IBDDs, wenn die Projektionen nur einma l lesend sind. Hier kommt das Reduktionskonzept ,,::::ro p" zum Tr agen . Urn die Anwendung der anderen beiden Reduktionskonzepte zu beschreiben , ftihr en wir die Komplexitatsklassen AC k und NC k ein. Die Klasse AC k ent halt aile Familien f = Un) bool escher Funktionen , die in polynomiell groBen alte rn ierenden Schaltkreisen der T iefe G(logk n) dar gestellt werden konnen . Mit der Interpretation log" n = 1 erhalt en wir damit eine kanonische Ver allgem einerung von ACo. Die Klasse NC k enthalt aIle Famili en f = Un) boolescher Funktionen , die in polynomiell groBen Schaltkreisen der T iefe G(lol n) mit Bausteinen mit zwei Ein gan gen dar gest ellt werden konnen . Die folgenden Eigens chaften lassen sich leicht beweisen : - 9 E AC k und

f

- 9 E NC k und

f ::::19 =} f

::::cd 9

f

=}

k

E AC , E

NC

k

.

Insgesamt hab en die Reduktionskonzepte die gewunschte n un d erwarte te n Eigenschaft en. Wir kommen nun zu konkret en Reduktionen. In T heore m 13.6.3 wurde das P robl em CVP als Pvvollstandlg bezuglich logarithmischer Reduktionen nach gewiesen. Beim Problem CVP best eht die Ein gab e aus einem Schaltkreis S und einer Eingab e a passender Lan ge. Die Aufgabe besteht dar in, S auf a auszuwerte n. Da CVP E P ist , gilt auch CVP E P j poly. Falls f = U n) E P j poly und dami t durch polynomielle Schaltkreise S = (Sn) darstellba r ist , folgt f ::::rop CVP . Fur fn wahl en wir die Beschreibung von S n , die aus Kon st anten best eht , und bet racht en die Auswertung des Schaltkreises Sn auf der Ein gab e a fur i-: Dies ergibt f n(a) , da S n die Funktion fn dar st ellt . Damit hab en wir folgendes Resultat bewiesen. Theorem 16.7.4. CVP is t beziiqlich.

,,::::rop"

P/ poly-vollstandig.

AbschlieBend betracht en wir einige oft benutzt e Funktionen , narnli ch die Paritat sfunktion PAR, das inn ere Produkt IP , die Majoritatsfunktion MA J , die Multiplikation MUL, hier aber mit der Ausgab e des gesamten P rodukt s, die Summe von n n-Bit-Z ahl en MADD (multiple Addition) , das Qu adrieren einer Zahl SQU (squaring) , die Berechnung der n signifikantes ten Bit s der multiplikativen Inversen einer n-Bit -Zahl INV (Inversenbildung) und die Berechnung der n sign ifikantest en Bit s des Quoti enten zweier n-Bit-Z ahl en DIV (Division) . Theorem 16.7.5. E s gelten die folgend en Aussagen: - PAR

::::rop

IP

::::rop

- MAl ::::ro p M UL,

M UL

::::rop

S QU ::::rop

»v s.; DIV,

16.7 Recluktionskonzept e

- MADD

:S:rop

289

MUL,

- SQU :S:proj MUL und - M UL :S:cd MADD.

B eweis . Es gilt PAR :S:rop IP , da PARn( x) = IPn (x , In ) ist , wob ei I n fur einen Vektor aus n Einsen steht. Die Beweise von IP :S:ro p MU L, MAJ :S:rop MUL und MADD :S:rop MUL ber uhen auf der gleiche n Grundidee. Bei der Mu lt iplikation von x und Y erhalt die Summe aller XiYk-i die Wertigkeit 2k . Diese Summe ersc heint nicht in reiner For m im Produkt, da es Ub ertrage von fruheren Positionen gebe n kann und auch an den Po sitionen k + 1, k + 2, ... Su mm en entstehen . Wenn wir jedo ch in x und Y die wichtigen Positionen durch genugend viele Nullen trennen , werden diese Ube rlappungse ffekte vermieden . Wir wissen , dass die Summe aller XiYi, 1 i n , eine Bitl an ge von k = pog( n + 1)1 hat . Dah er ent halt 1\l'v~,rUL n+(n- l )(k-l ) (X' ,Y') Ifll't x ' = ( Xn-l , Ok-l ,Xn- 2, Ok-l , .. . ,Xl , Ok- l,Xo ) und y' = (Yo , Ok- l , Yl, " " Ok - I, Yn-l) den Wer t von IP n( x , y). Dies ver an schaulicht Abbildung 16.7.1.

:s: :s:

X2

0

Xl X2YO

0 0

Xo

I * I

Xl YO X2Yl

0 0

I

Yo x oYo Xl Yl X2Y2 IP 3

0

Yl

0

Y2

0 0

XOYl Xl Y2

0

XOY2

I

A b b . 16 .7.1. Eine Veranschaulichung der Projektion von IP auf MUL. Zum Nac hweis von MAJ :S:rop MUL erho hen wir die Anz ah l der E inga be n von MAJ n durch Einsen und Nullen auf die nachst grofere Zahl m, die sich als 2 k - 1 schr eiben lasst. Dab ei werd en so viele Ei nse n und Nullen gewa hlt, dass sich der Majorit at swert nich t ande rt, also gleich viele E insen wie Nullen ode r eine Eins meh r als Nullen. Wenn wir nun die neu e Eingab e x mit Y multiplizieren , die Zah len wie im Beweis von IP :S:rop MUL durch Nu llen trennen und aile Yj auf 1 setzen, erhalte n wir im Produkt die Bin ardarst ellung der Summe aller Xi' Da wir m = 2k - 1 Bits ha ben , gibt das signifikanteste Bit der Summe den Ma joritatswert an . Beim Nac hweis von MADD :S:rop MUL geht es darum, die Binardarst ellung der Summe aller Xi zu erhalten, wob ei nun die Xi selbst n-Bit-Zah len sind . Ihr e Summe hat maxi mal eine Bitlange von n + [log n 1, so dass eine Trennung durch [log n1 Null en genugt. Zum Nachweis von MUL :S:rop SQ U bet racht en wir fur die Fak to ren X und Y der Bitlan ge n die Zahl z = (x , on+! , y) und beh aupten , dass MULn( x , y) in SQU3n+l (Z) ent halten ist . Es ist narnlich

16. Die Kornplexit at booleseher Funktionen

290

Izl 2 =

( Ix l . 22n + 1 + lyl)2 = Ix l2 . 24n +2

+ [z] . Iyl . 22n +2 + ly l2.

Da lyl2 und Ixl . Iyl eine Bitl ange von 2n hab en , kommt es zu kein en Ub erlappungen und SQU 3n+I (Z) ent halt Ixl ·ly l. Der schw ierigste Teil dieses Beweises ist der Nachweis von SQU :Srop INV . Die grundlegende Id ee ist die Beziehung 1 + q + q2 + q3 + ... = 1/(1 _ q)

fiir 0 :S q < 1. In die Ber echnung der multiplikativen Inversen von 1 - q geht das Quadrat von q als Summand ein . W ir mlis sen also 1 - q als P roj ektion von q schreiben und wieder darauf achte n, dass es bei der Summe aller qi zu keinen un erwlinschten Ub erl appungen kommt . Schon das erste Ziel ist nicht erreiehbar. Wir wollen die Zahl x = ( X n - l, " " x o ) qu ad rieren . Dazu bilden wir die (IOn)-Bit-Zahl y mit Iy l := [z ] . 2- t + 2- T , t := 4n und T := IOn. Der Extrasummand 2- T siehert, dass wir l- Iyl als P roj ektion von Ixl sch reibe n konnen. AuBerdem ist 2- T klein genug , urn kein e un erwlins chten Ub erl appungen zu erze uge n. Wenn auch nicht mit passenden P ar am etern , abe r doch von der Struktur her korrek t , zeigt Abbildung 16.7.2 , wie sich 1 - Iyl erg ibt .

1

0

0 0 1

0 0 1

0 0 1

0

0

0

X2

Xl

Xo

X2

Xl

XO

0 0 1

0 0 1

0 1 1

Abb. 16.7.2. Die Bereehnung von 1 -Iyl .

E s bleibt zu zeigen, d ass wir Ix l2 in den IOn signifikantesten Bit s von Q := 1/(1 - Iy l) find en . Es ist

Q

= 1 + Iy l + lyl2 + lyl3 + .. . = 1 + (Ixl . T t + T T) + (Ixl . T t + T = 1 + Ix l . T t + Ixl 2 . T 2t + Rest.

T) 2 + (Ixl . T t

+ TT )3 + ...

Der Rest lasst sich fur n ;::: 2 abscha tzen durch

2- 10n

+ 2- 12n + 2- 20n + 2 . 2- 9n < 2- 8n .

Also stellen die 8n + 1 signifikantesten Bit s von 1/(1 - Iy l) die Zahl 1 + [z] . 2- 4n + Ix l2 . 2- 8n dar . Da Ixl 2 :S 22n ist, kommt es aueh hier zu kein en Ub erlappungen und wir find en Ixl 2 in INV lOn angewendet auf 1 -lyl . Offensichtlich ist INVn ( x) = DIV n (1 n , x ) und d amit INV :Srop DIV. Genau so offen sichtlich ist SQUn( x) = MULn(x , x) und SQU :Sproj MUL. Bei di eser Projektion wird jedes xi -Bit zweimal gelesen. Die Schulmethode der schrift lichen Multiplikation sieht die Berech nung aller XiYj, O :S i ,j :S n - 1, vor. Dazu reichen n 2 Bausteine und Tiefe 1.

16.7 Reduktionskonzept e

291

Die "Multiplikationsmatrix", wie sie in Abbildung 16.7.1 gezeigt ist , kann als Addi tion von n Zahlen der Bitlange 2n - 1 aufgefasst werd en . Wenn wir noch n - 1 Summanden mit dem Wert 0 hinzufugen, geniigt ein MADD 2n - 1 Baus tein , urn schlieBlich MULn(x , y) zu berechnen . D Auch bei der Abschiitzung der Komplexitat boolescher Funktionen miissen zuniichst M ethoden zum B eweis unterer Schranken filr die Komplexit iit in dem betrachteten Modell gefund en werden. Dann miissen diese auf m oglichst einfach ausschauende Funkt ion en angewendet werden. Ei ne Ubertragung auf viele andere Funktionen ist mit Hilfe geeigneter Reduktionskonzepte moqlich,

Schlussbernerkungen

Fur diskret e Optimierungsproblem e ist der E nt wur f eines Algorithmus in den meisten Fallen eine triviale Aufgab e. Der Suchraum, also die Menge rnoglicher Losungen , ist end lich, es ist moglich, die El emente des Suchraums aufzuzahlen und zu bewerten , und es kann schlieBlich eine optimale Losung au sgewahlt werden. Normalerwei se wa chst jedo ch die GroBe des Suchraums exponentiell mit der Lange der Problembeschreibung und die Durchmusterung des Suchraums ist fur alle interessan t en Problemgroflen pr aktisch nicht durchfuhrbar . Daher beschrankt sich das Interesse auf Algorithmen , die mit verfil gbar en Ressourcen an Zeit und Sp eicherplatz aus kommen. Anwenderinnen und Anwender von Algorithmen sind gegebe nenfalls auch zufried en , wenn sie Algorit hme n zur Verfilgung hab en, die randomisiert arbe iten und mit klein er Wahrscheinlichkeit vers agen od er Fehl er machen od er die Losungen berechnen, die nur fast optimal sind. Oft benotigen sie a uch nur Algorithmen fur Spezialfalle eines Problems . Die Komplexitatstheorie ist die Disziplin, die auslotet , wo die Grenze zwische n effizient losb ar en und nicht effizient losb aren Problem en verl auft . Dabei mu ss sie auf alle Entwi cklungen beim Algorithmenentwurf reagieren, also Probleme mit kleinen Zahlen ebe nso behandeln wie Approximationsprobleme , Black-Box-Problem e, bei denen keine vollstandige Information uber die Eingabe vorliegt , und Problem e mit festgelegter Eingab elan ge, wie sie beispi elsweise beim Hardwareentwurf auft rete n. Es ist der Komplexitatstheori e nicht gelungen , wichtige Probleme als nicht effizient losbar nachzuweisen . Au s dieser rigorosen Sicht hat die Kornplexitatst heorie ver sagt. Der Kornplexitatstheorie ist es abe r weitgehend gelungen, Aussagen ub er die relative Kornplexit at von wichtigen Problem en zu machen. Dies sind Au ssagen vorn Typ: "Wenn A effizient losbar ist, dann a uch B " od er " Wenn B nicht effizient losb ar ist, dann auch A nicht". Hierbei werden nicht nur Problem e paarweise verglichen, sondern Problem e mit Klassen von Problemen und a uch Problemklassen miteinander . Die NP-Vollst andigkeit stheorie ist ein Meilen st ein der wissen schaftlichen Entwicklung und neue Theorien wie die PCP-Theori e hab en a uf dem Fundament der Nl--Vollstandigkeitstheorie ein beeindruckendes C eb aude err ichtet . Wenn man bereit ist , gu t fundierte Hypothesen zu akzeptieren , erhalt man so einen weit reichenden Einblick, wo die Grenzen fur den Entwurf effiziente r Algorithmen verl aufen .

I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

294

Schlussbemerkungen

Die Komplexitiitstheorie hat nicht nu r au f algorit hmische Fragest ellungen reagiert, sondern auch eine eigenstiindige Entwicklung genommen. Die hierbei erzielt en st ru kt ure llen Er gebnisse lassen sich dennoch hiiufig verwenden , um mehr Einsicht in die Komplexitat konkret er Probleme zu gewinnen. Wenn wir nur an rigoros , also nicht auf Hypothesen beruhenden unt eren Schr anken fur den Ressourcenb edarf zur Losung von Problem en interessiert sind , sind die Er gebnisse ernuchte rn d . Besser ist die Lage im Black-BoxSzen ario und in Situationen , in denen eine Ressource wie die par allele Rechenzeit, die Ti efe od er der Speicherplat z beschrankt ist . Trade-off-Resultate zeigen das Potenzial der gegenwartig zur VerfUgung stehenden Methoden fur unt ere Schr anken fur den Ressourcenb ed ar f. In sgesamt kann der Komplexit atstheorie bescheinigt werd en , dass sie auf alle neuen Optionen beim Algorithmenentwurf eine zumindest par tielle Antwor t gefunden hat . Die Komplexitiitstheorie hat eine Zukunft, weil zent rale Problem e noch nicht gelost sind und weil durch Entwicklungen im Algorithmenentwurf imm er wieder neue und pr akti sch relevante Fragen ents te hen.

A. Anhang

A.I GroBenordnungen und die O-Notation Wie in Kapi t el 2 disku tiert, wird die Rechenzeit von Algori thmen in Abhangigkeit von Par amet ern wie der Eingab elange gemesse n. Das am haufigst en benu t zt e RechenzeitmaB ist die maxim ale Rechenzeit beztiglich des einheit lichen Kost enmaBes. Rechenzeit en sind dann Funktionen t : 1':1 ~ 1':1, die zudem monoton wachsend sind . Allerdings lassen sich Rechenzeit en nur selte n exakt bestimmen und werden dah er nach unten und oben abgescha tz t . Bei Abschiit zungen wie G) ~ n 2 /2 entste hen Funktionen , deren Werte nicht mehr ganzzahlig sind. Dah er beh andeln wir hier Funktionen f: 1':1 ~ lR+. Wir wollen Rechenzeit en vergleichen , wobei "es auf konst ante Fakt oren nicht ankommen soll" . Seit ihrer erst en Verwendung durch Bachmann im Jahr 1892 hat sich die O-Notation (gesprochen: grof Oh) durchgeset zt , urn die Wachstumsgeschwindigkeit od er GroBenordnung von Funktionen f : 1':1 ~ lR+ und damit von Rechenzeit en zu messen . Ziel ist es, die Beziehungen ,,~" , ,, ~ " , ,,= ", ,,<" und ,, >" auch auf Funktionen anzuwenden, wob ei die strikte Definition f ~ g, falls f(n ) ~ g(n) filr aile n E 1':1 ist , dur ch eine abgeschwachte Bed ingung ersetzt wird :

- f = O(g) hat die Interpret ation, dass f asy mpt ot isch nicht schneller als 9 wachs t , und ist definiert durch die Bedingung, dass f (n) 1g(n) durch eine Kon st ante c nach ob en beschrankt ist . Die Schreibweise f = O(g) hat den Nachteil zu suggerieren, dass auch O(g ) = fist , eine nicht definiert e Notat ion. Es ist daher nutzlich , bei 0 stets an ,, ~ " zu denken , und dann ist klar , dass der artige Beziehungen von links nach recht s zu lesen und nicht umkehrbar sind . Eine andere Vorst ellung ist es, sich O(g) als Menge aller Funktionen f mit f = O(g) vorzust ellen . Dann war e die Schreibweise f E O(g) suggestiver. Wir verst ehen unter der Schreibwei se OU) = O(g) , dass fur jede Funktion h = OU) auch h = O(g) gilt. Dami t lasst sich die Gleichung

folgend ermaBen int erpreti eren . Es ist n 2 + n = O(n 2 ) , da (n 2 + n) /n 2 ~ 2 ist . AuBerdem hat jede Funktion h mit h(n) /n 2 ~ c auch die Eigenschaft

296

A. Anhang

h(n) jn 3

::::; c. Wir durfen bei einer solchen Gleichungskette den mittleren Teil weglassen und n 2 + n = 0(n 3 ) folgern. J et zt wird auch klar, warum sich bei der O-Notation die Schr eibweise mit Gleichh eit szeichen als vorteilhaft erwiesen hat. Ansonsten hatte obige Beziehung

geschrieben werden miissen und diese Mischung aus ,,::::;" und ,, ~ " in einer Formelzeile ist verwirrend. Folgende Rechenregeln fur die O-Notation sind nutzlich : - c - I = O(f) fur c ;::: 0, - c O(f) = O(f) fur c ;::: 0,

- O(h)+ " ·+ O(fk ) = 0(f1 +...+ Ik) = O(max{h , · ·· ,Ik}) fiir konstantes k und

- O(f) . O(g) = O(f · g). Die erste n beiden Beziehungen sind offensicht lich, die dritt e folgt aus C1 •

h(n)

+ ...+ Ck . I k(n)

+ .. . + Ck) . (h(n) + .. .+ Ik(n)) k:> (C1 + ...+ Ck) . max{h(n) , .. . , A(n)}

::::; (C1 ::::;

und die vierte aus (C1 . I (n )) . (C2 . g(n)) = (C1 . cz) . I (n ) . g(n) . Nachdem wir "asympt ot isch ::::;" durch 0 ausgedr uckt hab en , ergebe n sich die Definit ionen fur "asympt ot isch ;:::" und "asymptot isch = " a uf nah e liegende Weise:

- I -

= [l(g) (gesprochen: groB Omega) hat die Int erpret ation, dass I asymptotisch nicht langsam er als 9 wachst od er asy mpt ot isch mindestens so schn ell wie 9 wachst , und ist definiert durch 9 = O(f), I = 8(g) (gesprochen : groB Thet a) hat die Interpretation, dass lund 9 asympt ot isch gleich schnell wachsen , und ist definiert durch I = O(g) und

1 = [l(g) . SchlieBlich komm en wir zu den Definiti onen von "asymptot isch <" und "asympt ot isch >" :

- I = o(g) (gesprochen : klein Oh) hat die Int erpret ation, dass I asympt o-

-

tisch langsam er als 9 wachst , und ist definiert d urch die Bedingung, dass I(n) jg(n) eine Nullfolge ist und 1 = w(g) (gesprochen : klein Omega) hat die Interpret ation, dass I asymptotisch schneller als 9 wachst, und ist definiert durch 9 = o(f) .

Bei der st rikten Definition von I ::::; g als I(n) ::::; g(n) fur aile n war en viele Funktionen wie beispielsweise n 2 und n + 10 nicht vergleichbar , die asympt oti sch vergleichb ar sind. Es ist n + 10 = O(n Z ) und soga r ti + 10 = o(n Z ) . Dennoch sind nicht aile monotonen Funkt ionen asymptotisch vergleichb ar. Sei

A.I Crofenordnungen und die O- Notation

f(n) :=

n'. { (n-l)!

297

n gerade

n ungerade

und g(n) :=

(n-l)! {

n gerade

n!

n ungerade.

Dann sind fund 9 monoton wachsend, a ber weder f(n) jg(n) = n fur gerades n noch g(n) j f(n) = n ftir ungerades n sind na ch oben durch eine Konstante beschrankt. Also gilt weder f = O(g) noch 9 = 0(1) . Allerdings sind fur die meisten Algorithmen Al und A 2 die zugehorigen Rechenzeiten asympt ot isch vergl eichb ar. SchlieBlich wollen wir die Wachstumsordnungen , die als typische Rechenzeiten vorkommen, ordnen . Als Basis dienen uns die Wachstumsordnun2n gen log log n, log n, n, 2n und 2 . Sie unterscheiden sich exponent iell, da 10g log 2 log n = log n und 2 n = n ist. Wir verwend en log" n als Abkurzung fur (log n) " . Dann gilt fur alle Kon st anten k > 0 und E > 0 : (log log n)k

o(log" n),

logk n

o(n") ,

nk

0

2

(2 n <),

(2 <).

o 2n Wir zeigen exemplarisch die zweite Beziehung. Es ist also zu zeigen , dass (log" n) j n" eine Nullfolge ist . Es ist eine einfache Tatsache aUS der Analysis, dass die Folge an genau dann eine Nullfolge ist, wenn a~ fur a > 0 eine Nullfolge ist . W ir set zen hier a := I jk und 0 := e fk . Dann miissen wir tiberprufen, ob (logn) jn 8 eine Nullfolge ist . Die Funktionen logn und n 8 lassen sich kanonisch auf JR.+ durch log x und x 8 fortset zen . Nach dem Satz von Bernoulli und de l'Hospital ist der Grenzwert von (log x) j x 8 fur x ----t 00 gleich dem Grenzwert von (lx log x) j (d~x8) , also dem Grenzwert des Quotienten der Abl eitungen . Wir erh alten den Quotient en x - 8 j (o ln 2), der ftir x ----t 00 offensichtlich gegen 0 konvergiert. Alle anderen Beziehungen folgen auf ahnliche Weise. Hieraus folgen viele weit ere Beziehungen , z.B . nlogn = o(n 2 ) , da log n = o( n) ist . Beispielhaft erhalt en wir folgende Reihenfolge von asymptotisch immer schneller wach senden Grofenordnungen , wobei 0 < E < 1 ist : n k

298

A. Anhang log log n , log n , log2 ti , log3 n ,

ri", n , nlogn , nlognloglogn, nlog2n, n 1+e: , n 2 , n 3 , ... 2n€, 2e:n , 2n ,

Bei einer Summe von konstant vielen Crofi enordnungen , von denen ein Summ and asympt oti sch schneller wach st als aIle anderen , ist die Grofenordnung gleich der Orofeno rdnung dieses am schnellsten wachsenden Summanden, so hat zum Beispi el n 210g 2 n + lOn 3 f log n + 5n die Croflenordnung n 3 f log n , Bei Summanden vom Typ c . n O. , also allen Polynomen , ist die Orofenordnung gleich der Grofenordnung des Terms mit dem groflten Exponenten. Weiter ver grobernd er halten wir folgende Begriffe. Ein e Funktion f : N --+ jR+ heiBt

- logarithmisch wachsend, wenn f = O(logn) ist, - polylogarithmisch wachsend, wenn f = O(lol n) fur ein k EN ist, also wenn f asympt ot isch nicht schneller als ein Polynom in log n wachst , - lin ear, quadratisch od er kubis ch wachsend, wenn f = O(n) , f = O(n 2 ) bzw. f = O(n 3 ) ist , - quasilin ear wachsend, wenn f = O( n logk n) fur ein kEN ist, - polynomiell wa chsend, wenn f = O(n k) fur ein k EN ist, - expon entiell wachsend, wenn f = S?( 2n€) fur ein e > 0 ist, und - echt expone ntie ll wachsend, wenn f = S?(2e:n) fur ein e > 0 ist . Es ist also darauf zu acht en , dass in diesem Sprachgeb rau ch expone nt iell und echt exponent iell untere Schranken bezeichnen und die anderen Beg riffe obe re Schranken. Damit ist auch n 2 kubisch wachsen d , genaue r mu sst en wir sagen " asympt ot isch nicht schneller als kubisch wachsend" . Um eine un tere Schr anke aus zudrticken , konnen wir sagen , dass ein Algorithmus mindestens kubische Rechenzeit br au cht . Funktionen wie n 1og n , die wed er polynomiell no ch exponent iell wachsen , werden als quasipolynomiell wachsend bezeichn et . Wenn Rechen zeiten von zwei od er mehr P ar amet ern abhangen, konnen wir die O-Notat ion ebe nfalls verwenden. So ist f(n , m) = O(nm 2 + n 2 10g m ) , wenn es eine Konstante c gibt , fur die f(n ,m) f(nm 2 + n 210gm) :::; c ist. Der artige Rechenzeiten heiBen polynomiell wachsend, wenn sie O( nkm l ) fur bestimmte k , l EN sind. So ist nm 2 + n 210g m = O(n 2m2 ) und damit polynomiell wachsend. Bei Wahrscheinlichkeiten p(n) kommt es oft da rauf an, wie schnell diese gege n 0 od er 1 konvergieren . Im zweit en Fall konnen wir bet ra chten , wie

A .2 Ergebnisse aus der Wahrsch einli chk eitstheorie

299

schnell q(n) := 1 - p(n) gegen 0 konvergiert . Nac h Definition konvergiert p(n) genau dann gegen 0, wenn p(n) = 0(1) ist. Dies gilt fur 1/ (log n) und sogar fur 1/ (log log n) , also fiir Funktionen , die "se hr lan gsam " klein werden. Wir nennen p(n)

- polynomiell klein, wenn p(n) = O(n- c ) fur ein c > 0 ist , ne - exponentiell klein , wenn p(n) = O(2- ) fur ein e > 0 ist, und - echt exponentie ll klein , wenn p(n) = 0 (2- cn ) fur ein e > 0 ist. Letzt eres kann auch durch 2- S2(n ) ausge druckt werden , wob ei D(n) eine untere, ab er 2- S2(n ) eine ob ere Schranke ausdruckt .

A .2 Ergebnisse aus der Wahrscheinlichkeitstheorie Da wir R andomisierung als Schlusselkon zept betrachten , benotigen wir einige Ergebnisse aus der Wahrscheinli chkeitstheorie. Naturlich gibt es viele Lehrbuch er , die diese Ergebnisse ent halten . Da wir hier aber nur die Sp ezialfiille betracht en , die wir t at sachli ch benotigen, konnen wir einen einfacheren und intuitiveren E inst ieg in die Wah rscheinli chkeit stheori e wahlen, F ur ein zu fiilliges Experiment soll Eden Ereignisraum, also die Men ge aller Elem entarereignisse od er Experiment au sgan ge bezeichn en . Wir konnen un s auf die F alle beschranken , dass E end lich, also E = {el , . .. , em }, od er abzahlbar un endlich , also E = {el ' e2, . . .} , ist . Im erst en Fall ist d ie zugehorige Indexmen ge I = {I , . . . , m} , im zweite n Fall ist I = N. Eine Wah rscheinlichkeitsv ert eilung (probability distribution) p weist jede m Elem entarereignis ei, i E I , seine Wahrscheinlichkeit Pi ;::: 0 zu. Die Summe aller Pi , i E I , mu ss den Wer t 1 erge ben. Ein Ereignis (event) A ist eine Teilm enge des Ereigni sr aums E , also eine Men ge von El em entarereigni ssen ei, i E I A ~ I . Die Wahrscheinli chkeit p(A) des Ereignisses A ist einfach die Summe der Wahrscheinlichkeit en der zugehor igen Elem entarereigni sse, also die Summe aller Pi , i E IA . In sb esondere ist p(0) = 0 fur das leer e Ereign is 0 und p(E) = 1. Au s dieser Definition folgen direkt wichti ge Aussagen fur die Wahrscheinli chkeit der Vereini gung einiger Ereigni sse.

Bemerkung A.2.1. Sind die Ereigni sse Aj , j E J , paarweise disjunkt , ist also A j n A j' = 0 fur j i- i', dann ist

»(U A)=2:>(A j

j EJ

j ).

jEJ

Allgem ein gilt

p(U A jEJ

j ) ::;

LP(Aj jE J

).

300

A. Anhang

Folgende Veranschaulichung kann hilfreieh sein . Wir stellen uns ein Quadrat der Seit enl an ge 1 vor. Jedes Elementarereignis ei wird durch eine Teilfiache Pi der Grofe Pi dargestellt, wobei die Flachen Pi disjunkt sind. Flachen und Wahrscheinli chkeit en sind beides MaBe. Er eignisse sind nun Teilflach en, deren MaB sich als Summe der MaBe der Elementar ereignisse ergibt. Beim Flachenmaf ist klar , dass sieh bei disjunkten Mengen die Flach en addieren und allgemein die Summe der Ein zelflachen eine obere Schr anke darst ellt. Manche Fl achenteile konnen bei der Summe mehrfach berucksichtigt werden . Unser ab straktes Experiment ist nun aquivalent zu der zufalligen Wahl eines Punktes im Quadrat . Gehort dieser zu Pi, ist das Ereignis e; eingetreten . Was andert sieh , wenn wir erfahren , dass das Er eignis B einget reten ist ? Aile Elem entarereigniss e ei tJ- B werd en unmoglich und erha lte n die Wahrscheinli chkeit 0, wahrend die Elem entar ereignisse ei E B weit erh in moglich sind. Wir erhalte n also eine neu e Wah rscheinlichkeit svert eilung q. Es ist qi = 0, falls e; tJ- B ist . Daher muss die Summe aller qi, ei E B , den 'Wert 1 ergebe n. Durch die Information, dass B einget reten ist , sollt e das Verhaltnis der Wahrscheinlichkeiten von e. , ej E B gleich geblieben sein, also qdqj = pdPj sein . Damit muss fur eine Kons tante A

qi

=

APi

sein und zus at zlich

Daraus folgt

A=

o: o: qi) /

iEIB

Pi) = I jp(B) .

iEIB

Somit definieren wir die bedingte Wahrscheinlichkeit (conditional probability) q durch

qi = {PdP(B) falls e, E B son st .

°

Fur ein E reignis A erha lte n wir

q(A) =

l: qi = l: iEI A

pdp(B) = p(A n B) jp(B) .

iEIAnIlJ

Fur die bedingte Wahrscheinlichkeit , die ja von der Bedingung B a bha ngt , hat sieh die Schreibweise p(A I B) (gesprochen: Wahrscheinlichkeit von A gegeben B) durchgeset zt . Es ist also

A.2 Ergebnisse aus der Wahrscheinlichkeitstheori e

301

p(A I B) := p(A n B) jp(B) . Diese Definition ist nur sinnvoll, wenn p(B) > 0 ist . Die Bedingung B kann ja auch nur eintreten, wenn p(B) > 0 ist . Oft wird die aquivalente Gleichung

p(A n B) = p(A I B) . p(B) verwendet. Sie wird a uch benutzt, wenn p(B) = 0 ist. Obwohl p(A I B) dann form al nicht definiert ist , wird p(A I B) . p(B) als 0 interpretiert. Falls p(A I B) = p(A) ist , hangt die Wahrscheinlichkeit des Ereignisses A nicht davon ab, ob B eingetreten ist. In diesem Fall werden die Ereigniss e A und B als unabhiingig (independent) bezeichnet . Diese Bedingung ist aquivalent zu p(A n B) = p(A) .p(B) und damit zu p(B I A) = p(B) , falls p(A) > 0 und p(B) > 0 ist . Die Beziehung p(A n B) = p(A) . p(B) druckt aus, dass der Begriff der Unabhangigkeit t atsachlich symme t risch bezuglich der Ereignisse A und B ist . Die Ereignisse A j , j E J , heiBen vollstandig unabhiingig (complet ely ind ep endent), wenn fiir alle J' ~ J

p(

n A j) = jEJ' IT p(Aj)

j EJ'

gilt. Bisher haben wir die bedingten Wahrscheinlichkeiten aus der Wahrscheinlichkeitsverteilung p ab geleitet . Oft gehen wir den umgekehrten Weg. Wenn fur jedes Bundesland die Haufigkeitsverteilung einer Kenngrofe wie Einkommen vorliegt und wir die Einwohnerzahl en der Bundeslander kennen, konnen wir daraus die Haufigkeitsverteilung der Kenngrofe fur das Bundesgebiet ausrechnen, ind em wir die region alen Ha ufigkeiten gewichtet mit den Bundeslandgrofen aufaddieren. Dieser Sachverhalt lasst sich auf Wahrsche inlichkeiten ubertragen und fuhr t zum so genannten Sat z von der totalen Wahrsch einli chkeit (law of total probability). Theorem A.2.2. Es sei B j , j E J , eine Partition des Ereignisraums E .

Dann gilt p(A) = I>(A I B j) . p(Bj) . j EJ Beweis. Der Beweis er folgt durch einfaches Nachrechnen. Es ist

und damit mit Bemerkung A.2.1 a uch

I>(A I B j) . p(Bj) jEJ = p ( An

= I>(A n Bj) = p( U(A n Bj)) jEJ

j EJ

UBj)=p(A ).

j EJ

o

302

A. Anhang

Wir komm en nun zu dem zent ralen Begriff der Zufallsvariablen (random variabl e). Formal handelt es sich dabei nur urn eine Abbildung X : E -+ R So kann eine Zufallsvari able auf dem Ereignisraum aller Menschen jedem Mensch sein e Korpergrofe zuordnen und eine andere das Korpergewicht . Zufallsvariab len sind aber mehr als Funktionen, da jede Wahrscheinlichkeit svert eilung p auf E eine Wahrscheinlichkeit sverteilung auf dem Bildbereich von X induziert , namlich durch Prob(X = t) := p( {e, I X( ei) = t }). Die Wah rscheinli chkeit, dass X den Wert t annimmt, ist also einfach die Wahrscheinlichkeit der Menge aller Element ar ereignisse, die von X a uf t abgebildet werd en . W ah rend wir auf dem Er eignisraum normalerweise nicht "rechnen" konnen , ist dies mit Zufallsvariablen moglich. Bevor wir Kenngroflen von Zufallsvari ablen einfuhren, wollen wir den Begriff der Unabhiingigkeit von Zufallsvariablen (ind ep endent random vari abl es) aus dem Begriff der Unabhan gigkeit von E reignissen ableiten. Zwei Zufallsvariabl en X und Y auf dem Wahrscheinl ichkeit sraum (probabili ty space) (E ,p) , also einem Ereignisra um Emit zugehoriger Wahrscheinli chkeit sverteilung p, heifien una bha ngig, wenn die Er eignisse {X E A} := {ei I X( ei) E A} und {Y E B} fur aBe A , B ~ JR un abhan gig sind . Eine Menge X i , i E I , von Zufallsvari ablen auf (E , p) heiBt vollstiin dig unabhiingig (complet ely ind ep end ent) , wenn die Er eignisse {Xi E Ad , i E I , fur alle Er eignisse A i ~ JR, vollstandig unabhangig sind . Sie heiBt paarweise unabhiingig (pairwise ind ep end ent) , wenn fiir i =f. j die Er eignisse {Xi E A d und {Xj E A j } fur alle Er eignisse A i , A j ~ JR un abhan gig sind. Die wichtig st e Ken ngrofe einer Zufallsvariabl en ist ihr Eruiariu nqsuiert (gewicht et er Mittelwert , mean va lue, expec te d valu e) E(X) definiert durch

E(X ):=

L t . Prob(X = t ), tEBild(X)

wobei Bild(X) den Bildbereich von X beschreibt. Diese Definition bereit et fur endliche Bildbereiche und dami t insbesondere endliche Ereig nisra ume keine Probleme. Fur abzahlba r une nd liche Bildberei che ist die obige unendliche Reihe nur definiert, wenn die Reihe a bsolut konvergiert . Auf dieses P robl em werden wir abe r nicht st oBen, da wir es bei der Beh andlung von Rechenzeit en nur mit positiven Zahlen zu tun hab en und auch 00 als Erwart ungswert zulassen. Die in Kapitel 2 definiert e durchschnit tli che Rechenzeit eines AIgorit hmus ist der Erwartungswert, wobei die Ein gabe x mit Ixl = n zufallig gewa hlt wird . Bei der erwartet en Rechenzeit eines randomisierten Algorithmus (siehe Kap it el 3) wird die Ei ngabe x fest gewa hlt und der Erwar t ungswert beziiglich der Zufallsbit s, die der Algorithmus verwendet, gebildet. Da wir bedingt e Wahrscheinlichkeit en definiert hab en , erhalte n wir auch bedingte Erwa rtungswert e E(X I A ) bezuglich der bedingt en Wahrscheinli chkeit en Prob(X = t I A) .

A.2 Ergebnisse aus der Wahrscheinlichkeitsth eorie

303

Mit Erwartungswerten Iii-sst sich gut rechn en . Bemerkung A.2.3. Falls X eine 0-1-Zufallsvar iabl e ist , der Bildbereich von X also die Menge {a, I} ist , gilt

E(X) = Prob(X = 1). Beweis. Die Behauptung folgt direkt aus der Definition:

E(X) = 0· Prob(X = 0)

+ 1 . Prob(X = 1) = Prob(X = 1). D

Diese sehr einfache Bemerkung ist au Berst hilfreich, da wir zwischen Wahrscheinli chkeit en und Erwar tungswerten wechseln konnen . Daruber hina us ist der E rwart ungswert linear . Dies kann leicht veran schaulicht werd en . Wenn wir die Kont ost ande der Kunden einer Bank als Zufallsvar iabl e bei zufalliger Wahl des Kunden od er der Kundin betracht en und sich der St and jedes Kontos durch die Umst ellung von der D-M ark auf den Euro urn den Faktor 1,95583 verringert, dann gilt dies auch fur den mittleren Kontost and. (Hier sehen wir auch die Unt erschiede zwischen Theorie und Anwendungen, da es in der Praxis durch Rundungen auf volle Cent zu gerin gen Abweichunge n gekommen ist. ) Wenn zwei Banken fusioniere n und die zwei Konten (eventuell mit St and 0) jede s Kunden und jeder Kundin zusa mmengelegt werden , ist der mittl ere Kon to st and nach der Fusion gleich der Summe der mittleren Kontost ande bei den beiden Banken . Dies zeigen wir nun allgemein fur Zufallsvariablen , die auf demselben Wahrscheinlichkeit sr aum definiert sind. Theorem A.2.4. S eien X und Y Zufallsvariablen auf demselben Wah rscheinlichkeitsraum. Dann gilt - E(a · X) = a · E(X) f ur a E lR un d - E(X + Y) = E (X ) + E(Y) .

Beweis. Wir benutzen hier eine Beschreibung des Erwar tungswertes, die auf die Elementar ereignisse zuriic kgeht . Es sei (E,p) der zugrunde liegende Wahrscheinlichkeitsraum. Dann ist E(X) = L X( ei) . p., iEI

Diese Gleichung folgt aus der Definition von E(X ), da Prob(X Summe aller Pi mit X( ei) = t ist . Es folgt E(a · X)

t) die

= L (a. X)( ei) · Pi = a LX(ei) · Pi = a - E (X ) iEI

iEI

und E (X + Y )

= L(X + Y )(ei )· Pi = L X( ei )·Pi + LY(ei) ·Pi = E (X )+E(Y ). iEI

iEI

iEI D

304

A. Anhang

Dagegen gilt im Allgemeinen nicht E(X . Y) = E(X) . E(Y) . Dies lasst sich an einem einfachen Beispiel zeigen. Es sei E = {el ' e2}, Pi = P2 = 1/2 , X(el) = 0, X( e2) = 2 und Y = X . Dann ist X · Y( el) = und X · Y( e2) = 4. Es folgt E(X . Y) = 2, a ber E(X) . E (Y ) = 1 . 1 = 1. Der Grund ist , dass in unserem Beispiel X und Y nicht un abhiingig sind.

°

Theorem A.2.5. Falls X und Y un abhiingig sind, ist

E(X . Y) = E(X) . E(Y). Beweis. Wi e im Beweis von Theorem A.2.4 folgt

E(X . Y) = L X( ei) . Y( ei) . p. , iEI

Wir zerlegen I disjunkt in die Mengen I(t ,u) := {i IX( ei) = t ,Y(ei) = u} . Damit folgt E(X . Y)

=L

L t . u . Pi = Lt . u L

t ,U iE I (u ,t )

=

t ,u

Lt . u . Prob(X

=

t,Y

Pi

iE I( t ,u)

=

u) .

t ,u

An dieser Stelle konnen wir die Unabhiingigkeit von X und Y ausnutzen und erha lte n E(X . Y) = Lt. u . Prob(X = t) . Prob(Y = u) t ,u

=

(Lt. Prob(X t

=

t) ) . (Lu , Prob(Y

=

u))

=

E (X ) · E(Y) .

u

D

Die Auss age von Theorem A.2.5 lasst sich erlautern, Wenn wir annehmen , dass Korpergrofe und Kontostand un abhiingig sind, ist der mittlere Kontostand fiir jede Korpergrofe derselbe und damit das mittlere Produkt aus Kontostand und Korpergrofe das Produkt a us mittlerem Kontost and und mittlerer Korpergrofie. Dieses Beispiel zeigt auch, dass Daten aus dem Alltag typischerweise nur zu "fast un abhiingigen " Zufallsvariabl en fiihren. Allerdings konnen wir Experiment e wie Miinzwiirfe so gestalte n, dass die Er gebnisse "echt un abhan gig" sind. Der Erwartungswert reduziert die Zufallsvari abl e auf ihren gewichte te n Mittelwert und damit wird nur ein Teil der in der Zufallsvariablen und ihrer Wahrscheinlichkeit sverteilung ent ha ltenen Information ausgedriickt. Das mittlere J ahreseinkommen kann in zwei Landern dasselb e sein, wobei die Einkomm ensunter schiede im einen Land gering und im andere n Land groB sind . Uns interessiert also die Zufallsvari abl e Y := IX - E(X)I , die den Abstand

A.2 Ergebnisse aus der Wahrscheinlichkeitstheorie

305

der Zufallsvariablen von ihrem Erwartungswert misst. Als k-tes zenirales Mo ment von X wird E( IX - E (X )l k ) bezeichnet . J e grofer k wird , desto starker werden grofiere Abweichungen vom Erwartungswert gewichtet. Nach der obigen Diskussion glauben wir, dass das erste zentrale Moment das wichtigste ist. Mit ihm lasst sich aber schwer rechn en , da die Funktion IX I nicht differenzierbar ist . Als MaB der Abweichung vom Erwartungswert hat sich daher das zweite zentrale Mom ent, die Varianz (variance) V(X) := E((X - E(X)) 2), durchgesetzt. Da X 2 = IX I2 ist , kann hier auf die Betragsstriche verzichtet werden. Direkt aus der Definition er geb en sich die folgenden Eigenschaften.

The or e m A .2.6. Es gilt V(X) = E(X 2) - E(X)2 , falls IE (X )I

< 00, und

V(aX) = a 2 . V(X) fur a E R

B e we is . Die Bedingung IE(X)I < 00 sichert , dass auf der recht en Seite der erst en Beh auptung nicht der undefinierte Begriff 00 - 00 steht. Dann folgt aus de r Lin earitat des Erwartungswertes, da E(X) ein konstanter Faktor ist , V(X) = E((X - E(X))2) = E(X 2 - 2 · X . E(X) + E(X)2) =

E(X 2) - 2 . E(X) . E(X)

+ E(E(X)2).

SchlieBlich ist ftir eine Konstante a E IR auch E( a) = a , da wir es mit ein er " Zufallsva riablen" zu tun hab en , die mit Sicherheit den Wert a annimmt. Also ist E(E(X)2) = E(X)2 und wir erhalten die erst e Beh auptung. Fur die zweit e Beh auptung wenden wir die erste Au ssage an und benutzen die Gleichungen E((aX) 2) = a 2 . E(X 2) und E(aX)2 = a 2 . E(X) 2. 0 Da V(2 . X) = 4 · V(X) und nicht 2 · V(X) ist , gilt im Allgem ein en nicht V(X + Y) = V(X) + V(Y) . Diese Gleichung gilt jedo ch ftir unabhangige Zufallsvari ablen.

Theorem A.2.7. Fur paarweise unabhiingige Zuf allsvari ablen Xl , . . . , X n gilt V(X I

+ ... + X n ) = V(X l ) + .. . + V(Xn ) .

Beweis. Die Au ssage er gibt sich durch einfaches Na chrechnen . E s ist V( L Xi)

= E(( L

l S iS n

Xi -

l S i Sn

= E( (

L l S iS n

E( L

X i ) ) 2)

l S iS n

Xi

-

L l S iS n

E( Xi )f )

306

A. Anhang

=

E( +

L Xi' l :<:; i ,j :<:;n

x, - 2

L X i ' E(Xj) l :<:; i ,j :<:;n

L E(Xi) ·E(Xj)) l :<:; i ,j :<:;n

L (E(Xi · Xj) - 2 · E(Xi) · E(Xj) l :<:; i ,j :<:;n

+ E(Xi)

· E(Xj)) .

Nach Theorem A.2.5 folgt aus der Unabhiingigkeit von X i und Xj , dass E(Xi . X j) = E(X i) . E(X j) ist und damit sind alle Summanden fur i -=I- j gleich O. Fur i = j erhalte n wir E(Xl) - E(Xi )2 und damit V(Xi ) . Insgesamt hab en wir das T heorem bewiesen.

D

Der Satz von der totalen Wahrscheinli chkeit liisst sich auf eine Aussage tiber bedingte Erw artungswer t e erweitern . Dab ei ist E(X I A) der Erw artungswert von X zur Wahrscheinli chkeitsvert eilung p(. I A) .

Theorem A.2.8. Es sei B j , j E J , eine Part ition des Ereignisra um s E und X eine Zufallsvariable. Dann gilt E(X)

= LE(X I B j)

. p(B j ).

j EJ

Beweis. Es ist E(X)

=

L X( ei) . p( ei) iEI

und E(X

I B j). p(Bj) =

LX(ei) ' pi e, I B j) . p(B j) iEI

= LX(ei) · p({ ei } n B j ).

iEI

Da die Mengen B j eine Par tition des Er eignisraums bilden , ist e, in gena u einer B -Menge ent ha lte n und die Summe aller p({ ed n B j ) , j E J , ergibt p( ei) ' Wenn wir also die Summe aller E(X I B j ) . p( B j) , j E J , bild en , er ha lte n wir jeden Summanden X( Ci) . p( ei) gena u einmal und dami t E(X) . D

Diese Aussage iiberrascht nicht. Wenn wir die durchschnittli che Korpergrof e in Deutschland bestimmen wollen , konnen wir dies ftir die Bundesliinder get rennt durchfiihren und dann die Mit t elwerte der Bundeslander gewichtet mit dem jeweiligen Bevolkerungsanteil aufsummieren. SchlieBlich benot igen wir Auss agen , mit denen wir nachweisen konnen , dass die Wahrscheinlichkeit "groBer" Abweichungen vom Erwar tungswert "klein" ist . Eine sehr einfache, aber hochst wirkungsvolle Aussage, die das

A.2 Ergebnisse au s der Wahrscheinlichkeit stheorie

307

ermoglicht , ist die markojJsche Ungleichung. Wenn wir wissen, dass das jahrliehe Durehschnittseinkommen in der Bevolkerung 40.000 Euro betriigt , dann konnen wir daraus folgern, dass nur hochstens 4 % der Personen der Bevo lkerung mindestens eine Million Euro pro J ahr einnehme n. Hierb ei set zen wir allerdings vor aus, dass es keine negativen Einkommen gibt . Wenn mehr als 4 % der Personen mindestens eine Million Euro einnehmen, ergibt dies bereits einen Beitrag von mehr als 0,04 . 106 = 40.000 zum gewicht et en Mittelwert. Da negative Beitriige ausgesehlossen sind, miisste das Durchschnittseinkornmen schon a ufgru nd der Einkommensmillioniire ob erhalb von 40.000 Euro liegen. Die markoffsehe Ung leiehung verallgem einert dieses Beispiel. T h eor e m A .2 .9 . (MarkojJsch e Ungleichung) S ei X 2': O. Dann gilt fur alle t > 0 Prob(X 2': t) < E(X) lt . B e we is. Wir definieren eine Zufallsvariable Y auf demselb en Wahrseheinliehkeitsraum, auf dem X definiert ist , durch Y( ei) :=

t falls X (ei) 2': t {

o sonst.

Nach Definition ist Y( ei) ::; X( ei) fur aIle i und damit Y ::; X. Dies impliziert na eh Definition des Erwartungswert es E(Y ) ::; E(X). Ebenso folgt naeh Definition des Erwartungswertes und Y

E(Y) = 0 . Prob(X < t) =

+ t . P rob(X

2': t)

t - Prob(X 2': t) .

Zusammengefasst gilt

E(X) 2': E(Y) = t . Prob(X 2': t) und damit die Behauptung.

D

Das s wir mit der markoffsehen Ungleiehung den Anteil der Einkommensmillion are auf 4 % beschr anken konnen , ist nicht ger ad e imponierend. Wir vermuten, dass der wahre Anteil wesentlich kleiner ist . Bessere Werte erha lt en wir , wenn wir die markoffsehe Ungleichun g auf speziell gewa hlte ZufaIlsvariabl en anwenden. So folgt fur die Zufallsvariable IX - E(XW dir ekt Prob (IX - E(X) lk 2': t k) ::; E ( IX - E(X) lk) I t k od er , da IX - E(X) lk 2': t k und IX - E (X ) I2': t aquivalent sind, Prob (IX - E(X) I 2': t) ::; E (IX - E(X)n I tk.

308

A. Anhang

Mit wachsendem k werden in E (IX - E(XW) Werte der Zufallsvari abl en IX - E(X) I, die kleiner als 1 sind , weniger gewicht et , wah rend Werte grofler als 1 st arker gewichtet werd en . Zu beacht en ist abe r a uch, dass der Nenner t k sich mit k ver andert. Es kann also sehr gut sein, dass wir mit wachsendem k besser e Resultat e erhalten. Unser Er gebnis ist fur k = 2 als tschebyschefJsche Ungleichung bekannt. Korollar A.2.10. ( T schebyschefJsche Ungleichung) Fur alle t > 0 ist Prob (IX - E(X ) I ~ t) < V(X) / t 2. Wir betrachten nun n un abhangige Miinzwiirfe und wollen die zufallige Anz ahl der Wurfe mit Er gebnis "Zahl" unter suchen. Dazu seien Xl , " " X n un ab hangige Zufallsvari ablen mit Probt.X, = 0) = Probf X, = 1) = 1/2. Dann misst X i die Anz ahl der Erfolge (Wiirfe mit E rgebnis Zahl) im i-te n Wurf und X := Xl + ... + X n die Gesamt an zahl der Erfolge. Es ist xl = X i ' Nach Bemerkung A.2.3 ist E(Xl) = E(X i ) = 1/2 und nach Bemerkung A.2.6 ist V (Xi ) = 1/2 - (1/2) 2 = 1/4. Nach Theorem A.2.4 und Theorem A.2.7 ist E(X ) = n /2 und V(X) = n /4 . Unser Ziel ist es, fur konstantes c > 0 zu zeigen, dass Prob (X ~ (1 +c) · E(X)) mit wachsend em n sehr klein wird. Die markoffsche Ungleichung liefert mit Prob (X

~

(1 + c) . E(X)) ::::: 1/(1

+ c)

nur eine von n unabhan gige Schr anke. Mit der t schebyscheffschen Ungleichung erha lten wir Prob (X

~

(1 + c) . E(X)) = Prob (X - E(X )

::::: Prob (IX - E (X ) I ~

E. :

~ E. > E(X))

E(X )) ::::: V (X) / (c 2 . E(X )2 ) = c- 2 . n - l .

Die bet racht et e Wahrscheinli chkeit ist also polynomiell klein . Die im Folgenden hergeleitete chem offsc he Ungleichung wird zeigen, dass die betracht et e Wahrscheinli chkeit soga r echt exponent iell klein ist . Auch die chern offsche Ungleichung beruht auf der markoffschen Ungleichung. W ah rend bei der ts chebyscheffschen Ungleichung die Zufallsvari abl en qu adriert wurden oder bei der allgemeineren Betrachtung die k-t e Pot enz y k der Zufallsvariabl en y unter sucht wurde, wird hier e- Y betracht et . Die starkere Kriimmung der e-Funkt ion im Vergleich zu den Polynomen x -7 x k wird eine wesentlich bessere Abschat zun g er moglichen, allerdings nur fur spez ielle Zufallsvari ablen . Theorem A.2.11. (Ch emoffsche Ungleichung) Es sei 0 < P < 1 und X = Xl + .. . + X n [iir un abhiingige ZuJallsvariablen X l , .. . , X n m it P robf.X, = 1) = P und Probt.X, = 0) = 1 - p . Dann ist E(X) = n p und Jur alle 15 E (0,1) gilt Prob(X ::::: (1 - 15) · E(X ))::::: e- E ( X

)S2 / 2 .

A.2 Erge bnisse aus der Wah rscheinlichk eit stheori e

309

Beweis. Die Aus sage tib er E(X) folgt aus der Lln earit at des Erwartungswertes und E(Xi ) = p (Bem erkung A.2.3) . E s sei t > O. Wir werden sp ater eine geeignet e Wahl fiir t t reffen . Da die Funktion x ----* e- t x st reng monoton fallend ist, ist das Ereign is X :::; (1 - 5) . E(X) gleich dem Ereignis e - t X ~ e - t( 1-8)E(X) . Also folgt mit der markoffschen Ungleichung Prob(X :::; (1- 5) · E(X))

=

Prob ( e - t X ~ e - t( 1-8)E(X) )

< E ( e - t X) /e - t( 1-8)E( X) . Zun achst berechn en wir E( e- t X ) . Da Xl , . .. , X n un abhan gig sind, gilt dies auch fur e - t X t , . .. ,e- t X n. Somit ist

E

( e- t X) =

E

( e -t (X t + ·+xn ))

=

E(Ill ~i~n e- t X i )

=

Il l ~ i~ n (E (e -

tX i

)) .

Da X i nur die Wert e 0 und 1 annimmt, folgt E ( e - t X i)

= 1 . (1 -

p)

+ e: '

.

p

= 1 + p ie::' - 1) . Also ist

Bekanntlich ist 1 + x < e" fu r alle x < O. Da t > 0 ist, ist P (e- t

-

1)

< 0 und

Im letzt en Schritt hab en wir ausge nutzt, dass E(X) = np ist. J etzt setzen wir t := - In (l - 5). Dann ist t > 0 und e- t - 1 = - 5. Also ist E ( e -tX ) < e -8·E( X) . Schliefilich set zen wir dieses Ergebnis in un sere erste Abschatzung ein und erhalten Prob (X :::; (1 - 5)E(X )) < e- 8 . E (X ) /e(l n( 1-8))(1-8)E( X)

=

e( - (1-8) In (1- 8) - 8)E (X ) .

Aus der Taylorreih e fur x In x folgt

(1 - 5) lnfl - 5) > - 5 + 52/ 2. Dies eingese tzt fuh rt zur che rn offschen Ungleichung.

o

310

A. Anh an g

Wi r kehren zu unserem Beispiel zurtick, in dem p = 1/2 ist . Dann hat X 2: (1 + c) · E(X) dieselbe Wahrscheinlichkeit wie X ::; (1 - c)· E(X) , da X symmetrisch urn E(X) verteilt ist . Beim Miinzwurf werd en einfach die Rollen der beid en Seit en der Munze vertau scht . Also ist

t atsachlich echt exponent iell klein . Haufig st ellt sich bei der Unt ersuchun g von randomisierten Algorithmen folgend es Problem . Eine Phase ftlhrt mit Wahrscheinli chkeit p zum Erfolg, also zum Stoppen des Algorithmus, ansonste n wird eine neue Phase begonnen , die vollstandig un abhan gig von den friiheren Phasen ist. Es sei X die Zufallsvariable, die den Wert t annimmt, wenn in der t-ten Phase der erste E rfolg eint rit t . Aufgrund der vollst andigen Unabhan gigkeit der Phasen ist fur q := 1- p

Prob(X = t) = l-lp. Das Er gebnis X = t ist narnlich gleichbede utend mit Misserfolgen in den Phasen 1, .. . , t -1 und Erfolg in Phase t . Diese Wah rscheinlichkeitsver teilung wird geometri sche Verteilung gena nnt . Wir sind an ihrem Erwar tungswert interessiert. Theorem A.2.12 . Sei X geometrisch verteilt zum Parameter p. Dann ist

E (X ) = l ip. Beweis, Nach Definition ist

E(X) =

L

k . qk-l . P

l :S; k < oo

=

v ( qO

+ ql + ql + q2 + q2 + q2 + q3 + q3 + q3 + q3 + .. . Die erste Spalt e hat den Wert 1/(1- q) = l ip. Analog folgt ftir die i-te Spalte (klammere qi - l a us), dass ihr Wert qi - 1/ p ist . Also ist 1. E(X ) = p . _1 ~ Z:: qt- 1 = _ p l :S; i < oo

p

o

Literaturverzeichnis

1. Agrawal, M., Kayal, N . und Saxena, N. (2002). PRIMES is in P . Tech. Report Dept . of Computer Science and Engineering. Indian Inst . of Technology Kanpur. 2. Ahuja, R .K. , Magnanti, T .L . und arlin, J.B. (1993) . Network Flows. Theory, Algorithms and Applications. Prentice-Hall. 3. Alon, N. und Boppana, R.B. (1987) . The monotone circuit complexity of boolean functions. Combinatorica 7, 1-22. 4. Alon, N. und Spencer, J. (1992) . The Probabilistic Method. Wiley. 5. Arora, S. (1997) . Nearl y lin ear time approximation schemes for Euclidean TSP and other geometric problems. Proc. of 38th IEEE Symp. on Foundations of Computer Science, 554- 563. 6. Arora, S., Lund, C ., Motwani, R., Sudan, M . und Szegedy, M . (1998) . Proof verification and the hardness of approximation problems. Journal of the ACM 45, 501-555 . 7. Arora, S. und Safra, S. (1998). Probabilistic checking of proofs : A new charaterization of NP. Journal of the ACM 45, 70-122. 8. Aspvall, B. und Stone, R .E . (1980). Khachiyan's linear programming algorithm. Journal of Algorithms 1, 1-13 . 9. Ausiello, G., Crescenzi, P., Gambosi, G ., Kann, V., Marchetti-Spaccamela, A. und Protasi , M. (1999) . Complexity and Approximation. Springer. 10. Balcazar, J .L ., Diaz, J . und Gabarro, J . (1988). Structural Complexity. Springer. 11. Beame, P ., Saks, M ., Sun, X. und Vee, E. (2000). Super-linear time-space tradeoff lower bounds for randomized computation. Proc. of 41st IEEE Symp. on Foundations of Computer Science, 169-179 . 12. Bellare, M ., Goldreich, O. und Sudan, M . (1998) . Free bits, PCP and nonapproximability - towards tight results. SIAM Journal on Computing 27, 804915 . 13. Bernholt, T. , Gillich, A., Hofmeister, T. , Schmitt, N. und Wegener, 1. (2002) . Kornplexitatstheorie, effiziente Algorithmen und die Bundesliga. Informatik~ Spektrum 25, 488-502. 14. Boppana, R . und Halldorsson, M .M . (1992) . Approximating maximum independent sets by excluding subgraphs. BIT 32, 180-196. 15. Clote, P . und Kranakis, E. (2002) . Boolean Functions and Computation Models. Springer. 16. Cook, S.A . (1971) . The complexity of theorem proving procedures. Proc. 3rd ACM Symp. on Theory of Computing, 151-158. 17. Feige, D ., Goldwasser, S., Lovasz, L., Safra, S. und Szegedy, M. (1991). Approximating clique is almost NP-complete. Proc. of 32nd IEEE Symp. on Foundations of Computer Science, 2-12 . 18. Garey, M.R. und Johnson, D.B. (1979) . Computers and Intractability. A Guide to the Theory of NP-Completeness . W .H . Freeman .

312

Literaturverzeichnis

19. Goldmann, M. und Karpinski , M. (1993) . Simulating threshold circ uits by majority cir cuits. Proc. of the 25th ACM Symp. on T heory of Computing, 551- 560 . 20. Goldreich , O. (1998) . Modern Cryptography , Probabilistic Proofs and Pseudorandomness. Algori thms and Combinatorics, Vo1.1 7. Springer . 21. Goldwasser , S., Micali , S. und R ackoff, C . (1989). The knowl edge complexity of inter active proof-s ystems. SIAM J ournal on Computing 18, 186-208 . 22. Hastad, J . (1989) . Almost optim al lower bounds for sm all depth circuits. In : Micali , S. (Hr sg.) Randomness and Computation. Advan ces in Computi ng Resear ch 5, 143- 170. JAI Press. 23. Hastad , J. (1999) . Clique is hard to approximate within n 1 - € . Act a Mathem atic a 182, 105-142. 24. Hastad , J . (2001) . Som e op timal in approximability results. Journal of t he ACM 48, 798-859. 25. Hajnal , A., Maass, W ., Pudlak , P ., Szegedy, M. und Turan , G. (1987) . Threshold cir cuits of bounded depth. Proc . of 28th IE EE Symp. on Foundations of Computer Science, 99-110. 26. Hemaspaandra, L. und Ogihara , M. (2002) . Th e Compl exity Theory Companion. Springer . 27. Hom er , S. (2001) . Computability and Complexity Th eory. Springer. 28. Hopcroft , J .E ., Motwani , R . und Ullman , J .D . (2001) . Introdu ction to Automata Th eory, Languag es and Computation. Addison-Wesley Longman. 29. Hopcroft, J .E. und Ullman, J .D . (1979) . Introduction to Automata Th eory, Languag es and Computation . Addison-Wesley. 30. Hromkovic, J. (1997). Comm unication Compl exity and Parall el Computing. Springer. 31. Johnson, D.S. (1974). Approxima tion algorit hms for combina t orial problems. Journal of Comp uter and System Sciences 9, 256-278. 32. Kann, V. und Cresc enz i, P . (2000) . A list of NP-complete op tim ization problems. www .nada .kth .se / ~viggo /index- en.html 33. Karmarkar, N. und Karp, RM. (1982) . An efficient approximation scheme for the on e-dimensional bin packin g problem. Proc. of 23rd IEEE Symp. on Foundations of Computer Science, 312-320. 34. Karp , RM. (1972). Reducibility amo ng combinatorial problems. In : Miller , R E . und Thatcher , J .W . (Hrsg.) . Compl exity of Computer Computations, 85-103 . Plenum Press. 35. Korte, B. und Schr ad er, R (1981) . On the existence of fas t approximat ion sche mes. In : Nonl inear Programming. Acad em ic Press . 36. Ku shilevitz, E. und Nisan , N. (1997). Communication Compl exity. Cambridge Univers ity Press . 37. Ladner, R .E . (1975 ). On the st ruc t ure of pol ynomi al time redu cib ility. Journal of t he ACM 22 , 155-171. 38. Lawler , E.L., Lenstra , J .K. , Rinnooy Kan, A.H.G . und Shmoys , D.B . (1985). Th e Traveling Salesm an Problem . A Guided Tour of Com binatorial Optimization. Wil ey. 39. Lawl er, E.L. , Lenstra, J .K. , Rinnooy Kan , A.H.G . und Shmoys, D.E. (1993). Sequ encing and Scheduling: Algori thms and Complexity. In : Graves , S.C ., Rinnooy Kan, A.H.G. und Zipkin , P .H. (Hrsg .). Handbook in Operation s Research and Manag em ent Science , Vol. 4, Logistics of Product ion and Inventory, 445522 . North- Holla nd . 40. Levin , L.A. (197 3) . Universal sorting problems. Problems ofInformation Tr ansmis sion 9, 265-266 . 41. Martello, S. und Tot h , P. (1990). Knapsack Problems. Wil ey.

Lit eraturverzeichnis

313

42 . Mayr, E ., Promel , H.J . und St eger , A. (1998) (Hrsg.) . Lectures on Proof Verification and Appro ximation Algorithms. LNCS 1367 . Springer. 43 . Mill er , G .L. (1976) Riem ann's hypothesis and t ests for primality. Journal of Computer and System Scien ces 13, 300-317. 44. Milters en, P.B. (2001). Derandomizin g com plexit y classes. In P ardalos , P.M ., Rajas ekaran, S., Reif, J . und Rolim , J . (Hrsg.) . Handbook of Randomization. Kluwer . 45 . Motwani , R . und Raghavan , P . (199 5) . Randomized Algorithms. C am bridge Univers it y Press. 46. Nechiporuk, E .I. (1966) A Boolean fun ction. Soviet Mat hemat ics Dokl ady 7, 999-1000. 47. Nielsen, M .A . und Chuang, I.L. (2000). Quan tum Compu tation and Quantum Information. Cambridge Un ivers ity Press. 48 . Ow en , G . (199 5) . Gam e Th eory. Academic P ress . 49 . P apadimitriou , C .M. (1994) . Compu tational Compl exity . Addison-Wesley. 50. Pinedo, M. (199 5) . Scheduling: Th eory, Algorithms and Sy stems . Prentice-Hall . 51. R azborov, A .A . (1987). Lower b ounds on the size of bounded depth networks over a complet e basis with logical addi t ion . Math . Notes of the Academ y of Scien ces of the USSR 41, 333-338. 52. R azborov , A.A . (1990) . Lower bounds for monotone complex ity of boolean funct ions . Am erican Mathematical Soci ety Tr an slation s 147, 75-84. 53. R azborov , A.A . (199 5) . Bounded arithme t ics and lower bounds in boolean complexi ty. In: Clote , P . und Remmel , J . (Hrsg .) . Feasible Math ematics 11. Birkh auser . 54. Reischuk, K.R. (1999). Komplexitiitsth eorie. Te ubner. 55. Schonhage, A., Grotefeld , A.F .W . und Vetter , E . (1999) . Fast Algorithms: A Multitape Turing Ma chin e Impl em entation. Sp ektrum Akademischer Verl ag. 56. Sh amir, A . (1992) . IP=PSPACE. Journal of the ACM 39, 869-877. 57. Sh asha , D . und Lazer e , C . (1998) . Out of Th eir Mind s. Th e Lives and Discoveries of 15 Great Computer Scientists. Copernicu s (Springer). 58 . Singh , S. (1998) . Fermats leizi er Sat z. Hanser. 59. Sipser, M . (1997) . Introdu ction to the Theory of Computati on. PWS Publish in g Company. 60 . Smo lensky, R. (1987) . Algeb raic methods in the theor y of lower bounds for boolean circuit complexity. P ro c. of 19th ACM Symp. on Theor y of Computing , 77-82 . 61. Solovay, R . und Strass en , V . (1977) . A fast Mont e-Carlo tes t for primali ty. SIAM Journal on Com put ing 6,84-85. 62. Stinson, D.R. (1995) . Cryptography. Theory and Practice. CRC P ress . 63 . Stockmeyer, L.J. (1977) . T he polynom ial t im e hierarchy. T heore t ical Co m pu te r Scien ce 3, 1- 22. 64 . Stras sen , V . (1986) . The work of Leslie G . Vali ant . Proc. of t he Int. Congr ess of Mathem a t ics , Berkeley, Ca . 65. T hom pso n , C .D . (1979) . Ar ea-t im e com plexi ty for VLSI. Proc. of 11th ACM Symp. on Theory of Computing , 81-88. 66 . Valiant , L.G . (1979). The com plex ity of com puting the permanen t . Theoret ical Com p ute r Scien ce 8 , 189-201 . 67. van Leeuwen , J. (1990) (Hrsg.) . Handbook of Theoretical Computer Scie nce. E lsevier, MIT Press. 68 . Wagn er , K . (1994) . Einjilhruru; in die Th eoretische Informatik. Grundlagen und Modelle. Spri nge r . 69. Wagner, K. und Wechsung , G. (1986) . Computational Complexity. VEB Deutscher Verl a g der W issens chaften .

314

Literaturverzeichnis

70. Wechsung, G . (2000) . Vorlesungen zur Komplexitat sth eori e. Springer. 71. Wegen er , I. (1982) . Boolean fun ctions whose monotone complexity is of size n 2 /lo gn . Theoretical Com pute r Science 21, 213-224. 72. Wegen er , I. (1987) . Th e Complexity of Boolean Function s. Wil ey. Frei verfiigb ar tiber http:/ /ls2-www. cs.uni-dortmund.de/ ''-'wegen er . 73. Wegen er , I. (1996) . Effizient e Algori thm en fur grundlegende Funktionen. Teubner. 74. Wegener , I. (1999) . Theoreiische Informatik - eine algorithmenorient iert e Einfu hrung. Teubner. 75. Wegener , I. (2000) . Branching Programs and B inary Decision Diagram s - Th eory and Applications. SIAM Monogr aphs on Discr ete Mathematics a nd Applications. 76. Wegen er, I. (2002) . Teaching nondet erminism as a speci al case of randomization . Informatica Did act ica 4 (elektron . Zeit schrift) . 77. Yao , A.C. (1977) . Probabilistic computat ions : Towards a unified measure of complexity. Proc. of 18th Symp. on Foundations of Computer Scien ce, 222227. 78. Yao , A .C. (1979) . Som e complexity qu estions related to distributed computi ng. Proc. of 11th ACM Symp. on Theory of Computing, 209- 213. 79. Yao , A .C. (2001) . Vortrag zur Verl eihung des Turing Awards. 8. 7. 2001, Che rsoniss os, Kr et a .

Sachverzeichnis

(a, b)-L iickenproblem , 113 CAN D(J ), 246 C EXOR(J) , 246 Co R(J) ,246 D p,e, 256 O- Notation, 295

T!}k ' 267 T~ k ' 267

l1k-S chaltkreis, 275 Ek-Schal tkreis, 275 8-close, 177 8-nah,177 S log, 207 S l, 287

S r , 49 S p, 65 S ed, 287 SPTAS, 116 S reet, 241 Spro j, 287 Srop, 287 C-iiquivalent , 71 C-complete, 71 C-einfach, 71 C-equivalent , 71 C-hard, 71 C-hart , 71 C-leicht , 71 C-schwi erig, 71 C-simple, 71 C-vollstiindi g, 71 e-opt imal, 106 k-D M , 18, 74, 96 k-GC , 89 , 96 k-IBDD ,284 k-O BDD ,284 k-SAT , 19, 96 k-dimensional matching, 18 s-t- DHP, 84 s-t-connec ti vity in d irected graphs, 208 s-oblivious bran ching progr am , 284

s-stereotypes Br an chingprogramm, 284 # P -vollstiindig, 210 # P M,209 #SAT ,209 2-DM , 58, 96, 209 2-GC , 96 2-SAT ,96 3-D M, 89, 96, 101 3-G C ,96 3-PART IT IO N, 101 3-SAT , 55, 61 , 85, 90, 91,172,182 4-PARTITION, 101 ACO , 275 AC o-reduzierbar , 287 AC k , 288 ACCO [m], 278 algori thm , 20 a lgorit hmic complexity, 26 algorithmisch ahnlich , 47 algorithmische Komplexitiit , 26 algorithmisches Problem , 13 Algorithmus, 20 alte rn a t ing class, 275 alte rnating counting clas s, 278 AM ,159 AND-Nichtdeterminismus, 246 Anfangszust and, 24 Anticliqu e, 18 An zahlproblem , 209 approxim ation problem , 107 approximat ion ratio, 106 Approxima tionsgiite, 106 Approxim ation sproblem , 107 APX , 108 APX-vollstiindi g, 120 Arbeitsalphab et , 24 Arbeitsband, 196 Arbeitsvo rschrift , 24 Ari thmetisierung, 173 ari t hmetization, 173 Arthur-Merlin-Spi ele, 159

316

Sachverzeichnis

asymptotic wors t- case approxima t ion rat io, 107 asymptotische m aximale Approximation sgilte, 107 asymptotisches FPTAS , 111 Aufteilungsproblem , 17 Austauschlemma, 276 Au swertungsproblem , 14 Auswertungsproblem ftir Scha ltkreise, 207 Automorphismengr uppe, 157 average-case runtime, 26 Baustein , 213 Bausteineliminierung, 267 BDD ,222 bedingter Erwartungswert , 302 bedingte Wahrsch einlichkeit, 300 Beweiser , 154 Beweisverifizierer, 175 bin ary decision diagram, 222 bin pa ckin g, 17 bit commitment, 166 BitfestIegung, 166 black box , 124 Black-Box-Komplexitat, 125 BIack-Box-Optimierung, 125 Black-Box-Problem , 124 bl ank,24 BMST,84 bounded -degr ee minimum-cost sp anning t ree, 84 bounded-error probabilistic polynomial time, 38 BP, 17,52,57, 74,87, 102 BPP, 38 br anching program, 222 CAR, 244, 279 CC , 18, 74 CF , 19,275 championship problem , 18 chern offsche Ungleichung, 308 Choms ky-Hierarchie, 197 Church 's hypothesis, 22 churchsc he These, 22 circuit , 213 circ uit depth, 214 circuit size, 213 circuit value problem, 207 CLIQU E , 18, 57, 61, 74, 87, 228, 268 clique cover , 18 Cliquenproblem , 18

Cliquen ube rdec kungsproblem , 18 co-C, 40 co-L , 33 communicat ion complexit y, 232 communica tion game, 231 communication matrix , 236 communicat ion protocol, 232 communication rounds , 233 complete ly indep endent, 301, 302 component des ign , 61 composit ion lemma , 181 com puta tional zero-knowled ge proof, 166 condition al probability, 300 cons tant depth reducible, 287 context-sensitive languages , 197 C P , 18, 58, 59, 74, 91 , 97 , 100 CSL, 197 CVP, 207, 288 Dame, 201 decision problem , 15 depth-first search , 208 Der andomisierung, 72, 110, 225 der andomization , 225 determiniert , 20 deterministi c, 20 deterministisch , 20 DF, 19,275 DFS , 208 DHC , 16, 53, 61 DHP, 83 directed hamiltonian circuit , 16 directed hamiltoni an path, 83 DIS , 239 discrep an cy, 258 d isjointness test , 239 Disjunktheitstest , 239 disjunktive Form , 275 Diskrep an z, 258 distributional communication complexi ty , 256 DIV ,288 Divi sion , 288 DSTCON ,208 DTAPE( s(n)) ,196 durchschnittliche Rechenz eit , 26 EC , 17, 74,96 echt exponent ieII, 298 echt ex ponentieII klein , 299 echt po lynomieIIes Approximationsschema, 108 edg e cover , 17

Sachverz eichnis

einfarbig, 236 Eingabeband, 196 einheitlich beschreibbar, 215 einheitliches KostenmaB, 22 einmallesende Projektion, 287 einseit iger Fehl er, 33 Einwegfunktion, 165 Elementarereignis, 299 Entscheidungsdiagramm, 222 Entscheidungsproblem, 15 EQ ,236 EQ* , 242, 285 equ ality test, 236 E reignis, 299 Ereignisraum, 299 erfiillbar , 19 Erfiillbarkeitsproblem, 19 Erfiillbarkeitsproblem der k-t en Stufe, 146 erfiillende Belegung mit maximalem Gewicht, 120 error-correcting cod es, 173 error probability, 33 erwartete Optimierungszeit , 125 Erwartungswert, 302 erweiterte churchsche These, 22 erzwingende Komponente, 86 essenzielle Abhangigkeit, 267 evaluation problem, 14 event , 299 Existenz eines Weges , 208 EXOR-Nichtdeterminismus, 246 expect ed value, 302 explicit ly defined, 266 explizit definiert, 266 exponent iell, 298 exponentiell klein , 299 FACT, 20, 137, 166 factoring, 20 failure probability, 33 Faktorisierung, 20 fehl erkorrigierende Codes, 173 Fehlerwahrscheinlichkeit, 33 Fingerabdruck, 253 fingerprinting technique, 253 Flussproblem, 18 fooling set, 239 Formel,220 Formelgrofle, 269 formula, 220 FPTAS , 108 full y polynomial-time approximation scheme, 108

317

Funktionsauswerter, 175 ga p technique, 113 gate, 213 gate elimination, 267 Gatter, 213 GC , 88, 96, 151 geometrisches Rechteck , 236 geometrische Verteilung, 310 gerichteter hamiltonscher Kreis, 16 GI , 87, 136, 156, 164 Gleichheitstest , 236 Go , 201 gradbeschrankte minimale Spannbaume, 84 graph colorability, 88 Grapheni somorphieproblem , 87 gr aph isomorphism, 87 GroBe eines Br anchingprogramms, 222 Crofenordnung , 295 GT,236 gu ess and verify, 75 hamiltonscher Pfad , 83 HC, 16, 53, 165 , 166 Heiratsproblem, 18 HP,84 indep endent, 301 indep endent random variables, 302 indep endent set, 18 indexed BDD , 284 indirect storage acc ess , 271 indirekte Adressierung, 271 inductive counting, 205 induktives Zahlen, 205 initial state, 24 inner product, 239 input tape, 196 interactive proof sys tem , 155 inte rakt ives Beweissystem , 155 INV,288 Inversenbildung, 288 IP(k) , 155 IP, Funktion, 239, 280, 288 IP, Komplexitatskl ass e, 155 Irrtumswahrscheinlichkeit, 33 IS , 18, 57 , 74, 87, 118 ISA , 271, 283 isomorph, 87 Kanteniiberdeckungsproblem, 17 knapsack problem , 17

318

Sachverzeichnis

Knotenfarbung , 88 Knotenfarbungsproblem , 88 Knoteniiberdeckungsproblem, 17 Kofaktor, 267 kombinatorisches Rechteck , 236 Kommunikationskomplexitat , 232 Kommunikationsmatrix, 236 Kommunikationsprotokoll, 232 Kommunikationsrunden , 233 Kommunikationsspiel , 231 Komplement, 33 komplexitatstheor etisch ahnlich , 47 Kompositionslemma , 181 Konfi gu ration, 77 konjunktive Form, 275 Konsisten zt est, 175 kontextsensitive Gr ammatik, 197 KP, 17, 74, 86, 100 KP *, 17,84 kubisch , 298 Lange des Protokolls, 232 Lan ge eines Br anchingprogramms, 222 language, 15 Las-Vegas-Algorithmus, 32 Lastverteilungsproblem , 17 law of total prob ability, 301 layer depth, 284 LBA-Problem , 204 Leerzeichen, 24 LEX-GC,1 51 linea r , 298 lin eare Optimierung, 136 Lin earitatstest , 175 linear programming , 136 local repl acement, 55 LOG-SPACE , 206 log-sp ace complet e, 207 log-sp ace reducible, 206 logarithmic cost model , 22 logarithmisch , 298 logarithmisches KostenmaB, 22 logarithmisch reduzierbar , 206 logikori entierte Ch arakterisierung, 76 lokal e Ersetz ung, 55 LO NG(L) ,201 LP,136 Liickent echnik, 113, 182 MADD ,288 MAJ , 278, 288 Majoritatsentscheidung, 37 Majoritatsfunktion, 278

majority function, 278 man y-on e red ucible, 65 markoffsche Ungleichung , 307 Maskentechnik, 242 MAX -k-SAT , 20, 96 , 186 MAX-2-SAT , 96 , 186 MAX-3-DM, 186 MAX-3-SAT, 109, 117, 182, 186, 187 MAX -CLIQUE , 109, 117, 186 MAX-IS, 111, 117 MA X-KP,11 2 MAX -NPO , 119 MAX -SAT , 20, 52, 186 MAX-W-SAT,120 maximale Approximationsgilte, 106 maximale durchschnittliche Rechenzeit , 31 maximale Rechenzeit , 25 Maximierungsproblem, 105 maxim ization problem , 105 m aximum weighted sat isfiability, 120 MC ,1 40 mean valu e, 302 Meisterschaftsproblem , 18 Menge der Hal t ezustande, 24 Men geniib erd eckungsproblem , 91 middle bit of mu ltiplication, 242 MIN-BP, 110, 115, 186 MI N-G C , 115, 118, 151, 186 MIN-N P O , 119 MIN-SC , 109, 186 MI N-TSP, 186 MIN_Tspsym,Ll 186 MI N-TSpd-Euklid 111 MIN-TSP L\ 111 ' MI N-VC , 109, 111, 118, 186 minimal circuits, 140 minimale Schaltkreise, 140 Minimax-Prinzip , 126, 257 Minimax-Theorem , 127,257 Minimierungsproblem , 105 minimization problem , 105 m ittleres Bit der Mu ltiplikation, 242 MOD m ,278 monochromatisch , 236 monotone boolesche Funktion, 268 monotone Projektion, 287 monotoner Schaltkreis , 268 Monte-Carlo-Algorithmus, 33 MUL , 242, 261, 285, 288 Nadel im Heuh aufen , 129 NC\ 287

Sachverzeichnis

NC1-reduzierbar, 287 NC k, 288 needle in the haystack , 129 network flow, 18 NF, 18, 53 , 58 , 74 nichtdeterministischer Algorithmus, 44 nichtdeterministischer Schaltkreis, 226 nichtdeterministische Turingmaschine, 44 nichtuniforme Turingmaschine, 218 Nick' s Class, 287 nondeterministic algorithm, 44 nondeterministic polynomial time , 44 NP,44 NP-aquivalent, 73 NP-complete in the strong sense, 100 Nl--vollstandig, 73, 79 NP j poly, 226 NP C, 136 NPI,136 NPO,119 Nf'Ovvollstandig, 120 NPSPACE ,196 NT A PE (s(n )), 196 number-SAT,209 number problem , 99 OBDD,284 oblivious, 78 offentliche Zufallsbits, 254 one-sided err or, 33 one-way function, 165 Optimierungsproblem , 14 optimization problem , 14 OR-Nichtdeterminismus, 246 oracle , 49 Orakel, 49 , 138 ordered BDD , 284 P , 30 P j poly, 226 paarweise unabhangig, 302 padding t echnique, 201 pairwise independent , 302 PAR, 275 , 280 , 288 parallel computation hypothesis, 206 , 216 Paritatsfunktion, 275 parity, 275 PARTITION, 17, 57 , 86 , 87 , 95 Partitionsproblern , 17 PCP, 169 PCP(r(n) , q(n)) , 170

319

PCP-Theorem, 172 perfect zero-knowledge proof, 164 perfektes Matching, 209 perfekte Zero-Knowledge Eigenschaft , 164 permanent, 210 P ermanente, 210 Pfadfunktion, 131 PH ,141 platzkonstruierbar, 202 polylogarithmisch, 298 polynomial-t ime approximat ion scheme, 108 polynomial-time reducible, 65 polynomially self-reducible, 228 polynomiell, 298 polynomielle Hier archie, 135 , 141 polynomielles Approximationsschema, 108 polynomiell klein, 299 polynomiell reduzierbar, 65 polynomiell selbstreduzierbar, 228 PP,38 primality t esting, 20 PRIMES , 20, 75, 99, 136 , 166 Primzahltest, 20 private coins, 254 private Zufallsbits, 254 probabilistically checkable proofs, 169 probabilistic method, 255 probabilistische Methode, 255 , 276 probability amplification, 36 probability distribution, 299 probability space, 302 Problem des Handlungsreisenden, 15 Probleme auf groBen Zahlen , 99 Problem mit klein en Losungswerten, 114 Projektion , 287 protocol tree, 232 Protokollbaum, 232 prover , 154 pseudo-polynomial, 101 ps eudoboolesche Funktion , 96 pseudoboolesches Polynom, 96 ps eudopolynomiell , 101 PSPACE, 155, 196 PSPACE-complet e , 199 PSPACE-vollstandig, 199 P TAS,108 P TAS-Reduktion, 116 P'I'Afl-vollstandig, 120 public coins, 254

320

Sachverzeichnis

quadratisch, 298 Quadrieren, 288 quantified boolean formula, 199 quantifizierte boolesche Formel, 199 quasilinear, 298 quasipolynomiell, 298 random access machine, 21 randomisierter Algorithmus, 31 randomisierter Beweisverifizierer, 170 randomisierter Protokollbaum, 245 randomisierte Suchheuristik, 123 , 124 randomisierte Turingmaschine, 31 randomisiert verifizierbare Beweise, 169 randomized algorithm, 31 random polynomial time with one-sided error, 37 random variable, 302 Rangmethode, 240 rank lower bound method, 240 rate und verifiziere, 75 read-once projection, 287 Rechteck, 236 Rechteckreduktion, 241 rectangle, 236 rectangular reduction, 241 Registermaschine, 21 restriction, 57 Restriktion, 57 RP,37 RP*, 37 Rucksackproblem, 17 Rundreiseproblem , 15 SAT , 19, 55, 61, 74, 78 , 79 , 228 SAT3IR ' 146 , 199 SATcIR , 19, 140 , 146 SATcF ,19 SATDF ,19 satisfiability problem, 19 satisfiable, 19 Satz von der totalen Wahrscheinlichkeit , 301 SC ,91 Schach,201 Schaltkreis, 213 Schaltkreisgrofie, 213, 267, 274 Schaltkreistiefe, 214, 269 scheduling problem , 17 Schichtentiefe, 284 schwarzer Kasten, 124 Schwellwertfunktion, 267 search problem , 14

Selbstverbesserung, 185 self-improvability, 185 sequencing with intervals, 87 set cover, 91 SI ,88 Skalarprodukt, 239 solution, 105 space constructible, 202 Sprache, 15 SQU, 288 squaring, 288 SSS , 85 , 95 , 101 stark NP-schwierig, 115 stark NP-volisUindig, 100 state space, 24 stereotyp, 78 stopping state, 24 Stundenplanproblem, 17 Subfunktion , 267 subgraph isomorphism, 88 subset sum problem, 85 Suchbaum, 129 Suchproblem , 14 SWI, 87 , 102 switching lemma, 276

TCO,d, 280 Teilgraphenisomorphieproblem, 88 Teilsummenproblem, 85 Theorem von Cook, 79 Theorem von Immerman und Szelepcsenyi, 204 Theorem von Savitch, 202 threshold circuit , 279 Thresholdfunktion, 267 Thresholdschaltkreis, 279 Tiefensuche, 208 Transformation mit verbundenen Komponenten , 61 traveling salesman problem , 15 traveling salesperson problem, 15 tschebyscheffsche Ungleichung, 308 TSP, 15, 52, 74, 95, 100, 113 TSp N , 16,53 TSpd-Euklid , 16 TSp 2 ,6 ,sym, 53 TSpsym 16 53 TSP 6 , 16,53 turingaquivalent, 49 Turing machine, 23 Turingmaschine, 23 turingreduziert , 49 two-person zero-sum game, 127

Sachverzeichnis

two-sided error, 33 Uberwachungsproblem, 17 unabhangige Menge, 18 Unab ha ngigkeit von Ereignissen, 301 Unabhangigkeit von Zufallsvariablen , 302 unbounded-error probabilistic polynomial time, 38 uniform, 215 uniform cost model, 22 unimodale Funktion, 124 value, 105 Variablenordnung, 284 variance, 305 Varianz, 305 vo , 17, 57 , 74 , 96 verifier, 154 Verifiziererin, 154 Verlangerungstechnik, 201 Versagenswahrscheinlichkeit, 33 verteilungsbezogene Kommunikationskomplexitat , 256 vertex cove r , 17 Verwirrmenge, 239 Verzweigungsprogramm, 222 vollstandig unabhangig, 301 , 302

321

Wachstumsgeschwindigkeit, 295 Wahrscheinlichkeitsraum , 302 Wahrscheinlichkeitsverteilung, 299 WeSL ,201 Wert, 105 Wert des Spi els, 128 Wertproblem , 14 working tape, 196 worst-case approximation ratio, 106 worst-case expected runtime, 31 worst-case runtime, 25 Wortproblem, 15 Wortproblem fur kontextsensitive Grammatiken,201 zentrales Moment, 305 zero- error probabilistic polynomial time, 36 zero-knowledge proof, 164 ZPP, 36 ZPP* , 36 Zufallsvariable, 302 zulassige Losung, 105 Zustandsmenge, 24 Zweipersonen-Nullsummen-Spiel, 127 , 257 zweis eitiger Feh ler , 33