Als klar ist, dass Will Caster sterben wird, beginnen der Wissenschaftler und seine Frau damit, sein Gehirn in einen Computer hochzuladen, um ihn zu "erhalten". Es gelingt, und Computer-Will wird zur Künstlichen Intelligenz (KI), die wächst und sich selbstständig verbessert. Er findet Kuren für jede Krankheit, aber er wird auch immer mächtiger, greift schließlich nach der Weltherrschaft und tötet jeden, der ihn stoppen will. An dem Film Transcendence aus dem vergangenen Frühjahr würde der Philosoph Nick Bostrom wahrscheinlich nur eines für unrealistisch halten: dass es den Menschen am Ende gelingt, die Maschine zu stoppen. Bostrom ist Direktor des "Future of Humanity"-Instituts in Oxford, und in seinem Buch Superintelligenz beschreibt er das Szenario einer technischen Intelligenz, die uns alle beherrschen und sogar auslöschen könnte, als reale Bedrohung.

Während wir die Entwicklung der Künstlichen Intelligenz vorantreiben, wie es etwa Google und IBM derzeit tun, sind wir "wie Kinder, die mit Dynamit spielen", schreibt Bostrom. Denn Experten gingen davon aus, dass wir mit 90-prozentiger Wahrscheinlichkeit bis zum Jahr 2075 eine Maschine entwickeln, die dem Menschen in all seinen kognitiven Fähigkeiten ebenbürtig ist. Also nicht nur in logischem Denken, sondern auch in Kreativität, Intuition und Fähigkeit zur strategischen Planung. Da eine solche Intelligenz sich selbstständig verbessern könnte, prophezeit Bostrom eine anschließende "Intelligenzexplosion", die sich innerhalb von Wochen oder nur Stunden vollzieht. Und einmal gestartet, ließe sich diese Superintelligenz nachträglich von Dummis wie uns nicht mehr ins Programm pfuschen. Deshalb ist Bostroms Buch vor allem ein Aufruf an die Forschung, sich vorher – also jetzt! – der Frage zu widmen: Wie stellen wir sicher, dass eine solche Superintelligenz kontrollierbar oder uns wenigstens garantiert freundlich gesinnt bliebe? Mathematiker und Philosophen, findet er, sollten andere Probleme zurückstellen; sei die Superintelligenz erst einmal da, könne sie all ihre Fragen ohnehin besser beantworten.

Dieser Artikel stammt aus der ZEIT No 3 vom 15.1.2015.

Bostrom durchdenkt verschiedene Strategien und ihre technische Machbarkeit. Könnte man dem Supercomputer vielleicht Regeln einschreiben, ähnlich Isaac Asimovs berühmten Robotergesetzen: "Tue nichts, was einem Menschen schadet"? Wie würde man den Schaden dann definieren? Würde zum Beispiel auch soziale Ungerechtigkeit darunterfallen? Wir müssten einen ganzen Moral-Katalog erfinden, der sich weltweit und für alle Zeit schematisch anwenden ließe – was allerdings auch Bostrom unrealistisch findet. Eine Idee, die ihm vielversprechend erscheint, ist die einer "indirekten Normativität", dem Supercomputer also die Fähigkeit mitzugeben, selbst ethische Werte zu entwickeln und an zukünftige Generationen anzupassen. Allerdings klingt es reichlich gruselig, wenn der einzige Weg, der Apokalypse zu entgehen, darin bestünde, uns den moralischen Gesetzen einer allmächtigen Maschine zu unterwerfen.

Spätestens hier bedauert man, dass der Philosoph Bostrom seinen Technik-Spekulationen, die naturgemäß schnell überholt sind, so wenig philosophische Gedanken beimischt und etwa die Frage nach dem möglichen (simulierten) Bewusstsein einer solchen Intelligenz völlig ausklammert. Sein Buch bleibt jedoch ein lohnendes Gedankenexperiment, das zeigt, wie ernst die lange belächelte KI-Forschung heute genommen werden sollte