Was muss man von einem erwarten, der die Menschheit vor der Machtübernahme superintelligenter Maschinen warnen will? Wird er über Terminatoren, Roboterarmeen und Schwärme von Killermaschinen sprechen? Nein, was der große Mann mit schlaksigen Armen, schütterem Haar und runder Brille auf der Bühne der Cebit Global Conference in Hannover präsentiert, ist: das Bild eines Affen.

"Das ist Kanzi", erklärt Nick Bostrom seinem verblüfften Publikum. Kanzi ist der wohl berühmteste Zwergschimpanse der Welt, bekannt dafür, dass er 350 Symbole unterscheiden kann. "Und das ist Ed Witten." Der Physiker, Spezialgebiet Stringtheorie, gilt als eines der größten lebenden Genies. Was unterscheidet die beiden? Klick, das nächste Bild: die Gehirngröße von Affe und Mensch, Kanzi und Witten reduziert auf ihre Denk-Hardware. Dazwischen liegen lediglich 250.000 Generationen. Länger ist es nicht her, dass sie einen gemeinsamen Vorfahren hatten. "Ein paar kleine genetische Veränderungen haben eine Intelligenzexplosion ermöglicht", erklärt Bostrom. Dann blickt er den Messebesuchern ins Gesicht und konstatiert nüchtern die Folgen dieser Intelligenzexplosion: "Die Schimpansen bestimmen heute nicht mehr über das Schicksal ihrer Spezies. Das tut der Mensch."

Wird es uns ähnlich ergehen wie unseren äffischen Vettern? Arbeiten nicht Informatiker und Ingenieure an neuen Technologien für eine künstliche Intelligenz (KI)? Was, wenn diese erst einmal an Fahrt gewinnt, die menschliche Intelligenz überflügelt und uns am Ende in die Rolle der Schimpansen drängt? Diese Befürchtung möchte Nick Bostrom den Computer- und Technikleuten hier in Hannover nahebringen.

"Den gruseligsten Philosophen der Welt" hat die Washington Post den Denker aus Oxford genannt. Denn Nick Bostrom überlegt, was wäre, wenn so eine Kunstintelligenz erst einmal auf Chips heimisch würde. Zum Beispiel das: Ein lernfähiges, sich selbst verbesserndes System könnte irgendwann beginnen, nach mehr zu streben – mehr Rechenkapazität, mehr Speicherplatz und mehr Informationen, mehr Kontrolle über andere Computer, Netzwerke und Geräte. Diese Maschinenintelligenz würde sich verselbstständigen, heimlich die Macht über fremde Rechenzentren suchen. Sie würde Roboter, Bankkonten und automatisierte Laboratorien kontrollieren, bevor sie zum Vernichtungsschlag ausholte: gegen konkurrierende automatische Systeme und gegen die Menschen, die ihrem Streben im Weg stehen.

Superintelligenz heißt das Buch, in dem Bostrom vor zwei Jahren dieses Szenario entwarf und dessen deutsche Übersetzung gerade bei Suhrkamp als Taschenbuch erschienen ist. Es trägt den Untertitel Szenarien einer kommenden Revolution und ist ein sehr ungewöhnlicher Bestseller: spekulativ, nüchtern, zuweilen dröge. Der gefühlte Großteil der 370 Seiten steht im Konjunktiv. Wie könnte eine Superintelligenz entstehen? Was für eine Gestalt wäre denkbar? Das oben beschriebene Gedankenspiel ist in dem gesamten Werk so ziemlich der konkreteste Plot. Und an dessen Ende betont der Autor gleich wieder: "Eine Superintelligenz könnte in der Lage sein, einen besseren Plan zu entwerfen als irgendein Mensch, daher muss man über diese Dinge abstrakt nachdenken."

Dieser Artikel stammt aus der ZEIT Nr. 21 vom 12.5.2016.

Wäre. Hätte. Könnte. Trotz dieser akademisch-abstrakten Zurückhaltung erzeugen Bostroms düstere Gedankenspiele ein enormes Echo. Microsoft-Philanthrop Bill Gates empfahl vor Wirtschaftsführern Superintelligenz zur Lektüre. Tesla-Chef Elon Musk legte es seinen Millionen Twitter-Followern ans Herz. Bostrom spricht vor Wissenschaftlern, Techies und den Vereinten Nationen, seine Untergangsvisionen werden gleichermaßen an Universitäten und im Silicon Valley diskutiert. Was soll man von diesem Mann halten? Woher kommt sein Denken? Bostrom sagt: "Besuchen Sie mich in meinem natürlichen Habitat."

"Ich will nicht noch mehr Zeit verschwenden"

Oxfords Altstadt mit ihren 38 Colleges in ihren trutzigen Bauten voller Giebel, Gauben, Naturstein und Schiefer strahlt harrypotteresken Charme aus. Da steht das knapp 400 Jahre alte Pembroke College, in dem JRR Tolkien den Herrn der Ringe schrieb. Das postkartenähnliche Ensemble von Pembroke wird am westlichen Rand durch eine rustikale Kapelle begrenzt, jenseits der die St. Ebbes Street den Verlauf der mittelalterlichen Stadtmauer nachzeichnet. Auf der anderen Straßenseite erhebt sich ein unromantischer Betonklotz. Dies ist Bostroms natürliches Habitat, auf dem Klingelschild steht "Future of Humanity Institute".

Im ersten Stock dominiert das Gestaltungselement Whiteboard, der Nüchternheitsfaktor ist maximal. Das Future of Humanity Institute (FHI) gehört zur Martin School der Universität Oxford. Die ist kein klassisches College, sondern ein unkonventioneller Brüter für Forschungsprojekte zu drängenden Problemen des 21. Jahrhunderts. Mit Geld und einem Lehrstuhl hat die Martin School unter anderem den Vorschlag belohnt, interdisziplinär über Fragen zu grübeln, die akademisch kaum beachtet werden und die für den langfristigen Fortbestand der Menschheit zentral sind – Bostrom hat hier ein Spekulationsinstitut gegründet.

Spekulation, das ist unter Wissenschaftlern ein Schimpfwort. Spekulation kann aber auch ein Werkzeug sein. Denn die Zukunft zwingt uns naturgemäß zum Spekulieren. So gesehen, lässt sich der Werdegang des Wissenschaftlers Nick Bostrom als eine einzige Vorbereitung auf Gedankenreisen ins Morgen lesen.

"Dinner?", fragt Bostrom am Abend, nachdem er ein zahlenlastiges Forschungsseminar hinter sich hat. "Es gibt da dieses Thai-Restaurant nicht weit von hier." Für andere ist jetzt Feierabend, doch Bostrom will in einer Stunde wieder an seinem Schreibtisch sitzen. Das Essen kommt schnell. Schnelligkeit ist ihm wichtig. "Ich wollte einfach nicht noch mehr Zeit verschwenden", erinnert er sich an seine Jugend im südschwedischen Helsingborg. Statt in die letzte Klasse zu gehen, bereitete er sich daheim auf die Abschlussprüfungen vor. Er habe sich damals für so viel interessiert, erzählt er, für Kunst, Literatur, Naturwissenschaften. An der Universität Göteborg schrieb er sich in Philosophie, Mathematik und Logik ein. Im Masterstudium blieb die Philosophie, hinzu kamen Physik und Hirnforschung. Das studierte er sowohl in Stockholm als auch am Londoner King’s College. Der Fächermix mündete an der renommierten London School of Economics im Jahr 2000 in die Promotion "Kognitive Verzerrung und Wahrscheinlichkeit". In deren Kern geht es letztlich um den Umgang mit der Tatsache, dass unsere Beobachtungen stets verzerrt werden durch unsere Position im Kosmos, unsere Epoche, unsere menschliche Biologie. Man könnte es auch nennen: eine Philosophie des Misstrauens gegenüber den eigenen Annahmen.

Ende der Neunziger hatte Bostrom sich in dem Buch The End of the World des kanadischen Philosophen John Leslie festgelesen. An dessen Hypothese, dass Menschen die Gefahr eines Weltuntergangs systematisch unterschätzen, haben sich viele Denker abgearbeitet. Bostrom hat das Grübeln über Möglichkeit und Wahrscheinlichkeit konkretisiert. In Global Catastrophic Risks (2008), dem ersten akademischen Sammelband des FHI, wird von Meteoriteneinschlägen über Atomkriege bis zu Pandemien so ziemlich alles durchdekliniert, was der Menschheit den Garaus machen könnte. Dafür hatte Bostrom den Begriff "existenzielle Risiken" geprägt. "Existenziell" heißt für ihn menschheitsbedrohend, zukunftsvernichtend. Einem dieser Risiken widmete er mit Superintelligenz (2014) das zweite Buch aus der St. Ebbes Street.

"Es geht um unsere gesamte Zukunft"

Freimütig gesteht Bostrom ein, dass man weder wisse, ob Superintelligenzen je entstehen werden, noch, wie diese dann aussähen. Doch wenn man akzeptiere, dass sie eine plausible Entwicklung seien und ein existenzielles Risiko darstellen könnten, müsse man dieses auch untersuchen. "Was auf dem Spiel steht, ist enorm. Es geht um unsere gesamte Zukunft", sagt er. Für die Abermilliarden von Menschen, die noch geboren werden könnten, mache schon ein wenig Forschung heute einen großen Unterschied, wenn sie ihr Risiko um ein paar Prozent mindere. So spricht er oft, in Relationen und Größenordnungen. Hypothetisch plus konsequentialistisch, das ist typisch für Bostroms Argumentation.

Natürlich ist die angreifbar. Die pointierteste Kritik hat wohl Andrew Ng formuliert, Informatikprofessor aus Stanford und oberster Wissenschaftler beim chinesischen Google-Pendant Baidu. Ng, der selbst auf dem Gebiet forscht, hat wiederholt gespottet: Sich heute schon vor bösen KIs zu fürchten sei genau so, wie sich um Überbevölkerung auf dem Mars zu sorgen. Und als der einflussreiche Washingtoner Technologie-Thinktank Itif im Dezember seine jährliche Schmähtrophäe Luddite Award (benannt nach den Maschinenstürmern des 19. Jahrhunderts) verlieh, ging diese an die "Alarmisten, die eine KI-Apokalypse ankündigen" – Bostrom wurde namentlich genannt.

Ob seine Kritiker recht haben, lässt sich heute nicht klären. Zwar kann Software bereits selbst lernen (etwa bei GoogleTranslate, dessen Echtzeitübersetzung mit jedem Mal besser wird); zwar können Computer schon begrenzt Neues erschaffen (etwa in der Konstruktion filigraner Mikrochips, deren Strukturen kein Mensch allein mehr durchschaut); zwar entscheiden Maschinen autonom (etwa in selbstfahrenden Autos). Dass diese Zutaten aber in einer Technologie münden, die dem Menschenhirn ebenbürtig wird, ist alles andere als zwangsläufig.

Allerdings beharrt Bostrom nicht nur auf Plausibilität. In einem ersten Schritt hatte er KI-Fachleute befragt, wann sie erwarteten, dass eine künstliche Intelligenz mit den kognitiven Fähigkeiten eines Menschen gleichziehen werde. Die allermeisten antworteten, im Lauf des 21. Jahrhunderts, viele tippten auf eine 50 : 50-Chance schon zur Jahrhundertmitte. Nun ist das alles andere als ein exaktes Messergebnis, doch systematische Expertenorakel sind ein übliches Instrument der Wissenschaft, etwa in Form von Delphi-Studien. Bostrom will seine Befragung in diesem Sommer wiederholen. Wie werden wohl der Sieg einer Software über den menschlichen Weltmeister im asiatischen Brettspiel Go und die aktuelle KI-Euphorie an den Universitäten, bei Google, Facebook, Microsoft, IBM und Co. das Resultat beeinflussen? Herauskommen wird auch diesmal, klar, eine gut informierte Spekulation. Falls aber die Maschinen mit den Menschen gleichziehen sollten, dann würde die Entwicklung ja nicht plötzlich innehalten, argumentiert Bostrom. Nein, dann sei es nur noch eine Frage der Zeit bis zur Superintelligenz. Anders gesagt, bis die Evolution der Intelligenz von uns unabhängig wird.

Doch Bostrom ist kein Technikfeind. Weder in seinem Buch noch auf der Bühne in Hannover oder beim Thailänder in Oxford fordert er ein Verbot, einen Forschungsstopp, nicht einmal ein Moratorium. "Ich halte es letztendlich für erstrebenswert, eine fortgeschrittene KI zu entwickeln", sagt der Philosoph stattdessen. Künstliche Intelligenz könne dem Menschen helfen, neue Medikamente zu entwickeln, den Klimawandel zu bewältigen, gar das All zu besiedeln. So langsam und beschränkt sei Intelligenz auf einer Hardware wie dem Gehirn von Kanzi oder Ed Witten. So viel schneller könne sie sich entwickeln, wenn sie auf Silizium heimisch werde. Plötzlich schwärmt der Mahner von den Möglichkeiten. "Die Menschheit muss durch diese Pforte treten", sagt er mit einem Hauch Pathos in seinem schwedischem Englisch, "um ihr volles Potenzial entfalten zu können."

Welche Ethik schauen sich die Maschinen bei uns ab?

Ende der neunziger Jahre war Bostrom aktiv in der Transhumanismus-Bewegung, einem avantgardistischen Sammelbecken von Akademikern und Futuristen, die den menschlichen Körper (bio)technisch verbessern und letzten Endes den Alterstod überwinden wollen. Wenn er vom "vollen Potenzial" der Menschheit spricht, klingt das wie: all die tollen Entdeckungen und Erfahrungen, denen bloß kein Weltuntergang in die Quere kommen darf! Das ist die Paradoxie des Nick Bostrom. Er ist der Philosoph der möglichen Apokalypsen, aber ein Fortschrittsoptimist ist er auch.

Darum ist er für Erfinden statt Verbieten. Die utopische Vorstellung überlegener Computer, die im Dienste einer beschränkten Menschheit arbeiten, nennen sie in Oxford "freundliche KI". Darin steckt die Antithese zu allem, was Bostrom an die Wand malt. Die Idee, den Geist zu zähmen, bevor man ihn aus der Flasche lässt. Doch Freundlichkeit muss erst einmal ins Silizium rein. Vom "Kontrollproblem" spricht Bostrom. Wie stelle man sicher, dass eine übermenschliche Maschine unsere Werte und Normen bei ihren Entscheidungen beachte? Darüber grübeln sie gerade am Future of Humanity Institute. Eine simple Liste mit ethischen Regeln ist längst vom Tisch (auf so etwas könnten sich Menschen ja nicht mal untereinander einigen, geschweige denn es einer Maschine vermitteln). Stattdessen sollen künftige KIs Menschen und ihr Verhalten beobachten, ihre Schriften analysieren und alle Lehren daraus in einer Art Menschmodul speichern, das dann stets mitentscheidet ... – so was in der Richtung. "Indirekte Normativität" nennen sie das in der St. Ebbes Street. Dafür heuert Bostrom gerade Informatiker an.

Nüchtern betrachtet, wäre eine Lösung für das Kontrollproblem sicher auch diesseits der Intelligenzexplosion nützlich, etwa für die vollautomatischen Autos und selbstständigen Pflegeroboter der nahen Zukunft. Kommt irgendwann später dann die Superintelligenz daher, entsteht gleich eine faszinierende Versuchsanordnung: Welche Ethik schauen sich Maschinen bei uns ab?

Hinter all der spekulativen Düsternis lockt also ein doppelter Lohn. Nicht nur, dass uns womöglich das Schicksal der Schimpansen erspart bleibt. Von einer Maschinenintelligenz könnten wir auch noch so einiges über Menschenmoral lernen.

Diesen Artikel finden Sie als Audiodatei im Premiumbereich unter www.zeit.de/audio