Bis vor wenigen Tagen war Eugene Goostman nur wenigen Fachleuten bekannt. Heute gilt der 13-jährige Junge aus der Ukraine als eine Koryphäe auf dem Gebiet der Künstlichen Intelligenz. Denn Eugene Goostman ist ein Bot – und mutmaßlich das erste Computerprogramm in der Geschichte, das einer Jury erfolgreich vorgegaukelt hat, ein Mensch zu sein. Das behauptet jedenfalls eine Pressemitteilung der Universität Reading. Doch das Experiment wirft Fragen auf. Möglicherweise ist es mit der Künstlichen Intelligenz doch noch nicht soweit.

Seinen großen Auftritt hatte Eugene Goostman am Wochenende auf einer Veranstaltung der Royal Society in London anlässlich des 60. Todestag von Alan Turing. Der britische Mathematiker war eine führende Persönlichkeit in der Entwicklung von frühen Computersystemen. Im Jahr 1950 formulierte Turing in der Schrift Computing Machinery and Intelligence den nach ihm benannten Test, um festzustellen, ob eine Maschine das menschliche Denkvermögen imitieren könne.

In seiner standardisierten Form besteht der Turing-Test aus einem Fragesteller und zwei Gesprächspartnern, mit denen er unabhängig auf jeweils einem Bildschirm per Tastatur kommuniziert. Einer der Gesprächspartner ist ein Mensch, der andere ein Programm. Die Aufgabe des Fragestellers ist es herauszufinden, welcher der beiden nur vorgibt Mensch zu sein.

33 Prozent der 30-köpfigen Jury konnte das im Falle von Eugene Goostman nicht. Jeweils fünf Minuten lang kommunizierten sie frei mit dem Programm, eine Themenvorgabe gab es nicht. Seit 2001 arbeiten Vladimir Veselov aus Russland und Eugene Demchenko aus der Ukraine an ihrem Chatbot. 2012 scheiterte das Programm in einem ähnlichen Versuch knapp.

Dass mehr als ein Drittel der Fragesteller getäuscht wurden, sehen die Veranstalter als eine Bestätigung des Turing-Tests. Doch bereits in diesem Aspekt sind sich weitere Experten uneinig: Turing prophezeite in seiner Schrift lediglich, dass es in 50 Jahren nicht mehr als 70 Prozent der Fragesteller möglich sei, zwischen Programm und Mensch zu unterscheiden.

Die mutmaßliche 30-Prozent-Grenze ist demnach keine festgelegte Voraussetzung, sondern eine Interpretation der Einschätzung Turings, wo Computer ein halbes Jahrhundert später technisch stehen könnten. Und tatsächlich sehen einige Fachleute den Turing-Test erst als bestanden an, wenn mehr als die Hälfte der Fragesteller getäuscht werden.

Kritik an Durchführung und Ergebnissen

Die Veranstalter um Kevin Warwick von der Universität Reading, der in der Vergangenheit schon mehrfach durch reißerische Experimente auffiel, sind sich trotzdem sicher, Großes vollbracht zu haben. Ein Meilenstein sei die Leistung des "Supercomputers Eugene Goostman", etwas, das "noch nie ein Computer zuvor geschafft" habe, heißt es in der Pressemitteilung.

Doch Eugene Goostman ist zunächst einmal gar kein Supercomputer, wie etwa der Schachcomputer Deep Blue, dem der damalige Weltmeister des Brettspiels 1997 unterlag. Darauf weist unter anderem der Kognitionwissenschaftler Gary Marcus für das Magazin New Yorker hin. Eugene sei eine Software, ein Chatbot, wie es ihn in verschiedensten Versionen gibt und der problemlos auf einen gewöhnlichen Laptop läuft – oder im Browser.

Zum anderen kam ein ebensolcher Chatbot bereits zu einem besseren Ergebnis: Die Software Cleverbot konnte 2011 in einem Turing-Test auf einer Veranstaltung in Indien sogar 59,3 Prozent der Fragesteller austricksen. Dass die Ergebnisse keine besonders hohen Wellen schlugen, lag auch daran, dass sein Entwickler Rollo Carpenter selbst nicht so sicher war, ob er den Turing-Test bestanden hatte. Möglicherweise bot die Situation, in der die Besucher eines Technikfestivals als Gesprächspartner auftraten und die Interaktionen auf einer Leinwand angezeigt wurden, kein ideales Versuchsumfeld.

Kritik am Versuchsaufbau und der Dokumentation gibt es derzeit auch für Eugene Goostman. Bis jetzt veröffentlichten die Veranstalter weder die Protokolle mit dem Chatbot noch konnten andere Wissenschaftler den Test bestätigen. Auf der Website von Eugene Goostman ist eine ältere Version zu finden, die bereits nach wenigen Fragen wie ein offensichtliches Programm wirkt. Ähnlich ergeht es einem, wenn man sich die Gesprächsprotokolle anschaut, die der Guardian veröffentlicht hat. Sie stammen vom gleichen Bot, sind aber zwei Jahre alt. Allerdings beeinflusst das Wissen, dass es sich um einen Bot handelt, auch die Einschätzung und ist daher nicht mit einem unvoreingenommenen Gespräch vergleichbar.