Die virtuelle Realität selbst wurde unter anderem 1999 im Film Matrix vorhergesagt, wo sich alle Figuren in einer computergenerierten Welt bewegen. In Steven Spielbergs Film Minority Report von 2002 sagt ein Polizeiteam mithilfe künstlicher Intelligenz Verbrechen voraus, bevor sie geschehen. Und der Schriftsteller Douglas Adams hat in seiner Romanreihe Per Anhalter durch die Galaxis (1979 bis 1992) einen tragbaren automatischen Echtzeitübersetzer vorhergesagt, den "Babelfisch".

"Können wir in der Mensch-Maschine-Interaktion auf Science-Fiction für Innovationen setzen?", fragten der Google-Forscher Daniel M. Russell und die Informatikerin Svetlana Yarosh von der University of Minnesota in der Fachzeitschrift Interactions. Längst rufen Forscher dazu auf, aus dem Fiktionalen systematisch neue Ideen für reale Innovationen in der Mensch-Maschine-Interaktion zu generieren. Mit den Worten von Russell und Yarosh: "Ein Ansatz für zukünftige Erfindungen ist die Erkenntnis, dass echtes Design und Wissenschaft von Science-Fiction-Narrativen inspiriert werden können."

Das vielleicht wirkmächtigste Narrativ ist das Star Trek-Universum. So soll der sprachgesteuerte Computer des Raumschiffs Enterprise bei Google die Arbeit zur Spracherkennung inspiriert haben. Zum 50. Geburtstag der Serie 2016 veranstaltete dann die X-Prize Foundation einen Wettbewerb zum Tricorder – jenem handlichen Gerät, das innerhalb von Sekunden berührungslos erkennt, welche Krankheit den Patienten plagt. Am Ende erfüllte kein Team alle Anforderungen für den Hauptpreis von sieben Millionen Dollar. Doch immerhin erhielten drei Teams Teilsummen, weil sie den Weg zu einem "echten" Tricorder geebnet hatten.

Auch das Mobiltelefon scheint erfunden worden zu sein, weil ein Star Trek-Fan der ersten Stunde, der Elektroingenieur Martin Cooper, den Kommunikator von Captain Kirk nachahmen wollte. Das weltweit erste Gespräch mit seinem Gerät führte Cooper 1973 in New York. Er wählte die Nummer seines Rivalen Joel Engel in den Bell Labs und soll der Überlieferung zufolge lediglich gesagt haben: "Ich rufe dich von einem Handy aus an." Nach langer Entwicklungszeit kam 1996 schließlich Motorolas Handy StarTAC auf den Markt, dessen Aufklappmechanismus frappierend an Kirks Kommunikator erinnerte.

Rekimoto erzählt davon, wie er schon als Zehnjähriger die japanische Manga-Serie Cyborg 009 verschlungen habe, in der Menschen in allmächtige Mischwesen aus Mensch und Maschine verwandelt werden. Die Idee, einen Menschen in einen anderen Körper zu transferieren, hat ihn schon früh bewegt – und seit Neuromancer hat er ein Wort dafür, eben"Jack in". Gibsons 35 Jahre altes Motiv bewegt bis heute die Ingenieure. Sollte "Jack in" eines Tages Realität werden, dann nicht, weil Gibson ein Hellseher gewesen wäre – sondern eine Inspiration für die Forscherszene.

Im Jahr 2017 hat Rekimoto den Autor William Gibson getroffen. In einem Video hat er festgehalten, wie der Autor den "Jack in"-Prototyp seines Lesers ausprobierte. Als der Professor seinem Idol das Virtual-Reality-Headset aufsetzt und sich selbst den Kamerahelm, wirkt der Vater dieser Idee zunächst verwirrt; schließlich stammelt er: "Wow, die Zukunft ist da."

Was aber soll Rekimotos Forschung? "Wir können andere Menschen fernsteuern", sagt er und zeigt eine ältere Arbeit von 2010, die Bekanntheit erlangte: "Possessed Hands" – frei übersetzt: "Besessene Hände". Die Probanden tragen Armbänder, aus denen jede Menge Kabel ragen und die mittels elektrischer Signale die Muskeln aktivieren. Dadurch konnten sie ein Musikinstrument spielen, das sie noch nie zuvor gesehen hatten: eine Art liegende Gitarre. Sie halten ihre Hand darüber, Rekimoto schaltet das System ein. Schon bewegen sich die Finger so, dass sie – im richtigen Abstand gehalten – an den Saiten zupfen. Klingt wie eine Musikstunde im Kindergarten, aber es funktioniert.