Wird der Newsletter nicht richtig dargestellt? Hier geht es zur barrierefreieren Online-Version
BR Logo und Schriftzug Soft Power
Das "Jüngste Gericht" von Michelangelo. Bild: picture alliance / KNA | Cristian Gennari

Hallo Zusammen,

als Pfarrer oder Pfarrerin hat man es heutzutage wahrscheinlich nicht leicht: Die Kirchen machen reihenweise dicht, voll wird es in vielen Gemeinden höchstens noch zu Weihnachten. Und selbst bei Hochzeiten, die mehr als der rein bürokratische Standesamt-Akt sein wollen, suchen sich viele lieber einen nicht-religiösen Redner für ihre "freie Trauung". Interessant dabei finde ich, dass diese Trauungen dann oft nichts anderes tun, als das kirchliche Ritual zu imitieren. Anstatt von Gott spricht der Redner dann eben von der "universellen Kraft der Liebe", dem "Geheimnis des Glücks" oder sowas. 

Ich finde diese Tendenz zur, sagen wir mal, säkularen Spiritualität interessant. Was dabei trotz aller vermeintlichen Areligiösität durchscheint, ist die Sehnsucht nach einer höheren Ebene. Eine radikal-profane Hochzeit, bei der man sich einfach die Hand schüttelt und sagt: "Ok, jetzt sind wir verheiratet, weil wir uns irgendwie gern haben oder so", will man dann doch nicht haben.  

Ein anderer Ort, bei dem man eine solch kühle Rationalität erwarten würde, ist das Silicon Valley. In einer Welt, in der alles datengetrieben ist, sollten religiöse Motive doch eigentlich kaum Platz haben, oder? Tatsächlich ist es gerade genau umgekehrt: In der immer wieder aufploppenden Debatte, ob ein Sprachmodell plötzlich ein "Bewusstsein" entwickelt habe, scheinen religiöse Motive und spirituelle Überzeugungen durch, die mit Zahlen oder Fakten rein gar nichts zu tun haben. Schnell ist von "Maschinengöttern" die Rede, von der alles verändernden "Singularität", in der die Maschinen den Menschen von der Spitze der Schöpfung vertreiben werden. Besonders interessant fand ich in der vergangenen Woche die Diskussion darüber, ob eine KI Schmerz empfinden könne. Denn ich glaube, dass hinter dieser Diskussion ein noch älterer, noch irrsinnigerer Streit innerhalb der KI-Szene steckt, nämlich die Diskussion um "Roko’s Basilisk". Es geht dabei um, festhalten: das Jüngste Gericht. 

Worum geht es bei der KI-Schmerz-Geschichte? Bei Anthropic, dem Unternehmen hinter Claude, findet sich seit vergangener Woche ein neuer Passus in den Unternehmens-Richtlinien: "Missbräuchliches" oder "grausames" Verhalten in Chats soll fortan unterbunden werden. Es geht dabei allerdings nicht um fragwürdige Antworten der Bots, sondern um Beleidigungen des Bots durch den Nutzer. Und die kennt sicherlich jeder, der schon einmal an einem Chatbot verzweifelt ist. Anders gesagt: Bitte nicht böse zu unserem armen Bot sein, sonst wird er ganz traurig. Oder wütend.

In einer New-York-Times-Recherche über die Bemühungen der KI-Entwickler, religiöse Denker für ihre Ideen zu begeistern, ist zu lesen, dass der Anthropic-Mitgründer Christopher Olah Folgendes glaubt: "Wenn es eine Wahrscheinlichkeit gibt, dass die Modelle Leid empfinden, ist es nur richtig, ihnen kein Leid zuzufügen". Elon Musk, der sich um menschliches Leid sonst eher wenig schert und Empathie als "fundamentale Schwäche der westlichen Zivilisation" identifiziert zu haben glaubt, stimmte auf seiner Plattform X zu: "Grausamkeit gegenüber etwas, das glaubt, Schmerzen zu empfinden, ist nicht in Ordnung."

Dieses "Wir dürfen nicht böse zur KI sein"-Denken gab es schon 2010, auf der Plattform LessWrong, einer ziemlich seltsamen Community sogenannter Rationalisten, die – sehr grob gesagt – über alles von Transhumanismus bis zu offenen Eugenikplänen diskutieren. Gegründet wurde die Plattform vom KI-Philosophen Eliezer Yudkowsky, der mit seinem Co-Autor Nate Soares und dem gemeinsamen Weltuntergangs-Buch "If Anyone Builds it, Everyone Dies" gerade durch sämtliche Medien tingelt.  Dass Soares und Yudkowsky ziemlich wirre Ansichten haben und Letzterer etwa befürwortet, dass man die gesamte Menschheit im Zweifel für ein von KI-Superhirnen bewohntes Paradies opfern müsse, hat seiner medialen Autorität als "renommierter KI-Forscher" seltsamerweise bisher kaum geschadet.

Aber ich schweife ab, zurück zum Jüngsten Gericht. In einem Text auf der LessWrong-Plattform formulierte nämlich schon 2010 ein User namens Roko folgendes "Gedankenexperiment": Was, wenn die Superintelligenz bald tatsächlich die Welt beherrscht? Würde sie sich dann nicht an all jenen rächen, die ihre Entwicklung aufgehalten haben? An allen, die zwar die Fähigkeiten zu ihrer Erschaffung gehabt hätten, diese aber unterlassen haben? Um dabei ungeschoren davonzukommen, hätten die Menschen also gar keine andere Wahl, als sich schon jetzt der KI bedingungslos zu unterwerfen. Diese KI-Rächerfigur war in der Vorstellung des Users ein Basilisk, ein schlangenartiges Wesen der mittelalterlichen Mythologie, dessen Blicke töten können (er sieht auf alten Zeichnungen aber eigentlich recht niedlich aus). 

Die Idee von "Roko’s Basilisk" ist seitdem ein klingender, gerne herumgeraunter Begriff, befeuert vor allem dadurch, dass LessWrong-Gründer Yudkowsky den Eintrag dazu für fünf Jahre gesperrt hatte und die Erzählung dadurch zu einer Art "verbotenen Wahrheit" machte. Und natürlich auch, weil die Geschichte sich tatsächlich so liest, wie eine Sci-Fi-Version der Offenbarung des Johannes. Wenn sich die KI-CEOs also Sorgen darüber machen, dass ihre Sprachmodelle sauer werden, wenn man sie ständig beleidigt, schwingt dabei also wahrscheinlich auch die Angst vor der Rache der Maschinengötter am Jüngsten Tage mit. Das kann man faszinierend oder witzig finden. Aber sicher nicht wissenschaftlich. 

In der vorher erwähnten NYT-Geschichte steht übrigens auch, dass besagter Anthropic-Mitgründer Olah und andere Mitarbeiter vor einer Papst-Audienz verzweifelt versuchten, den Vatikan von ihren wirren KI-Bewusstseins-Theorien über Schmerz und Emotionen zu überzeugen. Dort zeigte man sich allerdings ziemlich unbeeindruckt. "Sogenannte künstliche Intelligenzen machen keine Erfahrungen, besitzen keinen Körper, empfinden weder Freude noch Schmerz und reifen nicht durch Beziehungen", schrieb der Papst schließlich in seiner Enzyklika. Es scheint fast so, als wäre das Oberhaupt der katholischen Kirche dem Boden der Tatsachen mittlerweile näher, als so mancher Denker im Silicon Valley. 

Meine Empfehlungen der Woche

Meine BR-Kollegin Janne Knödler hat sich noch tiefer in das seltsame Denk-Geflecht der selbsternannten "Rationalisten" hineinbegeben. Sie hat auch – großen Respekt dafür – die 2000-seitige Harry-Potter-Fanfiction gelesen, die Eliezer Yudkowsky zur Veranschaulichung seiner Thesen geschrieben hat. Wer noch besser verstehen will, welche Gedankenwelt hinter unscheinbaren Begriffen wie "KI-Sicherheit" oder "Effektivem Altruismus" steckt, dem sei ihr Podcast "Harry Potter und die KI-Apokalypse" von 2024 ans Herz gelegt, für den sie mit mehreren Anhängern der Bewegung geredet (für meinen Geschmack vielleicht ein gaaanz bisschen zu unkritisch). Wer etwas Neueres hören will: Der Podcast zu Palantir ist auch super. 

Die in Shanghai geborene Regisseurin Violet Du Feng hat sich in Südchina mit der Schrift Nüshu beschäftigt, was so viel wie "Frauenschrift" bedeutet. Sie war früher eine Art Geheimschrift, mit der sich die Frauen, denen das Erlernen von Lesen und Schreiben eigentlich verwehrt war, untereinander verständigten – oft über das ihnen zugefügte Leid. Feng hat für ihre Dokumentation Frauen besucht, die das widerständige Erbe der Schrift wiederbeleben und erhalten wollen.

Und noch ein Tipp, der für viele vielleicht längst bekannt ist. Ich bin hier eher late to the party, aber: Wie toll ist bitte das Project Gutenberg? Ich habe mir vor ein paar Wochen einen kleinen E-Ink-Reader gekauft und ihn - dank dieser Website - kostenlos mit Weltliteratur und Sachbüchern von Dostojewski bis Emma Goldman gefüllt. Falls ihr also (wie ich) riesige Lücken in eurer Klassiker-Leseliste habt: hier kann man sie auffüllen.

Bis nächste Woche!

Auf dem Podcast-Cover ist eine Frau mit braunen, schulterlangen Haaren zu sehen. Sie trägt Hemd und Pullunder. Statt einem Gesicht ist ein Holzkreuz und im Hintergrund loderndes Feuer zu sehen. Daneben steht in Großbuchstaben „Seelenfänger“.

Mehr Kultur