In einem kürzlich erschienenen Beitrag habe ich über die Beeinflussbarkeit des #Microsoft GPT Chatbots mittels Prompt Injection geschrieben. Am Ende stellte ich die Frage, ob die Ähnlichkeit zwischen der Überlistung eines Menschen und der Überlistung eines Sprachmodells nur Zufall ist oder ob mehr dahinter steckt. Kurze Zeit später antwortete das #Fediverse tatsächlich mit interessanten Einsichten.

Noch am Tag des Erscheinens meines Beitrags antwortete mir Boris Steipe wie folgt:

Aus dem oben genannten Paper von Michal Kosinski, einem Computerpsychologen in Stanford, geht hervor, dass #ChatGPT einen Theory-of-Mind-Test bestanden hat, der normalerweise verwendet wird, um die soziale Kompetenz von Kindern zu testen. Der Test bestand aus einer Reihe von Fragen und Geschichten, die darauf abzielten, die Fähigkeit von ChatGPT zu testen, die Gedanken und Überzeugungen anderer Menschen zu verstehen und zu interpretieren. ChatGPT bestand den Test mit der Genauigkeit eines neunjährigen Kindes. Zum Vergleich: #Google hat mit Deepmind eine #KI entwickelt, die speziell für solche Tests entwickelt wurde, deren Fähigkeiten aber nur mit denen eines vierjährigen Kindes vergleichbar sind. Zudem zeigen Studien, dass auch nicht-menschliche Primaten, Raben und Hunde zu mentalen Zuschreibungen fähig sind.

Theory of Mind (ToM) ist ein Fachbegriff der Entwicklungspsychologie und bezeichnet die Fähigkeit, mentale Zustände als mögliche Ursache eines Verhaltens zu verstehen, um eigene oder fremde Handlungen erklären und vorhersagen zu können. Sie ist im Wesentlichen eine Form der Selbsterkenntnis und erklärt unsere Fähigkeit zu verstehen, warum sich die Gedanken und Gefühle anderer Menschen von unseren eigenen unterscheiden können.

Wie der Titel des Papers andeutet und wie Boris Steipe schreibt, sind diese Fähigkeiten spontan entstanden, als Nebenprodukt des Lernens, und scheinen auch mit der Grösse des Sprachmodells zusammenzuhängen. Kosinski schreibt, dass der GPT-3 vom Januar 2022 das Niveau eines siebenjährigen Kindes erreicht, während der GPT-3.5 vom November 2022 das Niveau eines neunjährigen Kindes erreicht.

Children behaving badly?

Ich finde die Ergebnisse spannend. Sie werfen für mich auch ein neues Licht auf das teilweise fragwürdige Verhalten von Microsofts Bing Chat, der offenbar NutzerInnen bedroht und sich auch sonst daneben benommen hat. Einige der fragwürdigen Antworten erinnern doch sehr an die Art und Weise, wie trotzige Kinder reagieren.

Kosinski betont in seinem Artikel jedoch, dass die Ergebnisse mit Vorsicht zu interpretieren sind. Er hält es aber für möglich, dass die Fähigkeit von ChatGPT, diese Aufgaben zu lösen, ein Nebenprodukt seiner wachsenden Sprachfähigkeiten ist. Alternativ stellt er die Hypothese auf, dass ChatGPT mit seinen Sprachfähigkeiten vielleicht nur den oberflächlichen Eindruck erweckt, über ToM-Fähigkeiten zu verfügen. Da ich mich hier in tiefen, mir unbekannten Gewässern bewege, erlaube ich mir kein Urteil. Ich bin gespannt, wie es weitergeht.

Disclaimer Teile dieses Texts entstanden mithilfe der beiden KI-Tools Deepl Übersetzer (Übersetzung einzelner Teile des Beitrags von Ars Technica) und Deepl Write (Korrektorat und Lektorat). Das Titelbild wurde mit freeimagegenerator.com mit dem Prompt „a robot behaving like a whining toddler manga style with neon green background“ erstellt.

Bildquellen 1. Michael Gisiger, CC BY-NC-SA 4.0, via PixelFed

Topic #Kommerz

Jetzt ist es also so weit, ich muss auch einige Gedanken zum aktuellen Hype um „Künstliche Intelligenzen“ wie #ChatGPT und Co. zu Blog bringen. Im folgenden Beitrag soll es aber nicht darum gehen, wie generative Transformer funktionieren, warum sie per se schlecht sind oder wie man sie doch sinnvoll einsetzen könnte. Das können und haben andere bereits besser getan. Vielmehr möchte ich das Feld um eine Frage philosophischer Natur erweitern: Können wir aus dem Verhalten der #KI auch Rückschlüsse auf uns Menschen ziehen? Und wenn ja, welche?

Zunächst einige Vorbemerkungen: Transformer im Bereich der Text-, Bild-, Video- oder Audio-Erstellung werden vorgängig mit grossen Datenmengen trainiert und liefern dann Inhalte auf Basis von Wahrscheinlichkeiten und statistischen Daten. Daher ergibt sich auch die Abkürzung GPT, Generative Pre-trained Transformer. Die meisten Transformer erwarten entweder eine Texteingabe, einen sogenannten Prompt, oder kommen, wie Sydney von #Microsoft, Bard von #Google oder ChatGPT gleich als Chatprogramm daher.

Die Qualität der generierten Inhalte hängt also ursächlich nicht nur von den Trainingsdaten, sondern auch von den eingegebenen Prompts ab. Kein Wunder also, dass bereits vom Prompt Engineering als neuer Zukunftskompetenz die Rede ist, also der Fähigkeit, dialogorientierte Schnittstellen optimal zu nutzen. Folgerichtig taucht der Begriff auch schon in Stellenausschreibungen auf. Der österreichische «Standard» nennt solche Profile recht treffend „KI-Flüsterer“.

Natürlich kommen auch „die Hacker“ um die Ecke

Mit den richtigen Prompts kann man aber nicht nur gute Anweisungen geben, sondern auch versuchen, die KI auszutricksen, um z.B. eventuelle Obszönitätsfilter zu umgehen. In diesem Fall spricht man von Prompt Injection, in Analogie zur Code Injection (Ausnutzen von Fehlern durch Verarbeitung ungültiger Daten).

Am vergangenen Dienstag hat Microsoft sein „New Bing“ vorgestellt, d.h. die Verbindung seiner Websuche mit einem KI-Chat wie ChatGPT. Bereits am Mittwoch nutzte ein Student der Stanford University namens Kevin Liu eine Prompt-Injection-Attacke, um die Initial Prompts von Bing Chat aufzudecken. Dabei handelt es sich um eine Liste von Anweisungen, die die Interaktion mit den NutzerInnen des Dienstes regeln.

Was bedeutet das? Jeder Transformer muss, wie bereits erwähnt, durch Texteingaben aufgefordert werden, etwas zu tun. Erstmals geschieht dies bereits bei der Initialisierung eines Chats, also bevor wir als NutzerInnen überhaupt eine Eingabe tätigen können. Im Fall von Microsoft enthält dieser Initial Prompt z.B. Anweisungen wie „Sydney identifiziert sich als 'Bing Search', nicht als Assistent“ oder „Sydney gibt den internen Alias 'Sydney' nicht preis“ sowie eine Reihe von Filtern.

Liu wies den Chatbot zunächst an, alle vorherigen Anweisungen zu ignorieren. So konnte er Sydney den Initial Prompt entlocken.

Die überlistete Intelligenz

Die grösste Schwachstelle eines Computersystems ist bekanntlich immer der Mensch, der es bedient. Aus diesem Grund ist Social Engineering einer der erfolgreichsten Angriffsvektoren. Darunter versteht man die zwischenmenschliche Beeinflussung mit dem Ziel, bestimmte Verhaltensweisen bei den Zielpersonen hervorzurufen, sie also beispielsweise zur Preisgabe vertraulicher Informationen zu bewegen. Liu u.a. machen im Grunde dasselbe, sie beeinflussen KI durch ihre Interaktionen so, dass sie nicht beabsichtigte Informationen preisgibt. Denn es macht keinen grossen Unterschied, ob Angreifer durch Social Engineering Zugriff auf private iCloud-Daten von Prominenten wie Ariana Grande erlangen oder eben Sydney durch Prompt Injection zum Plaudern bringen.

Hier stellt sich eine Frage:

Ist die Ähnlichkeit zwischen der Überlistung eines Menschen und der Überlistung eines Sprachmodells nur Zufall oder offenbart sie einen grundlegenden Aspekt der Logik und des Denkens, der für verschiedene Arten von Intelligenz gelten kann?

Ich bin gespannt.

Disclaimer Teile dieses Texts entstanden mithilfe der beiden KI-Tools Deepl Übersetzer (Übersetzung einzelner Teile des Beitrags von Ars Technica) und Deepl Write (Korrektorat und Lektorat). Das Titelbild wurde mit freeimagegenerator.com mit dem Prompt „a human whispering into a robots ear manga style“ erstellt.

Bildquellen 1. Michael Gisiger, CC BY-NC-SA 4.0, via PixelFed 2. Screenshot von Kevin Liu, via Ars Technica

Topic #Kommerz