Kann ChatGPT unsere Absichten verstehen und darauf reagieren?
In einem kürzlich erschienenen Beitrag habe ich über die Beeinflussbarkeit des #Microsoft GPT Chatbots mittels Prompt Injection geschrieben. Am Ende stellte ich die Frage, ob die Ähnlichkeit zwischen der Überlistung eines Menschen und der Überlistung eines Sprachmodells nur Zufall ist oder ob mehr dahinter steckt. Kurze Zeit später antwortete das #Fediverse tatsächlich mit interessanten Einsichten.
Noch am Tag des Erscheinens meines Beitrags antwortete mir Boris Steipe wie folgt:
Aus dem oben genannten Paper von Michal Kosinski, einem Computerpsychologen in Stanford, geht hervor, dass #ChatGPT einen Theory-of-Mind-Test bestanden hat, der normalerweise verwendet wird, um die soziale Kompetenz von Kindern zu testen. Der Test bestand aus einer Reihe von Fragen und Geschichten, die darauf abzielten, die Fähigkeit von ChatGPT zu testen, die Gedanken und Überzeugungen anderer Menschen zu verstehen und zu interpretieren. ChatGPT bestand den Test mit der Genauigkeit eines neunjährigen Kindes. Zum Vergleich: #Google hat mit Deepmind eine #KI entwickelt, die speziell für solche Tests entwickelt wurde, deren Fähigkeiten aber nur mit denen eines vierjährigen Kindes vergleichbar sind. Zudem zeigen Studien, dass auch nicht-menschliche Primaten, Raben und Hunde zu mentalen Zuschreibungen fähig sind.
Theory of Mind (ToM) ist ein Fachbegriff der Entwicklungspsychologie und bezeichnet die Fähigkeit, mentale Zustände als mögliche Ursache eines Verhaltens zu verstehen, um eigene oder fremde Handlungen erklären und vorhersagen zu können. Sie ist im Wesentlichen eine Form der Selbsterkenntnis und erklärt unsere Fähigkeit zu verstehen, warum sich die Gedanken und Gefühle anderer Menschen von unseren eigenen unterscheiden können.
Wie der Titel des Papers andeutet und wie Boris Steipe schreibt, sind diese Fähigkeiten spontan entstanden, als Nebenprodukt des Lernens, und scheinen auch mit der Grösse des Sprachmodells zusammenzuhängen. Kosinski schreibt, dass der GPT-3 vom Januar 2022 das Niveau eines siebenjährigen Kindes erreicht, während der GPT-3.5 vom November 2022 das Niveau eines neunjährigen Kindes erreicht.
Children behaving badly?
Ich finde die Ergebnisse spannend. Sie werfen für mich auch ein neues Licht auf das teilweise fragwürdige Verhalten von Microsofts Bing Chat, der offenbar NutzerInnen bedroht und sich auch sonst daneben benommen hat. Einige der fragwürdigen Antworten erinnern doch sehr an die Art und Weise, wie trotzige Kinder reagieren.
Kosinski betont in seinem Artikel jedoch, dass die Ergebnisse mit Vorsicht zu interpretieren sind. Er hält es aber für möglich, dass die Fähigkeit von ChatGPT, diese Aufgaben zu lösen, ein Nebenprodukt seiner wachsenden Sprachfähigkeiten ist. Alternativ stellt er die Hypothese auf, dass ChatGPT mit seinen Sprachfähigkeiten vielleicht nur den oberflächlichen Eindruck erweckt, über ToM-Fähigkeiten zu verfügen. Da ich mich hier in tiefen, mir unbekannten Gewässern bewege, erlaube ich mir kein Urteil. Ich bin gespannt, wie es weitergeht.
Disclaimer Teile dieses Texts entstanden mithilfe der beiden KI-Tools Deepl Übersetzer (Übersetzung einzelner Teile des Beitrags von Ars Technica) und Deepl Write (Korrektorat und Lektorat). Das Titelbild wurde mit freeimagegenerator.com mit dem Prompt „a robot behaving like a whining toddler manga style with neon green background“ erstellt.
Bildquellen 1. Michael Gisiger, CC BY-NC-SA 4.0, via PixelFed
Topic #Kommerz