Bei unserem Lyrikwettbewerb wurden 348 Beiträge eingereicht und hier und da haben wir uns beim Lesen gefragt, ob nicht ChatGPT auch einen Teil der kreativen Arbeit übernommen hat. Haben wir mit Sicherheit erkannt, wenn ein Gedicht nicht menschgemacht war? Wohl kaum! Wie eine aktuelle Studie zeigt, gelingt das Menschen nämlich mittlerweile nicht mehr besonders gut. Und: Ihnen gefallen Gedichte von ChatGPT oft besser und werden eher menschlichen Dichter:innen zugeschrieben als die tatsächlich menschlichen Reime.

Die Forscher Brian Porter und Edouard Machery von der University of Pittsburgh haben in ihrer Studie untersucht, wie Laien Gedichte bewerten: Sind sie von Menschenhand verfasst? Oder von einer Maschine? In einem Experiment lasen rund 1.600 Testpersonen jeweils 10 Gedichte, die teilweise von berühmten Dichter:innen wie William Shakespeare oder Silvia Plath verfasst worden waren, teilweise von ChatGPT 3.5 "im Stil" dieser Dichter:innen. Die Testleser:innen sollten dann angeben, welche der 10 gelesenen Gedichte "echt" oder nachgemacht waren. Das Ergebnis: In vielen Fällen hielten die Testpersonen die Reimkunst von ChatGPT für die Werke großer Dichtkünstler:innen, während sie die echten Gedichte für eine künstliche Nachahmung hielten. Interessanterweise glaubten viele Teilnehmende außerdem, dass längere und gereimte Gedichte eher von Menschen verfasst wurden und schrieben vor allem kürzere Gedichte der KI zu - tatsächlich war es genau umgekehrt. Die KI scheint in Sachen Lyrik sehr redselig, der Mensch traut der Maschine aber solch ausführliche Reimkunst gar nicht zu.

Einfach zu verstehen - das muss von einem Mensch sein?

In einem weiteren Experiment sollten die Teilnehmenden die Gedichte formal und emotional auch beurteilen - nach Rhythmus, Klang, Bildhaftigkeit, aber auch danach, wie schön und bewegend sie die Beiträge fanden. Dabei erhielten einige die Information, dass die Gedichte entweder künstlich oder menschlich waren (was nicht unbedingt stimmte) oder auch gar keine Information zum Ursprung. Dabei zeigte sich, dass die Testpersonen den Werken kritischer gegenüberstanden, wenn sie dachten, sie seien künstlich und bewerteten sie dementsprechend schlechter. Hatten sie keinerlei Informationen zur Herkunft gefielen ihnen meist die KI-Gedichte besser.

Die Forschenden resümieren, dass es Menschen offenbar immer schwerer fällt, menschlich erschaffene Inhalte von maschinengenerierten Inhalten zu unterscheiden - auch bei Lyrik, einem Feld, das irgendwie immer noch als einer der letzten menschlichen Domänen galt, auch weil es hier viel mehr um tieferliegende Bedeutung und Kreativität geht. Die Forscher vermuten, dass KI-generierte Gedichte bei unerfahrenen Gedicht-Leser:innen aber besser ankommen, weil sie einfacher und leichter zu verstehen sind und den Rhythmus typischer Gedichte besonders gelungen erzeugen können. Weil Menschen solche Gedichte eher für menschgemacht halten, gefallen sie ihnen allein deshalb auch besser.

Damit ist nicht gesagt, dass ChatGPT dem Menschen in Sachen Dichtkunst tatsächlich überlegen ist, sondern dass die Gedichte eben gefälliger sind. Das Geheimnis guter Lyrik ist aber vielleicht gar nicht unbedingt zu gefallen, sondern etwas in Gang zu setzen und möglicherweise auch ein Fragezeichen zu hinterlassen. ;-)

Die Studie wurde in der Fachzeitschrift Scientific Reports veröffentlicht.

Abstract zur Studie

• AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably