Verstößt ein Beitrag in einem sozialen Netzwerk gegen die Richtlinien? Ist ein Hund aggressiv oder ein Mensch kreditwürdig? Wer ist der oder die beste Bewerber:in? Wird ein:e Straftäter:in rückfällig? Ist ein bestimmtes Nahrungsmittel entsprechend einer bestimmten Gesundheitsrichtlinie empfehlenswert? Fragen über Fragen, unzählige Entscheidungen, die getroffen werden müssen - möglichst fair und vorurteilsfrei. Weil Menschen das gar nicht mehr alles bewerkstelligen können, erhoffen sie sich Unterstützung durch künstliche Intelligenz, da sie neutrale, auf Regeln basierende, sachliche und faire Urteile beisteuern könnte. Forschende arbeiten darum weltweit an Systemen, die menschliche Entscheidungen imitieren. Aber gelingt das auch? Ein Forschungsteam am Massachusetts Institute of Technology (MIT) hat herausgefunden, dass Modelle maschinellen Lernens oft strengere Entscheidungen ausspucken als Menschen das tun würden, wenn diese Modelle mit den "falschen" Daten trainiert werden. Die falschen Daten sind den Forschenden zufolge solche, die vor allem Beschreibungen entstammen, nicht tatsächlichen Urteilen oder Entscheidungen.

Für ihr Experiment erfanden die Forschenden zunächst bestimmte fiktive Regeln: z.B. eine Hausordnung die aggressive Hunde verbietet, einen Dresscode für Büro oder Schule, der zu freizügige Kleidung untersagt oder eine Community Richtlinie, die obszöne Sprache unterbinden will.

Dann legten sie für jede Regel drei Merkmale fest, wie sich ein Regelverstoß äußern könnte, z.B. beim Text: enthält negative Kommentare, enthält Bedrohungen, enthält obszöne Sprache oder beim Hundebild: ist groß, ist ungepflegt, wirkt aggressiv.

Testpersonen wurden im Experiment in zwei Gruppen eingeteilt. Alle bekamen Bilder oder einen kurzen Text gezeigt (ein Posting in einem sozialen Netzwerk).

Eine Gruppe wurde über die "Regeln" informiert und sollte dann anhand des Bildes bewerten, ob ihrer Ansicht nach ein Verstoß gegen diese vorliegt. Wenn ja, sollten die Testpersonen außerdem ankreuzen, aufgrund welcher Merkmale sie das so entschieden hatten.

Eine zweite Gruppe hatte keine Ahnung von den Regeln, sie sollten lediglich ankreuzen, welche der drei Merkmale auf das Bild zutreffen. Kreuzten die Teilnehmenden eines oder mehrere Merkmale als zutreffend an (z.B. der Hund wirkt aggressiv), wurde das Bild oder der Text als Regelverstoß eingeordnet.

Dabei zeigt sich, dass bei der Gruppe, die nur die beschreibenden Merkmale ankreuzen sollte, am Ende häufiger ein Regelverstoß vorzuliegen schien: Rock kurz, Dresscode verletzt.
Die Gruppe, denen die Regeln bekannt waren, interpretierte die Bilder/Texte großzügiger. In ihren Augen ist ein Dresscode eben nicht automatisch verletzt, nur weil der Rock kurz ist oder viel Haut gezeigt wird. Offenbar entscheiden Menschen nämlich anders, wenn sie wissen, dass ihre Einschätzung in einem Urteil mündet und betrachten das Ganze etwas differenzierter.

Wenn-Dann-Logik

Künstliche Intelligenzen werden aber überwiegend mit beschreibenden Daten (Merkmal trifft zu: ja/nein) trainiert, die nach einer Wenn-Dann-Logik funktionieren. Das kann dazu führen, dass ihre Entscheidungen viel strenger sind, als ein Mensch sie treffen würde. Das überprüften die Forschenden, indem sie ein selbstlernendes System mit beiden vorliegenden Daten trainieren und die Entscheidungen miteinander verglichen: Maschinen, die anhand der beschreibenden Daten gelernt hatten, fällten gnadenlosere Urteile als die, die mit normativen Daten trainiert hatten.

Für die Forschenden zeigt das, dass die Art der Daten, mit der Maschinen "lernen" ausgesprochen wichtig ist. Dabei ist in den meisten Fällen wenig transparent, auf Grundlage welcher Daten Maschinen ihre Entscheidungen erlernen. Wenn wir wollen, dass Maschinen so urteilen, wie wir Menschen es tun würden, dann dürften zum Training auch nur Daten aus diesem Umfeld verwendet werden, so Studienautor Marzyeh Ghassemi: "Andernfalls werden wir mit Systemen enden, die extrem harte Bewertungen vornehmen, viel härter als Menschen es tun würden. Menschen würden Nuancen erkennen oder einen anderen Unterschied machen, während diese Modelle dies nicht tun".

Wenn wir dieses Feld künstlichen Intelligenzen immer mehr überlassen, könnten einige Menschen das hart zu spüren bekommen - etwa, indem ihr Account gesperrt wird oder sie keinen Kredit bekommen.

Die Studie ist in der Fachzeitschrift Science Advances erschienen.