Vergleich mit menschlicher Intelligenz „hinkt“
Künstliche Intelligenz (KI) weist heute schon in zahlreichen Anwendungsbereichen ihre Fähigkeiten nach: unter anderem in der Industrie bei der Steuerung von Geräten und Maschinen, in der Robotik, bei Automatisierungsprozessen bis hin zur Medizin, wo sie Ärzte insbesondere in der Diagnostik wertvolle Unterstützung bietet. Oder in Form von Gesundheits-Apps, die für manche Menschen bereits zum Lifestyle gehören. Gleichzeitig nehmen die Diskussionen über die Grenzen, aber auch die Risiken von KI weiter Fahrt auf.
In einem viel beachteten Essay in der aktuellen Ausgabe 619 der Fachzeitschrift ‚Nature‘ diskutiert Celeste Biever, wie KI-basierte LLMs (large language models) an vergleichsweise einfachen Aufgaben aus standardisierten Intelligenztests scheitern. Für Aufsehen sorgt, dass Modelle, die mühelos Aufnahmeprüfungen renommierter Hochschulen bestehen und komplizierte Anforderungen in vielen Bereichen in Rekordzeit bewältigen, regelmäßig bei einfachen Abstraktionsaufgaben versagen. Ihr Plädoyer vor diesem Hintergrund: „Wir müssen grundsätzlich verstehen, was sie können und wo sie scheitern.“ Im Hintergrund steht hier die Frage danach, ob KI-Systeme als unbeschränkt „genial“ einzustufen sind oder ob die Fähigkeiten Künstlicher Intelligenz nicht doch begrenzt sind?
Beides, meint Prof. Marco Barenkamp, KI-Experte und stellvertretender Vorsitzender des Aufsichtsrats und Gründer der auf die Anwendung von KI in der Industrie spezialisierten LMIS AG in Osnabrück.
ChatGPT vom US-Start-up OpenAI oder Bard von Google, aber auch andere LLM beherrschen so manche Fähigkeit, die noch vor wenigen Jahren als Meilenstein der Künstlichen Intelligenz (KI) gefeiert worden wäre, macht Prof. Barenkamp die Bedeutung dieser Entwicklung deutlich: Eloquent beantworten die Bots Fragen, bestehen akademische Prüfungen mit Bravour und verblüffen mit erstaunlichem Allgemeinwissen. Allerdings bereiten dem Transformermodell „Chat Generative Pre-trained Transformer“, so die ausgeschriebene Bezeichnung von ChatGPT, bereits einfache visuelle Logik-Rätsel erhebliche Schwierigkeiten, während Menschen solche Aufgaben meist mühelos meistern.
Wie KI realistisch bewerten?
Vor diesem Hintergrund rätseln Wissenschaftler derzeit, wie die Fähigkeiten von ChatGPT realistisch zu bewerten sind. Prof. Barenkamp verweist hierzu auf eine Studie, die jüngst in der akademischen Welt einige Aufmerksamkeit erregte und auch Grundlage des Essays von Celeste Biever ist: Ein Team um Melanie Mitchell vom Santa Fe Institute hatte dem Sprachmodell GPT 4 Aufgaben vorgelegt, bei denen farbige Blöcke in einem Raster anzuordnen waren. Aus mehreren Beispielen sollte auf die zugrunde liegende Regel geschlossen und vorhergesagt werden, wie sich die Blöcke als nächstes verändern. „Die meisten Menschen lösen solche Aufgaben mühelos“, erklärt Prof. Barenkamp. GPT 4 hingegen schaffte nur ein Drittel in einer Kategorie richtig und erreichte in anderen teils nur 3 Prozent. Andere KI-Systeme, die speziell für solche Rätsel entwickelt wurden, kamen demnach zwar auf bessere, aber immer noch deutlich schlechtere Ergebnisse als Menschen.
Die Studie zeige, dass es den künstlichen Systemen aktuell noch schwerfalle, zugrunde liegende Konzepte zu erkennen und daraus zu lernen, resümiert Experte Barenkamp. Eines der Kennzeichen menschlicher Intelligenz sei aber gerade die Fähigkeit zur Abstraktion und zum Transfer auf neue Situationen, betont er.
KI lernt anders
So weit, so gut. Aber woran liegt es denn nun, dass KI-Systeme den Menschen in solchen Basisfähigkeiten noch so deutlich unterlegen sind, während sie in Konversationen zum Teil mit überraschender Eloquenz verblüffen? Zur Erklärung führt Prof. Barenkamp an, dass KI-Anwendungen eben anders lernen als Menschen. So werden große Sprachmodelle wie GPT 4 zum Beispiel mittels Durchforsten gewaltiger Mengen an Texten trainiert. Dabei erkennt die KI statistische Korrelationen zwischen Wörtern, wie Prof. Barenkamp erläutert, um bei einer Eingabe das wahrscheinlich nächste Wort zu ermitteln. Menschen hingegen erleben schon als Kind konkrete Erfahrungen mit Objekten und Situationen, bauen ihr eigenes Abbild (Repräsentation) der Welt auf und entwickeln kognitive Fähigkeiten wie Abstraktionsvermögen und logisches Denken.
Dies kann aus Sicht von KI-Experte Barenkamp erklären, warum GPT 4 zwar Texte, wie von Menschen verfasst, in hoher Qualität auszugeben in der Lage ist, aber an einfachen visuellen Tests scheitert: Weil das Training in diesem Fall ausschließlich auf Sprache beruht und nicht auf realen Erfahrungen sowie dem notwendigen Verbinden von Sprache mit konkreten, erlebten Dingen. Manche Forscher vermuten daher, dass KI-Systeme Wörter auch nicht so „verstehen“ wie wir Menschen, da sie dadurch keine echte Begrifflichkeit der Welt entwickeln können.
Weitere Informationen:
- Essay von Celeste Biever
- Essay von Marco Barenkamp
- Studie von Moskvichev, Odouard & Mitchell
- Studie zur Performance von LLM im Turing Test
Möchten Sie unsere Recherche-Tipps kostenlos und regelmäßig in ihr Postfach? Hier können Sie sich in unseren Verteiler eintragen!
Illustration: shutterstock.com / elenabsl
