Von Ralf Keuper 

Vertreter der Künstlichen Intelligenz, insbesondere diejenigen, die für die Allgemeine oder starke Künstliche Intelligenz plädieren, sind der Überzeugung, dass das menschliche Gehirn im Prinzip wie ein Computer arbeitet. Mit den richtigen Algorithmen kann die Arbeitsweise des Gehirns imitiert werden. Die Hardware ist zweitrangig. Algorithmen können durch ihre bloße Ausführung Bewusstsein erzeugen.
Diesen Annahmen widerspricht der britische Mathematiker, theoretische Physiker und Nobelpreisträger Roger Penrose in seinem bereits vor Jahrzehnten erschienenen Buch Computerdenken.

Penrose ist der Ansicht, dass die Tätigkeit des Bewusstseins eine wesentliche nicht-algorithmische Komponente enthalten muss:

Irgendwie ist Bewusstsein nötig, um Situationen zu bewältigen, in denen wir neue Urteile bilden müssen und bei denen die Regeln nicht zuvor niedergelegt worden sind. Zwischen den geistigen Aktivitäten, die anscheinend Bewusstsein erfordern, und den übrigen lassen sich nur schwer sehr präzise Unterscheidungen treffen. Vielleicht könnte, wie die Anhänger der starken KI meinen, unser “Bilden neuer Urteile” wiederum in der Anwendung gewisser wohldefinierter algorithmischen Regeln bestehen, wobei es sich um unklare Regeln einer “höheren Ebene” handeln würde, deren Funktionsweise uns nicht bewusst ist. Doch ich denke, dass die von uns gewöhnlich verwendete Terminologie, die unsere bewusste Geistestätigkeit von unserer unbewussten unterscheidet, eine Unterscheidung zwischen nicht-algorithmischen und algorithmischen Prozessenzumindest nahelegt. 

Bewusstsein erforderlich: 

  • gesunder Menschenverstand
  • Wahrheitsurteil
  • Verstehen
  • künstlerische Wertung 

Bewusstsein nicht erforderlich

  • automatisch
  • gedankenloses Befolgen von Regeln
  • programmiert
  • algorithmisch

Vielleicht sind diese Unterscheidungen nicht immer sehr klar umrissen, vor allem weil in unsere bewussten Urteile viele unbewusste Faktoren eingehen: Erfahrung, Intuition, Vorurteil, sogar unser normaler Gebrauch von Logik. Doch die Urteile selbst sind, wie ich behaupten würde, Ausdruck der Tätigkeit des Bewusstseins. Ich meine daher, dass unbewusste Hirntätigkeiten gemäß algorithmischen Prozessen ablaufen, während die Tätigkeit des Bewusstseins davon ganz verschieden ist und in einer Weise vor sich geht, die durch keinen Algorithmus beschrieben werden kann. …

Das vollständig bewusste, ganz und gar logisch-rational erklärbare Denken lässt sich gleichfalls (oft) als etwas Algorithmisches formalisieren, aber auf einem ganz anderen Niveau. Dabei meinen wir nicht die internen Vorgänge (das Feuern von Neuronen und so weiter), sondern das Verarbeiten ganzer Gedanken. Manchmal hat diese Gedankenmanipulation algorithmischen Charakter, machmal aber auch nicht (wie beim Gödelschen Satz). Das Bilden von Urteilen, das ich für ein Wesensmerkmal von Bewusstsein halte, ist an sich selbst etwas, von dessen Programmierung auf einem Computer KI-Forscher keinen Begriff haben. 

Mittlerweile wird versucht, KI-Systeme mit der Fähigkeit von System2-Denken auszustatten – bislang jedoch ohne belastbare Beweise zu liefern, wie die Autoren von AI Agents That Matter feststellen:

Es gibt keine Beweise dafür, dass System-2-Ansätze für Leistungssteigerungen verantwortlich sind. Da Arbeiten, in denen neue Agenten vorgeschlagen werden, einfache Basislinien nicht ausreichend getestet haben, hat dies in der Community zu der weit verbreiteten Annahme geführt, dass komplexe Konzepte wie Planung, Reflexion und Debugging für die Genauigkeitssteigerung verantwortlich sind. Basierend auf unseren Ergebnissen bleibt die Frage offen, ob Debugging, Reflexion und andere solche „System 2“-Ansätze für die Codegenerierung nützlich sind, was im Einklang mit anderen neueren Ergebnissen steht. Darüber hinaus wird der übermäßige Optimismus in Bezug auf System-2-Ansätze durch einen Mangel an Reproduzierbarkeit und Standardisierung verschärft .. . Das Versäumnis, die Quellen empirischer Gewinne zu identifizieren, ist ein langjähriges Problem im ML und verwandten Bereichen. Es ist möglich, dass System-2-Techniken bei schwierigeren Programmieraufgaben als den in HumanEval dargestellten nützlich sind, wie z. B. SWE-bench.

Ebensowenig konnten bisher große Sprachmodelle identifiziert werden, die über emergente Fähigkeiten verfügen.