Diese KI-Forschung befasst sich empirisch und theoretisch mit den Einschränkungen und Fähigkeiten von Transformer Large Language Models (LLMs) für Kompositionsaufgaben

ChatGPT liegt im Trend und Millionen von Menschen nutzen es täglich. Mit seinen unglaublichen Fähigkeiten, Menschen zu imitieren, wie zum Beispiel Fragen zu beantworten, einzigartige und kreative Inhalte zu generieren, riesige Textdaten zusammenzufassen, Code zu vervollständigen und äußerst nützliche virtuelle Assistenten zu entwickeln, macht ChatGPT unser Leben einfacher. ChatGPT wurde von OpenAI entwickelt und basiert auf GPT 3.5 (Generative Pre-Trained Transformer) und der Transformer-Architektur von GPT 4. GPT 4, die neueste Version der von OpenAI veröffentlichten Sprachmodelle, ist multimodaler Natur, d. h. sie nimmt im Gegensatz zu den Vorgängerversionen Eingaben in Form von Text und Bildern auf. Auch andere Large Language Models (LLMs) wie PaLM, LLaMA und BERT werden in Anwendungen verschiedener Bereiche wie Gesundheitswesen, E-Commerce, Finanzen, Bildung usw. verwendet.

Ein Forscherteam hat in einem kürzlich veröffentlichten Forschungsbericht den Unterschied zwischen der beeindruckenden Leistung von LLMs wie GPT bei komplexen Aufgaben und ihren Schwierigkeiten bei einfachen Aufgaben hervorgehoben. Das Team untersuchte die Einschränkungen und Fähigkeiten von Transformer-LLMs und führte Experimente zu drei repräsentativen Kompositionsaufgaben durch: mehrstellige Multiplikation, logische Gitterrätsel und ein klassisches dynamisches Programmierproblem. Bei diesen Aufgaben geht es darum, Probleme in kleinere Schritte zu zerlegen und diese Schritte zu einer exakten Lösung zu kombinieren.

Mit dem Ziel, die Grenzen von Transformern bei der Lösung kompositorischer Aufgaben zu untersuchen, die mehrstufiges Denken erfordern, haben die Autoren zwei Hypothesen vorgeschlagen. Der erste besteht darin, dass die Transformer ihre Aufgaben dadurch erfüllen, dass sie das mehrstufige Denken in einen Pfadvergleich linearisieren und sich somit auf Mustervergleich und Abkürzungslernen verlassen, anstatt die zugrunde liegenden Rechenregeln, die zur Entwicklung geeigneter Lösungen erforderlich sind, tatsächlich zu verstehen und umzusetzen. Dieser Ansatz ermöglicht schnelle und genaue Vorhersagen in ähnlichen Mustern während des Trainings, lässt sich jedoch nicht auf ungewöhnlich komplexe Beispiele übertragen. Die zweite Hypothese besagt, dass Transformer beim Versuch, hochkomplexe Kompositionsaufgaben mit einzigartigen Mustern zu lösen, inhärente Einschränkungen haben könnten. Frühe Rechenfehler können sich ausbreiten und in späteren Schritten zu schwerwiegenden Verbindungsfehlern führen, sodass die Modelle nicht zur richtigen Lösung gelangen.

Um die beiden Hypothesen zu untersuchen, haben die Autoren die Kompositionsaufgaben als Berechnungsgraphen formuliert. Diese Diagramme zerlegen den Prozess der Problemlösung in kleinere, besser handhabbare submodulare Funktionsschritte und ermöglichen so strukturierte Messungen der Problemkomplexität und die Verbalisierung von Rechenschritten als Eingabesequenzen für Sprachmodelle. Sie nutzen den Informationsgewinn sogar, um Vorhersagen über die Muster zu treffen, die Modelle wahrscheinlich basierend auf der zugrunde liegenden Aufgabenverteilung lernen würden, ohne vollständige Berechnungen innerhalb des Diagramms durchzuführen.

Basierend auf den empirischen Erkenntnissen haben die Autoren vorgeschlagen, dass die Transformer kompositorische Herausforderungen bewältigen, indem sie das mehrstufige Denken auf linearisiertes Subgraph-Matching reduzieren. Sie haben theoretische Argumente auf der Grundlage abstrakter mehrstufiger Argumentationsprobleme geliefert, die verdeutlichen, dass die Leistung von Transformers mit zunehmender Aufgabenkomplexität schnell abnimmt. Dies zeigt, dass die Modelle möglicherweise bereits in ihrer Fähigkeit eingeschränkt sind, kompositorische Probleme großer Komplexität zu bewältigen.

Zusammenfassend lassen die empirischen und theoretischen Ergebnisse darauf schließen, dass die Leistung von Transformers nicht auf einem gründlichen Verständnis der zugrunde liegenden Denkprozesse beruht, sondern hauptsächlich auf Mustervergleich und Subgraph-Matching, was auch die Idee stützt, dass Transformers Schwierigkeiten haben würde, immer schwierigere Aufgaben zu erledigen .

Besuche diePapier.Vergessen Sie nicht, mitzumachenunser 22k+ ML SubReddit,Discord-Kanal, UndE-Mail-Newsletter , wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an[email protected]

🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an

Tanya Malhotra studiert im letzten Studienjahr an der University of Petroleum & Energy Studies in Dehradun und studiert BTech in Informatik mit Spezialisierung auf künstliche Intelligenz und maschinelles Lernen großes Interesse daran, sich neue Fähigkeiten anzueignen, Gruppen zu leiten und die Arbeit organisiert zu verwalten.