OpenAI: Ist ChatGPT die Zukunft?

Was macht OpenAI?

OpenAI ist ein Unternehmen für die KI-Forschung und deren Einsatz. Das Ziel von OpenAI ist es, dass allgemeine künstliche Intelligenz der gesamten Menschheit zugutekommt. Diese allgemeine künstliche Intelligenz, auch genannt als AGI (Artificial General Intelligence), womit hochgradig autonome Systeme gemeint sind, soll den Menschen bei den meisten wirtschaftlich wertvollen Arbeiten übertreffen. OpenAI versucht, sichere und nützliche AGI direkt zu entwickeln, um damit zu helfen, ihr Ziel zu erreichen.

Was ist ChatGPT und was kann es?

ChatGPT (Generative Pre-trained Transformer) ist ein hoch entwickelter Chatbot, welcher auf einer KI (Künstliche Intelligenz) basiert und auf eine dialogische Weise mit Ihnen interagiert. Das Dialogformat ermöglicht es ChatGPT, Folgefragen zu beantworten, Fehler zuzugeben, falsche Prämissen in Frage zu stellen und unangemessene Anfragen zurückzuweisen. ChatGPT ist das Geschwistermodell von InstructGPT, welches einer Anweisung in einer Eingabeaufforderung folgt und eine detaillierte Antwort zurückgibt.

Methoden

Mit Hilfe von Reinforcement Learning from Human Feedback (RLHF) trainiert ChatGPT. Menschliche KI-Trainer liefern Gespräche, in denen sie beide Seiten spielen – den Nutzer und den KI-Assistenten. Die Trainer haben Zugang zu modellierten Vorschlägen, um ihnen beim Verfassen der Antworten zu helfen. Dieser neue Dialog-Datensatz wurde dann mit einem InstructGPT-Datensatz gemischt und in ein Dialogformat umgewandelt.

Um ein Belohnungsmodell für das Reinforcement Learning zu erstellen, sammelte OpenAI Vergleichsdaten, welche aus zwei oder mehr Modellantworten bestanden und nach ihrer Qualität geordnet waren. Hierfür haben sie die Unterhaltungen, welche die KI-Trainer mit dem Chatbot führten, aufgenommen. Eine zufällige Nachricht wurde ausgewählt, Alternativen hinzugefügt und dem KI-Trainer zum Auswerten übergeben. Mithilfe von Proximal Policy Optimization (PPO) kann das Belohnungsmodell dann abgestimmt werden.

Einschränkungen

ChatGPT schreibt manchmal plausibel klingende, aber falsche oder unsinnige Antworten. Dieses Problem zu beheben, ist eine Herausforderung. Gründe dafür sind:

1. Während des RL-Trainings gibt es derzeit keine Quelle der Wahrheit.
2. Es lehnt Fragen ab, die es richtig beantworten kann, da Vorsicht bei Training geboten wird.
3. Überwachtes Training verwirrt das Modell, da die ideale Antwort davon abhängt, was das Modell weiß und nicht davon, was der Nutzer weiß.

ChatGPT reagiert empfindlich auf Änderungen der Eingabeformulierung oder auf mehrfache Versuche mit der gleichen Frage. Es könnte behaupten, die Antwort nicht zu kennen, wobei es bei einer leichten Umformulierung die Frage richtig beantwortet.
Das Modell ist oft übermäßig langatmig und verwendet bestimmte Phrasen zu oft, wie z.B. den Hinweis, dass es sich um ein von OpenAI trainiertes Sprachmodell handelt.
Im Idealfall würde das Modell klärende Fragen stellen, wenn der Benutzer eine mehrdeutige Anfrage stellt. Stattdessen raten die aktuellen Modelle in der Regel, was der Benutzer beabsichtigt.
Obwohl OpenAI sich bemüht hat, ChatGPT dazu zu bringen, unangemessene Anfragen abzulehnen, reagiert es manchmal auf schädliche Anweisungen oder zeigt ein verzerrtes Verhalten.

Fortlaufende Entwicklung

Die heutige Forschungsversion von ChatGPT ist der jüngste Schritt in OpenAIs wiederholten Einsatz von zunehmend sicheren und nützlichen KI-Systemen. Viele Lehren aus dem Einsatz früherer Modelle wie GPT-3 und Codex sind in die Sicherheitsvorkehrungen für diese Version eingeflossen, einschließlich einer erheblichen Reduzierung schädlicher und unwahrer Ausgaben, die durch den Einsatz von Verstärkungslernen aus menschlichem Feedback (RLHF) erreicht wurde.

Hier können Sie den ChatGPT ausprobieren.