Halluzinationen
Im Kontext der KI bezieht sich eine Halluzination auf ein Modell, das Ausgaben erzeugt, die plausibel erscheinen, aber in der Tat falsch oder sinnlos sind, oft mit hohem Vertrauen dargestellt.
Halluzinationen sind eine erhebliche Herausforderung bei der Entwicklung und dem Einsatz von KI-Modellen, insbesondere von Large Language Models (LLMs). Sie treten auf, wenn ein Modell Informationen generiert, die nicht in seinen Trainingsdaten oder dem bereitgestellten Kontext verankert sind. Dies kann sich als erfundene Fakten, verzerrte Informationen oder Ausgaben manifestieren, die intern inkonsistent sind. Die Neigung zur Halluzination variiert je nach der Architektur des Modells, den Trainingsdaten und der spezifischen Aufgabe, die es ausführt.
Diese Fehler können von kleinen Ungenauigkeiten bis hin zu völlig erfundenen Details reichen. Die Schwere der Halluzinationen kann schwerwiegende Folgen haben, insbesondere in Anwendungen, in denen Genauigkeit entscheidend ist, wie z. B. bei medizinischen Diagnosen, juristischer Forschung oder Finanzanalysen. Forscher arbeiten aktiv an Techniken zur Eindämmung von Halluzinationen, einschließlich verbesserter Trainingsmethoden, besserer Datenkuratierung und Mechanismen zur Faktenprüfung und -verifizierung.
graph LR
Center["Halluzinationen"]:::main
Pre_computer_science["computer-science"]:::pre --> Center
click Pre_computer_science "/terms/computer-science"
Rel_hallucination["hallucination"]:::related -.-> Center
click Rel_hallucination "/terms/hallucination"
Rel_artificial_intelligence["artificial-intelligence"]:::related -.-> Center
click Rel_artificial_intelligence "/terms/artificial-intelligence"
Rel_large_language_model["large-language-model"]:::related -.-> Center
click Rel_large_language_model "/terms/large-language-model"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 Wissenstest
🧒 Erkläre es wie einem 5-Jährigen
KI-Halluzinationen sind so, als würde ein Roboter dir selbstbewusst etwas erzählen, das wahr klingt, aber eigentlich erfunden oder falsch ist, zum Beispiel, dass Hunde fliegen können, weil er gehörte Geschichten verwechselt hat.
🤓 Expert Deep Dive
KI-Halluzinationen stellen einen Fehlermodus in generativen Modellen dar, der aus der Diskrepanz zwischen der gelernten internen Repräsentation des Modells und der objektiven Realität oder faktischen Richtigkeit resultiert. Architektonisch können LLMs, die ausschließlich auf der Vorhersage des nächsten Tokens trainiert werden, zu fehlerhaften Korrelationen in den Trainingsdaten überanpassen oder über ihre Wissensgrenzen hinaus extrapolieren. Dies kann sich in der Generierung plausibler, aber falscher faktischer Behauptungen, der Erfindung nicht existierender Entitäten oder Ereignisse oder der falschen Zuordnung von Informationen äußern. Techniken zur Minderung von Halluzinationen umfassen: 1) Verbesserung der Datenqualität und -vielfalt zur Reduzierung von Rauschen und Verzerrungen. 2) Einsatz von Retrieval-Augmented Generation (RAG), bei dem das Modell relevante Informationen aus einer externen Wissensbasis abruft, bevor es eine Antwort generiert, wodurch die Ausgabe verankert wird. 3) Verwendung von Methoden zur Unsicherheitsquantifizierung zur Schätzung der Zuverlässigkeit generierter Aussagen. 4) Feinabstimmung mit menschlichem Feedback (RLHF), die faktische Ungenauigkeiten gezielt bestraft. 5) Einschränkung des Generierungsprozesses durch logische Regeln oder Wissensgraphen. Die Herausforderung besteht darin, die Reduzierung von Halluzinationen mit der Aufrechterhaltung der Flüssigkeit, Kreativität und der Fähigkeit des Modells, neuartige oder unterbestimmte Prompts zu verarbeiten, in Einklang zu bringen.