Chain of Thought
Chain-of-Thought (CoT) Prompting ist eine Technik zur Verbesserung der Denkfähigkeiten von Large Language Models (LLMs), indem sie durch eine Reihe von Zwischenschritten geführt werden.
Chain-of-Thought (CoT) Prompting ist eine fortschrittliche Technik zur Verbesserung der Denkfähigkeiten von Large Language Models (LLMs). Anstatt direkt nach einer Antwort zu fragen, ermutigt CoT-Prompting das Modell, eine Reihe von Zwischenschritten zu generieren, die zur endgültigen Ausgabe führen. Dies wird typischerweise erreicht, indem im Prompt einige Beispiele gegeben werden, die diesen schrittweisen Denkprozess demonstrieren, oder indem einfach Phrasen wie „Denken wir Schritt für Schritt nach“ an die Anfrage des Benutzers angehängt werden. Das zugrunde liegende Prinzip ist, dass das LLM durch die Externalisierung des Denkprozesses komplexe Probleme besser zerlegen, seine eigene logische Entwicklung verfolgen und die Wahrscheinlichkeit von Fehlern reduzieren kann. Diese Methode hat signifikante Leistungsverbesserungen bei Aufgaben gezeigt, die Arithmetik, gesunden Menschenverstand und symbolisches Denken erfordern. Der Kompromiss ist eine Erhöhung der Länge der generierten Ausgabe und potenziell höhere Rechenkosten aufgrund des erweiterten Generierungsprozesses. Die verbesserte Genauigkeit und Interpretierbarkeit überwiegen jedoch oft diese Nachteile, was CoT zu einem wertvollen Werkzeug für die Nutzung von LLMs in komplexen Problemlösungsszenarien macht.
graph LR
Center["Chain of Thought"]:::main
Pre_philosophy["philosophy"]:::pre --> Center
click Pre_philosophy "/terms/philosophy"
Rel_prompt_engineering["prompt-engineering"]:::related -.-> Center
click Rel_prompt_engineering "/terms/prompt-engineering"
Rel_function_calling["function-calling"]:::related -.-> Center
click Rel_function_calling "/terms/function-calling"
Rel_machine_learning["machine-learning"]:::related -.-> Center
click Rel_machine_learning "/terms/machine-learning"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 Wissenstest
🧒 Erkläre es wie einem 5-Jährigen
Es ist, als würde man einen Freund bitten, seine Arbeit bei der Lösung einer Matheaufgabe zu zeigen, anstatt nur die Antwort zu geben. Das hilft ihm, klarer zu denken und die richtige Antwort zu finden.
🤓 Expert Deep Dive
Chain-of-Thought-Prompting verändert den Inferenzprozess von LLMs grundlegend, indem es eine explizite Zwischenschritt-Denkphase einführt. Architektonisch nutzt es die autoregressive Natur von Transformer-Modellen und fördert die Generierung einer Sequenz von Tokens, die logische Schritte darstellen. Dies kann als eine Form der impliziten Programmsynthese oder strukturierten Vorhersage betrachtet werden, bei der das LLM vor der endgültigen „Ausgabe“ ein „Programm“ von Denkschritten generiert. Die Wirksamkeit beruht auf der Fähigkeit des Modells, die nachfolgende Token-Generierung auf zuvor generierten Tokens zu konditionieren und effektiv einen dynamischen Berechnungs Graphen zu erstellen. Kompromisse beinhalten erhöhte Latenz und Token-Verbrauch. Schwachstellen können entstehen, wenn die Zwischenschritte fehlerhaft sind, was trotz des strukturierten Ansatzes zu „Garbage in, Garbage out“ führt. Die Forschung untersucht Methoden zur automatischen Generierung von CoT, zur Optimierung der Schrittgranularität und zur Überprüfung der logischen Konsistenz der generierten Ketten.