Chain of Thought
Chain of Thought (CoT) プロンプティングは、大規模言語モデル（LLM）の推論能力を向上させるために、中間的な推論ステップを通じてモデルをガイドするテクニックです。
Chain-of-Thought (CoT) プロンプティングは、大規模言語モデル（LLM）の推論能力を強化するために設計された高度なテクニックです。直接的な回答を求めるのではなく、CoTプロンプティングは、最終的な出力につながる一連の中間的な推論ステップを生成するようにモデルに促します。これは通常、プロンプトでこのステップバイステップの推論プロセスを示すいくつかの例を提供するか、単にユーザーのクエリに「ステップバイステップで考えましょう」のようなフレーズを追加することによって達成されます。根本的な原則は、思考プロセスを外部化することによって、LLMが複雑な問題をよりよく分解し、自身の論理的な進行を追跡し、エラーを犯す可能性を減らすことができるということです。この方法は、算術、常識、記号推論を必要とするタスクでパフォーマンスの大幅な向上を示しています。トレードオフは、生成される出力の長さの増加と、拡張された生成プロセスによる計算コストの増加の可能性です。しかし、精度の向上と解釈可能性の向上は、しばしばこれらの欠点を上回り、CoTを複雑な問題解決シナリオでLLMを活用するための貴重なツールにしています。
graph LR
Center["Chain of Thought"]:::main
Pre_philosophy["philosophy"]:::pre --> Center
click Pre_philosophy "/terms/philosophy"
Rel_prompt_engineering["prompt-engineering"]:::related -.-> Center
click Rel_prompt_engineering "/terms/prompt-engineering"
Rel_function_calling["function-calling"]:::related -.-> Center
click Rel_function_calling "/terms/function-calling"
Rel_machine_learning["machine-learning"]:::related -.-> Center
click Rel_machine_learning "/terms/machine-learning"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 理解度チェック
🧒 5歳でもわかるように説明
数学の問題を解くときに、友達に答えだけを言うのではなく、途中計算を見せてと頼むようなものです。これにより、友達はより明確に考え、正しい答えを出すことができます。
🤓 Expert Deep Dive
Chain-of-Thoughtプロンプティングは、明示的な中間推論ステージを導入することにより、LLMの推論プロセスを根本的に変更します。アーキテクチャ的には、Transformerモデルの自己回帰的な性質を活用し、論理ステップを表すトークンのシーケンスの生成を促進します。これは、LLMが最終的な「出力」を生成する前に推論ステップの「プログラム」を生成する、暗黙的なプログラム合成または構造化予測の一形態と見なすことができます。その有効性は、後続のトークン生成を以前に生成されたトークンに条件付けるモデルの能力に由来し、効果的に動的な計算グラフを作成します。トレードオフには、レイテンシの増加とトークン消費の増加が含まれます。中間ステップに欠陥があると、「ゴミを入れればゴミが出てくる」という結果になり、構造化されたアプローチにもかかわらず脆弱性が生じる可能性があります。研究では、CoTの自動生成、ステップの粒度の最適化、生成されたチェーンの論理的一貫性の検証などの方法が探求されています。