幻覚
AIの文脈では、幻覚は、信頼性の高い結果を生成するモデルを指しますが、事実上不正確または無意味であり、しばしば高い自信を持って提示されます。
Hallucinationは、AIモデル、特に大規模言語モデル（LLM）の開発と展開における大きな課題です。これは、モデルがトレーニングデータや提供されたコンテキストに根拠のない情報を生成する際に発生します。これは、捏造された事実、歪んだ情報、または内部的に矛盾する出力として現れる可能性があります。Hallucinationの傾向は、モデルのアーキテクチャ、トレーニングデータ、および実行している特定のタスクによって異なります。
これらのエラーは、軽微な不正確さから完全に捏造された詳細まで多岐にわたります。Hallucinationの深刻さは、特に医療診断、法的調査、または財務分析など、精度が重要なアプリケーションにおいて深刻な結果をもたらす可能性があります。研究者は、改善されたトレーニング方法、より良いデータキュレーション、および事実確認と検証のためのメカニズムなど、Hallucinationを軽減するための技術を積極的に研究しています。
graph LR
Center["幻覚"]:::main
Pre_physics["physics"]:::pre --> Center
click Pre_physics "/terms/physics"
Rel_hallucination_ai["hallucination-ai"]:::related -.-> Center
click Rel_hallucination_ai "/terms/hallucination-ai"
Rel_artificial_intelligence["artificial-intelligence"]:::related -.-> Center
click Rel_artificial_intelligence "/terms/artificial-intelligence"
Rel_inference["inference"]:::related -.-> Center
click Rel_inference "/terms/inference"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 理解度チェック
🧒 5歳でもわかるように説明
すごく賢いオウムを想像してみてください。何でも話せるんだけど、時々、聞いたパターンをただ繰り返しているだけで、本当に理解しているわけじゃないから、事実をでっち上げてしまうことがあるんです。
🤓 Expert Deep Dive
生成AIにおけるハルシネーションは、確率的シーケンス生成モデル固有の限界に起因します。これらのモデルは真実性ではなく尤度を最適化します。曖昧なプロンプト、分布外データ、あるいは知識のギャップに直面した場合、学習された統計的関係に基づいて補間または外挿を行う可能性があり、もっともらしく聞こえるものの誤った出力を生成します。アーキテクチャ的には、TransformerベースのLLMは、そのアテンションメカニズムにより、学習データ内の偽の相関に過度に注意を向けてしまうことがあります。脆弱性としては、特定のハルシネーションを誘発するように設計された敵対的プロンプトや、しばしば校正が不十分なモデルの信頼度スコアの悪用が挙げられます。RAGのような手法は、検索された事実文書に基づいて生成を条件付けることでこれを軽減しようとしますが、検索情報の統合と忠実性は依然として課題です。RLHFは、精度に対する人間の好みに合わせてモデルの振る舞いを調整するのに役立ちますが、多様なドメイン全体で「真実」を定義し、一貫して強制することは複雑です。