환각화
AI의 맥락에서 환각은 믿을만한 것처럼 보이지만 사실상 잘못되거나 무의미한 결과를 생성하는 모델을 말합니다.
Hallucination은 AI 모델, 특히 대규모 언어 모델(LLM)의 개발 및 배포에서 중요한 과제입니다. 모델이 훈련 데이터나 제공된 컨텍스트에 근거하지 않은 정보를 생성할 때 발생합니다. 이는 조작된 사실, 왜곡된 정보 또는 내부적으로 일관성이 없는 출력으로 나타날 수 있습니다. Hallucination의 경향은 모델의 아키텍처, 훈련 데이터 및 수행 중인 특정 작업에 따라 다릅니다.
이러한 오류는 사소한 부정확성에서 완전히 조작된 세부 사항까지 다양할 수 있습니다. Hallucination의 심각성은 특히 의료 진단, 법률 연구 또는 금융 분석과 같이 정확성이 중요한 응용 분야에서 심각한 결과를 초래할 수 있습니다. 연구자들은 개선된 훈련 방법, 더 나은 데이터 큐레이션, 사실 확인 및 검증 메커니즘을 포함하여 Hallucination을 완화하기 위한 기술을 적극적으로 연구하고 있습니다.
graph LR
Center["환각화"]:::main
Pre_physics["physics"]:::pre --> Center
click Pre_physics "/terms/physics"
Rel_hallucination_ai["hallucination-ai"]:::related -.-> Center
click Rel_hallucination_ai "/terms/hallucination-ai"
Rel_artificial_intelligence["artificial-intelligence"]:::related -.-> Center
click Rel_artificial_intelligence "/terms/artificial-intelligence"
Rel_inference["inference"]:::related -.-> Center
click Rel_inference "/terms/inference"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 지식 테스트
🧒 5살도 이해할 수 있게 설명
아주 똑똑한 앵무새를 상상해 보세요. 뭐든지 다 말할 수 있지만, 사실은 자기가 들은 패턴을 그대로 따라 말하는 거지, 진짜 이해해서가 아니라서 가끔은 없는 사실을 지어내기도 해요.
🤓 Expert Deep Dive
생성형 AI의 환각 현상은 확률적 시퀀스 생성 모델의 내재적 한계에서 비롯됩니다. 이러한 모델은 진실성보다는 가능성을 최적화합니다. 모호한 프롬프트, 분포 외 데이터, 또는 지식 격차에 직면했을 때, 학습된 통계적 관계에 기반하여 내삽하거나 외삽하여 그럴듯하게 들리지만 사실이 아닌 출력을 생성할 수 있습니다. 아키텍처적으로 트랜스포머 기반 LLM은 어텐션 메커니즘을 통해 학습 데이터의 잘못된 상관관계에 과도하게 집중하는 경우가 있습니다. 취약점으로는 특정 환각을 유발하도록 설계된 적대적 프롬프트나 종종 제대로 보정되지 않은 모델 신뢰도 점수의 악용 등이 있습니다. RAG와 같은 기법은 검색된 사실 문서에 기반하여 생성을 조건화함으로써 이를 완화하려 하지만, 검색된 정보의 통합 및 충실도는 여전히 과제로 남아 있습니다. RLHF는 모델의 행동을 정확성에 대한 인간의 선호도에 맞추는 데 도움이 될 수 있지만, 다양한 영역에 걸쳐 '진실'을 정의하고 일관되게 강제하는 것은 복잡합니다.