환각화
AI의 맥락에서 환각은 믿을만한 것처럼 보이지만 사실상 잘못되거나 무의미한 결과를 생성하는 모델을 말합니다.
Hallucination은 AI 모델, 특히 대규모 언어 모델(LLM)의 개발 및 배포에서 중요한 과제입니다. 모델이 훈련 데이터나 제공된 컨텍스트에 근거하지 않은 정보를 생성할 때 발생합니다. 이는 조작된 사실, 왜곡된 정보 또는 내부적으로 일관성이 없는 출력으로 나타날 수 있습니다. Hallucination의 경향은 모델의 아키텍처, 훈련 데이터 및 수행 중인 특정 작업에 따라 다릅니다.
이러한 오류는 사소한 부정확성에서 완전히 조작된 세부 사항까지 다양할 수 있습니다. Hallucination의 심각성은 특히 의료 진단, 법률 연구 또는 금융 분석과 같이 정확성이 중요한 응용 분야에서 심각한 결과를 초래할 수 있습니다. 연구자들은 개선된 훈련 방법, 더 나은 데이터 큐레이션, 사실 확인 및 검증 메커니즘을 포함하여 Hallucination을 완화하기 위한 기술을 적극적으로 연구하고 있습니다.
graph LR
Center["환각화"]:::main
Pre_computer_science["computer-science"]:::pre --> Center
click Pre_computer_science "/terms/computer-science"
Rel_hallucination["hallucination"]:::related -.-> Center
click Rel_hallucination "/terms/hallucination"
Rel_artificial_intelligence["artificial-intelligence"]:::related -.-> Center
click Rel_artificial_intelligence "/terms/artificial-intelligence"
Rel_large_language_model["large-language-model"]:::related -.-> Center
click Rel_large_language_model "/terms/large-language-model"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 지식 테스트
🧒 5살도 이해할 수 있게 설명
AI 환각은 로봇이 마치 사실인 것처럼 자신 있게 말하지만, 사실은 지어낸 이야기거나 틀린 내용인 경우를 말해요. 마치 강아지가 날 수 있다고 말하는 것처럼요. 로봇이 들었던 이야기들을 뒤섞어서 그렇게 말하는 거죠.
🤓 Expert Deep Dive
AI 환각은 생성 모델의 실패 모드로, 모델이 학습한 내부 표현과 객관적인 현실 또는 사실적 정확성 간의 불일치에서 비롯됩니다. 아키텍처 측면에서, 다음 토큰 예측만으로 학습된 LLM은 학습 데이터의 잘못된 상관관계에 과적합되거나 지식 경계를 넘어서 외삽될 수 있습니다. 이는 그럴듯하지만 사실이 아닌 주장을 생성하거나, 존재하지 않는 개체 또는 이벤트를 만들어내거나, 정보를 잘못 귀속하는 형태로 나타날 수 있습니다. 환각을 완화하는 기법에는 다음이 포함됩니다. 1) 노이즈와 편향을 줄이기 위해 데이터 품질과 다양성을 개선합니다. 2) 검색 증강 생성(RAG)을 사용합니다. 이 기법은 모델이 응답을 생성하기 전에 외부 지식 기반에서 관련 정보를 검색하여 출력을 근거 있게 만듭니다. 3) 생성된 진술의 신뢰도를 추정하기 위해 불확실성 정량화 방법을 사용합니다. 4) 사실적 부정확성을 구체적으로 처벌하도록 인간 피드백(RLHF)으로 미세 조정합니다. 5) 논리 규칙 또는 지식 그래프로 생성 프로세스를 제약합니다. 과제는 환각 감소와 모델의 유창성, 창의성, 그리고 새롭거나 불분명한 프롬프트를 처리하는 능력을 유지하는 것 사이의 균형을 맞추는 데 있습니다.