사고의 연쇄 (Chain of Thought)
사고의 연쇄(CoT) 프롬프팅은 LLM의 추론 능력을 향상시키기 위해 중간 추론 단계를 거치도록 유도하는 기법입니다.
사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 설계된 고급 기법입니다. CoT 프롬프팅은 직접적인 답변을 요구하는 대신, 최종 결과로 이어지는 일련의 중간 추론 단계를 생성하도록 모델을 유도합니다. 이는 일반적으로 프롬프트에 단계별 추론 과정을 보여주는 몇 가지 예시를 제공하거나, 단순히 사용자 쿼리에 "단계별로 생각해 봅시다"와 같은 문구를 추가하여 달성됩니다. 근본 원리는 사고 과정을 외부화함으로써 LLM이 복잡한 문제를 더 잘 분해하고, 자체 논리적 진행 상황을 추적하며, 오류 발생 가능성을 줄일 수 있다는 것입니다. 이 방법은 산술, 상식 및 기호 추론이 필요한 작업에서 성능이 크게 향상되었습니다. 단점은 생성된 출력의 길이가 늘어나고 확장된 생성 프로세스로 인해 잠재적으로 더 높은 컴퓨팅 비용이 발생한다는 것입니다. 그러나 향상된 정확성과 해석 가능성은 종종 이러한 단점을 상쇄하므로, CoT는 복잡한 문제 해결 시나리오에서 LLM을 활용하는 데 유용한 도구가 됩니다.
graph LR
Center["사고의 연쇄 (Chain of Thought)"]:::main
Pre_philosophy["philosophy"]:::pre --> Center
click Pre_philosophy "/terms/philosophy"
Rel_prompt_engineering["prompt-engineering"]:::related -.-> Center
click Rel_prompt_engineering "/terms/prompt-engineering"
Rel_function_calling["function-calling"]:::related -.-> Center
click Rel_function_calling "/terms/function-calling"
Rel_machine_learning["machine-learning"]:::related -.-> Center
click Rel_machine_learning "/terms/machine-learning"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 지식 테스트
🧒 5살도 이해할 수 있게 설명
수학 문제를 풀 때 친구에게 답만 말하는 대신 풀이 과정을 보여달라고 하는 것과 같습니다. 이렇게 하면 더 명확하게 생각하고 올바른 답을 얻는 데 도움이 됩니다.
🤓 Expert Deep Dive
사고의 연쇄(Chain-of-Thought) 프롬프팅은 명시적인 중간 추론 단계를 도입함으로써 LLM의 추론 과정을 근본적으로 변경합니다. 아키텍처 측면에서, 이는 트랜스포머 모델의 자기회귀적 특성을 활용하여 논리적 단계를 나타내는 토큰 시퀀스 생성을 장려합니다. 이는 LLM이 최종 '출력'을 생성하기 전에 추론 단계의 '프로그램'을 생성하는 암묵적 프로그램 합성 또는 구조화된 예측의 한 형태로 볼 수 있습니다. 효과는 모델이 이전에 생성된 토큰에 후속 토큰 생성을 조건화하여 동적 계산 그래프를 효과적으로 생성하는 능력에서 비롯됩니다. 트레이드오프에는 지연 시간 증가 및 토큰 소비 증가가 포함됩니다. 중간 단계에 결함이 있으면 구조화된 접근 방식에도 불구하고 '쓰레기 입력, 쓰레기 출력'으로 이어질 수 있는 취약점이 발생할 수 있습니다. 연구에서는 CoT를 자동으로 생성하고, 단계의 세분성을 최적화하며, 생성된 연쇄의 논리적 일관성을 검증하는 방법을 탐구합니다.