컨텍스트 창
대규모 언어 모델(LLM)의 컨텍스트 창은 모델이 응답을 생성할 때 고려할 수 있는 텍스트의 양을 의미하며, 일관성 있는 텍스트를 이해하고 생성하는 능력에 영향을 미칩니다.
대규모 언어 모델(LLM)의 컨텍스트 창은 모델이 출력을 생성할 때 동시에 처리하고 고려할 수 있는 최대 토큰 수(단어, 하위 단어 또는 문자)를 정의합니다. 이 창은 모델의 단기 기억 역할을 하며, 입력 프롬프트와 이전에 생성된 텍스트를 포함합니다. 컨텍스트 창이 클수록 LLM은 대화나 문서에서 더 많은 정보를 유지할 수 있어, 일관성, 관련성 및 복잡한 지시나 긴 서사에 대한 이해도가 향상됩니다. 예를 들어, 4,096 토큰의 컨텍스트 창을 가진 모델은 약 3,000단어의 텍스트를 "기억"할 수 있습니다. LLM의 아키텍처, 특히 어텐션 메커니즘(예: 트랜스포머의 셀프 어텐션)은 이 창을 얼마나 효율적으로 사용할 수 있는지를 결정합니다. 트레이드오프가 존재합니다. 컨텍스트 창이 클수록 상당한 양의 계산 리소스(메모리 및 처리 능력)가 필요하며 추론 중 지연 시간이 증가할 수 있습니다. 또한, 모델은 매우 긴 컨텍스트의 중간에 있는 정보가 시작 부분이나 끝 부분의 정보보다 덜 효과적으로 활용되는 "중간에서 길을 잃는" 현상으로 어려움을 겪을 수 있습니다. 슬라이딩 윈도우 어텐션, 희소 어텐션 또는 검색 증강 생성(RAG)과 같은 기술은 이러한 한계를 완화하고 효과적인 컨텍스트 처리를 확장하기 위해 사용됩니다.
graph LR
Center["컨텍스트 창"]:::main
Pre_computer_science["computer-science"]:::pre --> Center
click Pre_computer_science "/terms/computer-science"
Rel_large_language_model["large-language-model"]:::related -.-> Center
click Rel_large_language_model "/terms/large-language-model"
Rel_hallucination_ai["hallucination-ai"]:::related -.-> Center
click Rel_hallucination_ai "/terms/hallucination-ai"
Rel_token["token"]:::related -.-> Center
click Rel_token "/terms/token"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 지식 테스트
🧒 5살도 이해할 수 있게 설명
[LLM](/ko/terms/llm)의 메모장과 같습니다. 답변을 쓸 때 현재 페이지에 맞는 것만 기억할 수 있습니다.
🤓 Expert Deep Dive
컨텍스트 창의 크기는 일반적으로 토큰으로 측정되며, LLM이 장거리 종속성이 필요한 작업을 수행하는 능력에 직접적인 영향을 미치는 중요한 아키텍처 매개변수입니다. 현대 LLM에서 지배적인 트랜스포머 기반 아키텍처는 셀프 어텐션 메커니즘을 사용합니다. 표준 셀프 어텐션의 계산 복잡성은 시퀀스 길이 N(컨텍스트 창 크기)에 대해 이차적으로($O(N^2)$) 확장되므로, 매우 큰 창은 메모리와 계산 측면에서 엄청나게 비쌉니다. 이로 인해 희소 어텐션(예: Longformer, BigBird), 선형 어텐션, 검색 증강 생성(RAG)과 같은 효율적인 어텐션 변형에 대한 연구가 촉진되었습니다. 예를 들어 RAG는 LLM에 외부 지식 검색 시스템을 추가하여 동적으로 관련 정보를 가져옴으로써 고정된 창을 넘어 접근 가능한 "컨텍스트"를 효과적으로 확장합니다. 위치 인코딩(예: 절대, 상대, 회전)과 같은 아키텍처 선택도 모델이 창 내에서 토큰 위치를 얼마나 잘 해석할 수 있는지에 영향을 미칩니다. 예외적인 경우로는 새로운 데이터로 미세 조정할 때의 치명적인 망각과 앞서 언급한 "중간에서 길을 잃는" 문제가 있으며, 이 경우 어텐션 점수가 프롬프트의 시작 또는 끝에서 멀리 떨어진 토큰에 대해 저하될 수 있습니다.