Bağlam Penceresi
Büyük bir dil modelindeki (LLM) bağlam penceresi, modelin bir yanıt üretirken dikkate alabileceği metin miktarını ifade eder ve bu da metni anlama ve tutarlı metin üretme yeteneğini etkiler.
Büyük Dil Modelinin (LLM) bağlam penceresi, modelin çıktı üretirken aynı anda işleyip dikkate alabileceği maksimum jeton (kelimeler, alt kelimeler veya karakterler) sayısını tanımlar. Bu pencere, modelin kısa süreli belleği olarak işlev görür ve girdi istemini ve daha önce üretilmiş herhangi bir metni kapsar. Daha büyük bir bağlam penceresi, LLM'nin konuşmadan veya belgeden daha fazla bilgiyi saklamasına olanak tanır, bu da gelişmiş tutarlılık, alaka düzeyi ve karmaşık talimatların veya uzun anlatıların anlaşılmasına yol açar. Örneğin, 4.096 jetonluk bir bağlam penceresine sahip bir model, yaklaşık 3.000 kelimeye kadar metni "hatırlayabilir". LLM'nin mimarisi, özellikle dikkat mekanizması (örneğin, Transformer'lardaki kendi kendine dikkat), bu pencereyi ne kadar verimli kullanabileceğini belirler. Ödünleşimler mevcuttur: daha büyük bağlam pencereleri önemli ölçüde daha fazla hesaplama kaynağı (bellek ve işlem gücü) gerektirir ve çıkarım sırasında gecikme süresinin artmasına neden olabilir. Ayrıca, modeller "ortada kaybolma" olgusuyla mücadele edebilir; bu durumda çok uzun bir bağlamın ortasındaki bilgiler, başlangıç veya sondaki bilgilere göre daha az etkili bir şekilde kullanılır. Kayar pencere dikkati, seyrek dikkat veya alma ile zenginleştirilmiş üretim (RAG) gibi teknikler, bu sınırlamaları azaltmak ve etkili bağlam işlemeyi genişletmek için kullanılır.
graph LR
Center["Bağlam Penceresi"]:::main
Pre_computer_science["computer-science"]:::pre --> Center
click Pre_computer_science "/terms/computer-science"
Rel_large_language_model["large-language-model"]:::related -.-> Center
click Rel_large_language_model "/terms/large-language-model"
Rel_hallucination_ai["hallucination-ai"]:::related -.-> Center
click Rel_hallucination_ai "/terms/hallucination-ai"
Rel_token["token"]:::related -.-> Center
click Rel_token "/terms/token"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 Bilgi testi
🧒 5 yaşındaki gibi açıkla
Bu, [LLM](/tr/terms/llm)'nin not defteri gibidir; cevabını yazarken mevcut sayfaya sığanları hatırlayabilir.
🤓 Expert Deep Dive
Genellikle jetonlarla ölçülen bağlam penceresinin boyutu, bir LLM'nin uzun mesafeli bağımlılıklar gerektiren görevleri yerine getirme yeteneğini doğrudan etkileyen kritik bir mimari parametredir. Modern LLM'lerde baskın olan Transformer tabanlı mimariler, kendi kendine dikkat mekanizmalarını kullanır. Standart kendi kendine dikkatin hesaplama karmaşıklığı, dizi uzunluğu N (bağlam penceresi boyutu) ile karesel olarak ($O(N^2)$) ölçeklenir, bu da çok büyük pencereleri bellek ve hesaplama açısından karşılanamaz derecede pahalı hale getirir. Bu durum, seyrek dikkat (örneğin, Longformer, BigBird), doğrusal dikkat ve alma ile zenginleştirilmiş üretim (RAG) gibi verimli dikkat varyantları üzerine araştırmaları teşvik etmiştir. Örneğin RAG, LLM'yi harici bir bilgi alma sistemi ile zenginleştirerek, ilgili bilgileri dinamik olarak alarak etkili bir şekilde "bağlamını" sabit pencerenin ötesine genişletir. Konumsal kodlamalar (örneğin, mutlak, göreceli, döner) gibi mimari seçimler de modelin pencere içindeki jeton konumlarını ne kadar iyi yorumlayabileceğini etkiler. Uç durumlar arasında, yeni veriler üzerinde ince ayar yapıldığında ortaya çıkan katastrofik unutma ve yukarıda belirtilen "ortada kaybolma" sorunu yer alır; bu durumda dikkat puanları, istemin başlangıcından veya sonundan uzakta konumlandırılmış jetonlar için düşebilir.