Велика мовна модель (LLM)

Ймовірнісні текстові двигуни.

Нейромережа з величезною кількістю параметрів, здатна генерувати текст, вести діалог та вирішувати складні задачі.

        graph LR
  Center["Велика мовна модель (LLM)"]:::main
  Pre_transformer["transformer"]:::pre --> Center
  click Pre_transformer "/terms/transformer"
  Pre_deep_learning["deep-learning"]:::pre --> Center
  click Pre_deep_learning "/terms/deep-learning"
  Pre_natural_language_processing["natural-language-processing"]:::pre --> Center
  click Pre_natural_language_processing "/terms/natural-language-processing"
  Center --> Child_context_window["context-window"]:::child
  click Child_context_window "/terms/context-window"
  Center --> Child_hallucination_ai["hallucination-ai"]:::child
  click Child_hallucination_ai "/terms/hallucination-ai"
  Rel_prompt_engineering["prompt-engineering"]:::related -.-> Center
  click Rel_prompt_engineering "/terms/prompt-engineering"
  Rel_model_distillation["model-distillation"]:::related -.-> Center
  click Rel_model_distillation "/terms/model-distillation"
  Rel_multimodal_ai["multimodal-ai"]:::related -.-> Center
  click Rel_multimodal_ai "/terms/multimodal-ai"
  classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
  classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
  classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
  classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
  linkStyle default stroke:#4b5563,stroke-width:2px;

      

🧒 Простими словами

📚 Уявіть супер-розумну книгу, яка прочитала майже весь інтернет. Оскільки вона бачила мільярди прикладів того, як люди спілкуються, вона може розмовляти з вами на будь-яку тему, писати твори або навіть вирішувати завдання, просто вгадуючи найбільш підходящі слова.

🤓 Expert Deep Dive

Навчання LLM складається з двох етапів: Pre-training (вивчення мови на основі інтернету) та Alignment (наприклад, через RLHF — навчання з людським фідбеком для безпеки). Головною проблемою залишаються галюцинації — коли модель впевнено генерує неправдиву інформацію. Для їх усунення використовують RAG (генерацію з пошуком у зовнішніх джерелах).

🔗 Пов'язані терміни

Попередні знання:
Щоб дізнатися більше:

📚 Джерела