Інференс / Виведення (Inference)
Інференс — це процес використання вже навченої моделі ШІ для отримання результату на основі нових даних.
Metrics: TTFT (Time to First Token), Tokens per second. Optimization: Distillation, Quantization, KV Caching.
graph LR
Center["Інференс / Виведення (Inference)"]:::main
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 Простими словами
Уяви, що ти вивчив усі правила дорожнього руху. Це — навчання. А коли ти їдеш на велосипеді й бачиш червоне світло і зупиняєшся — це інференс. Ти просто використовуєш те, що вже знаєш, у реальному житті.
🤓 Expert Deep Dive
На технічному рівні інференс — це операції множення матриць з фіксованими вагами. Оскільки ваги не змінюються, цей процес можна сильно оптимізувати для швидкості. Наприклад, 'Квантування' дозволяє зменшити розмір моделі в 4 рази майже без втрати якості. В сучасних великих мовних моделях (LLM) головною метрикою інференсу є 'TTFT' (час до отримання першого слова) та загальна швидкість генерації тексту (токенів на секунду).