Тонкая настройка (Fine-tuning)

Fine-tuning — это процесс взятия предварительно обученной модели машинного обучения и дальнейшего обучения ее на конкретном наборе данных для улучшения ее производительности в определенной задаче.

Fine-tuning использует transfer learning, адаптируя модель, первоначально обученную на широком наборе данных (например, большая языковая модель, обученная на огромном корпусе текста), к более специализированной задаче или набору данных. Это включает в себя корректировку весов модели с использованием новых данных, часто с меньшей скоростью обучения, чем при первоначальном обучении. Fine-tuning позволяет достичь высокой производительности с меньшим объемом данных и вычислительными ресурсами по сравнению с обучением модели с нуля.

        graph LR
  Center["Тонкая настройка (Fine-tuning)"]:::main
  Pre_machine_learning["machine-learning"]:::pre --> Center
  click Pre_machine_learning "/terms/machine-learning"
  Pre_large_language_model["large-language-model"]:::pre --> Center
  click Pre_large_language_model "/terms/large-language-model"
  Center --> Child_lora["lora"]:::child
  click Child_lora "/terms/lora"
  Center --> Child_rlhf["rlhf"]:::child
  click Child_rlhf "/terms/rlhf"
  Rel_front_running["front-running"]:::related -.-> Center
  click Rel_front_running "/terms/front-running"
  Rel_inference["inference"]:::related -.-> Center
  click Rel_inference "/terms/inference"
  classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
  classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
  classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
  classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
  linkStyle default stroke:#4b5563,stroke-width:2px;

      

🧠 Проверка знаний

1 / 3

🧒 Простыми словами

Представьте предварительно обученную модель как выпускника колледжа, который знает понемногу обо всем. Тонкая настройка — это как отправить этого выпускника в медицинскую школу. Он использует свои общие навыки обучения, чтобы стать врачом-специалистом.

🤓 Expert Deep Dive

Полная настройка обновляет все веса модели. Parameter-Efficient Fine-Tuning (PEFT), например LoRA, замораживает основные веса и тренирует только малые адаптеры, что экономит VRAM. RLHF используется для выравнивания моделей с человеческими ценностями.

🔗 Связанные термины

Предварительные знания:
Чтобы узнать больше:

📚 Источники