← Каталог

· AI Engineer World's Fair 2026

Ваша fine-tuned модель — техдолг: карточный домик с ROI 50×

Your Fine-Tuned Model Is Tech Debt: A 50x ROI House of Cards

Fine-tuned классификатор интентов в Lease End превратился в техдолг, а переход на агентный фреймворк с промптами в Markdown, по словам автора, сократил цикл исправления с недели до часа.

  • Цена каждого переобучения — исправление требовало сбора примеров, синтетической генерации, ручной проверки и разметки, около недели на цикл, при этом сам fine-tuning занимал около часа. Починка одного класса часто ломала уже работавшие.
  • Промпты и навыки в S3 — системный промпт и навыки лежат в Markdown-файлах, правки проверяют на накопленном наборе и выкатывают загрузкой файлов в S3.
  • Стоимость за сообщение выросла — модели стали дороже, но, по словам автора, общая стоимость снизилась, точность выросла, а провайдера можно сменить между OpenAI и Anthropic.
  • Fine-tuning как последний вариант — автор советует к нему прибегать только тогда, когда frontier-модели не решают задачу, и учитывать поддержку и обновления на всём сроке жизни системы.

Кому полезно: тем, кто решает, стоит ли дообучать модель для классификации или маршрутизации в продакшене.

Статья по теме

Главы

Похожие доклады