· AI Engineer World's Fair 2024
Вывод GenAI-моделей в production: уроки лучших AI-команд мира
Productionizing GenAI Models – Lessons from the world's best AI teams
Надёжный LLM-продукт держится на системе оценки и пассивном трекинге экспериментов: без них не видно, дают ли смена модели и fine-tuning реальный прирост.
- Оценка до любых улучшений — проверка «на глаз» не отличит точность 75% от 79%, поэтому смену модели без измерений нельзя оценить. По словам спикера, у его клиентов работают три уровня тестов: набор с 100% на критичных случаях, быстрый прогон за 20–30 секунд и большой набор, который запускается ночью.
- Трекинг экспериментов в фоне — неудачные промпты и цепочки, которые не сработали, составляют знание команды, поэтому их нужно логировать автоматически, а не надеяться на записи людей.
- Ступенчатое повышение точности — в проекте голосового ассистента на Llama 2 точность была 0%, промпт поднял её до 11%, правки по ошибкам до 75%, смена модели на Mistral до 79%, а QLoRA-дообучение на паре тысяч примеров, сгенерированных ChatGPT, до 98%. По словам спикера, на сборку ушло несколько недель, и большинство экспериментов провалилось.
- Задержка как требование — для голосового интерфейса больше пары сотен миллисекунд мешают, поэтому выбирали небольшую модель, которая работает на дешёвом железе.
Кому полезно: тем, кто выводит LLM-приложения из демо в продакшен и не понимает, стало ли лучше после очередного изменения.
Статья по теме
Главы
Похожие доклады
Кривая зрелости GenAI (или: вам, вероятно, не нужен fine-tuning)
AI Engineer World's Fair 2024
Близко по содержанию
Оценка LLM
AI Engineer World's Fair 2024
Близко по содержанию
7 привычек эффективной оценки генеративного ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Практическое руководство по запуску ИИ-агентов в корпоративном масштабе
AI Engineer Europe 2026
Близко по содержанию

