← Каталог

· AI Engineer World's Fair 2024

Вывод GenAI-моделей в production: уроки лучших AI-команд мира

Productionizing GenAI Models – Lessons from the world's best AI teams

Надёжный LLM-продукт держится на системе оценки и пассивном трекинге экспериментов: без них не видно, дают ли смена модели и fine-tuning реальный прирост.

  • Оценка до любых улучшений — проверка «на глаз» не отличит точность 75% от 79%, поэтому смену модели без измерений нельзя оценить. По словам спикера, у его клиентов работают три уровня тестов: набор с 100% на критичных случаях, быстрый прогон за 20–30 секунд и большой набор, который запускается ночью.
  • Трекинг экспериментов в фоне — неудачные промпты и цепочки, которые не сработали, составляют знание команды, поэтому их нужно логировать автоматически, а не надеяться на записи людей.
  • Ступенчатое повышение точности — в проекте голосового ассистента на Llama 2 точность была 0%, промпт поднял её до 11%, правки по ошибкам до 75%, смена модели на Mistral до 79%, а QLoRA-дообучение на паре тысяч примеров, сгенерированных ChatGPT, до 98%. По словам спикера, на сборку ушло несколько недель, и большинство экспериментов провалилось.
  • Задержка как требование — для голосового интерфейса больше пары сотен миллисекунд мешают, поэтому выбирали небольшую модель, которая работает на дешёвом железе.

Кому полезно: тем, кто выводит LLM-приложения из демо в продакшен и не понимает, стало ли лучше после очередного изменения.

Статья по теме

Главы

Похожие доклады