Что скрывается за API
What Lies Beneath the API — Benjamin Cowen, Modal
Специализированный продукт рано или поздно упирается в потолок фронтирных API, и тогда fine-tuning на собственных данных и evals становится оправданным.
- Признаки, что пора обучать свою модель — расходы на API растут быстрее того, что платят клиенты, а качество на evals перестаёт расти. По словам автора, без собранных данных и зрелых evals обучать модель рано.
- Логи харнесса как обучающие данные — если продукт уже оценивается и показывает, что работает, у команды есть данные для обучения через RL. Автор считает, что это уже сделано почти в любом продукте с агентом.
- Обучение без своего кластера — supervised fine-tuning и RL, по его словам, укладываются примерно в 300 строк Python на serverless-платформе. Гиперпараметры можно перебирать параллельными контейнерами и останавливать неперспективные.
- RL-rollouts в песочницах — клиенты, по словам автора, за последний квартал поднимали до 50–100 тысяч песочниц под RL. Примеры кода открыты.
Кому полезно: командам, у которых продукт на фронтирном API упёрся в стоимость или качество на своей задаче и есть логи и evals.
Статья по теме
Главы
Похожие доклады
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию
Эффективное обучение с подкреплением
AI Engineer Code 2025
Близко по содержанию
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию
Фронтир ИИ на настольных компьютерах
AI Engineer World's Fair 2026
Близко по содержанию

