← Каталог

· AI Engineer Europe 2026

Что скрывается за API

What Lies Beneath the API — Benjamin Cowen, Modal

Специализированный продукт рано или поздно упирается в потолок фронтирных API, и тогда fine-tuning на собственных данных и evals становится оправданным.

  • Признаки, что пора обучать свою модель — расходы на API растут быстрее того, что платят клиенты, а качество на evals перестаёт расти. По словам автора, без собранных данных и зрелых evals обучать модель рано.
  • Логи харнесса как обучающие данные — если продукт уже оценивается и показывает, что работает, у команды есть данные для обучения через RL. Автор считает, что это уже сделано почти в любом продукте с агентом.
  • Обучение без своего кластера — supervised fine-tuning и RL, по его словам, укладываются примерно в 300 строк Python на serverless-платформе. Гиперпараметры можно перебирать параллельными контейнерами и останавливать неперспективные.
  • RL-rollouts в песочницах — клиенты, по словам автора, за последний квартал поднимали до 50–100 тысяч песочниц под RL. Примеры кода открыты.

Кому полезно: командам, у которых продукт на фронтирном API упёрся в стоимость или качество на своей задаче и есть логи и evals.

Статья по теме

Главы

Похожие доклады