Как мы масштабировали 500 млн AI agents в production силами двух инженеров
How we scaled 500m AI agents in production with 2 engineers
Fine-tuned 8B-модель на продакшен-данных заменила GPT-4 в агентном извлечении финансовых данных и, по словам авторов, сняла проблемы с ценой и задержкой.
- Замер доли ошибок на своей задаче — GPT-4o ошибался примерно в 11% случаев, o3-mini в 4%, но o3-mini был дороже и медленнее: около пяти секунд против одной у GPT-4o. Авторы советуют сравнивать модели простыми скриптами на собственных данных.
- Дообучение меньшей модели — Llama 3.1 на 8 млрд параметров дообучили на продакшен-входах, выходы для которых сгенерировала o3-mini. По словам авторов, она уложилась в порог около 9% ошибок, нужный клиенту, и заметно снизила стоимость.
- Задержка от размера модели — меньшая модель отвечает быстрее, и её можно развернуть в собственной инфраструктуре рядом с кодом приложения, убрав сетевую задержку. Требование для реального времени было меньше 200 мс.
- Порог стоимости на старте — GPT-4 стоил $70 000 за первый месяц в продакшене, а промпты для разных случаев ломали друг друга. Дообучению помогло то, что данные для обучения уже были в продакшене.
Кому полезно: тем, кто запускает агентные пайплайны с большим объёмом извлечения структурированных данных из неструктурированных и думает, стоит ли уходить с крупной API-модели.
Статья по теме
Главы
Ещё доклады: Kyle Corbitt
Страница спикера →Кривая зрелости GenAI (или: вам, вероятно, не нужен fine-tuning)
AI Engineer World's Fair 2024
Как обучить агента: создание надёжных агентов с помощью RL
AI Engineer World's Fair 2025
Похожие доклады
Маленькие модели, большие результаты: обучение финансового агента менее чем за $500
AI Engineer World's Fair 2026
Близко по содержанию
Практическое руководство по запуску ИИ-агентов в корпоративном масштабе
AI Engineer Europe 2026
Близко по содержанию
Ваша fine-tuned модель — техдолг: карточный домик с ROI 50×
AI Engineer World's Fair 2026
Близко по содержанию


