Как торговая компания внедряет новые AI-модели в день их выхода
How a Trading Firm Ships New AI Models the Same Day - Noyan Tokgozoglu, Optiver
В Optiver новые frontier-модели идут в продакшен в день релиза: их проверяют на golden set трейдеров и пускают через единый inference gateway.
- Оценка на golden set до выкатки — для каждой новой модели прогоняют бенчмарки торговых команд, потому что распределение внутренних данных отличается от внешних. Результаты сразу видны команде, которая решает, нужна ли модель в работе.
- Расходы под контролем по умолчанию — по словам спикера, новые сессии начинались примерно с 200 тысяч токенов контекста. Помогли MCP tool search, CLI-обёртки над MCP, настройка кеша и перенос материалов из большого system prompt в базу знаний; команды сами задают алерты и лимиты, и многие выбирают разумные значения.
- Лог инструментов для оценки — все входы и выходы tool calls пишутся в систему оценки. Восстановить состояние внешних систем на момент вызова просто для торговых бэктестов, но почти невозможно для Slack, поэтому каждому воспроизведению присваивается уровень доверия.
- Узкие версионированные агенты вместо одного большого — вместо агента, который умеет всё, спикер предлагает набор агентов под отдельные задачи, связанных через agent gateway. Такие агенты проще измерять и менять по одному.
Кому полезно: тем, кто выводит агентов с инструментами в продакшен и считает расходы на токены в команде.
Статья по теме
Главы
Похожие доклады
Счёт за ИИ слишком велик: основы токеномики
Близко по содержанию
Как OpenAI создала ChatGPT для банкиров и аналитиков
Близко по содержанию
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию

