· AI Engineer NYC 2026 Online Talks
Как по-настоящему оптимизировать расход токенов и сэкономить миллионы
How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival
Снижать стоимость агентных систем можно, но согласие дешёвой модели с продакшеном ничего не доказывает, пока не измерен собственный разброс продакшен-модели.
- Замер потолка — продакшен-модель, запущенная трижды на одних входах, расходилась сама с собой примерно в 7% случаев, по словам спикера, поэтому 18% расхождения дешёвого кандидата надо читать на фоне этого потолка.
- Prefix caching и поиск инструкций — структура промпта под prefix caching дешёвая в реализации; DSPy с оптимизатором GEPA сократил инструкции в синтетическом примере на 51%, заменив длинные примеры компактными правилами.
- Теневая оценка — продакшен сравнивается с собой, кандидат с собой и две системы между собой на одних входах; разницу нужно очистить от внутреннего разброса каждой версии и разобрать вручную, чтобы отличить улучшения от регрессий и равноценных ответов.
- Релиз по парным интервалам — доверительный интервал считается по чистому выигрышу на одних и тех же запросах, повторы одного диалога объединяются в группу; выкатывать можно, когда нижняя граница выше нуля и критичные категории запросов проверены отдельно, так как общее среднее может скрыть провал одной из них.
Кому полезно: тем, кто переводит агентов на меньшие модели и хочет заранее договориться о критериях релиза.
Доклад цитируется в статьях
На какие вопросы отвечает доклад
Как понять, что дешёвая модель не хуже дорогой, если даже прод отвечает по-разному?
Спикер запускал продовую модель три раза на одних входах и получил расхождение с самой собой около 7%, а дешёвый кандидат расходился с продом в 18%. Поэтому сырое совпадение с продом не доказывает корректность, и нужен базовый разброс.
▶ 2:31Расхождение между кандидатами и проверка пределаКак сократить инструкции в промпте, не боясь сломать прод?
Описать интерфейс, схему вывода и функцию оценки в DSPy и передать оптимизатору GEPA, который переписывает инструкции по историческим меткам. На синтетическом примере инструкционные токены сократились на 51% при том же контракте приложения.
▶ 4:01Prefix caching и оптимизация запросовМожно ли научить маленькую модель повторять ответы большой на своих данных?
Спикер применяет тот же цикл поиска промпта к маленькой модели, чтобы она совпадала с ответами большой на эталонном наборе. В ряде экспериментов это дало переобучение, и часть промптов не прошла в релиз.
▶ 5:56Меньшие модели и риски переобученияКак проверить, что замена модели на дешёвую не сломала продукт?
Теневой деплой на одних и тех же входах сравнивает прод с продом, кандидат с кандидатом и кандидат с продом. Из расхождения между версиями вычитается средний внутренний разброс каждой, и остаток показывает реальную разницу.
▶ 7:26Три сравнения в теневой оценкеКак отличить улучшение от регрессии, когда два ответа модели по-разному верны?
Спикер вручную разбирает отличающиеся ответы и относит каждый к улучшению, регрессии или равно приемлемым вариантам. Сырое число расхождений при этом не считается доказательством ни одного из вариантов.
▶ 8:26Проверка человеком и парные критерии выпускаКак понять, что прирост качества от новой версии промпта не случайный?
Считать парный доверительный интервал на чистый прирост, группируя повторные запуски одних разговоров, и выпускать версию, если нижняя граница выше нуля. Критичные категории проверяются отдельно, чтобы общий средний результат не скрыл провал.
▶ 8:26Проверка человеком и парные критерии выпуска
Главы
Похожие доклады
Счёт за ИИ слишком велик: основы токеномики
Близко по содержанию
Побеждаем RL с помощью рефлексии: GEPA и Optimize Anything
AI Engineer World's Fair 2026
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию

