← Каталог

· AI Engineer NYC 2026 Online Talks

Как по-настоящему оптимизировать расход токенов и сэкономить миллионы

How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival

Снижать стоимость агентных систем можно, но согласие дешёвой модели с продакшеном ничего не доказывает, пока не измерен собственный разброс продакшен-модели.

  • Замер потолка — продакшен-модель, запущенная трижды на одних входах, расходилась сама с собой примерно в 7% случаев, по словам спикера, поэтому 18% расхождения дешёвого кандидата надо читать на фоне этого потолка.
  • Prefix caching и поиск инструкций — структура промпта под prefix caching дешёвая в реализации; DSPy с оптимизатором GEPA сократил инструкции в синтетическом примере на 51%, заменив длинные примеры компактными правилами.
  • Теневая оценка — продакшен сравнивается с собой, кандидат с собой и две системы между собой на одних входах; разницу нужно очистить от внутреннего разброса каждой версии и разобрать вручную, чтобы отличить улучшения от регрессий и равноценных ответов.
  • Релиз по парным интервалам — доверительный интервал считается по чистому выигрышу на одних и тех же запросах, повторы одного диалога объединяются в группу; выкатывать можно, когда нижняя граница выше нуля и критичные категории запросов проверены отдельно, так как общее среднее может скрыть провал одной из них.

Кому полезно: тем, кто переводит агентов на меньшие модели и хочет заранее договориться о критериях релиза.

Доклад цитируется в статьях

На какие вопросы отвечает доклад

  • Как понять, что дешёвая модель не хуже дорогой, если даже прод отвечает по-разному?

    Спикер запускал продовую модель три раза на одних входах и получил расхождение с самой собой около 7%, а дешёвый кандидат расходился с продом в 18%. Поэтому сырое совпадение с продом не доказывает корректность, и нужен базовый разброс.

    ▶ 2:31Расхождение между кандидатами и проверка предела
  • Как сократить инструкции в промпте, не боясь сломать прод?

    Описать интерфейс, схему вывода и функцию оценки в DSPy и передать оптимизатору GEPA, который переписывает инструкции по историческим меткам. На синтетическом примере инструкционные токены сократились на 51% при том же контракте приложения.

    ▶ 4:01Prefix caching и оптимизация запросов
  • Можно ли научить маленькую модель повторять ответы большой на своих данных?

    Спикер применяет тот же цикл поиска промпта к маленькой модели, чтобы она совпадала с ответами большой на эталонном наборе. В ряде экспериментов это дало переобучение, и часть промптов не прошла в релиз.

    ▶ 5:56Меньшие модели и риски переобучения
  • Как проверить, что замена модели на дешёвую не сломала продукт?

    Теневой деплой на одних и тех же входах сравнивает прод с продом, кандидат с кандидатом и кандидат с продом. Из расхождения между версиями вычитается средний внутренний разброс каждой, и остаток показывает реальную разницу.

    ▶ 7:26Три сравнения в теневой оценке
  • Как отличить улучшение от регрессии, когда два ответа модели по-разному верны?

    Спикер вручную разбирает отличающиеся ответы и относит каждый к улучшению, регрессии или равно приемлемым вариантам. Сырое число расхождений при этом не считается доказательством ни одного из вариантов.

    ▶ 8:26Проверка человеком и парные критерии выпуска
  • Как понять, что прирост качества от новой версии промпта не случайный?

    Считать парный доверительный интервал на чистый прирост, группируя повторные запуски одних разговоров, и выпускать версию, если нижняя граница выше нуля. Критичные категории проверяются отдельно, чтобы общий средний результат не скрыл провал.

    ▶ 8:26Проверка человеком и парные критерии выпуска

Главы

Похожие доклады