← Статьи

Почему высокий балл бенчмарка не гарантирует, что агент надёжно работает?

Бенчмарк тестирует эрудицию голой модели в вакууме, а на бою проверяется живучесть всей системы: сбои внешних API, капризы песочниц, обрывы контекста и непредсказуемые запросы пользователей. К тому же лидерборд замеряет одну фиксированную связку и сильно скачет от запуска к запуску.

Опубликовано · по материалам 2 докладов

Почему высокий балл бенчмарка не гарантирует, что агент надёжно работает?

Бенчмарки и прод проверяют разное

Nishant Gupta, отвечающий за инфраструктуру в Meta, описывает классический парадокс: цифры на популярных бенчмарках бьют рекорды, а надежность сервиса у реальных клиентов остается лотереей. Причина проста: бенчмарк оценивает сырые способности базовой модели, а в проде работает сложная система.

Агент выполняет длинные цепочки действий. Он строит план, дергает функции, парсит выгрузки и ждет ответов от сервисов. Ни один синтетический тест не моделирует падение стороннего API, задержки сети, плавающий формат ответа и странные пользовательские опечатки. Чем выше автономность агента, тем глубже пропасть между красивым баллом и реальностью.

По наблюдениям Gupta, галлюцинации составляют лишь малую долю реальных сбоев. Системы сыпятся на потере контекста, сбоях поиска, ошибках парсинга аргументов инструментов и конфликтах между несколькими агентами. Академический тест одного промпта эти поломки игнорирует.

▶ 1:12Production evals для агентных AI-систем, смотреть с 1:12

«Бенчмарки измеряют возможности модели. Продакшен измеряет поведение системы.»

Benchmarks measure model capability. Production measures system behavior.

Nishant Gupta · AI Engineer World's Fair 2026 · смотреть с 1:12
▶ 1:16Production evals для агентных AI-систем, смотреть с 1:16

«Бенчмарк не учитывает сбой инструмента, отказ API, изменения контекста, разнообразие пользователей и долгие процессы.»

A benchmark doesn't capture tool failure, API outage, context changes, user variability, long-running workflows.

Nishant Gupta · AI Engineer World's Fair 2026 · смотреть с 1:16

Оценивается обвязка, а не только модель

Wolfram Ravenwolf, создатель независимого бенчмарка для агентов, подходит к вопросу с инженерной стороны. В тестах соревнуются не модели, а жестко заданные связки компонентов:

  • сам набор задач (другие тесты дадут совершенно иную картину);
  • конкретный движок инференса за API, параметры которого провайдер вправе обновить за кулисами;
  • агентный фреймворк и версия harness-обвязки;
  • лимиты процессора и памяти песочницы;
  • системные настройки и жесткость таймаутов.

Любое мелкое изменение превращает тест в новый эксперимент. Урежьте песочнице память, и агент начнет таймаутить или падать с ошибкой, хотя модель рассуждала безупречно. Конфигурация влияет и на бюджет: в тестах Ravenwolf прогон одной модели обошелся почти в тысячу долларов в одном фреймворке и всего в 282 доллара в другом.

Одиночный прогон ничего не доказывает

Ravenwolf прогоняет каждый эксперимент по пять раз. Вместо красивого среднего значения он смотрит на долю задач, которые агент решил во всех пяти попытках без единого сбоя. Разброс между удачным и провальным запусками впечатляет: в одном из замеров результат прыгал от 79% до 60%. В таких условиях средняя температура по больнице скрывает нестабильность.

В лидербордах принято публиковать одну триумфальную цифру. Сколько задач агент способен повторять надежно изо дня в день, из этой цифры не понять.

▶ 7:28От нуля до лидерборда: evals для agents, смотреть с 7:28

«Вы ранжируете не модель. Когда вы тестируете модель, это эта модель, но на деле вы тестируете конкретную конфигурацию.»

You're not ranking a model. If you are benchmarking a model, it's this model, but you are actually benchmarking a specific configuration.

Wolfram Ravenwolf · AI Engineer World's Fair 2026 · смотреть с 7:28
▶ 6:46От нуля до лидерборда: evals для agents, смотреть с 6:46

«Всегда делайте несколько прогонов. Один прогон - это лотерея.»

Always do multiple runs. A single run is benchmark lottery.

Wolfram Ravenwolf · AI Engineer World's Fair 2026 · смотреть с 6:46
▶ 8:17От нуля до лидерборда: evals для agents, смотреть с 8:17

«Поменяйте любую часть - и это уже другой эксперимент.»

Change any part, and it's a different experiment.

Wolfram Ravenwolf · AI Engineer World's Fair 2026 · смотреть с 8:17

Как выстроить надежную оценку

Gupta советует подходить к агентам с мерками инженеров по надежности, а не исследователей. Цель продакшена - предсказуемый результат, а не золотая медаль на лидерборде:

  • Гонять сквозные сценарии. Оценивать не ответы в чате, а корректность вызовов инструментов, расход токенов и доведение транзакции до конца.
  • Брать датасеты из продакшена. Трейсы реальных ошибок, эскалации на операторов и негативный пользовательский опыт дают самый честный срез.
  • Отслеживать тихий дрейф. Провайдеры обновляют веса моделей, разработчики меняют системные промпты, и качество проседает незаметно для тестов.
  • Фиксировать окружение и повторять замеры. Сравнивать можно только тесты с идентичными ресурсами и версиями библиотек.

Бенчмарки полезны как первичный фильтр при выборе модели. Но высокий балл говорит лишь о потенциале модели, а не о том, как собранная система выдержит нагрузку в реальном проекте.

▶ 2:57Production evals для агентных AI-систем, смотреть с 2:57

«Цель - не максимальный балл на бенчмарке, а стабильные результаты, на которые можно положиться.»

The goal is not maximizing the benchmark scores, the goal is to maximize dependable outcomes.

Nishant Gupta · AI Engineer World's Fair 2026 · смотреть с 2:57