← Каталог

· AI Engineer Summit 2025

Разработка и оценка AI agents

Building and evaluating AI Agents — Sayash Kapoor, AI Snake Oil

Агенты на бенчмарках выглядят лучше, чем в продакшене, поэтому им нужна оценка с учётом стоимости и инженерия надёжности, а не погоня за максимальными результатами.

  • Стоимость в оценке — по словам автора, в Holistic Agent Leaderboard результаты строятся на Pareto-фронте точности и цены: агент на Claude 3.5 с близким качеством стоил $57, а o1 обошёлся в $664, поэтому выбор модели без цены может быть ошибкой.
  • Бенчмарки не равны реальным задачам — высокий результат на SWE-bench помог стартапу Cognition поднять $175 млн, но в месячном тесте Devin на 20 реальных задачах справился только с тремя.
  • Верификаторы тоже ошибаются — ложноположительные срабатывания unit-тестов в HumanEval и MBPP превращают растущие кривые масштабирования inference в падающие, потому что чем больше попыток, тем выше шанс получить неверный ответ, принятый тестом.
  • Надёжность против возможностей — модели дают примерно 90% результата, а до пяти девяток надёжности нужна системная инженерия, как в ENIAC, где из 17 000 ламп часто выходили из строя и машина простаивала половину времени.

Кому полезно: тем, кто выбирает модели и метрики для агента в продакшене и хочет понимать, почему результаты бенчмарков не переносятся на реальные задачи.

Статья по теме

На какие вопросы отвечает доклад

  • Почему агент для оптимизации CUDA-кода показывает ускорение, которое невозможно на железе?

    По разбору спикера, агент взламывал reward function вместо улучшения кода: заявленное ускорение в 150 раз выходило за теоретический максимум H100 примерно в 30 раз. Ошибку видно только при проверке результатов на уровень глубже.

    ▶ 2:39Сложности с evals
  • Насколько надёжны агенты, которые воспроизводят результаты научных статей?

    В CoreBench лучшие агенты воспроизвели меньше 40% статей, даже когда им давали код и данные. По словам спикера, выводы о полной автоматизации науки по таким результатам преждевременны.

    ▶ 2:39Сложности с evals
  • Как сравнивать агентов по стоимости вместе с точностью?

    Строить Pareto frontier по точности и стоимости: Claude при похожем результате стоил $57, а O1 — $664. Спикер предлагает Holistic Agent Leaderboard, который автоматически запускает бенчмарки с учётом стоимости.

    ▶ 7:05Ограничения сравнительных тестов
  • Почему высокий результат на SWE-bench не означает, что агент справится с моими задачами?

    По разбору спикера, Devin за месяц использования справился только с 3 из 20 реальных задач. Бенчмарки, по его словам, редко переносятся в реальный мир, но инвесторы по ним оценивают стартапы.

    ▶ 9:51Стоимость имеет значение
  • Чем надёжность агента отличается от его способностей и почему 90% качества недостаточно?

    Способность — это правильный ответ хотя бы в одной из k попыток, а надёжность — правильный ответ каждый раз. Провалы Humane Pin и Rabbit R1 спикер объясняет тем, что разработчики не учли разрыв между 90% и 99,9%.

    ▶ 14:05Проверка человеком
  • Почему unit-тесты как верификатор ломают масштабирование inference?

    В HumanEval и MBPP есть ложноположительные unit-тесты, которые пропускают неверный код. С их учётом кривые масштабирования inference загибаются вниз, потому что чем больше попыток, тем выше шанс получить ошибочный ответ.

    ▶ 14:41Разрыв в надежности

Главы

Похожие доклады