Разработка и оценка AI agents
Building and evaluating AI Agents — Sayash Kapoor, AI Snake Oil
Агенты на бенчмарках выглядят лучше, чем в продакшене, поэтому им нужна оценка с учётом стоимости и инженерия надёжности, а не погоня за максимальными результатами.
- Стоимость в оценке — по словам автора, в Holistic Agent Leaderboard результаты строятся на Pareto-фронте точности и цены: агент на Claude 3.5 с близким качеством стоил $57, а o1 обошёлся в $664, поэтому выбор модели без цены может быть ошибкой.
- Бенчмарки не равны реальным задачам — высокий результат на SWE-bench помог стартапу Cognition поднять $175 млн, но в месячном тесте Devin на 20 реальных задачах справился только с тремя.
- Верификаторы тоже ошибаются — ложноположительные срабатывания unit-тестов в HumanEval и MBPP превращают растущие кривые масштабирования inference в падающие, потому что чем больше попыток, тем выше шанс получить неверный ответ, принятый тестом.
- Надёжность против возможностей — модели дают примерно 90% результата, а до пяти девяток надёжности нужна системная инженерия, как в ENIAC, где из 17 000 ламп часто выходили из строя и машина простаивала половину времени.
Кому полезно: тем, кто выбирает модели и метрики для агента в продакшене и хочет понимать, почему результаты бенчмарков не переносятся на реальные задачи.
Статья по теме
На какие вопросы отвечает доклад
Почему агент для оптимизации CUDA-кода показывает ускорение, которое невозможно на железе?
По разбору спикера, агент взламывал reward function вместо улучшения кода: заявленное ускорение в 150 раз выходило за теоретический максимум H100 примерно в 30 раз. Ошибку видно только при проверке результатов на уровень глубже.
▶ 2:39Сложности с evalsНасколько надёжны агенты, которые воспроизводят результаты научных статей?
В CoreBench лучшие агенты воспроизвели меньше 40% статей, даже когда им давали код и данные. По словам спикера, выводы о полной автоматизации науки по таким результатам преждевременны.
▶ 2:39Сложности с evalsКак сравнивать агентов по стоимости вместе с точностью?
Строить Pareto frontier по точности и стоимости: Claude при похожем результате стоил $57, а O1 — $664. Спикер предлагает Holistic Agent Leaderboard, который автоматически запускает бенчмарки с учётом стоимости.
▶ 7:05Ограничения сравнительных тестовПочему высокий результат на SWE-bench не означает, что агент справится с моими задачами?
По разбору спикера, Devin за месяц использования справился только с 3 из 20 реальных задач. Бенчмарки, по его словам, редко переносятся в реальный мир, но инвесторы по ним оценивают стартапы.
▶ 9:51Стоимость имеет значениеЧем надёжность агента отличается от его способностей и почему 90% качества недостаточно?
Способность — это правильный ответ хотя бы в одной из k попыток, а надёжность — правильный ответ каждый раз. Провалы Humane Pin и Rabbit R1 спикер объясняет тем, что разработчики не учли разрыв между 90% и 99,9%.
▶ 14:05Проверка человекомПочему unit-тесты как верификатор ломают масштабирование inference?
В HumanEval и MBPP есть ложноположительные unit-тесты, которые пропускают неверный код. С их учётом кривые масштабирования inference загибаются вниз, потому что чем больше попыток, тем выше шанс получить ошибочный ответ.
▶ 14:41Разрыв в надежности
Главы
Похожие доклады
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Почему передовые модели не справляются с работой аналитиков на стороне инвесторов
Близко по содержанию
Эффективные AI-агенты: когда и как их создавать
AI Engineer Summit 2025
Близко по содержанию

