· AI Engineer World's Fair 2026
Создание агентов: важнее надёжный минимум, чем рекордный максимум
Designing Agents (The Floor Is the Frontier)
Для продакшен-агентов важнее поднять нижнюю границу надёжности, чем наращивать пиковые возможности, и мерить стоит то, что разрушает доверие пользователей.
- Evals как код — тесты, привязанные к конкретному инструменту, ломаются при смене модели или harness, поэтому спикер советует хранить evals в коде и запускать их локально, как unit и end-to-end тесты.
- Кластеры не равны проблемам — кластеризация трейсов полезна для разового анализа, но плохо отслеживается во времени. Для каждой проблемы нужно знать, когда она началась и какая доля пользователей затронута: по словам спикера, это отделяет три пользователя от ста тысяч.
- Расследование вместо поиска аномалий — агенты плохо находят аномалии сами, зато хорошо разбирают уже найденные сигналы, например всплеск частоты отдельного слова в трейсах. Такие сигналы спикер советует сначала выделять детерминированными методами.
- Code mode для трейсов — классификаторы по трейсам можно писать как код, запускать в sandbox и гонять на продакшен-объёме, а не только применять code mode к MCP.
Кому полезно: тем, кто выводит агентов в продакшен и разбирает их сбои по трейсам.
Статья по теме
На какие вопросы отвечает доклад
Почему evals, привязанные к конкретным инструментам агента, ломаются после смены модели или харнесса?
По словам спикера, такие наборы ломаются при смене модели или харнесса: после перехода на Claude Code CLI около 80% evals перестали работать. Вкладываться в них на месяцы не стоит, потому что изменения продолжатся.
▶ 3:07Почему оценки агентов под конкретные инструменты становятся хрупкимиКак поднять нижнюю границу качества агента, а не гнаться за бенчмарками?
Спикер предлагает сначала закрывать floor, то есть худшее, что может сделать агент: удалить данные или отправить клиенту испорченное письмо. Такие сбои разрушают доверие пользователей, поэтому их чинят раньше, чем наращивают пиковые возможности.
▶ 8:04Терминология оценки, надзор человека и поведение агента в худшем случаеКак находить скрытые проблемы агента и понимать, когда они начались и сколько пользователей затронуто?
Для каждой проблемы нужны две вещи: дата начала и доля затронутых пользователей. Проблема, появившаяся два дня назад, сразу ставит вопрос, что изменилось: модель, зависимость или что-то ниже по цепочке.
▶ 12:31Локальное тестирование оценок и масштаб клиентовПочему кластеризация трейсов LLM не даёт готовый список проблем агента?
Кластеры — не проблемы: их трудно надёжно отслеживать во времени, границы одинаковой проблемы у каждой компании свои, а кластер «ошибки в цене» может включать разные первопричины. Для разового анализа кластеры полезны, но масштабируются плохо.
▶ 17:01Временная кластеризация, режим кода MCP и заключительные замечанияКак писать evals для агента: как код, похожий на unit и end-to-end тесты?
Спикер советует держать evals в виде кода и запускать их локально, например через Vitest Evals. Prompt playground он считает неподходящим, потому что промпт теперь включает весь харнесс: код, инструменты и подключения.
▶ 8:04Терминология оценки, надзор человека и поведение агента в худшем случаеПочему агент плохо находит аномалии в данных и что делать вместо этого?
Спикер советует не поручать агенту поиск аномалий. Сначала стоит выделить детерминированные сигналы, например всплеск частоты слов в трейсах, а агенту поручить разбор уже найденных аномалий.
▶ 17:01Временная кластеризация, режим кода MCP и заключительные замечания
Главы
Ещё доклады: Ben Hylak
Страница спикера →Эпоха продуктов без границ: дизайн мультимодального ввода-вывода
AI Engineer World's Fair 2024
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Как создавать работающие AI-продукты
AI Engineer World's Fair 2025
Похожие доклады
Ваш агент эволюционировал. А evals — нет.
AI Engineer World's Fair 2026
Близко по содержанию
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию

