← Каталог

· AI Engineer World's Fair 2026

Создание агентов: важнее надёжный минимум, чем рекордный максимум

Designing Agents (The Floor Is the Frontier)

Для продакшен-агентов важнее поднять нижнюю границу надёжности, чем наращивать пиковые возможности, и мерить стоит то, что разрушает доверие пользователей.

  • Evals как код — тесты, привязанные к конкретному инструменту, ломаются при смене модели или harness, поэтому спикер советует хранить evals в коде и запускать их локально, как unit и end-to-end тесты.
  • Кластеры не равны проблемам — кластеризация трейсов полезна для разового анализа, но плохо отслеживается во времени. Для каждой проблемы нужно знать, когда она началась и какая доля пользователей затронута: по словам спикера, это отделяет три пользователя от ста тысяч.
  • Расследование вместо поиска аномалий — агенты плохо находят аномалии сами, зато хорошо разбирают уже найденные сигналы, например всплеск частоты отдельного слова в трейсах. Такие сигналы спикер советует сначала выделять детерминированными методами.
  • Code mode для трейсов — классификаторы по трейсам можно писать как код, запускать в sandbox и гонять на продакшен-объёме, а не только применять code mode к MCP.

Кому полезно: тем, кто выводит агентов в продакшен и разбирает их сбои по трейсам.

Статья по теме

На какие вопросы отвечает доклад

  • Почему evals, привязанные к конкретным инструментам агента, ломаются после смены модели или харнесса?

    По словам спикера, такие наборы ломаются при смене модели или харнесса: после перехода на Claude Code CLI около 80% evals перестали работать. Вкладываться в них на месяцы не стоит, потому что изменения продолжатся.

    ▶ 3:07Почему оценки агентов под конкретные инструменты становятся хрупкими
  • Как поднять нижнюю границу качества агента, а не гнаться за бенчмарками?

    Спикер предлагает сначала закрывать floor, то есть худшее, что может сделать агент: удалить данные или отправить клиенту испорченное письмо. Такие сбои разрушают доверие пользователей, поэтому их чинят раньше, чем наращивают пиковые возможности.

    ▶ 8:04Терминология оценки, надзор человека и поведение агента в худшем случае
  • Как находить скрытые проблемы агента и понимать, когда они начались и сколько пользователей затронуто?

    Для каждой проблемы нужны две вещи: дата начала и доля затронутых пользователей. Проблема, появившаяся два дня назад, сразу ставит вопрос, что изменилось: модель, зависимость или что-то ниже по цепочке.

    ▶ 12:31Локальное тестирование оценок и масштаб клиентов
  • Почему кластеризация трейсов LLM не даёт готовый список проблем агента?

    Кластеры — не проблемы: их трудно надёжно отслеживать во времени, границы одинаковой проблемы у каждой компании свои, а кластер «ошибки в цене» может включать разные первопричины. Для разового анализа кластеры полезны, но масштабируются плохо.

    ▶ 17:01Временная кластеризация, режим кода MCP и заключительные замечания
  • Как писать evals для агента: как код, похожий на unit и end-to-end тесты?

    Спикер советует держать evals в виде кода и запускать их локально, например через Vitest Evals. Prompt playground он считает неподходящим, потому что промпт теперь включает весь харнесс: код, инструменты и подключения.

    ▶ 8:04Терминология оценки, надзор человека и поведение агента в худшем случае
  • Почему агент плохо находит аномалии в данных и что делать вместо этого?

    Спикер советует не поручать агенту поиск аномалий. Сначала стоит выделить детерминированные сигналы, например всплеск частоты слов в трейсах, а агенту поручить разбор уже найденных аномалий.

    ▶ 17:01Временная кластеризация, режим кода MCP и заключительные замечания

Главы

Ещё доклады: Ben Hylak

Страница спикера →

Похожие доклады