· AI Engineer World's Fair 2025
Evals, подготовленные людьми
Human seeded Evals — Samuel Colvin, Pydantic
Типизация и валидация результата по схеме, по словам автора Pydantic AI, делают агентные приложения безопаснее и упрощают рефакторинг.
- Завершение агентного цикла — выход из цикла неочевиден: можно завершать его ответом без вызова инструмента, финальным инструментом или структурированным ответом модели. Автор разбирает плюсы и минусы каждого варианта.
- Ошибки валидации как подсказка модели — ошибки валидации Pydantic возвращаются модели с просьбой исправиться. В примере с датой рождения модель после одной неудачной попытки возвращает корректный результат.
- Типизированные зависимости — тип
depsзадаётся при создании агента, и инструменты получают его черезRunContext. Несовпадение типов ловится type checker до запуска, что помогает безопасно переписывать код. - Трассировка в Logfire — трасса показывает аргументы вызова инструмента, из-за которых поиск по памяти не нашёл запись, а также время и стоимость каждого вызова модели.
Кому полезно: тем, кто строит агентные системы на Python и хочет, чтобы структура ответов и инструменты проверялись типами. Evals в докладе не разбираются, хотя в заявленной теме они были.
Статья по теме
На какие вопросы отвечает доклад
Как понять, когда агентный цикл должен завершиться?
Цикл можно завершать, когда модель вернула текст без вызова инструмента, вызвала специальный final result tool или вернула structured output. По словам спикера, определить момент конца цикла нетривиально.
▶ 2:10Архитектура агента, инструменты и завершение со структурированным выводомКак заставить LLM возвращать данные строго по схеме и исправлять ошибки валидации?
Ответ модели валидируется по Pydantic-схеме, а ошибки валидации возвращаются модели с просьбой исправить. Модель повторяет вызов с учётом текста ошибки, что, по словам спикера, эффективно для многих простых случаев.
▶ 3:32Структурированное извлечение данных, валидация и повторные попытки в Pydantic AIКак сделать зависимости инструментов агента типобезопасными, чтобы рефакторинг не ломал код?
Агент параметризуется типом deps, а инструменты получают RunContext с этим типом, поэтому статическая проверка типов ловит неверный тип зависимостей и обращение к несуществующему атрибуту. Спикер считает, что такой уровень типизации редок среди агентных фреймворков.
▶ 7:23Типизированные поля и безопасность зависимостейКак дать coding агенту возможность проверять свой код при разработке AI-приложения?
Типизированный код позволяет coding агенту запускать проверку типов и находить свои ошибки, а фреймворки без типов, по мнению спикера, такой проверки не дают. Это ускоряет рефакторинг.
▶ 0:00Почему доклад, заявленный как доклад об evals, превращается в доклад о типобезопасных AI-приложенияхКак найти причину, почему агент падает на вызове инструмента?
Трейс показывает аргументы каждого вызова инструмента. В примере поиск по подстроке не находил запись, потому что агент передал в запрос другое имя, и по трейсу это стало видно.
▶ 7:23Типизированные поля и безопасность зависимостейКак посмотреть время и стоимость каждого вызова модели в агенте?
Logfire показывает длительность каждого вызова модели и стоимость, суммарную по всему трейсу и по отдельным спанам.
▶ 11:35Время трассировки и стоимость вызовов модели
Главы
Ещё доклады: Samuel Colvin
Страница спикера →Playground в продакшене: оптимизация agents в production-среде
AI Engineer Europe 2026
MCP — всё, что нужно
AI Engineer World's Fair 2025
От кошмаров stateless-систем к устойчивым agents
AI Engineer Code 2025
Похожие доклады
Зачем вообще нужны evals?
AI Engineer World's Fair 2025
Близко по содержанию
Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude
Близко по содержанию

