← Каталог

· AI Engineer World's Fair 2025

Evals, подготовленные людьми

Human seeded Evals — Samuel Colvin, Pydantic

Типизация и валидация результата по схеме, по словам автора Pydantic AI, делают агентные приложения безопаснее и упрощают рефакторинг.

  • Завершение агентного цикла — выход из цикла неочевиден: можно завершать его ответом без вызова инструмента, финальным инструментом или структурированным ответом модели. Автор разбирает плюсы и минусы каждого варианта.
  • Ошибки валидации как подсказка модели — ошибки валидации Pydantic возвращаются модели с просьбой исправиться. В примере с датой рождения модель после одной неудачной попытки возвращает корректный результат.
  • Типизированные зависимости — тип deps задаётся при создании агента, и инструменты получают его через RunContext. Несовпадение типов ловится type checker до запуска, что помогает безопасно переписывать код.
  • Трассировка в Logfire — трасса показывает аргументы вызова инструмента, из-за которых поиск по памяти не нашёл запись, а также время и стоимость каждого вызова модели.

Кому полезно: тем, кто строит агентные системы на Python и хочет, чтобы структура ответов и инструменты проверялись типами. Evals в докладе не разбираются, хотя в заявленной теме они были.

Статья по теме

На какие вопросы отвечает доклад

Главы

Ещё доклады: Samuel Colvin

Страница спикера →

Похожие доклады