Почему опытным инженерам сложно создавать AI-агентов
Why (Senior) Engineers Struggle to Build AI Agents
Опытным инженерам сложнее с агентами, потому что состояние стало текстом и контекстом, а не флагами, поэтому ошибки, тесты и API приходится проектировать иначе.
- Состояние в тексте — предпочтения вроде Цельсия и Фаренгейта и ответы на план исследования нельзя свести к флагам в профиле. Агент понимает смысл, поэтому можно одобрить план и добавить уточнение, например «фокус на рынке США, без Калифорнии».
- Ошибки как входные данные — агентный прогон занимает 5–15 минут, и перезапуск с нуля тратит вычисления и теряет контекст. Ошибку лучше возвращать модели как обычный ввод и продолжать с места сбоя.
- Evals вместо unit-тестов — агент недетерминирован, поэтому измеряют долю успешных прогонов: промпт, который работает один раз из десяти, не годится для продакшена. Результат оценивают LLM-as-a-judge или экспертами, а трассировкой смотрят шаги.
- Инструменты для агента — агент видит только схему функции и описание, поэтому метод удаления вроде
delete_itemдолжен объяснять, что такое ID и что происходит при сбое.
Кому полезно: тем, кто переносит привычные практики разработки на агентные системы и готовит их к продакшену.
Статья по теме
На какие вопросы отвечает доклад
Почему классическая разработка по детерминированным сценариям не работает для агентов?
Классический софт похож на управление светофорами, где контролируется каждый шаг, а агенту задают цель, не описывая путь. Поэтому привычные флаги и жёсткие workflow перестают работать.
▶ 0:00Введение: традиционная разработка ПО и ИИ-агентыЧто делать, когда шаг агента падает после нескольких минут работы?
Ошибку стоит передавать модели как обычный входящий сигнал, давать обходные пути и дополнительные проверки, а не перезапускать весь процесс. Перезапуск долгих агентов дорого стоит по вычислениям и теряет контекст.
▶ 4:53Обрабатывайте ошибки как входные данные и поддерживайте работу агентных процессовКак тестировать агента, который на одинаковый вход отвечает по-разному?
Вместо unit-тестов спикер предлагает evals: считать, как часто агент проходит задачу при повторных запусках. По его словам, агент с успехом в одном случае из десяти не годится для продакшена.
▶ 4:53Обрабатывайте ошибки как входные данные и поддерживайте работу агентных процессовКак оценивать качество ответов агента, если результат субъективен?
Трассировку шагов стоит вести, но оценивать результат: через LLM-as-a-judge или экспертов-людей. Число шагов может различаться между пользователями, поэтому главное — итоговый результат.
▶ 7:18Оценивайте результаты работы агента с помощью оценщиков, экспертов и трассировокКак описывать инструменты, чтобы агент понимал, что делает функция?
Агент видит только схему функции и docstring, поэтому параметры, ID и поведение при ошибке нужно описывать явно. API и инструменты стоит проектировать для агентов, а не для разработчиков, знающих контекст.
▶ 7:47Создавайте семантические, самодокументируемые API и инструменты для агентовКак хранить предпочтения пользователя и намерения агента, если их нельзя описать флагами?
Состояние задаётся текстом: пользователь может одобрить план и добавить уточнение, а предпочтения вроде Фаренгейта для рецептов меняются динамически. Вместо жёсткого сценария отмены подписки агент сам понимает намерение.
▶ 2:05Текст, контекст и семантическое значение становятся состоянием агента
Главы
Ещё доклады: Philipp Schmid
Все 5 докладов →Агенты без кода: Skills, YAML и файловые системы вместо Python
Не выпускайте skills без evals
AI Engineer World's Fair 2026
Создание conversational agents
AI Engineer Europe 2026
Похожие доклады
Эффективные AI-агенты: когда и как их создавать
AI Engineer Summit 2025
Близко по содержанию
Почему agent engineering
AI Engineer Summit 2025
Близко по содержанию
Создание надёжных агентных систем
AI Engineer World's Fair 2024
Близко по содержанию

