AI-агенты и разработка через тестирование
AI Agents, Meet Test Driven Development
Надёжность агентных workflow в продакшене, по мнению автора, держится на тестах, которые идут через все этапы: от прототипа с экспертами до регрессионных проверок после каждой правки промпта.
- Эксперты, а не инженеры — доменные эксперты проверяют и правят промпты на этапе экспериментов, а инженеры подключаются, когда подход уже доказан на их данных.
- Датасет и LLM-as-a-judge — оценка идёт на сотнях примеров с разметкой экспертов; если разметки нет, ответы проверяет другая модель, а метрики пишутся на Python или TypeScript.
- Промпты отдельно от релизов — AI-функции меняются чаще приложения, поэтому их стоит выкатывать отдельно, через staging и регрессионные проверки, чтобы правка одного промпта не сломала другой этап.
- Уровни агентности — автор предлагает шкалу от L0 до L4; клиенты Vellum (Redfin, Drata, Headspace), по его словам, в продакшене в основном на L1, а больше всего нового ожидает на L2, где агент сам планирует шаги.
Кому полезно: тем, кто выводит LLM-workflow в продакшен и хочет тестировать их так же, как обычный код. Заметная часть доклада — презентация Vellum Workflows SDK с открытым кодом на GitHub.
Статья по теме
На какие вопросы отвечает доклад
Как проверить, что агент работает стабильно в продакшене, если ответы недетерминированы?
Подход test-driven development: сначала эксперименты с доменными экспертами, затем оценка на наборе из сотен примеров, проверки на каждом узле workflow и постоянные оценки после деплоя.
▶ 4:24RAG, GraphRAG, агентный RAG и ReActКак оценивать ответы LLM, если нет размеченных эталонных данных?
Можно использовать другую LLM как судью для оценки ответов, это по словам спикера стандартный и надёжный способ. Эталонные данные от экспертов предпочтительнее, а синтетические бенчмарки плохо отражают конкретный сценарий.
▶ 4:24RAG, GraphRAG, агентный RAG и ReActЧто делать, если API модели падает и продукт перестаёт отвечать?
Настроить retries и fallback-логику: при сбое система переключается на другую модель. Спикер приводит пример четырёхчасового простоя OpenAI, который такой fallback переживает.
▶ 10:39Наблюдаемость, резервные варианты, тестовая среда и регрессионные тестыКак обновлять промпты в агентной системе и не сломать остальные части workflow?
Использовать version control и staging, запускать регрессионные проверки перед выкатом и отделять деплой AI-фич от релизного графика приложения, потому что промпты меняются чаще.
▶ 10:39Наблюдаемость, резервные варианты, тестовая среда и регрессионные тестыКакой уровень автономии выбрать для агента: вызов инструментов или планирование и проактивность?
Спикер делит поведение на уровни от L0 до L4: L1 с инструментами сейчас даёт большинство продакшен-решений, L2 добавляет структурированное планирование и цикл, L3 работает постоянно и реагирует на события без запроса.
▶ 14:48Уровни агентного поведенияКак построить цикл, в котором LLM-судья возвращает правки модели-писателю?
Редактор-LLM оценивает черновик по заданным в промпте правилам, замечания передаются писателю через память с историей диалога, цикл завершается по условию. Спикер показывает это на примере SEO-агента для статей.
▶ 26:36Обратная связь редактора и память диалога
Главы
Похожие доклады
Как определить, когда AI agent может работать без надзора
Близко по содержанию
Как обуздать AI-агентов с помощью evals на основе observability
AI Engineer World's Fair 2025
Близко по содержанию
Создание устойчивых agents с помощью Workflow DevKit и AI SDK
AI Engineer Code 2025
Близко по содержанию
Прокачайте автоматизацию: agentic workflows на Vertex AI
AI Engineer World's Fair 2024
Близко по содержанию

