← Каталог

· AI Engineer Summit 2025

AI-агенты и разработка через тестирование

AI Agents, Meet Test Driven Development

Надёжность агентных workflow в продакшене, по мнению автора, держится на тестах, которые идут через все этапы: от прототипа с экспертами до регрессионных проверок после каждой правки промпта.

  • Эксперты, а не инженеры — доменные эксперты проверяют и правят промпты на этапе экспериментов, а инженеры подключаются, когда подход уже доказан на их данных.
  • Датасет и LLM-as-a-judge — оценка идёт на сотнях примеров с разметкой экспертов; если разметки нет, ответы проверяет другая модель, а метрики пишутся на Python или TypeScript.
  • Промпты отдельно от релизов — AI-функции меняются чаще приложения, поэтому их стоит выкатывать отдельно, через staging и регрессионные проверки, чтобы правка одного промпта не сломала другой этап.
  • Уровни агентности — автор предлагает шкалу от L0 до L4; клиенты Vellum (Redfin, Drata, Headspace), по его словам, в продакшене в основном на L1, а больше всего нового ожидает на L2, где агент сам планирует шаги.

Кому полезно: тем, кто выводит LLM-workflow в продакшен и хочет тестировать их так же, как обычный код. Заметная часть доклада — презентация Vellum Workflows SDK с открытым кодом на GitHub.

Статья по теме

На какие вопросы отвечает доклад

  • Как проверить, что агент работает стабильно в продакшене, если ответы недетерминированы?

    Подход test-driven development: сначала эксперименты с доменными экспертами, затем оценка на наборе из сотен примеров, проверки на каждом узле workflow и постоянные оценки после деплоя.

    ▶ 4:24RAG, GraphRAG, агентный RAG и ReAct
  • Как оценивать ответы LLM, если нет размеченных эталонных данных?

    Можно использовать другую LLM как судью для оценки ответов, это по словам спикера стандартный и надёжный способ. Эталонные данные от экспертов предпочтительнее, а синтетические бенчмарки плохо отражают конкретный сценарий.

    ▶ 4:24RAG, GraphRAG, агентный RAG и ReAct
  • Что делать, если API модели падает и продукт перестаёт отвечать?

    Настроить retries и fallback-логику: при сбое система переключается на другую модель. Спикер приводит пример четырёхчасового простоя OpenAI, который такой fallback переживает.

    ▶ 10:39Наблюдаемость, резервные варианты, тестовая среда и регрессионные тесты
  • Как обновлять промпты в агентной системе и не сломать остальные части workflow?

    Использовать version control и staging, запускать регрессионные проверки перед выкатом и отделять деплой AI-фич от релизного графика приложения, потому что промпты меняются чаще.

    ▶ 10:39Наблюдаемость, резервные варианты, тестовая среда и регрессионные тесты
  • Какой уровень автономии выбрать для агента: вызов инструментов или планирование и проактивность?

    Спикер делит поведение на уровни от L0 до L4: L1 с инструментами сейчас даёт большинство продакшен-решений, L2 добавляет структурированное планирование и цикл, L3 работает постоянно и реагирует на события без запроса.

    ▶ 14:48Уровни агентного поведения
  • Как построить цикл, в котором LLM-судья возвращает правки модели-писателю?

    Редактор-LLM оценивает черновик по заданным в промпте правилам, замечания передаются писателю через память с историей диалога, цикл завершается по условию. Спикер показывает это на примере SEO-агента для статей.

    ▶ 26:36Обратная связь редактора и память диалога

Главы

Похожие доклады