Жизненный цикл разработки агента
The Agent Development Life Cycle
Надёжность агентов в продакшене, по словам автора, достигается циклом, где каждый сбой в разговоре превращается в тест, а пройденный тест в релиз.
- Сбой становится тестом — неполный вызов API или таймаут из разговора заводится как тикет, по нему создаётся тест, и релиз выходит после его прохождения; со временем тестов становится не несколько, а сотни и тысячи.
- Агент как продукт — по словам автора, агенту нужны полноценная платформа для разработчиков и платформа операций с клиентским опытом, а не сборка из блоков; у крупных клиентов объём запросов достигает десятков миллионов.
- Проверка голосового агента — спросите себя, справились бы вы, получив расшифровку реплики собеседника с задержкой в несколько сотен миллисекунд и отвечая на ходу; по мнению автора, такой критерий задаёт планку для voice-to-voice моделей.
Кому полезно: тем, кто ведёт агентов в продакшене и выстраивает их итерации; доклад во многом презентация Sierra, но описание цикла конкретное.
Статья по теме
На какие вопросы отвечает доклад
Почему LLM-продукт иногда работает, а иногда ломается на тех же запросах?
Недетерминированность входов и выходов — часть разработки с AI, поэтому нужен итеративный процесс, который улучшает продукт и не даёт ему ухудшаться. По словам спикера, это работа шаг за шагом, а не разовая настройка.
▶ 1:11Google Lens и непредсказуемость AI-продуктовНужна ли для агента полноценная платформа разработки или хватит визуального конструктора?
По словам спикера, агент — это продукт, и собрать его из перетаскиваемых блоков недостаточно: нужны платформа разработчика и платформа операций с клиентским опытом, как для мобильного приложения.
▶ 5:53Платформы агентных систем для production и процессы разработки голосовых продуктовКак ускорить цикл разработки голосового агента без разговоров с ним вживую?
Инженер Sierra проигрывал текст системной командой say на Mac, а Loopback передавал звук в браузер, поэтому не нужны наушники и ручной разговор с агентом.
▶ 5:53Платформы агентных систем для production и процессы разработки голосовых продуктовКак превращать ошибки агента в продакшене в регрессионные тесты и релизы?
Проблема из разбора диалога превращается в issue, затем в тест, и после прохождения теста выходит релиз. По словам спикера, число тестов растёт от нескольких при запуске до сотен и тысяч.
▶ 12:44Обеспечение качества и операционная работа с клиентским опытомКак применять reasoning-модели к тестированию и QA агента?
По словам спикера, reasoning-модели усиливают каждый этап цикла разработки агента: разработку, тестирование и QA. Раньше эти этапы делали вручную, а теперь в них добавляют AI.
▶ 12:44Обеспечение качества и операционная работа с клиентским опытом
Главы
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Голосовые агенты: хорошее, плохое и ужасное
AI Engineer Summit 2025
Близко по содержанию
Проектирование голосовых агентов для естественных разговоров
AI Engineer World's Fair 2026
Близко по содержанию
Как дать голос AI-агентам
AI Engineer World's Fair 2024
Близко по содержанию

