← Каталог

· AI Engineer World's Fair 2025

От миллисекунд к магии: workflow для работы в реальном времени с Gemini Live API и Pipecat

Milliseconds to Magic: Real‑Time Workflows using the Gemini Live API and Pipecat

Голосовой агент собирается из четырёх слоёв стека, и каждая трудная задача со временем переезжает из кода приложения вниз: во фреймворк и в API.

  • Зрелость задач по слоям — спикеры раскладывают задачи голосового агента по слоям стека, от моделей до кода приложения. По их оценке, ни одна из задач пока не решена больше чем примерно наполовину.
  • Turn detection переехал вниз — сначала его писали в коде приложения, затем в Pipecat, а в Gemini Live API он стал серверной настройкой. Его можно отключить и подключить модели turn detection от Daily или LiveKit.
  • Модель сама ведёт логику приложения — в демо у функции вывода текста на экран почти не было инструкций, и модель сама решала, когда очистить экран. Результат менялся от запуска к запуску: один и тот же список то собирался без ошибок, то появлялся с дублями.
  • Тестов и evals пока нет — по словам автора, у его кода нет unit-тестов и evals, а работает он на свежих моделях и ветке Pipecat. В демо заметно, как распознавание путает названия книг и имя собеседника.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и решает, что писать в приложении, а что брать из фреймворка или API.

Статья по теме

На какие вопросы отвечает доклад

  • Где выполнять определение конца реплики в голосовом агенте: на сервере или в клиентском коде?

    Turn detection переехал из кода приложения во фреймворк Pipecat, а затем в Gemini Live API на сервере. Его можно отключить и подключить модели других провайдеров, например Daily или LiveKit.

    ▶ 5:39Turn detection и настраиваемая оркестрация в реальном времени
  • Какие задачи голосового агента решать в своём коде, а какие отдавать фреймворку или API?

    Решения, которые приложение придумало для трудной задачи, со временем переезжают во фреймворк вроде Pipecat, а потом в API модели. По словам спикеров, ни один слой стека пока не решён больше чем наполовину.

    ▶ 2:24Стек голосового ИИ: модели, Gemini Live API и Pipecat
  • Как голосовой агент держит контекст длинной сессии и понимает, что значит «список»?

    Код загружает в сессию предыдущие диалоги как сообщения пользователя и ассистента, иногда сворачивая их в краткое содержание. Понимание того, что имеется в виду под списком, по словам спикера, выводит сама LLM.

    ▶ 8:50Демонстрации разговорного агента в реальном времени и управления задачами
  • Почему голосовой агент неверно слышит реплики, дублирует элементы и путает имена?

    В живом демо агент путал названия книг, дублировал элементы списка и неверно писал имя, даже когда его продиктовали по буквам. Спикер отмечает сильный разброс качества от запуска к запуску и связывает часть сбоев с определением конца реплики.

    ▶ 8:50Демонстрации разговорного агента в реальном времени и управления задачами
  • Чем отладка приложения, где модель управляет потоком, отличается от обычного программирования?

    Модель управляет всем циклом приложения и делает то, чего код не ожидал: иногда во вред, иногда к пользе. Спикер говорит, что это требует пересмотреть привычный подход к разработке.

    ▶ 5:39Turn detection и настраиваемая оркестрация в реальном времени

Главы

Ещё доклады: Kwindla Kramer

Страница спикера →

Ещё доклады: Shrestha Basu Mallick

Страница спикера →

Похожие доклады