← Каталог

· AI Engineer World's Fair 2026

Голосовые агенты с видео в реальном времени

Voice agents with Realtime Video — Sidney Primas, LemonSlice

LemonSlice строит визуальный слой для голосовых агентов: аватар в реальном времени на собственной video DiT-модели подключается по API к любой LLM и любому голосу.

  • Аудио задаёт эмоции — стандартные аудиоэнкодеры обучены на аудиокнигах и звучат монотонно, поэтому команда тратила много времени на собственные аудиоэмбеддинги, чтобы мимика получалась выразительной.
  • Причинное внимание для реалтайма — маска внимания не даёт модели видеть будущие кадры и аудио, а шаги denoising, по словам спикера, сведены с тридцати до одного.
  • Накопление ошибок на длинных сессиях — авторегрессионная генерация опирается на собственные прошлые блоки с ошибками; по словам спикера, их метод, который пока не раскрыт, даёт аватару работать восемь часов без заметной деградации.
  • Model harness важнее модели — потоки на GPU и CPU, прерывания, очереди и буферы нужно согласовать так, чтобы видео не дёргалось; спикер считает, что в продукте здесь основная ценность.

Кому полезно: тем, кто добавляет видеоаватар к голосовому агенту или строит долгие интерактивные видеосессии.

Статья по теме

Главы

Похожие доклады