· AI Engineer World's Fair 2026
Голосовые агенты с видео в реальном времени
Voice agents with Realtime Video — Sidney Primas, LemonSlice
LemonSlice строит визуальный слой для голосовых агентов: аватар в реальном времени на собственной video DiT-модели подключается по API к любой LLM и любому голосу.
- Аудио задаёт эмоции — стандартные аудиоэнкодеры обучены на аудиокнигах и звучат монотонно, поэтому команда тратила много времени на собственные аудиоэмбеддинги, чтобы мимика получалась выразительной.
- Причинное внимание для реалтайма — маска внимания не даёт модели видеть будущие кадры и аудио, а шаги denoising, по словам спикера, сведены с тридцати до одного.
- Накопление ошибок на длинных сессиях — авторегрессионная генерация опирается на собственные прошлые блоки с ошибками; по словам спикера, их метод, который пока не раскрыт, даёт аватару работать восемь часов без заметной деградации.
- Model harness важнее модели — потоки на GPU и CPU, прерывания, очереди и буферы нужно согласовать так, чтобы видео не дёргалось; спикер считает, что в продукте здесь основная ценность.
Кому полезно: тем, кто добавляет видеоаватар к голосовому агенту или строит долгие интерактивные видеосессии.
Статья по теме
Главы
Похожие доклады
Агент, ты меня слышишь? Создаём голосовых агентов в реальном времени с Gemini
AI Engineer World's Fair 2026
Близко по содержанию
Голосовые агенты: хорошее, плохое и ужасное
AI Engineer Summit 2025
Близко по содержанию
Почему модели TTS теперь похожи на LLM
AI Engineer Europe 2026
Близко по содержанию
Разговорное видео в реальном времени с Pipecat и Tavus
AI Engineer World's Fair 2025
Близко по содержанию

