· AI Engineer World's Fair 2026
Голос на входе, визуализация на выходе: агония и экстаз
Voice In, Visuals Out: The Agony and the Ecstasy
Голосовой ввод с визуальным выводом, по словам спикера, работает: ответ на экране за секунду кажется мгновенным, а голосовой разговор требует около 200 миллисекунд.
- Бюджет задержки — полный цикл из распознавания речи, inference и передачи по сети в 200 миллисекунд не укладывается, поэтому для голосового агента разумнее выводить результат на экран в пределах секунды.
- Быстрая модель для реакции — по словам спикера, GPT-5 mini на P95 показывал задержку 5–10 секунд, а Haiku заметно лучше. Реагирующую модель стоит брать класса Haiku или маленькую open source, а тяжёлую работу передавать большой модели асинхронно.
- Запросы каждые 1–2 секунды — отправлять inference во время речи, не дожидаясь секунды тишины, иначе бюджет уходит на ожидание паузы.
- Стабильный префикс — если начало контекста одинаковое от запроса к запросу, по словам автора, инференс может быть дешевле до 90% и быстрее. Меняется только хвост контекста, а количество выходных токенов минимизируется.
Кому полезно: тем, кто делает голосовых агентов или агентов с живым ответом на экране и упирается в задержку.
Статья по теме
Главы
Похожие доклады
После 200 миллионов взаимодействий с пациентами: что упускает универсальный голосовой стек
AI Engineer World's Fair 2026
Близко по содержанию
Голосовые агенты с видео в реальном времени
AI Engineer World's Fair 2026
Близко по содержанию
За пределами транскрибации: голосовой ИИ, который понимает разговоры
AI Engineer Europe 2026
Близко по содержанию
Масштабирование голосового AI
AI Engineer World's Fair 2025
Близко по содержанию

