← Каталог

· AI Engineer World's Fair 2026

Голос на входе, визуализация на выходе: агония и экстаз

Voice In, Visuals Out: The Agony and the Ecstasy

Голосовой ввод с визуальным выводом, по словам спикера, работает: ответ на экране за секунду кажется мгновенным, а голосовой разговор требует около 200 миллисекунд.

  • Бюджет задержки — полный цикл из распознавания речи, inference и передачи по сети в 200 миллисекунд не укладывается, поэтому для голосового агента разумнее выводить результат на экран в пределах секунды.
  • Быстрая модель для реакции — по словам спикера, GPT-5 mini на P95 показывал задержку 5–10 секунд, а Haiku заметно лучше. Реагирующую модель стоит брать класса Haiku или маленькую open source, а тяжёлую работу передавать большой модели асинхронно.
  • Запросы каждые 1–2 секунды — отправлять inference во время речи, не дожидаясь секунды тишины, иначе бюджет уходит на ожидание паузы.
  • Стабильный префикс — если начало контекста одинаковое от запроса к запросу, по словам автора, инференс может быть дешевле до 90% и быстрее. Меняется только хвост контекста, а количество выходных токенов минимизируется.

Кому полезно: тем, кто делает голосовых агентов или агентов с живым ответом на экране и упирается в задержку.

Статья по теме

Главы

Похожие доклады