· AI Engineer World's Fair 2026
Голосовому агенту не нужна frontier-модель
Your Voice Agent Doesn't Need a Frontier Model
Голосовому тьютору с бюджетом около 950 миллисекунд на ответ, по словам авторов, хватает маленькой модели Haiku 4.5, если логику урока вынести в state machines.
- Разделение задач — в Ace state machines ведут прогресс урока и отслеживают знания ученика, а на каждом ходе модель получает готовую сводку и только озвучивает её.
- Задержка — по словам авторов, Haiku 4.5 отвечает примерно за 900 миллисекунд, тогда как Opus 4.7 на том же вопросе рассуждает пару секунд, а для голоса это критично.
- Цена подхода — маленькая модель без обвязки дрейфует на длинной структуре урока, поэтому нужны жёсткие guardrails; эту работу авторы делают один раз в коде, а не на каждом ходе.
- Порядок выбора — берите самую быструю модель, которую позволяет бюджет задержки, и основное время тратьте на логику вокруг неё.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и решает, нужна ли им фронтирная модель.
Доклад цитируется в статьях
На какие вопросы отвечает доклад
Почему голосовому агенту нужна быстрая модель, даже если умная модель отвечает точнее?
Ответ голосового агента должен начаться примерно через 950 миллисекунд, а фронтирная модель тратит на рассуждение секунды. По словам авторов, задержка здесь важнее качества ответа.
▶ 0:00Знакомство с Ace и ограничение по задержке голосового агентаКак уменьшить задержку ответа LLM в голосовом приложении, не меняя модель на более мощную?
Логику урока, прогресс ученика и выбор следующего шага вынести в детерминированный state machine, а модели на каждом ходу передавать готовую сводку. Модель тогда только произносит ответ.
▶ 1:04Перенос логики обучения в детерминированную обвязкуСколько занимает ответ Claude Opus 4.7 и Claude Haiku 4.5 в голосовом сценарии с одним и тем же вопросом?
В демо авторов Opus 4.7 думает несколько секунд, а Haiku 4.5 с каркасом отвечает примерно за 900 миллисекунд. Это их измерение на одном вопросе, не общая статистика.
▶ 3:07Сравнение Claude Opus 4.7 и Claude Haiku 4.5Почему маленькая модель теряет структуру в длинном диалоге и как удерживать её в рамках?
Без каркаса маленькая модель дрейфует на длинной структуре и нуждается в жёстких правилах. Авторы советуют платить за это один раз в коде, а не на каждом ходу, и выбирать самую быструю модель в рамках бюджета задержки.
▶ 4:15Ограничения небольших моделей и компромисс при использовании обвязки
Главы
Ещё доклады: Joel Allou
Страница спикера →Не отдавайте управление LLM
AI Engineer World's Fair 2026
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Мы создали AI-агента поддержки, который решает 80% обращений
AI Engineer World's Fair 2026
Близко по содержанию
Задержка — это бюджет. Цель — общение как у людей
AI Engineer World's Fair 2026
Близко по содержанию
После 200 миллионов взаимодействий с пациентами: что упускает универсальный голосовой стек
AI Engineer World's Fair 2026
Близко по содержанию
