← Каталог

· AI Engineer World's Fair 2026

Голосовому агенту не нужна frontier-модель

Your Voice Agent Doesn't Need a Frontier Model

Голосовому тьютору с бюджетом около 950 миллисекунд на ответ, по словам авторов, хватает маленькой модели Haiku 4.5, если логику урока вынести в state machines.

  • Разделение задач — в Ace state machines ведут прогресс урока и отслеживают знания ученика, а на каждом ходе модель получает готовую сводку и только озвучивает её.
  • Задержка — по словам авторов, Haiku 4.5 отвечает примерно за 900 миллисекунд, тогда как Opus 4.7 на том же вопросе рассуждает пару секунд, а для голоса это критично.
  • Цена подхода — маленькая модель без обвязки дрейфует на длинной структуре урока, поэтому нужны жёсткие guardrails; эту работу авторы делают один раз в коде, а не на каждом ходе.
  • Порядок выбора — берите самую быструю модель, которую позволяет бюджет задержки, и основное время тратьте на логику вокруг неё.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и решает, нужна ли им фронтирная модель.

Доклад цитируется в статьях

На какие вопросы отвечает доклад

  • Почему голосовому агенту нужна быстрая модель, даже если умная модель отвечает точнее?

    Ответ голосового агента должен начаться примерно через 950 миллисекунд, а фронтирная модель тратит на рассуждение секунды. По словам авторов, задержка здесь важнее качества ответа.

    ▶ 0:00Знакомство с Ace и ограничение по задержке голосового агента
  • Как уменьшить задержку ответа LLM в голосовом приложении, не меняя модель на более мощную?

    Логику урока, прогресс ученика и выбор следующего шага вынести в детерминированный state machine, а модели на каждом ходу передавать готовую сводку. Модель тогда только произносит ответ.

    ▶ 1:04Перенос логики обучения в детерминированную обвязку
  • Сколько занимает ответ Claude Opus 4.7 и Claude Haiku 4.5 в голосовом сценарии с одним и тем же вопросом?

    В демо авторов Opus 4.7 думает несколько секунд, а Haiku 4.5 с каркасом отвечает примерно за 900 миллисекунд. Это их измерение на одном вопросе, не общая статистика.

    ▶ 3:07Сравнение Claude Opus 4.7 и Claude Haiku 4.5
  • Почему маленькая модель теряет структуру в длинном диалоге и как удерживать её в рамках?

    Без каркаса маленькая модель дрейфует на длинной структуре и нуждается в жёстких правилах. Авторы советуют платить за это один раз в коде, а не на каждом ходу, и выбирать самую быструю модель в рамках бюджета задержки.

    ▶ 4:15Ограничения небольших моделей и компромисс при использовании обвязки

Главы

Ещё доклады: Joel Allou

Страница спикера →

Похожие доклады