← Каталог

Tolan: голосовой AI-компаньон

Tolan: Voice-First AI Companion — Paula Dozsa, Tolan

Голосовой компаньон укладывается в две секунды на реплику только тогда, когда модели маршрутизируются по ставкам разговора, а контекст пересобирается на каждом ходе.

  • Очередность реплик — умный turn-taking, который оценивает речевой паттерн, сократил самые ранние прерывания больше чем вдвое. Цена — около 60 мс дополнительной задержки.
  • Маршрутизация по ставкам — фронтирная модель стоит примерно в пять раз дороже лёгкой, поэтому её берут для первых разговоров и эмоционально серьёзных реплик. По словам авторов, перевод трети ходов на более лёгкую модель почти не повлиял на удержание.
  • Память через поиск — факты и предпочтения хранятся в векторной базе с поиском меньше 50 мс. По ночам дубликаты объединяются, а противоречия разрешаются.
  • Агенты в разработке — по словам спикера, доля сессий без падений (crash-free rate) выросла с 99,6% до 99,9%, а ошибки времени выполнения упали больше чем вдвое. Ревью-агенты проверяют код до того, как его посмотрит человек.

Кому полезно: тем, кто выводит голосовых агентов в продакшен и строит память для долгих диалогов.

Статья по теме

На какие вопросы отвечает доклад

  • Как научить голосового агента не перебивать пользователя слишком рано?

    Умный turn-taking анализирует речевой паттерн, чтобы понять, реальное ли это перебивание. По словам авторов, это срезало самые плохие ранние прерывания более чем вдвое ценой около 60 мс задержки.

    ▶ 2:47Непредсказуемый диалог и очередность реплик
  • Как найти, где голосовой агент тормозит, и сократить задержку до ответа?

    Задержку измеряют отдельно на каждом этапе: определение конца фразы, транскрибация, время до первого токена, которое занимает около секунды, и первый байт TTS. Переход на GPT-5.1 через responses API заметно сократил время до речи.

    ▶ 4:52Задержка и выбор модели
  • Как выбирать модель для каждого хода диалога, чтобы не платить за самую дорогую всегда?

    Классификатор на дешёвой модели читает эмоциональное состояние каждого хода и выбирает модель по ставкам, а не по цене. Самая дорогая модель стоит примерно в пять раз больше малой, а отправка трети ходов на малую модель по A/B-тестам почти не влияла на удержание.

    ▶ 4:52Задержка и выбор модели
  • Как хранить память компаньона, если вся история диалога не помещается в контекст?

    Факты, предпочтения и эмоциональные сигналы извлекаются из разговоров, сохраняются в векторной базе с поиском за менее 50 мс. Каждую ночь память сжимается: дубликаты объединяются, противоречия разрешаются, часто вспоминаемые записи закрепляются в кэшируемом блоке.

    ▶ 7:08Память компаньона и поиск воспоминаний
  • Почему нельзя переиспользовать контекст между ходами в голосовом диалоге?

    Когда пользователь меняет тему, переиспользованный контекст становится неверным. Авторы собирают окно контекста заново на каждом ходе из сводки последних сообщений, карточки персоны, найденных воспоминаний, указаний по тону и состояния приложения.

    ▶ 8:12Контекст и постоянство характера
  • Почему контекст для coding агентов лучше брать из кодовой базы, а не из CLAUDE.md?

    По словам авторов, сама кодовая база работает как документация, и агенты приводили её к единым стандартам, что дало больше, чем отдельный файл. Агенты-ревьюеры и триаж-бот подключены через MCP к Linear, Sentry и Datadog.

    ▶ 9:56Разработка Tolan с помощью agents

Главы

Похожие доклады