Tolan: голосовой AI-компаньон
Tolan: Voice-First AI Companion — Paula Dozsa, Tolan
Голосовой компаньон укладывается в две секунды на реплику только тогда, когда модели маршрутизируются по ставкам разговора, а контекст пересобирается на каждом ходе.
- Очередность реплик — умный turn-taking, который оценивает речевой паттерн, сократил самые ранние прерывания больше чем вдвое. Цена — около 60 мс дополнительной задержки.
- Маршрутизация по ставкам — фронтирная модель стоит примерно в пять раз дороже лёгкой, поэтому её берут для первых разговоров и эмоционально серьёзных реплик. По словам авторов, перевод трети ходов на более лёгкую модель почти не повлиял на удержание.
- Память через поиск — факты и предпочтения хранятся в векторной базе с поиском меньше 50 мс. По ночам дубликаты объединяются, а противоречия разрешаются.
- Агенты в разработке — по словам спикера, доля сессий без падений (crash-free rate) выросла с 99,6% до 99,9%, а ошибки времени выполнения упали больше чем вдвое. Ревью-агенты проверяют код до того, как его посмотрит человек.
Кому полезно: тем, кто выводит голосовых агентов в продакшен и строит память для долгих диалогов.
Статья по теме
На какие вопросы отвечает доклад
Как научить голосового агента не перебивать пользователя слишком рано?
Умный turn-taking анализирует речевой паттерн, чтобы понять, реальное ли это перебивание. По словам авторов, это срезало самые плохие ранние прерывания более чем вдвое ценой около 60 мс задержки.
▶ 2:47Непредсказуемый диалог и очередность репликКак найти, где голосовой агент тормозит, и сократить задержку до ответа?
Задержку измеряют отдельно на каждом этапе: определение конца фразы, транскрибация, время до первого токена, которое занимает около секунды, и первый байт TTS. Переход на GPT-5.1 через responses API заметно сократил время до речи.
▶ 4:52Задержка и выбор моделиКак выбирать модель для каждого хода диалога, чтобы не платить за самую дорогую всегда?
Классификатор на дешёвой модели читает эмоциональное состояние каждого хода и выбирает модель по ставкам, а не по цене. Самая дорогая модель стоит примерно в пять раз больше малой, а отправка трети ходов на малую модель по A/B-тестам почти не влияла на удержание.
▶ 4:52Задержка и выбор моделиКак хранить память компаньона, если вся история диалога не помещается в контекст?
Факты, предпочтения и эмоциональные сигналы извлекаются из разговоров, сохраняются в векторной базе с поиском за менее 50 мс. Каждую ночь память сжимается: дубликаты объединяются, противоречия разрешаются, часто вспоминаемые записи закрепляются в кэшируемом блоке.
▶ 7:08Память компаньона и поиск воспоминанийПочему нельзя переиспользовать контекст между ходами в голосовом диалоге?
Когда пользователь меняет тему, переиспользованный контекст становится неверным. Авторы собирают окно контекста заново на каждом ходе из сводки последних сообщений, карточки персоны, найденных воспоминаний, указаний по тону и состояния приложения.
▶ 8:12Контекст и постоянство характераПочему контекст для coding агентов лучше брать из кодовой базы, а не из CLAUDE.md?
По словам авторов, сама кодовая база работает как документация, и агенты приводили её к единым стандартам, что дало больше, чем отдельный файл. Агенты-ревьюеры и триаж-бот подключены через MCP к Linear, Sentry и Datadog.
▶ 9:56Разработка Tolan с помощью agents
Главы
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Разговорное видео в реальном времени с Pipecat и Tavus
AI Engineer World's Fair 2025
Близко по содержанию
Голосовому агенту не нужна frontier-модель
AI Engineer World's Fair 2026
Близко по содержанию
Создание разговорных AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию

