Как разговаривать со статуями
How to talk to statues — Joe Reeve, ElevenLabs
Приложение для голосовых разговоров со статуями, собранное за два часа в Cursor, по словам спикера держится на готовых API, а не на сложной инженерии.
- Склейка готовых API — фото статуи уходит в OpenAI для исследования объекта, затем в
Voice Design APIдля голоса и в агентную платформу ElevenLabs для звонка, весь цикл занимает около 30 секунд. По словам спикера, самая трудная часть проекта — не авторизация, а контент: куратору нужно выстроить нарратив, а не выводить первые найденные в поиске материалы. - Прерывание голосового агента — автор предлагает редактировать транскрипт по таймкодам воспроизведения: текст, который модель сгенерировала, но не проиграла до конца, убирается из контекста после перебивания. Это идея, в продукте пока не реализованная.
- Визуальный слой рядом с голосом — спикер ждёт интерфейсов, где агент показывает тему, о которой хочет заговорить, а пользователь отвечает голосом. По его словам, длинные голосовые ответы без структуры раздражают, поэтому нужен параллельный вывод.
- Удержание внимания в видео — по словам автора, медианное время просмотра его роликов составляет 6–12 секунд, поэтому интерес удерживает хук в первых секундах, субтитры и музыка; музыку удобно подбирать или генерировать под готовую нарезку.
Кому полезно: тем, кто прототипирует голосовых агентов и хочет понять, какие части прототипа придётся дорабатывать для продакшена.
Статья по теме
На какие вопросы отвечает доклад
Как вывести прототип голосового агента, собранный через vibe coding, в продакшен на миллионы пользователей?
Спикер собрал решение из готовых API, которые уже масштабируются: агенты и генерация голоса работают на стороне платформы, а пользователей можно подключить через сторонние сервисы. По его словам, трудная часть — не управление пользователями, а качественный контент и склейка API.
▶ 5:10Рост API, сотрудничество с музеями и культурно уместные голосаКак дать пользователю перебивать голосового агента, не сохраняя в контексте текст, который не был проигран?
Предложено использовать таймкоды проигранного аудио и обрезать транскрипт в точке прерывания, чтобы LLM не считала непроигранный текст сказанным. Для надёжности спикер упоминает push-to-talk, где голос включается удержанием кнопки.
▶ 22:15Vibe coding, игровые взаимодействия и перебивание собеседникаКак создать голос персонажа по текстовому описанию для голосового агента?
Voice Design API генерирует голос по текстовому описанию. Демо сначала находит исторические сведения через OpenAI deep research, пишет промпты для голоса и создаёт агента, а весь процесс занимает около 30 секунд.
▶ 1:40Демонстрация в British Museum и конвейер идентификации статуйКак подать видеодемо AI-продукта, чтобы зритель не ушёл в первые секунды?
Крючок ставят в самое начало, добавляют субтитры и подбирают музыку под видео. По словам спикера, медианное время просмотра его роликов составляет 6–12 секунд, поэтому интересная часть должна идти первой.
▶ 22:15Vibe coding, игровые взаимодействия и перебивание собеседникаКак не заставлять пользователя слушать длинные голосовые ответы агента целиком?
Спикер предлагает разбивать ответ на секции с кратким summary, которые раскрываются по нажатию, как в приложении Claude. Просьба «будь краток» в голосовом ответе звучит грубо, поэтому текстовый приём здесь не работает.
▶ 11:29Мультимодальные беседы, демонстрации голосовых агентов и обсуждение с аудиториейКак дать голосовому агенту знания и навыки, если в платформе нет skills?
Знания можно загружать в агента через knowledge files, а навыки или знания встраивать в MCP-инструменты. По словам спикера, платформа поддерживает MCP-вызовы, и это достаточно для таких сценариев.
▶ 11:29Мультимодальные беседы, демонстрации голосовых агентов и обсуждение с аудиторией
Главы
Похожие доклады
Ваш голосовой агент — всего лишь рация
Близко по содержанию
Подготовка данных и fine-tuning модели синтеза речи
AI Engineer World's Fair 2025
Близко по содержанию
Голосовые агенты с видео в реальном времени
AI Engineer World's Fair 2026
Близко по содержанию
Создание AI-ассистента для телефонных звонков
AI Engineer World's Fair 2024
Близко по содержанию

