· AI Engineer World's Fair 2025
ChatGPT плохо спроектирован. Я это исправил
ChatGPT is poorly designed. So I fixed it
Голос и текст можно объединить в одном чате на готовых API: голос идёт в реальном времени, а текстовые ответы и вызов reasoning-модели делаются через tool calls.
- Текст рядом с голосом — длинные детали, ссылки и черновики уходят в отдельную панель чата через tool call с обычным описанием; по словам спикера, системный промпт для этого не понадобился.
- Маршрутизация эвристиками — простые команды уходят агенту для кодинга, который запускает их в терминале, а сложный запрос, например перенос кодовой базы на Flutter, сначала получает план от reasoning-модели. По словам спикера, так устроен выбор модели в Warp.
- Открытый прототип — FixGPT выложен на GitHub, поэтому можно посмотреть, как устроены tool calls и переключение между голосом и текстом.
Кому полезно: тем, кто добавляет голосовой режим в чат-продукт и хочет, чтобы модель выбиралась без ручного переключения.
Статья по теме
На какие вопросы отвечает доклад
Как совместить голосовой и текстовый режим в одном чате с ИИ?
Realtime аудиомодель ведёт голосовой разговор, а длинные детали, ссылки и черновики уходят в текстовую панель через отдельный tool call send chat message. По словам спикера, для этого хватило короткого описания инструмента без system prompt.
▶ 2:07Проектирование мультимодального чата с аудио в реальном времени и инструментамиКак направлять сложные запросы к reasoning модели, а простые выполнять сразу?
Спикер использует эвристики: простые команды, например отмену последнего коммита, выполняет кодинговый агент, а сложная задача, например переписать кодовую базу на другой фреймворк, сначала уходит в reasoning модель для плана. Ответ возвращается через tool call.
▶ 3:19Передача сложных вопросов моделям для reasoningПочему пользователи путаются в списке моделей и как убрать необходимость выбирать модель вручную?
Названия вроде o3, 4o и Pro появляются из разрозненных релизов, и выбор превращается в путаницу. Спикер предлагает автоматически подбирать модель под запрос, а не заставлять пользователя выбирать.
▶ 1:13Перенос организационной структуры в продукт и запутанный выбор моделей
Главы
Ещё доклады: Ben Holmes
Страница спикера →Базы знаний для LLM: практическое руководство
AI Engineer World's Fair 2026
Похожие доклады
Почему ChatGPT постоянно перебивает
AI Engineer World's Fair 2025
Близко по содержанию
От текста к зрению и голосу: мультимодальность с OpenAI
AI Engineer World's Fair 2024
Близко по содержанию
Горькая компоновка, или Как я полюбил выбор модели
AI Engineer World's Fair 2025
Близко по содержанию
Исследования speech-to-speech моделей в Google DeepMind
Близко по содержанию

