· AI Engineer World's Fair 2026
Не отдавайте управление LLM
Don't Let the LLM Drive - Ornella Bahidika & Joel Allou, Microsoft
Надёжного многошагового голосового агента строят не промптами, а конечным автоматом: он задаёт порядок шагов, а LLM выполняет узкое задание на каждом из них.
- Модель предлагает, код решает — harness проверяет ответ модели, переводит урок в следующее состояние и выбирает следующий шаг. Модель не определяет, на каком этапе урока она находится.
- Узкий контракт на каждом шаге — урок разбит на введение, объяснение, проверку, оценку, переход к следующему разделу и завершение. На каждом шаге модель получает одно задание и возвращает результат, что, по словам авторов, исключает пропуск шагов, зацикливание и преждевременное завершение урока.
- Меньшая модель вместо флагманской — благодаря такой обвязке Claude Haiku 4.5 справляется с задачей на нужном уровне, а экономия денег, времени и задержки, по словам авторов, заметна по сравнению с более тяжёлой моделью Opus 4.7.
- Правило для выбора подхода — если надёжность шага близка к броску монеты, логику переходов стоит вынести из модели. Авторы считают этот приём применимым к агентам для кодинга, runbook и онбордингу.
Кому полезно: тем, кто выводит голосовых агентов или многошаговые процессы в продакшен и сталкивается с тем, что модель пропускает шаги или сама решает, что задача закончена.
Статья по теме
На какие вопросы отвечает доклад
Как не дать LLM пропускать шаги и зацикливаться в многошаговом агенте?
Урок описан как state machine из состояний: вступление, объяснение, проверка, оценка, переход и завершение. Каждому шагу модель получает узкое задание, а код проверяет ответ и сам решает, какой шаг следующий.
▶ 0:41Конечные автоматы уроков, узкие контракты и проверка harnessКак использовать меньшую модель Claude Haiku 4.5 вместо большой в голосовом агенте?
По словам авторов, узкие входы на каждом шаге и обвязка кодом позволяют Haiku 4.5 работать на нужном уровне при меньших затратах, задержке и стоимости, чем большая модель Opus 4.7.
▶ 1:24Ограниченная оркестрация и небольшие модели ClaudeПочему добавление правил в промпт не решает надёжность многошагового агента?
Спикеры считают, что надёжность — это задача управления потоком, а не формулировок промпта. Модель плохо удерживает, на каком она шаге, поэтому текущий шаг и переходы должен задавать код.
▶ 0:00Почему многошаговые ИИ-репетиторы терпят неудачу, когда модель управляет ходом занятияКогда стоит вынести управление потоком из LLM в код?
Если надёжность агента близка к броску монеты, управление потоком нужно вынести из модели. Подход авторы применяют к голосовым моделям, агентам для кодинга, регламентам и онбординг-сценариям.
▶ 3:35Поведение доски под контролем harness и окончательные решения о передаче управленияКак контролировать действия голосового агента на доске, чтобы он не выходил за рамки урока?
Рисование на доске, очистку очереди и завершение урока авторы тоже выносят в обвязку: модель предлагает действие, а код решает, выполнять ли его. Логи обвязки в демо показывают каждое такое решение.
▶ 3:35Поведение доски под контролем harness и окончательные решения о передаче управления
Главы
Ещё доклады: Joel Allou
Страница спикера →Голосовому агенту не нужна frontier-модель
AI Engineer World's Fair 2026
Похожие доклады
Построение мультиагентных систем на основе state machines
AI Engineer Summit 2025
Близко по содержанию
Ваш агент не подвёл. Подвёл harness.
AI Engineer World's Fair 2026
Близко по содержанию
Создаём агента с нуля
AI Engineer Summit 2025
Близко по содержанию
