← Каталог

· AI Engineer Code 2025

Невыносимая лёгкость оптимизации агентов

The Unbearable Lightness of Agent Optimization

Meta-ACE добавляет к ACE мета-контроллер, который для каждой задачи выбирает комбинацию стратегий по контексту, вычислениям, проверке, памяти и параметрам.

  • Профилирование задачи перед выбором стратегии — система оценивает сложность, неопределённость, проверяемость и бюджет ресурсов, а простые задачи идёт коротким путём без тяжёлого конвейера ACE. По словам автора, предварительные результаты дают рост на 8–11% на агентных бенчмарках и экономию вычислений на 30–40%.
  • Проверка в три уровня — самооценка модели как быстрый фильтр, затем голосование нескольких моделей (GPT-4, Claude, DeepSeek) с весами по уверенности, затем проверка исполнением: code sandbox, валидация API и схемы. Автор ожидает, что это снизит ошибки от плохого фидбэка на 50–60%.
  • Quality gates против слабого reflector — обученный классификатор блокирует вредные правки контекста, а при ненадёжной рефлексии мета-контроллер переключает задачу на верификацию или дополнительные вычисления. Ошибки ACE при деградации reflector, по данным авторов, растут на 50–60%, а Meta-ACE, по ожиданиям автора, должен удерживать выше 80% качества.

Кому полезно: тем, кто строит агентов для регулируемых отраслей и хочет решать, сколько вычислений и проверок тратить на каждую задачу.

Статья по теме

На какие вопросы отвечает доклад

  • Как не дать агенту закреплять неверные выводы, если его собственная рефлексия ненадёжна?

    Обученный классификатор блокирует вредные правки контекста, а при неуверенности рефлексию усиливает ансамбль моделей. Когда рефлексия не работает, задача уходит на верификацию или дополнительные вычисления.

    ▶ 10:30Quality gates, верификационные каскады и адаптивные вычисления
  • Как проверять ответы агента без размеченных данных, если обратная связь слабая или её нет?

    Три уровня: самооценка с порогом уверенности, консенсус моделей (GPT-4, Claude, DeepSeek) с голосованием по уверенности и проверка исполнением в песочнице, через API и схему. Спикер ожидает снижения ошибок от слабой обратной связи на 50–60%.

    ▶ 10:30Quality gates, верификационные каскады и адаптивные вычисления
  • Как распределять вычисления агента, чтобы простые запросы не шли через тяжёлый пайплайн?

    Задача сначала профилируется по сложности, неопределённости, проверяемости и бюджету ресурсов, после чего мета-контроллер выбирает набор стратегий. По предварительным результатам, вычисления сокращаются на 30–40%.

    ▶ 4:08Архитектура Meta-ACE и оркестрация с учётом задачи
  • Что кроме контекста стоит оптимизировать у агента: память, вычисления или параметры?

    ACE меняет только контекст и игнорирует вычисления, память и параметры. Meta-ACE комбинирует их: адаптивные вычисления, структурированную память и временные обновления параметров через LoRA-адаптеры для задач с высокой ценой ошибки.

    ▶ 1:43Фреймворк ACE, бенчмарки и режимы отказов

Главы

Похожие доклады