← Каталог

· AI Engineer Summit 2025

Как улучшать агентов: обзор академических исследований

How to Improve Your Agents: Academic Lit Review

Агенты становятся сильнее, когда вычисления на этапе инференса тратятся на поиск по дереву, а найденные траектории потом используются для дообучения модели.

  • Самокоррекция малой модели — фидбек от маленькой модели часто содержит шум и ухудшает ответы на каждом шаге. Большая модель, которая переписывает фидбек под логику малой, и обучение на on-policy данных дают 48% на BIG-Bench Hard после трёх итераций, по словам автора.
  • Поиск по дереву без обучения — в GDP-Zero одна LLM предлагает действия, другая симулирует собеседника, третья оценивает результат. По словам автора, в эксперименте с людьми на задаче убеждения жертвовать модель с планированием получала больше пожертвований, чем без него.
  • Рефлексия и дебаты в MCTS — RMCTS сохраняет контрастивные рефлексии в векторной базе и оценивает состояния через дебаты нескольких моделей. На VisualWebArena обычный GPT-4V решает 16% задач, а, по словам автора, RMCTS занимает первое место в лидерборде без дообучения модели.
  • Обучение на траекториях поиска — exploratory learning учит модель на линеаризованном дереве поиска с откатами и проверками, и, по словам автора, при ограниченном бюджете это работает лучше имитации лучшего найденного действия.

Кому полезно: тем, кто хочет улучшать агентов без ручной разметки и дообучения больших моделей, например, на открытой модели с ограниченным бюджетом на инференс.

Статья по теме

Главы

Похожие доклады