Как улучшать агентов: обзор академических исследований
How to Improve Your Agents: Academic Lit Review
Агенты становятся сильнее, когда вычисления на этапе инференса тратятся на поиск по дереву, а найденные траектории потом используются для дообучения модели.
- Самокоррекция малой модели — фидбек от маленькой модели часто содержит шум и ухудшает ответы на каждом шаге. Большая модель, которая переписывает фидбек под логику малой, и обучение на on-policy данных дают 48% на BIG-Bench Hard после трёх итераций, по словам автора.
- Поиск по дереву без обучения — в GDP-Zero одна LLM предлагает действия, другая симулирует собеседника, третья оценивает результат. По словам автора, в эксперименте с людьми на задаче убеждения жертвовать модель с планированием получала больше пожертвований, чем без него.
- Рефлексия и дебаты в MCTS — RMCTS сохраняет контрастивные рефлексии в векторной базе и оценивает состояния через дебаты нескольких моделей. На VisualWebArena обычный GPT-4V решает 16% задач, а, по словам автора, RMCTS занимает первое место в лидерборде без дообучения модели.
- Обучение на траекториях поиска — exploratory learning учит модель на линеаризованном дереве поиска с откатами и проверками, и, по словам автора, при ограниченном бюджете это работает лучше имитации лучшего найденного действия.
Кому полезно: тем, кто хочет улучшать агентов без ручной разметки и дообучения больших моделей, например, на открытой модели с ограниченным бюджетом на инференс.
Статья по теме
Главы
Похожие доклады
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию
Агенты — тоже роботы: чему автономное вождение научило меня в создании агентов
AI Engineer Code 2025
Близко по содержанию
Настоящим AI-агентам нужно планирование, а не только промптинг
AI Engineer World's Fair 2025
Близко по содержанию
Непрерывное обучение AI agents: от ошибок к устойчивым улучшениям
AI Engineer World's Fair 2026
Близко по содержанию

