· AI Engineer World's Fair 2026
Улучшение agents — задача анализа данных
Improving Agents is a Data Mining Problem
Улучшать агентов нужно как задачу майнинга данных: production traces дают сигналы для harness engineering, оценок и дообучения.
- Открытые модели на разборе traces — по словам спикера, совместно с Harvey и её лабораторией Legal Benchmark открытая модель после доработки harness engineering сравнялась с Opus в оценке traces, при стоимости на один-два порядка ниже.
- Порядок работ: сначала harness engineering, потом fine-tuning — харнесс даёт обратную связь примерно за две минуты, поэтому его стоит исчерпать до дообучения, а затем вернуться к промптам и инструментам.
- Плотная обратная связь вместо итога pass или fail — на Terminal-Bench результат приходит одним числом, а трассы дают агенту материал, из которого он сам предлагает эксперименты и правки.
- Экономика инференса на дообученных моделях — при высокой нагрузке по словам спикера выгоднее держать свой кластер, чем платить за токены, и выключать его, когда он не нужен.
Кому полезно: тем, кто ведёт агентов в продакшене и хочет улучшать их по данным, а не по ощущениям.
Статья по теме
Главы
Похожие доклады
Как мы создали агента, который сам себя улучшает
AI Engineer World's Fair 2026
Близко по содержанию
Обучение агентных рассуждателей
AI Engineer World's Fair 2025
Близко по содержанию
Как непрерывно улучшать agents с Langfuse
Annabell Schäfer, Lotte Verheyden
AI Engineer World's Fair 2026
Близко по содержанию
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Близко по содержанию

