← Каталог

· AI Engineer World's Fair 2026

Улучшение agents — задача анализа данных

Improving Agents is a Data Mining Problem

Улучшать агентов нужно как задачу майнинга данных: production traces дают сигналы для harness engineering, оценок и дообучения.

  • Открытые модели на разборе traces — по словам спикера, совместно с Harvey и её лабораторией Legal Benchmark открытая модель после доработки harness engineering сравнялась с Opus в оценке traces, при стоимости на один-два порядка ниже.
  • Порядок работ: сначала harness engineering, потом fine-tuning — харнесс даёт обратную связь примерно за две минуты, поэтому его стоит исчерпать до дообучения, а затем вернуться к промптам и инструментам.
  • Плотная обратная связь вместо итога pass или fail — на Terminal-Bench результат приходит одним числом, а трассы дают агенту материал, из которого он сам предлагает эксперименты и правки.
  • Экономика инференса на дообученных моделях — при высокой нагрузке по словам спикера выгоднее держать свой кластер, чем платить за токены, и выключать его, когда он не нужен.

Кому полезно: тем, кто ведёт агентов в продакшене и хочет улучшать их по данным, а не по ощущениям.

Статья по теме

Главы

Похожие доклады