← Каталог

· AI Engineer World's Fair 2026

AI-агент для запуска экспериментов

An AI Research Agent That Runs Your Experiments — Tim Sweeney, Weights & Biases

Исследовательский агент Arya от Weights and Biases замыкает цикл улучшения: продакшен-трейсы, LLM-судьи и ночные evals возвращаются в настройку агента.

  • Поведенческие баги — логируйте сессии, ходы и вызовы инструментов: по словам спикера, часть ошибок агента не видна ни как исключение, ни как падение метрик.
  • Задачи как unit-тесты — каждая задача в YAML содержит LLM-судью на корректность, судью на полезность инсайтов и правило на число вызовов инструментов, не больше шести. Около 200 таких задач собраны в ночной набор evals.
  • Судьи на живом трафике — LLM-судьи помечают, например, раздражение пользователя или слабые ответы, и команда разбирает эти кластеры поведения. Спикер называет ручной разбор лучших и худших трейсов обязательным: судьи пропускают тонкие нюансы.
  • Контекст вместо сложного harness — по словам спикера, много пользы дают знания о бизнес-домене, доступных примитивах и данных, а не память и хитрые обвязки.

Кому полезно: тем, кто строит агентов с продакшен-трейсингом и хочет связать evals с решениями о выкате новой версии.

Статья по теме

На какие вопросы отвечает доклад

  • Как дать агенту запускать GPU-эксперименты с обучением моделей прямо из чата?

    Агент ставит задания в очередь W&B Launch на Kubernetes-кластере, сам меняет код и гиперпараметры в цикле auto research и опрашивает очередь до завершения запусков.

    ▶ 4:30Запрос в чате превращается в пакет заданий на GPU
  • Как агенту находить закономерности в сотнях экспериментов обучения?

    По запросу агент выделил размер батча как сильно влияющий параметр, предложил перспективный архитектурный рецепт и собрал отчёт с графиком важности параметров.

    ▶ 5:55Превратить накопленные запуски в объяснения и графики
  • Как отделить диалог с агентом от многодневных вычислений на GPU?

    Воркер агента работает с песочницей для shell-команд и провайдером инференса, а долгие обучения уходят в отдельную очередь запусков вне основного цикла агента.

    ▶ 10:12Отделить обработку диалогов от длительных вычислений
  • Как находить поведенческие баги агента в продакшене, если ошибок и исключений нет?

    Все трейсы логируются в Weave, а LLM-судьи на живом трафике помечают сигналы вроде раздражения пользователя и низкокачественных ответов, и команда разбирает найденные кластеры.

    ▶ 12:59Оценить структуру диалога, затем изучить его сбои
  • Как превратить найденные ошибки агента в регрессионные тесты?

    Каждый сценарий описывается YAML-задачей с LLM-судьями на корректность и полезность и правилом на число вызовов инструментов; около двухсот задач запускаются ночью как eval-набор.

    ▶ 16:02Превратить наблюдаемое поведение в ночные тесты
  • Почему одних автоматических оценок агента мало перед выкатом в продакшен?

    По словам спикера, LLM-судьи пропускают поведенческие нюансы, поэтому команда вручную просматривает лучшие и худшие трейсы еженедельно вместе с исследователями.

    ▶ 18:43Сохранить human-in-the-loop и дать эксперименту завершиться

Главы

Похожие доклады