· AI Engineer World's Fair 2026
AI-агент для запуска экспериментов
An AI Research Agent That Runs Your Experiments — Tim Sweeney, Weights & Biases
Исследовательский агент Arya от Weights and Biases замыкает цикл улучшения: продакшен-трейсы, LLM-судьи и ночные evals возвращаются в настройку агента.
- Поведенческие баги — логируйте сессии, ходы и вызовы инструментов: по словам спикера, часть ошибок агента не видна ни как исключение, ни как падение метрик.
- Задачи как unit-тесты — каждая задача в YAML содержит LLM-судью на корректность, судью на полезность инсайтов и правило на число вызовов инструментов, не больше шести. Около 200 таких задач собраны в ночной набор evals.
- Судьи на живом трафике — LLM-судьи помечают, например, раздражение пользователя или слабые ответы, и команда разбирает эти кластеры поведения. Спикер называет ручной разбор лучших и худших трейсов обязательным: судьи пропускают тонкие нюансы.
- Контекст вместо сложного harness — по словам спикера, много пользы дают знания о бизнес-домене, доступных примитивах и данных, а не память и хитрые обвязки.
Кому полезно: тем, кто строит агентов с продакшен-трейсингом и хочет связать evals с решениями о выкате новой версии.
Статья по теме
На какие вопросы отвечает доклад
Как дать агенту запускать GPU-эксперименты с обучением моделей прямо из чата?
Агент ставит задания в очередь W&B Launch на Kubernetes-кластере, сам меняет код и гиперпараметры в цикле auto research и опрашивает очередь до завершения запусков.
▶ 4:30Запрос в чате превращается в пакет заданий на GPUКак агенту находить закономерности в сотнях экспериментов обучения?
По запросу агент выделил размер батча как сильно влияющий параметр, предложил перспективный архитектурный рецепт и собрал отчёт с графиком важности параметров.
▶ 5:55Превратить накопленные запуски в объяснения и графикиКак отделить диалог с агентом от многодневных вычислений на GPU?
Воркер агента работает с песочницей для shell-команд и провайдером инференса, а долгие обучения уходят в отдельную очередь запусков вне основного цикла агента.
▶ 10:12Отделить обработку диалогов от длительных вычисленийКак находить поведенческие баги агента в продакшене, если ошибок и исключений нет?
Все трейсы логируются в Weave, а LLM-судьи на живом трафике помечают сигналы вроде раздражения пользователя и низкокачественных ответов, и команда разбирает найденные кластеры.
▶ 12:59Оценить структуру диалога, затем изучить его сбоиКак превратить найденные ошибки агента в регрессионные тесты?
Каждый сценарий описывается YAML-задачей с LLM-судьями на корректность и полезность и правилом на число вызовов инструментов; около двухсот задач запускаются ночью как eval-набор.
▶ 16:02Превратить наблюдаемое поведение в ночные тестыПочему одних автоматических оценок агента мало перед выкатом в продакшен?
По словам спикера, LLM-судьи пропускают поведенческие нюансы, поэтому команда вручную просматривает лучшие и худшие трейсы еженедельно вместе с исследователями.
▶ 18:43Сохранить human-in-the-loop и дать эксперименту завершиться
Главы
Похожие доклады
Как мы создали агента, который сам себя улучшает
AI Engineer World's Fair 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Вывод GenAI-моделей в production: уроки лучших AI-команд мира
AI Engineer World's Fair 2024
Близко по содержанию
Как Autoresearch меняет исследования в машинном обучении
AI Engineer World's Fair 2026
Близко по содержанию

