← Каталог

· AI Engineer World's Fair 2026

Агенты создают агентов

Agents Building Agents

Coding агент может итеративно улучшать production-агента, если дать ему golden dataset, scorers и правило отката при регрессии.

  • Цикл с откатом — каждая гипотеза проверяется отдельной веткой: если метрики упали, изменение откатывается, если выросли, от этой ветки идёт следующая итерация. По словам спикера, на наивном демо-агенте без инструментов точность на evals выросла с 18% до 83% примерно за 10 итераций.
  • Failure modes из живых данных — негативные отзывы пользователей и разметка экспертов кластеризуются в классы ошибок, и каждый класс становится spec и записью в golden dataset. Спикер советует пересобирать такой отчёт примерно раз в спринт.
  • Запрет на подгонку — агенту нельзя менять golden dataset и scorers, иначе он начнёт подгонять тесты под себя. По словам спикера, на реальном агенте в продакшене точность выросла с 67% до 86% без такой подгонки.

Кому полезно: тем, кто поддерживает агента в продакшене и хочет улучшать его по отзывам пользователей и evals, а не подбирать промпты вручную.

Статья по теме

Главы

Похожие доклады