← Каталог

· AI Engineer Code 2026

Каждая поправка агенту — это данные

Every Correction You Give Your Agent Is Data - Brian Douglas, Paper Compute

Замечания старших инженеров к коду агента, сохранённые вместе с трассами сессий, можно превратить в skill и дообученную модель, которая ревьюит код по их стандартам.

  • Метки на возражениях — спикер помечает в трассах сессии, где инженер возражает агенту, и так фиксируются решения, которых агент не знает, например устройство API или дублирование сервисов. Сам спикер Rust профессионально не пишет, поэтому без этих меток он принимает всё, что генерирует агент.
  • Skill раньше дообучения — по словам спикера, около 80 тысяч сессий команды хватает для навыков, которые дают большую часть пользы; дообучение он советует делать только после них.
  • Дообучение малой модели — для ревьюера взята модель на 4B параметров с адаптерами поверх базовой, и это работало. DPO, по его словам, требует моделей от 70B и больше и заметного железа, поэтому у него не получилось.
  • Сбор сессий — спикер использует open source tapes.dev (Apache 2.0), который пишет трассы агентов в Postgres. По его наблюдению, команда всё чаще ревьюит код в терминале, и замечания людей до открытия PR теряются, если их не сохранять.

Кому полезно: командам, где агенты пишут код на языке, который никто из участников хорошо не знает, и есть накопленные сессии с замечаниями.

Статья по теме

На какие вопросы отвечает доклад

  • Как размечать сессии агентов, где инженер поправил агента, и использовать их как обучающие данные?

    Сессии собирают в централизованном хранилище трасс и помечают лейблом pushback, когда инженер возражает агенту. По словам спикера, так набралось около 80 тысяч сессий, из которых можно делать навыки и обучать модель.

    ▶ 3:43Разметка экспертных возражений в Paper Console
  • Как передать агенту архитектурные решения команды, которых нет в коде и которые он не знает?

    Спикер размечает случаи, где опытный инженер возражал агенту: выбор структуры API, дублирование сервисов, переизобретение библиотек. Эти примеры становятся обучающими данными, потому что агент сам такого контекста не имеет.

    ▶ 3:43Разметка экспертных возражений в Paper Console
  • Как автоматизировать код-ревью под стиль конкретного опытного инженера команды?

    Спикер дообучил модель на трассах сессий, где этот инженер возражал агенту, а не на истории GitHub-ревью. Модель пишет комментарии к pull request так, как ревьюил бы он сам.

    ▶ 6:28Прототип Twin Review
  • Когда дообучение модели окупается больше, чем навыки skills, и с чего начать?

    По словам спикера, сначала стоит написать skill, из которого получается основная отдача, затем собрать evals и только после этого дообучать модель. DPO при этом требует сильно больше вычислений, чем specialized fine-tuning.

    ▶ 9:32Начинаем со Skills и evals
  • Сколько железа нужно для DPO и чем оно отличается от specialized fine-tuning на маленькой модели?

    Specialized fine-tuning на модели Qwen 4B с квантизацией работал на небольших GPU вроде 5090. По словам спикера, DPO на небольших моделях не получился, и для него нужна модель от 70B и мощное железо.

    ▶ 10:48Эксперименты по адаптации модели и заключительные советы

Главы

Похожие доклады