← Каталог

· AI Engineer Summit 2025

Как coding agents навсегда меняют разработку ПО

How Coding Agents Change Software Development Forever - Hailong Zhang

Асинхронный агент, который сам пишет unit-тесты под pull request, по словам авторов, в продакшене проходит ревью больше чем в половине случаев.

  • Узкая задача вместо общей — агент строится вокруг одной конкретной задачи вроде unit-тестов, а не вокруг software engineering в целом; под неё сразу готовятся датасет для оценки и evaluation harness.
  • Модель под каждый этап — для разных стадий одной задачи выбираются разные LLM, а GPT-4o дообучили на unit-тестах, размеченных людьми; по словам спикера, это улучшило генерацию тестового кода.
  • Контекст из репозитория — под каждый язык и фреймворк собирается свой контекст из issues, code review, коммитов, pull request и README, который отбирается под размер context window.
  • Доля тестов от агента — по словам спикера, около 80% тестов в собственном репозитории команды написал Gru, и по числу коммитов он стал первым участником команды.

Кому полезно: тем, кто хочет, чтобы агент сам писал тесты на каждый pull request и передавал их на ревью.

Статья по теме

На какие вопросы отвечает доклад

  • Как заставить агента самому писать unit-тесты и открывать pull request?

    Агент запускается на новом pull request, определяет, нужны ли тесты, пишет и запускает их, затем открывает свой pull request с описанием и приростом покрытия, который проверяет человек.

    ▶ 3:02Test Gru: автономные модульные тесты и pull requests
  • Какой долей своих pull request агент реально попадает в основную ветку?

    По словам спикера, больше половины pull request агента принимают люди, а около 80% unit-тестов в его собственном репозитории написаны агентом.

    ▶ 4:49Заявленные результаты в production и тесты, созданные агентами
  • Как выбрать LLM для разных этапов работы одного агента?

    Модели сравнивают на разных сценариях и выбирают лучшую под каждый этап, поэтому внутри одной задачи агент может использовать разные LLM от разных провайдеров.

    ▶ 5:50Evals, выбор модели, fine-tuning GPT-4o и Agent OS
  • Когда fine-tuning GPT-4o оправдан для генерации тестового кода?

    Команда дообучала GPT-4o на unit-тестах, размеченных людьми, чтобы улучшить генерацию тестового кода.

    ▶ 5:50Evals, выбор модели, fine-tuning GPT-4o и Agent OS
  • Как собрать контекст для агента, который работает с кодом репозитория?

    Контекст строят отдельно для каждого языка и фреймворка, собирают issues, code review, коммиты, pull request и README, затем отбирают то, что помещается в окно контекста.

    ▶ 5:50Evals, выбор модели, fine-tuning GPT-4o и Agent OS

Главы

Похожие доклады