← Каталог

· AI Engineer World's Fair 2026

Бенчмаркинг coding agents на новых и legacy-кодовых базах

Benchmarking Coding Agents on New vs Legacy Codebases — Denys Linkov, Wisedocs

Шестимесячный рефакторинг legacy-пайплайна для обработки медицинских страховых заявлений окупился: по словам спикера, фичи теперь выходят за неделю вместо месяцев.

  • Монорепо вместо десяти репозиториев — части старше шести лет объединили в один монорепо, и теперь почти все разработчики компании коммитят в него, включая тех, кто раньше не хотел трогать старый код.
  • Метрики после рефакторинга — по словам автора, пайплайн стал быстрее и дешевле, начал обрабатывать файлы большего размера, а фичи, на которые раньше уходили месяцы, теперь выходят меньше чем за неделю.
  • Выбор оркестратора — пять open source проектов сравнили по 17 критериям, решение проверили прототипом на Temporal; автор оценивает, что сейчас такое исследование можно провести примерно на 90% быстрее с агентным workflow.
  • Надёжность агентов по длине задач — по графику METR автор предлагает смотреть на порог успеха 80–90%, а не 50%: часовая задача с шансом 50% чаще тратит время впустую. В тесте o3 в Cursor потребовал три часа и допустил десять крупных ошибок, а Opus 4.8 справился почти с первого запроса.

Кому полезно: техлидам, которые решают, делать ли большой рефакторинг legacy-кода сейчас или подождать, пока модели станут лучше.

Статья по теме

На какие вопросы отвечает доклад

  • Окупился ли полгода рефакторинга legacy AI-пайплайна с десятком репозиториев?

    По словам спикера, да: пайплайн стал быстрее и дешевле, принимает файлы большего размера, а фичи, на которые раньше уходили месяцы, теперь выходят меньше чем за неделю.

    ▶ 15:47Вопрос аудитории, стратегия рефакторинга и завершение
  • Как выбрать оркестратор для ML-пайплайна, если открытых проектов много?

    Команда сравнила пять open source оркестраторов по 17 критериям и сделала прототипы, в том числе на Temporal. По оценке спикера, сейчас такой отбор можно провести примерно на девяносто процентов быстрее.

    ▶ 3:47Выбор оркестратора, агентное исследование и Temporal
  • Может ли агент для кодинга переписать legacy-кодовую базу почти без ручных правок?

    Для переноса на o3 в Cursor понадобились три часа диалога и десять крупных ошибок. По словам спикера, Sonnet 4.6 справилась после одной дополнительной итерации, а Opus 4.8 решила задачу почти с первого раза.

    ▶ 5:20Бенчмарки coding агентов и ограничения надёжности
  • Как оценить, с какой вероятностью агент доведёт длинную задачу до конца?

    Спикер советует смотреть на длину задач, которые модель выполняет с точностью 80–99 процентов, а не 50. Часовая задача с половинным шансом на успех, по его словам, чаще просто тратит время.

    ▶ 5:20Бенчмарки coding агентов и ограничения надёжности
  • Может ли LLM переписать весь репозиторий одним промптом?

    Пока нет: GPT-5.5 extra high за десять минут написала около двух тысяч строк, но в основном каркас без реализации моделей, и модель не проверила результат сама.

    ▶ 11:01Внедрение среди разработчиков и измеримые улучшения конвейера
  • Стоит ли объединять репозитории AI-пайплайна в монорепо ради работы агентов?

    Модели хорошо навигируют по нескольким репозиториям, но сквозные тесты, проверка и деплой с ними сложнее, а клонирование репозиториев в песочницу занимает время. Команда перешла на монорепо.

    ▶ 15:47Вопрос аудитории, стратегия рефакторинга и завершение

Главы

Ещё доклады: Denys Linkov

Страница спикера →

Похожие доклады