· AI Engineer World's Fair 2026
Бенчмаркинг coding agents на новых и legacy-кодовых базах
Benchmarking Coding Agents on New vs Legacy Codebases — Denys Linkov, Wisedocs
Шестимесячный рефакторинг legacy-пайплайна для обработки медицинских страховых заявлений окупился: по словам спикера, фичи теперь выходят за неделю вместо месяцев.
- Монорепо вместо десяти репозиториев — части старше шести лет объединили в один монорепо, и теперь почти все разработчики компании коммитят в него, включая тех, кто раньше не хотел трогать старый код.
- Метрики после рефакторинга — по словам автора, пайплайн стал быстрее и дешевле, начал обрабатывать файлы большего размера, а фичи, на которые раньше уходили месяцы, теперь выходят меньше чем за неделю.
- Выбор оркестратора — пять open source проектов сравнили по 17 критериям, решение проверили прототипом на Temporal; автор оценивает, что сейчас такое исследование можно провести примерно на 90% быстрее с агентным workflow.
- Надёжность агентов по длине задач — по графику METR автор предлагает смотреть на порог успеха 80–90%, а не 50%: часовая задача с шансом 50% чаще тратит время впустую. В тесте o3 в Cursor потребовал три часа и допустил десять крупных ошибок, а Opus 4.8 справился почти с первого запроса.
Кому полезно: техлидам, которые решают, делать ли большой рефакторинг legacy-кода сейчас или подождать, пока модели станут лучше.
Статья по теме
На какие вопросы отвечает доклад
Окупился ли полгода рефакторинга legacy AI-пайплайна с десятком репозиториев?
По словам спикера, да: пайплайн стал быстрее и дешевле, принимает файлы большего размера, а фичи, на которые раньше уходили месяцы, теперь выходят меньше чем за неделю.
▶ 15:47Вопрос аудитории, стратегия рефакторинга и завершениеКак выбрать оркестратор для ML-пайплайна, если открытых проектов много?
Команда сравнила пять open source оркестраторов по 17 критериям и сделала прототипы, в том числе на Temporal. По оценке спикера, сейчас такой отбор можно провести примерно на девяносто процентов быстрее.
▶ 3:47Выбор оркестратора, агентное исследование и TemporalМожет ли агент для кодинга переписать legacy-кодовую базу почти без ручных правок?
Для переноса на o3 в Cursor понадобились три часа диалога и десять крупных ошибок. По словам спикера, Sonnet 4.6 справилась после одной дополнительной итерации, а Opus 4.8 решила задачу почти с первого раза.
▶ 5:20Бенчмарки coding агентов и ограничения надёжностиКак оценить, с какой вероятностью агент доведёт длинную задачу до конца?
Спикер советует смотреть на длину задач, которые модель выполняет с точностью 80–99 процентов, а не 50. Часовая задача с половинным шансом на успех, по его словам, чаще просто тратит время.
▶ 5:20Бенчмарки coding агентов и ограничения надёжностиМожет ли LLM переписать весь репозиторий одним промптом?
Пока нет: GPT-5.5 extra high за десять минут написала около двух тысяч строк, но в основном каркас без реализации моделей, и модель не проверила результат сама.
▶ 11:01Внедрение среди разработчиков и измеримые улучшения конвейераСтоит ли объединять репозитории AI-пайплайна в монорепо ради работы агентов?
Модели хорошо навигируют по нескольким репозиториям, но сквозные тесты, проверка и деплой с ними сложнее, а клонирование репозиториев в песочницу занимает время. Команда перешла на монорепо.
▶ 15:47Вопрос аудитории, стратегия рефакторинга и завершение
Главы
Ещё доклады: Denys Linkov
Страница спикера →Похожие доклады
Автоматизация масштабных рефакторингов с помощью параллельных агентов
AI Engineer Code 2025
Близко по содержанию
Coding evals: от фрагментов кода до целых кодовых баз
AI Engineer Code 2025
Близко по содержанию
Coding agents не масштабируются сами. Команды — тоже
AI Engineer World's Fair 2026
Близко по содержанию

