· AI Engineer World's Fair 2025
Энтомология на базе ИИ: уроки миллионов AI-ревью кода
AI-powered entomology: Lessons from millions of AI code reviews
Замечания LLM в code review стоит ограничивать пересечением того, что модель находит надёжно, и того, что команда хочет получать.
- Два независимых критерия — модель находит логические ошибки и проблемы производительности и безопасности, но советы вроде «добавь тесты» или «вынеси логику в функцию» разработчики воспринимают как придирки, даже когда они верны.
- Голоса вместо разметки — реакции одобрения и отклонения под комментариями показывают, что модель вышла за пределы возможностей: рост отклонений служит сигналом урезать промпт. По словам авторов, доля отклонённых комментариев меньше 4%.
- Проверка по правкам — около 50% человеческих комментариев в открытых репозиториях и репозиториях клиентов Graphite приводят к изменению кода в том же PR. По словам авторов, к марту бот вышел на 52%, если правильно составить промпт.
- Предел: негласные знания — правила вроде «мы так больше не делаем из-за...» живут в головах старших разработчиков, и модель их не видит, поэтому такие замечания остаются вне её досягаемости.
Кому полезно: тем, кто строит AI-ревьюер для pull request и хочет мерить качество его комментариев. Доклад во многом рассказ о продукте Diamond, но подход к метрикам применим и без него.
Статья по теме
На какие вопросы отвечает доклад
Как не дать AI-ревьюеру писать придирчивые и бесполезные комментарии к коду?
По словам спикера, замечания нужно делить по двум осям: что LLM способна найти и что разработчики хотят получать. Промпт ограничивают пересечением этих категорий, и, по его данным, доля downvote держится ниже 4%.
▶ 2:15Что модели могут обнаружить и чего хотят разработчикиКакие категории замечаний в код-ревью LLM находит надёжно, а какие разработчики хотят получать?
Анализ 10 тысяч комментариев дал категории: логические ошибки, случайно закоммиченный код, производительность и безопасность, расхождение документации с кодом. Стилистику и чистоту кода LLM находит легко, но такие замечания разработчики отвергают.
▶ 3:55Классификация комментариев code review и неформализованные знания командыКак измерить, что замечания AI-ревьюера реально меняют код в pull request?
Спикер считает долю комментариев, после которых код в том же PR меняется. У людей это около 50%, у их AI-ревьюера по состоянию на март 52%. Дополнительно собирают upvote и downvote, чтобы ловить галлюцинации.
▶ 7:05Оценка моделей, голоса разработчиков и выводы о продуктеПочему AI-ревьюер не замечает негласных правил команды и решений, которые нигде не записаны?
Такие правила, например «раньше делали так, теперь нет, по причине X», живут в головах старших разработчиков и нигде не документированы. Спикер называет это постоянным пределом: модели трудно угадать такое знание.
▶ 3:55Классификация комментариев code review и неформализованные знания командыКак понять, что новая версия модели начала давать больше шумных замечаний в ревью кода?
Спикер следит за всплесками downvote при переходе на новые модели, например с Sonnet на Claude 4 Opus, и при росте шума смягчает настройки замечаний. Так он проверяет, что система остаётся в зоне того, что LLM умеет и что разработчики принимают.
▶ 7:05Оценка моделей, голоса разработчиков и выводы о продукте
Главы
Ещё доклады: Tomas Reimers
Страница спикера →Не дайте себя выбить с одного удара: используйте AI для тестирования, ревью, слияния и деплоя кода
AI Engineer World's Fair 2025
Похожие доклады
Агенты сообщили о тысячах багов — сколько из них были настоящими?
AI Engineer World's Fair 2025
Близко по содержанию
Качество кода, созданного с помощью ИИ: хайп и реальность
AI Engineer Code 2025
Близко по содержанию
Как покончить с ревью кода
AI Engineer World's Fair 2026
Близко по содержанию

