← Каталог

· AI Engineer World's Fair 2025

Энтомология на базе ИИ: уроки миллионов AI-ревью кода

AI-powered entomology: Lessons from millions of AI code reviews

Замечания LLM в code review стоит ограничивать пересечением того, что модель находит надёжно, и того, что команда хочет получать.

  • Два независимых критерия — модель находит логические ошибки и проблемы производительности и безопасности, но советы вроде «добавь тесты» или «вынеси логику в функцию» разработчики воспринимают как придирки, даже когда они верны.
  • Голоса вместо разметки — реакции одобрения и отклонения под комментариями показывают, что модель вышла за пределы возможностей: рост отклонений служит сигналом урезать промпт. По словам авторов, доля отклонённых комментариев меньше 4%.
  • Проверка по правкам — около 50% человеческих комментариев в открытых репозиториях и репозиториях клиентов Graphite приводят к изменению кода в том же PR. По словам авторов, к марту бот вышел на 52%, если правильно составить промпт.
  • Предел: негласные знания — правила вроде «мы так больше не делаем из-за...» живут в головах старших разработчиков, и модель их не видит, поэтому такие замечания остаются вне её досягаемости.

Кому полезно: тем, кто строит AI-ревьюер для pull request и хочет мерить качество его комментариев. Доклад во многом рассказ о продукте Diamond, но подход к метрикам применим и без него.

Статья по теме

На какие вопросы отвечает доклад

  • Как не дать AI-ревьюеру писать придирчивые и бесполезные комментарии к коду?

    По словам спикера, замечания нужно делить по двум осям: что LLM способна найти и что разработчики хотят получать. Промпт ограничивают пересечением этих категорий, и, по его данным, доля downvote держится ниже 4%.

    ▶ 2:15Что модели могут обнаружить и чего хотят разработчики
  • Какие категории замечаний в код-ревью LLM находит надёжно, а какие разработчики хотят получать?

    Анализ 10 тысяч комментариев дал категории: логические ошибки, случайно закоммиченный код, производительность и безопасность, расхождение документации с кодом. Стилистику и чистоту кода LLM находит легко, но такие замечания разработчики отвергают.

    ▶ 3:55Классификация комментариев code review и неформализованные знания команды
  • Как измерить, что замечания AI-ревьюера реально меняют код в pull request?

    Спикер считает долю комментариев, после которых код в том же PR меняется. У людей это около 50%, у их AI-ревьюера по состоянию на март 52%. Дополнительно собирают upvote и downvote, чтобы ловить галлюцинации.

    ▶ 7:05Оценка моделей, голоса разработчиков и выводы о продукте
  • Почему AI-ревьюер не замечает негласных правил команды и решений, которые нигде не записаны?

    Такие правила, например «раньше делали так, теперь нет, по причине X», живут в головах старших разработчиков и нигде не документированы. Спикер называет это постоянным пределом: модели трудно угадать такое знание.

    ▶ 3:55Классификация комментариев code review и неформализованные знания команды
  • Как понять, что новая версия модели начала давать больше шумных замечаний в ревью кода?

    Спикер следит за всплесками downvote при переходе на новые модели, например с Sonnet на Claude 4 Opus, и при росте шума смягчает настройки замечаний. Так он проверяет, что система остаётся в зоне того, что LLM умеет и что разработчики принимают.

    ▶ 7:05Оценка моделей, голоса разработчиков и выводы о продукте

Главы

Ещё доклады: Tomas Reimers

Страница спикера →

Похожие доклады