← Каталог

· AI Engineer Code 2026

Ваш PR пишет, что тесты прошли. Докажите это

Your PR Says the Tests Passed. Prove It. - Stephen Chin & Cassandra Chin

Граф доказательств из логов агентных сессий, по словам авторов, делает PR точнее и примерно вдвое дешевле по токенам.

  • Аудит сессий вместо пересказа diff — PR собирается из логов разных сессий агента, а не из последней сессии с уже сжатым контекстом. Так видно, что реально запускалось: в одном примере bun test и tsc шли параллельно, хотя должны были идти по очереди, а PR при этом заявлял, что проверки прошли.
  • Граф связей вместо повторного поиска — Relate, встраиваемая open source база на Rust без затрат на LLM, связывает утверждения, код и проверки с источниками и отдаёт их одним пакетом. По словам авторов, с ним стоимость составления PR примерно вдвое ниже.
  • Сильная модель на черновике, дешёвая на проверке — по словам авторов, при дешёвой модели для текста качество падает, а поиск пропусков и сверка черновика механические, поэтому их можно отдать Haiku вместо Sonnet.
  • Оценки на PR Bench — судьи на шкале от 1 до 100 чаще ставили выше PR, собранные с Trace Tune и Relate, и на Claude, и на Codex; часть оценок дополнительно проверил человек.

Кому полезно: тем, кто проверяет PR, написанные агентами, и тратит токены на повторные прогоны и ручную сверку заявлений о проверках.

Статья по теме

Главы

Ещё доклады: Stephen Chin

Все 6 докладов →

Похожие доклады