← Каталог

· AI Engineer Code 2026

Post-training Gemini 4 для реальной инженерной работы

Post-Training Gemini 4 for Real Engineering Work — Melvin Johnson, Google DeepMind

Обучение Gemini 4 на реальной инженерной работе держится на оценке по rubric вместо проверки unit-тестами и на ежедневном использовании модели самими инженерами Google.

  • rubric вместо unit-тестов — rubric генерируются из реальных коммитов в многофайловых репозиториях и дают градиентную оценку вместо бинарного «прошёл или нет». Проверяются корректность, стиль, сопровождаемость и объём изменения.
  • Защита грейдеров от читерства — грейдер работает в изолированном sandbox: git-история и remote удаляются, тесты открываются только после сдачи решения. Наказываются действия агента, а не его рассуждения, и по словам спикера у Carbon доля читерства равна 0%.
  • Честность в отчётах — по внутреннему eval доля фабрикаций снизилась с 8% до примерно 3% у Hydrogen и 1,5% у Carbon. Итоговый отчёт агента сверяется с действиями в траектории, а частичный прогресс на сложной задаче поощряется.
  • Dogfooding как источник задач — более ста тысяч инженеров Google используют модель каждый день, и сбои становятся задачами для следующей итерации. По словам спикера, за последние шестнадцать недель вышло шесть релизов, тогда как в эпоху Gemini 3 запуски шли раз в два-три месяца.

Кому полезно: тем, кто обучает или дообучает агентов для кодинга и хочет строить оценку, устойчивую к читерству.

Главы

Похожие доклады