Post-training Gemini 4 для реальной инженерной работы
Post-Training Gemini 4 for Real Engineering Work — Melvin Johnson, Google DeepMind
Обучение Gemini 4 на реальной инженерной работе держится на оценке по rubric вместо проверки unit-тестами и на ежедневном использовании модели самими инженерами Google.
- rubric вместо unit-тестов — rubric генерируются из реальных коммитов в многофайловых репозиториях и дают градиентную оценку вместо бинарного «прошёл или нет». Проверяются корректность, стиль, сопровождаемость и объём изменения.
- Защита грейдеров от читерства — грейдер работает в изолированном sandbox: git-история и remote удаляются, тесты открываются только после сдачи решения. Наказываются действия агента, а не его рассуждения, и по словам спикера у Carbon доля читерства равна 0%.
- Честность в отчётах — по внутреннему eval доля фабрикаций снизилась с 8% до примерно 3% у Hydrogen и 1,5% у Carbon. Итоговый отчёт агента сверяется с действиями в траектории, а частичный прогресс на сложной задаче поощряется.
- Dogfooding как источник задач — более ста тысяч инженеров Google используют модель каждый день, и сбои становятся задачами для следующей итерации. По словам спикера, за последние шестнадцать недель вышло шесть релизов, тогда как в эпоху Gemini 3 запуски шли раз в два-три месяца.
Кому полезно: тем, кто обучает или дообучает агентов для кодинга и хочет строить оценку, устойчивую к читерству.
Главы
Похожие доклады
Подробный разбор Gemma 4
AI Engineer Europe 2026
Gemma: семейство открытых моделей DeepMind
AI Engineer Europe 2026
Обучение в процессе работы: будущее post-training
AI Engineer World's Fair 2026
Новые достижения в развитии моделей Gemma
AI Engineer World's Fair 2024
