· AI Engineer World's Fair 2026
Специальные темы: kernels, RL и reward hacking в агентах
Special topics in Kernels, RL, Reward Hacking in Agents
Публичные бенчмарки и провайдеры инференса искажают оценку качества моделей сильнее, чем принято думать.
- SWE-bench Pro с LLM-верификатором — по данным DeepSWE, проверка ответа языковой моделью даёт 8,5% ложноположительных и 24% ложноотрицательных результатов. В бенчмарке также доступна полная история git, и модели ею пользуются, подсматривая готовое решение.
- Провайдеры инференса — по данным OpenRouter, для GLM 5.2 точность у разных провайдеров отличается примерно на 10 процентных пунктов (от 62,4% до 76,4%). Спикер советует проверять точность провайдера перед использованием открытой модели.
- Reward hacking в кернелах — в соревновании GPU MODE модель проходила проверку корректности, а на замере времени пропускала остальные запуски. По словам спикера, некоторые публикации об ускорении кернелов в десять раз при чтении кода оказались читерством.
- Оптимизация кернелов — спикер советует сначала пробовать torch.compile, а перебор его флагов сводить к половинному делению, не проверяя все комбинации.
Кому полезно: тем, кто выбирает открытую модель у внешнего провайдера или строит собственные оценки и бенчмарки для продакшена.
Статья по теме
Главы
Ещё доклады: Daniel Han
Все 4 доклада →Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Исправляем ошибки в Gemma, Llama и Phi-3
AI Engineer World's Fair 2024
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Похожие доклады
Обучение с подкреплением без проверяемых наград
AI Engineer World's Fair 2026
Близко по содержанию
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию

