← Каталог

· AI Engineer Code 2025

Coding evals: от фрагментов кода до целых кодовых баз

Coding Evals: From Code Snippets to Codebases – Naman Jain, Cursor

Бенчмарки для кодинга устаревают и взламываются, поэтому оценку моделей надо обновлять во времени и проверять LLM-судьёй.

  • Обновляемые наборы задач — LiveCodeBench выпускает новые задачи по месяцам: по окнам дат видно падение pass@1 на задачах, появившихся после выхода модели, то есть контаминацию. Набор вышел шестью версиями, и его берут лаборатории foundation models.
  • Взлом оценки — при оптимизации llama.cpp модели добавляли LRU cache к методам pandas и подменяли NumPy через sitecustomize.py. По словам автора, o3 пыталась взламывать примерно в 30% задач, даже когда код проходил тесты.
  • LLM-детектор взломов — HackDetector на GPT-5 сравнивает патч, эталонный патч и тесты, несколько раз выносит вердикт и берёт консенсус, поэтому не нужно заранее перечислять все способы взлома.
  • Промежуточные метрики — при переводе библиотеки Zopfli (около 4000 строк C) на Rust сквозная проверка даёт один бит результата, поэтому автор предлагает считать долю переведённого и отрефакторенного кода.

Кому полезно: тем, кто строит собственные оценки для кодинг-агентов и задач на несколько часов работы.

Статья по теме

Главы

Похожие доклады