← Каталог

· AI Engineer World's Fair 2025

CI в эпоху AI: от модульных тестов к стохастическим evals

CI in the Era of AI: From Unit Tests to Stochastic Evals

Стохастические проверки LLM в редакторе Zed можно вести как обычные тесты: прогон сотни раз с порогом прохождения, а найденные сбои переводить в детерминированные тесты.

  • Порог вместо одного прогона — eval запускается 200 раз, и сборка падает, если прошли не все примеры. Так недетерминированная проверка встраивается в обычный CI.
  • Большой eval разбирается на мелкие тесты — когда сквозной eval падает, его сводят к проверке одного шага. Например, поиск по grep расширяет совпадение до синтаксических границ функции через Tree-sitter, и поведение агента заметно улучшилось.
  • Стриминг правок без tool call — вместо tool call, чьи ключи приходят разом, модель выдаёт блоки old text и new text. Парсер проверяют на случайной нарезке входа в 100 итерациях, а потоковый diff учится отличать удаление текста от ещё не пришедшего текста.
  • Ошибки модели в тестах — незакрытые XML-теги, пустой old text и потерянные отступы закрывали промптом и детерминированными тестами. По словам автора, доля незакрытых тегов снизилась с 40% до 95% одной фразой в промпте.

Кому полезно: тем, кто добавляет агентное редактирование кода и хочет тестировать его в CI.

Статья по теме

Главы

Похожие доклады