· AI Engineer World's Fair 2025
CI в эпоху AI: от модульных тестов к стохастическим evals
CI in the Era of AI: From Unit Tests to Stochastic Evals
Стохастические проверки LLM в редакторе Zed можно вести как обычные тесты: прогон сотни раз с порогом прохождения, а найденные сбои переводить в детерминированные тесты.
- Порог вместо одного прогона — eval запускается 200 раз, и сборка падает, если прошли не все примеры. Так недетерминированная проверка встраивается в обычный CI.
- Большой eval разбирается на мелкие тесты — когда сквозной eval падает, его сводят к проверке одного шага. Например, поиск по
grepрасширяет совпадение до синтаксических границ функции через Tree-sitter, и поведение агента заметно улучшилось. - Стриминг правок без tool call — вместо tool call, чьи ключи приходят разом, модель выдаёт блоки
old textиnew text. Парсер проверяют на случайной нарезке входа в 100 итерациях, а потоковый diff учится отличать удаление текста от ещё не пришедшего текста. - Ошибки модели в тестах — незакрытые XML-теги, пустой
old textи потерянные отступы закрывали промптом и детерминированными тестами. По словам автора, доля незакрытых тегов снизилась с 40% до 95% одной фразой в промпте.
Кому полезно: тем, кто добавляет агентное редактирование кода и хочет тестировать его в CI.
Статья по теме
Главы
Похожие доклады
Перестраиваем CI для потока коммитов в эпоху AI
AI Engineer NYC 2026 Online Talks
Близко по содержанию
Evals в ИИ: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию
Создание ACP-совместимого агента в прямом эфире
AI Engineer Europe 2026
Близко по содержанию
Создание амбициозного ПО
Близко по содержанию

