· AI Engineer World's Fair 2025
Evals — это не модульные тесты
Evals Are Not Unit Tests
Ручной тест из нескольких удачных запусков не говорит о надёжности LLM-приложения: нужен датасет реальных пользовательских запросов и evals, которые ловят регрессии.
- Данные из продакшена — собирайте запросы, которые реально задают пользователи: лайки и дизлайки, случайные 100 логов в неделю, форумы и X. Датасет должен покрывать весь диапазон запросов, а не скопление похожих, и не включать того, что пользователи никогда не спросят.
- Константы в датасете, переменные в task — запросы хранятся отдельно, а системный промпт, препроцессинг и RAG меняются в task, поэтому смена промпта не требует переписывать данные. Middleware из AI SDK можно использовать и в API-маршруте, и в evals, чтобы код совпадал.
- Простой скоринг «прошёл или не прошёл» — оценка должна быть понятна команде и легко читается в логах. Там, где проверку трудно написать в коде, авторы допускают ручную проверку.
- Evals в CI — Braintrust запускает задачу по всем данным и выводит отчёт об улучшениях и регрессиях для каждого PR; по словам спикера, их запускают минимум ежедневно.
Кому полезно: тем, кто выводит LLM-функции в продакшен и хочет проверять изменения промпта или модели до релиза.
Статья по теме
Главы
Похожие доклады
Как создавать системы оценки LLM для конкретной предметной области
AI Engineer World's Fair 2024
Близко по содержанию
Agentic-поиск против vector search для coding agents: мы провели eval
Близко по содержанию
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
Evals в ИИ: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию

