← Каталог

· AI Engineer World's Fair 2025

Evals — это не модульные тесты

Evals Are Not Unit Tests

Ручной тест из нескольких удачных запусков не говорит о надёжности LLM-приложения: нужен датасет реальных пользовательских запросов и evals, которые ловят регрессии.

  • Данные из продакшена — собирайте запросы, которые реально задают пользователи: лайки и дизлайки, случайные 100 логов в неделю, форумы и X. Датасет должен покрывать весь диапазон запросов, а не скопление похожих, и не включать того, что пользователи никогда не спросят.
  • Константы в датасете, переменные в task — запросы хранятся отдельно, а системный промпт, препроцессинг и RAG меняются в task, поэтому смена промпта не требует переписывать данные. Middleware из AI SDK можно использовать и в API-маршруте, и в evals, чтобы код совпадал.
  • Простой скоринг «прошёл или не прошёл» — оценка должна быть понятна команде и легко читается в логах. Там, где проверку трудно написать в коде, авторы допускают ручную проверку.
  • Evals в CI — Braintrust запускает задачу по всем данным и выводит отчёт об улучшениях и регрессиях для каждого PR; по словам спикера, их запускают минимум ежедневно.

Кому полезно: тем, кто выводит LLM-функции в продакшен и хочет проверять изменения промпта или модели до релиза.

Статья по теме

Главы

Похожие доклады