· AI Engineer World's Fair 2025
7 привычек эффективной оценки генеративного ИИ
7 Habits of Highly Effective Generative AI Evaluations
Оценки генеративных систем должны показывать, где и почему модель ошибается, и без такого набора проекты редко выходят за пределы пилота.
- Оценки за секунды — цель около 30 секунд на прогон: генерация и судейство идут параллельно на сотне тестовых примеров, а в конце получается сводка по категориям с трендами верных и ошибочных ответов.
- Декомпозиция промпта — каждый шаг оцениваем отдельно. В примере с метеосервисом сравнение скорости ветра вынесли в Python, и, по словам спикера, точность этого шага стала 100%, хотя модель ошибалась в 2–3% случаев.
- Среднее по большому набору — единичные оценки судьи шумят, поэтому считают среднее по многим примерам; сотня тестов служит ориентиром, а для редких сценариев хватает трёх-четырёх.
- Эталон без GenAI — набор, созданный генеративной моделью, копирует её ошибки. Промежуточный вариант нужно проверить человеку.
Кому полезно: тем, кто выводит LLM-систему из пилота в продакшен и не понимает, на каком шаге она ломается.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Близко по содержанию
Оценка AI-поиска: практический фреймворк для дополненных AI-систем
Deanna Emery, Julia Neagu, Maitar Asher
AI Engineer World's Fair 2025
Близко по содержанию

