← Каталог

· AI Engineer World's Fair 2025

7 привычек эффективной оценки генеративного ИИ

7 Habits of Highly Effective Generative AI Evaluations

Оценки генеративных систем должны показывать, где и почему модель ошибается, и без такого набора проекты редко выходят за пределы пилота.

  • Оценки за секунды — цель около 30 секунд на прогон: генерация и судейство идут параллельно на сотне тестовых примеров, а в конце получается сводка по категориям с трендами верных и ошибочных ответов.
  • Декомпозиция промпта — каждый шаг оцениваем отдельно. В примере с метеосервисом сравнение скорости ветра вынесли в Python, и, по словам спикера, точность этого шага стала 100%, хотя модель ошибалась в 2–3% случаев.
  • Среднее по большому набору — единичные оценки судьи шумят, поэтому считают среднее по многим примерам; сотня тестов служит ориентиром, а для редких сценариев хватает трёх-четырёх.
  • Эталон без GenAI — набор, созданный генеративной моделью, копирует её ошибки. Промежуточный вариант нужно проверить человеку.

Кому полезно: тем, кто выводит LLM-систему из пилота в продакшен и не понимает, на каком шаге она ломается.

Статья по теме

Главы

Похожие доклады