← Каталог

· AI Engineer World's Fair 2025

Оценка AI-поиска: практический фреймворк для дополненных AI-систем

Evaluating AI Search: A Practical Framework for Augmented AI Systems

Статичные бенчмарки вроде SimpleQA плохо предсказывают качество AI-поиска в продакшене, а метрики, которым не нужны эталонные ответы, могут заменить их при оценке.

  • Динамический датасет из веба — агент на LangGraph генерирует пары вопросов и ответов по документам из нескольких поисковых провайдеров и сохраняет источники для каждой пары. Проект открытый, эксперименты трекаются в LangSmith.
  • Рейтинг меняется — по словам авторов, на наборе примерно из 1000 строк порядок шести провайдеров заметно отличался от SimpleQA. Провайдер, худший на SimpleQA, оказался лучшим на динамическом наборе.
  • Полнота ответа вместо эталона — метрика answer completeness дала корреляцию 0,94 со средними результатами по эталонным ответам. Полнота при этом не равна корректности, поэтому её нужно сочетать с другими метриками.
  • Полнота против галлюцинаций — только три из шести провайдеров возвращают найденные документы, остальные отдают лишь цитаты. У одного провайдера с самой высокой полнотой оказалась и самая высокая доля галлюцинаций, что авторы считают компромиссом между метриками.

Кому полезно: тем, кто оценивает AI-поиск или RAG-агентов в продакшене, где эталонных ответов обычно нет.

Статья по теме

Главы

Ещё доклады: Deanna Emery

Страница спикера →

Похожие доклады