· AI Engineer World's Fair 2025
Оценка AI-поиска: практический фреймворк для дополненных AI-систем
Evaluating AI Search: A Practical Framework for Augmented AI Systems
Статичные бенчмарки вроде SimpleQA плохо предсказывают качество AI-поиска в продакшене, а метрики, которым не нужны эталонные ответы, могут заменить их при оценке.
- Динамический датасет из веба — агент на LangGraph генерирует пары вопросов и ответов по документам из нескольких поисковых провайдеров и сохраняет источники для каждой пары. Проект открытый, эксперименты трекаются в LangSmith.
- Рейтинг меняется — по словам авторов, на наборе примерно из 1000 строк порядок шести провайдеров заметно отличался от SimpleQA. Провайдер, худший на SimpleQA, оказался лучшим на динамическом наборе.
- Полнота ответа вместо эталона — метрика answer completeness дала корреляцию 0,94 со средними результатами по эталонным ответам. Полнота при этом не равна корректности, поэтому её нужно сочетать с другими метриками.
- Полнота против галлюцинаций — только три из шести провайдеров возвращают найденные документы, остальные отдают лишь цитаты. У одного провайдера с самой высокой полнотой оказалась и самая высокая доля галлюцинаций, что авторы считают компромиссом между метриками.
Кому полезно: тем, кто оценивает AI-поиск или RAG-агентов в продакшене, где эталонных ответов обычно нет.
Статья по теме
Главы
Ещё доклады: Deanna Emery
Страница спикера →Оптимизация RAG с помощью оценки
AI Engineer World's Fair 2024
Похожие доклады
Evals AI-агентов для задач с высокой ценой ошибки
Annabell Schäfer, Doneyli De Jesus
Близко по содержанию
Создание более умного AI-агента с Neural RAG
AI Engineer World's Fair 2025
Близко по содержанию
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию



