· AI Engineer World's Fair 2025
Как анализировать данные: что искать и как измерять
How to look at your data; what to look for, how to measure
Качество retrieval и выходов AI-приложения надо измерять на собственных данных: рейтинг MTEB скрывает разницу между embedding-моделями, которую видно на быстрых evals.
- Быстрые evals на своих данных — набор пар «запрос и документ» (golden dataset) прогоняется за минуты и копейки. По словам авторов, в кейсе Weights and Biases лучшей оказалась voyage-3-large, а text-embedding-3-small показала худший результат, хотя jina-embeddings-v3 силён в MTEB по английскому.
- Синтетические запросы — LLM можно научить писать вопросы, близкие по специфичности к реальным. По словам авторов, метрика recall@10 на таких запросах близка к метрике на настоящих запросах из логов Weave.
- Сегментация разговоров — из диалогов извлекаются структурированные поля: резюме, используемые инструменты, ошибки и признаки фрустрации. Их кластеризуют и сравнивают качество по кластерам, а авторы делают это через открытую библиотеку Kura.
- Приоритеты по доле трафика — если, например, 40% разговоров про визуализацию данных, а инструмент с ними не справляется, исправлять его нужно в первую очередь. Иногда решением становится не улучшение модели, а новый инструмент или фильтр, например фильтр по времени.
Кому полезно: тем, кто строит RAG-систему или агента и не понимает, какой embedding-модели доверять и что в логах стоит смотреть первым.
Статья по теме
Главы
Ещё доклады: Jason Liu
Все 4 доклада →Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
Pydantic — всё, что вам нужно
AI Engineer World's Fair 2024
Полный воркшоп: создаём условия для успеха
AI Engineer World's Fair 2026
Похожие доклады
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
Как написать свой первый AI eval
Близко по содержанию


