← Каталог

· AI Engineer World's Fair 2025

Как анализировать данные: что искать и как измерять

How to look at your data; what to look for, how to measure

Качество retrieval и выходов AI-приложения надо измерять на собственных данных: рейтинг MTEB скрывает разницу между embedding-моделями, которую видно на быстрых evals.

  • Быстрые evals на своих данных — набор пар «запрос и документ» (golden dataset) прогоняется за минуты и копейки. По словам авторов, в кейсе Weights and Biases лучшей оказалась voyage-3-large, а text-embedding-3-small показала худший результат, хотя jina-embeddings-v3 силён в MTEB по английскому.
  • Синтетические запросы — LLM можно научить писать вопросы, близкие по специфичности к реальным. По словам авторов, метрика recall@10 на таких запросах близка к метрике на настоящих запросах из логов Weave.
  • Сегментация разговоров — из диалогов извлекаются структурированные поля: резюме, используемые инструменты, ошибки и признаки фрустрации. Их кластеризуют и сравнивают качество по кластерам, а авторы делают это через открытую библиотеку Kura.
  • Приоритеты по доле трафика — если, например, 40% разговоров про визуализацию данных, а инструмент с ними не справляется, исправлять его нужно в первую очередь. Иногда решением становится не улучшение модели, а новый инструмент или фильтр, например фильтр по времени.

Кому полезно: тем, кто строит RAG-систему или агента и не понимает, какой embedding-модели доверять и что в логах стоит смотреть первым.

Статья по теме

Главы

Ещё доклады: Jason Liu

Все 4 доклада →

Похожие доклады