Основные компоненты систем и продуктов на базе LLM
Building Blocks for LLM Systems & Products
Для LLM-продуктов стоит начать с автоматических evals на 30–100 примерах своей задачи, потому что публичные бенчмарки вроде MMLU плохо описывают вашу задачу.
- Evals на своей задаче — спикер советует размечать 30–100 примеров и там, где ответ можно проверить, использовать выполнение SQL или проверку ключей JSON вместо дорогого LLM-судьи для открытых ответов.
- Порядок документов в RAG — по приведённому эксперименту, если нужный документ стоит в середине контекста из двадцати фрагментов, точность ниже, чем без retrieval вовсе; ранжирование важно и при большом context window.
- Проверка галлюцинаций по предложениям — NLI-классификация, где документ служит посылкой, а саммари гипотезой, точнее находит ошибки, если проверять каждое предложение, а не текст целиком.
- Фидбек из действий пользователя — клик по кнопке копирования кода шумный, поэтому спикер предлагает смотреть на более сильные действия: в Midjourney перезапуск промпта он считает негативным сигналом, вариацию слабым позитивом, а upscale сильным.
Кому полезно: тем, кто строит evals и RAG для LLM-продукта в продакшене и не знает, с чего начать проверку качества.
Статья по теме
Главы
Ещё доклады: Eugene Yan
Все 4 доклада →Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
Как использовать LLM для защиты исходного кода
AI Engineer World's Fair 2026
Ключевой доклад о рекомендательных системах: улучшение рекомендаций и поиска в эпоху LLMs
AI Engineer World's Fair 2025
Похожие доклады
Этапы зрелости evals
AI Engineer Europe 2026
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Как довести RAG до production: поиск, оценка и анализ ошибок
AI Engineer Summit 2023
Близко по содержанию

