AI Engineering 201: всё, что нужно вокруг модели
AI Engineering 201: The Rest of the Owl
Ценность LLM-продукта создают retrieval, структурированный вывод, мониторинг и evals вокруг инференса, а не сама модель.
- Структурированный вывод — grammar-based sampling обнуляет вероятность токенов, которые нарушают формат, но в API OpenAI для этого нужен сетевой вызов на каждый токен, поэтому потоковая выдача ломается. Схему JSON можно применять и к вымышленной функции: библиотека
Instructorтак превращает ответ модели в классификацию, например «спам» или «не спам». - Retrieval — post-фильтрация по метаданным делается просто, а pre-фильтрация сложна, потому что влияет на построение индекса. Спикер советует сочетать keyword и vector search и извлекать метаданные через LLM для прямой фильтрации.
- Мониторинг — смотреть надо на p99 задержки, а не на p90: пользователь делает много запросов подряд, и редкие медленные ответы попадаются ему регулярно.
- Evals — если есть правильный ответ, эталон, предыдущая версия системы или обратная связь пользователей, оценка сводится к известным метрикам или сравнению. По словам спикера, GPT-4 как аннотатор работает примерно на уровне 90-го перцентиля краудворкеров, а GPT-3.5 Turbo — медианного.
Кому полезно: тем, кто строит RAG-чатбот или извлечение структуры из текста и думает, как проверять качество в продакшене.
Статья по теме
Главы
Ещё доклады: Charles Frye
Все 5 докладов →Что вообще такое движок инференса?
AI Engineer World's Fair 2026
Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Похожие доклады
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Близко по содержанию
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Тот же спикер: Charles Frye
Основы информационного поиска
AI Engineer World's Fair 2025
Близко по содержанию

