· AI Engineer World's Fair 2025
Практические приёмы создания надёжных AI-приложений
Practical tactics to build reliable AI apps — Dmitry Kuchin, Multinear
Надёжность GenAI-приложения строится на evals, которые выводятся из реальных пользовательских сценариев и бизнес-метрик, а не из абстрактных метрик вроде groundedness.
- Evals с начала проекта — тесты пишутся до доработки POC и запускаются при каждой правке промпта, модели или логики. По словам спикера, средние цифры ничего не подсказывают, поэтому нужно смотреть, почему упал конкретный кейс, и так ловить регрессии.
- Тесты через o3 — модель по базе знаний генерирует пользовательские вопросы, чеклист обязательных деталей ответа и вариации формулировок для разных персон. Например, в примере про сброс пароля ответ считается верным, только если в нём есть все нужные шаги.
- Открытая платформа Multinear — спикер показывает open source инструмент для таких наборов, но подчёркивает, что важен сам подход, а не платформа.
- Разные проверки под задачу — для саппорт-бота подходит LLM-as-a-judge, для Text-to-SQL спикер советует тестовую базу с той же схемой и заранее известными данными, а для классификатора достаточно сверки с эталонной рубрикой.
Кому полезно: тем, кто выводит LLM-приложения из POC в продакшен и не понимает, не сломала ли очередная правка промпта работу.
Статья по теме
Главы
Похожие доклады
7 привычек эффективной оценки генеративного ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Как создавать системы оценки LLM для конкретной предметной области
AI Engineer World's Fair 2024
Близко по содержанию
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию
Основы evals
AI Engineer World's Fair 2025
Близко по содержанию
