← Каталог

· AI Engineer World's Fair 2025

Практические приёмы создания надёжных AI-приложений

Practical tactics to build reliable AI apps — Dmitry Kuchin, Multinear

Надёжность GenAI-приложения строится на evals, которые выводятся из реальных пользовательских сценариев и бизнес-метрик, а не из абстрактных метрик вроде groundedness.

  • Evals с начала проекта — тесты пишутся до доработки POC и запускаются при каждой правке промпта, модели или логики. По словам спикера, средние цифры ничего не подсказывают, поэтому нужно смотреть, почему упал конкретный кейс, и так ловить регрессии.
  • Тесты через o3 — модель по базе знаний генерирует пользовательские вопросы, чеклист обязательных деталей ответа и вариации формулировок для разных персон. Например, в примере про сброс пароля ответ считается верным, только если в нём есть все нужные шаги.
  • Открытая платформа Multinear — спикер показывает open source инструмент для таких наборов, но подчёркивает, что важен сам подход, а не платформа.
  • Разные проверки под задачу — для саппорт-бота подходит LLM-as-a-judge, для Text-to-SQL спикер советует тестовую базу с той же схемой и заранее известными данными, а для классификатора достаточно сверки с эталонной рубрикой.

Кому полезно: тем, кто выводит LLM-приложения из POC в продакшен и не понимает, не сломала ли очередная правка промпта работу.

Статья по теме

Главы

Похожие доклады