· AI Engineer World's Fair 2024
Как создавать системы оценки LLM для конкретной предметной области
How to construct domain-specific LLM evaluation systems.
Оценки для LLM-приложения стоит строить из сбоев, найденных в собственных данных, а не начинать с готовых метрик и LLM-as-a-judge.
- Assertions из реальных сбоев — unit tests на ошибки, которые команда увидела в трассах: неотправленное письмо, невалидные плейсхолдеры, повторяющиеся детали. Они почти бесплатны, поэтому их гоняют в существующем CI и пишут результаты в Metabase.
- Просмотр данных без трения — команда Rechat сделала собственное приложение для просмотра и разметки трасс, потому что готовые инструменты мешали разбирать данные.
- Синтетические запросы — LLM играет роль риелтора и задаёт ассистенту Lucy вопросы по всем функциям, чтобы набрать покрытие до появления пользователей.
- Fine-tuning там, где промптов мало — по словам спикеров, few-shot не справился со смешиванием текста и UI-элементов, уточняющими вопросами и командами из пяти-шести инструментов.
Кому полезно: тем, кто выводит LLM-ассистента в продакшен и не понимает, не ломает ли правка промпта соседние сценарии.
Статья по теме
На какие вопросы отвечает доклад
Как оценивать качество LLM-агента, если неизвестно, в каком проценте случаев он ошибается?
Авторы пишут unit-тесты и assertions на отказы, которые видны в данных, и логируют результаты прогонов в существующую Metabase, чтобы видеть динамику успешных ответов во времени.
▶ 3:01От субъективных проверок к утверждениям, основанным на режимах отказаКак собрать тестовые кейсы для ассистента, если реальных пользователей ещё нет?
LLM играет роль риелтора и задаёт ассистенту Lucy вопросы по всем функциям и инструментам, что даёт покрытие сценариев для тестов.
▶ 9:01Синтетические тестовые случаи и циклы обратной связи для prompt engineeringНужно ли писать собственный инструмент для просмотра и разметки трейсов LLM?
В Rechat готовые инструменты создавали слишком много трения, поэтому сделали своё приложение для просмотра и разметки с доменными фильтрами, а LangSmith использовали для логирования.
▶ 5:38Запуск evals с помощью CI, Metabase и LangSmithКогда few-shot не хватает и нужен fine-tuning агента?
По словам авторов, few-shot не дал надёжного результата при смешивании текста с UI-элементами, при запросах уточнений у пользователя и при сложных командах из пяти-шести инструментов.
▶ 15:15Улучшения на основе evals и результаты работы агента в сфере недвижимостиКак понять, что правка промпта сломала другие сценарии агента?
Авторы после каждой правки прогоняют набор assertions и оценок, поэтому видно, что улучшение одного сценария не ухудшило остальные.
▶ 9:01Синтетические тестовые случаи и циклы обратной связи для prompt engineering
Главы
Ещё доклады: Hamel Husain
Страница спикера →Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
Как построить провальную AI-стратегию
AI Engineer Summit 2025
Похожие доклады
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию
Как оценить модель для своей задачи
AI Engineer Summit 2023
Близко по содержанию
Evals AI-агентов для задач с высокой ценой ошибки
Annabell Schäfer, Doneyli De Jesus
Близко по содержанию
Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude
Близко по содержанию


