← Каталог

· AI Engineer Summit 2023

Доверяй, но проверяй

Trust, but Verify

Вывод LLM стоит принимать только после прохождения проверок: вызов модели оборачивается валидаторами, а при сбое модель просят переделать с объяснением ошибки.

  • Промпты не дают гарантий — по словам спикера, один и тот же эксперимент при temperature 0 пять раз дал разные числа на бенчмарке. Fine-tuning дорог, а при обновлении коммерческой модели старые промпты перестают работать.
  • Повторный запрос при нарушении — модели передают исходный ответ и причину ошибки. Кроме повтора, доступны исправление, запасной вариант или логирование без действия.
  • Проверка опоры на источник — каждое утверждение ответа сверяется с контекстом через embedding similarity, NLI-классификаторы и LLM self-reflection. По словам авторов, проверка по реальной базе и схеме заметно повысила корректность SQL-запросов.
  • Простые эвристики вместо LLM — например, процентная ставка заканчивается знаком процента. Токсичность и подобные правила лучше проверять небольшими классификаторами, которые детерминированнее LLM.

Кому полезно: тем, кто выводит LLM-приложения в продакшен и не может проверять каждый ответ глазами, например чат-ботам поддержки или text-to-SQL.

Статья по теме

Главы

Ещё доклады: Shreya Rajpal

Страница спикера →

Похожие доклады