Доверяй, но проверяй
Trust, but Verify
Вывод LLM стоит принимать только после прохождения проверок: вызов модели оборачивается валидаторами, а при сбое модель просят переделать с объяснением ошибки.
- Промпты не дают гарантий — по словам спикера, один и тот же эксперимент при temperature 0 пять раз дал разные числа на бенчмарке. Fine-tuning дорог, а при обновлении коммерческой модели старые промпты перестают работать.
- Повторный запрос при нарушении — модели передают исходный ответ и причину ошибки. Кроме повтора, доступны исправление, запасной вариант или логирование без действия.
- Проверка опоры на источник — каждое утверждение ответа сверяется с контекстом через embedding similarity, NLI-классификаторы и LLM self-reflection. По словам авторов, проверка по реальной базе и схеме заметно повысила корректность SQL-запросов.
- Простые эвристики вместо LLM — например, процентная ставка заканчивается знаком процента. Токсичность и подобные правила лучше проверять небольшими классификаторами, которые детерминированнее LLM.
Кому полезно: тем, кто выводит LLM-приложения в продакшен и не может проверять каждый ответ глазами, например чат-ботам поддержки или text-to-SQL.
Статья по теме
Главы
Ещё доклады: Shreya Rajpal
Страница спикера →Simulation-Maxxing: Как Nubank выводит agents в продакшен в 20 раз быстрее с помощью симуляций
AI Engineer World's Fair 2026
Похожие доклады
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Я не видел ничего страшнее LLM с tool calls
AI Engineer World's Fair 2026
Близко по содержанию
Надёжный AI-инференс, которому доверится CIO
Hariharan Ganesan, Sahil Yadav
AI Engineer World's Fair 2025
Близко по содержанию

