· AI Engineer World's Fair 2024
Реальная отдача: уроки компаний, успешно внедривших LLM
Real ROI: Lessons from Enterprises that Have already succeeded with LLMs Scale
Производственные LLM-приложения приносят выручку, когда команда начинает с оценок, разбивает субъективные критерии на проверяемые части и подключает к промптам доменных экспертов.
- Доменные эксперты пишут промпты — юристы Filevine и лингвисты Duolingo правят промпты и оценки напрямую, без спецификации для инженеров. По словам спикера, Filevine за год запустила шесть продуктов и примерно удвоила выручку.
- Критерии как бинарные проверки — Hex разбивает каждую оценку на небольшие независимые да/нет проверки и агрегирует их. Единая метрика качества, по словам спикера, неверный путь.
- LLM-as-judge по узким вопросам — судья надёжен на вопросах вроде «подходит ли тон для школьника» или «есть ли все пять обязательных пунктов», но плохо справляется с оценкой «хороший ли это текст». Ручная разметка остаётся даже у лучших команд.
- Логи для отладки — Ironclad построила открытую библиотеку Rivet с логированием и повторным запуском шагов. По словам их CTO, без такой трассировки система с тремя-четырьмя function calls начинала сбоить.
Кому полезно: тем, кто выводит LLM-функции в продакшен и работает с предметными экспертами, которые должны влиять на промпты и оценки.
Статья по теме
Главы
Похожие доклады
Ваши evals бессмысленны — и вот как это исправить
AI Engineer Summit 2025
Близко по содержанию
Новый Lean Startup
AI Engineer World's Fair 2025
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
LLM evals, которые работают в реальных условиях
AI Engineer World's Fair 2024
Близко по содержанию

