← Каталог

· AI Engineer World's Fair 2024

Реальная отдача: уроки компаний, успешно внедривших LLM

Real ROI: Lessons from Enterprises that Have already succeeded with LLMs Scale

Производственные LLM-приложения приносят выручку, когда команда начинает с оценок, разбивает субъективные критерии на проверяемые части и подключает к промптам доменных экспертов.

  • Доменные эксперты пишут промпты — юристы Filevine и лингвисты Duolingo правят промпты и оценки напрямую, без спецификации для инженеров. По словам спикера, Filevine за год запустила шесть продуктов и примерно удвоила выручку.
  • Критерии как бинарные проверки — Hex разбивает каждую оценку на небольшие независимые да/нет проверки и агрегирует их. Единая метрика качества, по словам спикера, неверный путь.
  • LLM-as-judge по узким вопросам — судья надёжен на вопросах вроде «подходит ли тон для школьника» или «есть ли все пять обязательных пунктов», но плохо справляется с оценкой «хороший ли это текст». Ручная разметка остаётся даже у лучших команд.
  • Логи для отладки — Ironclad построила открытую библиотеку Rivet с логированием и повторным запуском шагов. По словам их CTO, без такой трассировки система с тремя-четырьмя function calls начинала сбоить.

Кому полезно: тем, кто выводит LLM-функции в продакшен и работает с предметными экспертами, которые должны влиять на промпты и оценки.

Статья по теме

Главы

Похожие доклады