← Каталог

· AI Engineer World's Fair 2024

Как развивать LLM-приложения в масштабе: опыт Discord

Iterating on LLM apps at scale: Learnings from Discord

Надёжность LLM-продукта на масштабе Discord, по словам авторов, держится на маленьких детерминированных evals, которые запускаются локально как unit-тесты.

  • Evals как unit-тесты — систему разбивают на отдельные шаги: вызов инструмента, модерация, суммаризация страниц на статическом контексте. Проверка стиля может быть простой: ответ начинается со строчной буквы, и по словам спикера это даёт больше 80% эффекта за малую часть работы.
  • Культура evals — каждый PR получает eval, а запуск из командной строки через открытый CLI Promptfoo должен быть привычным рефлексом, поэтому разработчики гоняют десятки evals в день. Облачные и специальные платформы спикер советует не брать без нужды.
  • Короткие промпты под каждую модель — длинный список правил для каждого найденного сбоя со временем давал отрицательную отдачу. Промпт, написанный под GPT, плохо переносится на Claude или Llama, и его стоит настраивать отдельно.
  • Red teaming под приложение — атакующая LLM переписывает запросы эвфемизмами, а судья направляет её к обходу защиты. По словам спикера, так находятся уязвимости, которых нет у базовой модели, и вредных ответов получается заметно больше, чем при прямых запросах.

Кому полезно: тем, кто готовит LLM-продукт к запуску на большую аудиторию и согласует его с безопасностью, юристами и политиками.

Статья по теме

Главы

Похожие доклады