· AI Engineer World's Fair 2024
Как развивать LLM-приложения в масштабе: опыт Discord
Iterating on LLM apps at scale: Learnings from Discord
Надёжность LLM-продукта на масштабе Discord, по словам авторов, держится на маленьких детерминированных evals, которые запускаются локально как unit-тесты.
- Evals как unit-тесты — систему разбивают на отдельные шаги: вызов инструмента, модерация, суммаризация страниц на статическом контексте. Проверка стиля может быть простой: ответ начинается со строчной буквы, и по словам спикера это даёт больше 80% эффекта за малую часть работы.
- Культура evals — каждый PR получает eval, а запуск из командной строки через открытый CLI Promptfoo должен быть привычным рефлексом, поэтому разработчики гоняют десятки evals в день. Облачные и специальные платформы спикер советует не брать без нужды.
- Короткие промпты под каждую модель — длинный список правил для каждого найденного сбоя со временем давал отрицательную отдачу. Промпт, написанный под GPT, плохо переносится на Claude или Llama, и его стоит настраивать отдельно.
- Red teaming под приложение — атакующая LLM переписывает запросы эвфемизмами, а судья направляет её к обходу защиты. По словам спикера, так находятся уязвимости, которых нет у базовой модели, и вредных ответов получается заметно больше, чем при прямых запросах.
Кому полезно: тем, кто готовит LLM-продукт к запуску на большую аудиторию и согласует его с безопасностью, юристами и политиками.
Статья по теме
Главы
Похожие доклады
Evals — это не модульные тесты
AI Engineer World's Fair 2025
Близко по содержанию
Claws Out: защита OpenClaw и разработка на его основе
AI Engineer Europe 2026
Близко по содержанию
Лучшие практики оценки приложений на базе больших языковых моделей с llmeval
AI Engineer Summit 2023
Близко по содержанию
Ваш ИИ — не проблема. Проблема — ваша инфраструктура.
AI Engineer NYC 2026 Online Talks
Близко по содержанию

