· AI Engineer World's Fair 2024
Как избежать некорректных ответов с помощью структурированной генерации
No more bad outputs with structured generation
Структурированная генерация ограничивает декодирование LLM регулярными выражениями или JSON Schema, и, по словам автора, это даёт предсказуемый формат без заметных потерь скорости.
- Маскирование логитов — на каждом шаге библиотека Outlines проверяет, не нарушит ли токен структуру, и отсекает такие токены до выбора следующего. Накладные расходы на инференс, по словам автора, близки к нулю, а платой становится время компиляции грамматики.
- Точность на function calling — на Berkeley function calling leaderboard Phi-3 Medium вырос с 86% до 96,5% и обошёл GPT-4 с результатом 93,5%. Цифры приведены самим автором.
- Меньше токенов — при заданной структуре модель не генерирует скобки и имена полей. Ответ на вопрос про DNS-серверы Google занял 8 токенов против примерно 50 у ChatGPT.
- Меньше примеров в промпте — на GSM8K с Mistral 7B v0.1 запрос с одним примером и структурой, по данным автора, почти догоняет неструктурированный запрос с восемью примерами. По мнению автора, примеры в промпте нужны прежде всего для структуры задачи.
Кому полезно: тем, кто извлекает данные или вызывает инструменты на open source моделях и нужен валидный JSON; Outlines уже лежит под function calling в vLLM и TGI.
Статья по теме
Главы
Ещё доклады: Rémi Louf
Страница спикера →Agent-фреймворки вредны
AI Engineer World's Fair 2026
Похожие доклады
Исправляем ошибки в Gemma, Llama и Phi-3
AI Engineer World's Fair 2024
Близко по содержанию
Как устроены большие языковые модели Mistral AI
Devendra Chaplot, Devendra Singh Chaplot
AI Engineer World's Fair 2024
Близко по содержанию
Таблиц достаточно: как устроена decoder LLM — без кода
AI Engineer World's Fair 2024
Близко по содержанию
Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Близко по содержанию

