← Каталог

· AI Engineer World's Fair 2024

Как избежать некорректных ответов с помощью структурированной генерации

No more bad outputs with structured generation

Структурированная генерация ограничивает декодирование LLM регулярными выражениями или JSON Schema, и, по словам автора, это даёт предсказуемый формат без заметных потерь скорости.

  • Маскирование логитов — на каждом шаге библиотека Outlines проверяет, не нарушит ли токен структуру, и отсекает такие токены до выбора следующего. Накладные расходы на инференс, по словам автора, близки к нулю, а платой становится время компиляции грамматики.
  • Точность на function calling — на Berkeley function calling leaderboard Phi-3 Medium вырос с 86% до 96,5% и обошёл GPT-4 с результатом 93,5%. Цифры приведены самим автором.
  • Меньше токенов — при заданной структуре модель не генерирует скобки и имена полей. Ответ на вопрос про DNS-серверы Google занял 8 токенов против примерно 50 у ChatGPT.
  • Меньше примеров в промпте — на GSM8K с Mistral 7B v0.1 запрос с одним примером и структурой, по данным автора, почти догоняет неструктурированный запрос с восемью примерами. По мнению автора, примеры в промпте нужны прежде всего для структуры задачи.

Кому полезно: тем, кто извлекает данные или вызывает инструменты на open source моделях и нужен валидный JSON; Outlines уже лежит под function calling в vLLM и TGI.

Статья по теме

Главы

Ещё доклады: Rémi Louf

Страница спикера →

Похожие доклады