← Каталог

· AI Engineer Summit 2023

Pydantic — всё, что вам нужно

Pydantic is all you need: Jason Liu

Pydantic-модель может быть единым контрактом для промпта, формата ответа и валидации вывода LLM, а библиотека instructor делает это через OpenAI function calling.

  • Схема как промпт — docstrings и описания полей попадают в JSON schema, которую получает OpenAI, поэтому код, промпт и данные меняются и проверяются вместе.
  • Валидаторы с повторным запросом — ошибки проверки, включая LLM-валидатор, возвращаются модели через max_retries; по словам спикера, это обычная проверка и переспрос, а не цепочка промптов.
  • Проверка фактов по цитатам — ответ состоит из фактов с цитатами-подстроками из исходного текста, и факт без точного совпадения отбрасывается; так спикер предлагает бороться с галлюцинациями в RAG.
  • План запросов как DAG — модель выдаёт граф зависимостей, и независимые поиски выполняются параллельно, а зависимые ждут результатов, что убирает цикл последовательных вызовов агента.

Кому полезно: тем, кто встраивает LLM в существующие системы с API и жёсткими схемами и устал разбирать строки JSON руками.

Статья по теме

На какие вопросы отвечает доклад

  • Как получать от LLM типизированные объекты вместо JSON-строк и словарей?

    Pydantic-модель передаётся как response_model: библиотека Instructor патчит вызов OpenAI function calling, и на выходе приходит объект модели с типами, автодополнением и валидацией.

    ▶ 3:43Pydantic
  • Как автоматически переспрашивать модель, если ответ не прошёл проверку?

    Ошибки валидаторов, включая LLM-валидаторы, собираются и вместе с исходным сообщением отправляются модели повторно; число попыток задаётся параметром max_retries.

    ▶ 7:20Валидация
  • Как заставить модель честно сказать, что ответа нет, а не выдумывать его?

    Вместо строки «I don't know» схема содержит опциональный результат и поля для ошибки и её текста, поэтому отказ возвращается структурой и обрабатывается кодом.

    ▶ 7:20Валидация
  • Как отсеивать галлюцинированные факты при извлечении информации из документа?

    Каждый факт должен содержать цитату-подстроку из исходного текста; валидатор проверяет, что цитата есть в фрагменте, и выбрасывает факт, если её нет.

    ▶ 13:22Графы
  • Как разбить запрос пользователя на несколько поисковых запросов с фильтром по дате для RAG?

    Модель возвращает список поисковых объектов с полями запроса, типа источника и даты; каждый объект выполняется своим методом, запросы идут асинхронно.

    ▶ 12:10RAG
  • Как заставить LLM построить план запроса с зависимостями, которые можно выполнять параллельно?

    Модель описывает план как граф: у каждого шага есть id, вопрос и список зависимостей. Независимые шаги выполняются параллельно, зависимые ждут нужных результатов.

    ▶ 13:22Графы

Главы

Ещё доклады: Jason Liu

Все 4 доклада →

Похожие доклады