← Каталог

· AI Engineer World's Fair 2024

Pydantic — всё, что вам нужно

Pydantic is STILL all you need

Ответы LLM стоит получать как Pydantic-модели с валидаторами, а не парсить строку через json.loads.

  • Валидаторы с повтором — ошибка валидации возвращается модели в промпте, и по словам спикера одного повтора обычно хватает для OpenAI и Anthropic. Проверки пишутся обычным Python-кодом, например сверка суммы позиций чека с итоговой суммой.
  • Проверка ссылок в ответе — регулярное выражение достаёт URL из ответа, HTTP-запрос проверяет, что страница отвечает кодом 200, и выдуманные ссылки отсеиваются.
  • Поиск как структура — модель Search с полями query, датами, limit и source позволяет LLM выбирать источник. По словам спикера, сложный RAG строится из двух моделей и двух функций, а при нескольких запросах они уходят параллельно.
  • Библиотека и провайдеры — instructor есть для Python, TypeScript, Ruby, Go, Elixir и Rust, работает с Anthropic, Cohere, Gemini, Groq, Ollama и LlamaCPP, пока модель поддерживает function calling.

Кому полезно: тем, кто извлекает данные из документов или чеков и строит RAG на LLM и хочет получать предсказуемую структуру вместо строки.

Статья по теме

Главы

Ещё доклады: Jason Liu

Все 4 доклада →

Похожие доклады