← Каталог

· AI Engineer World's Fair 2024

Оптимизация LLM в страховании с DSPy: за пределами ручной настройки

Optimizing LLMs in Insurance with DSPy: Beyond Manual Tuning

Надёжный LLM-продукт для страховой компании, по словам автора, держится на размеченной оценке и модульной программе, которую оптимизирует DSPy, а не на ручной настройке промптов.

  • Оценка раньше промптов — команда сначала собрала пары вход-выход с разметкой, на это ушло несколько месяцев. Метка не должна выводиться из входных данных, а простые проверки через регулярные выражения и сравнение строк стоит ставить раньше LLM-as-judge.
  • Смотрите реальный промпт — автор советует перехватывать запросы через mitmproxy и трассировать вызовы в Arize Phoenix. Библиотеки для структурированного вывода подставляют свои шаблоны, а небольшие правки промпта давали сильные сбои.
  • Модули вместо одного большого промпта — задачу стоит разбить на шаги, например поиск и многошаговые вопросы. DSPy по заданной метрике компилирует каждый модуль в инструкции, few-shot примеры или fine-tuning.
  • Метрики под немецкий — встроенные answer_exact_match и answer_passage_match работают только для английского, поэтому для немецких текстов пришлось писать свои метрики и оценщики.

Кому полезно: командам, которые строят LLM-пайплайны не на английском языке и думают о DSPy; автор предупреждает о крутой кривой обучения.

Статья по теме

Главы

Похожие доклады