· AI Engineer World's Fair 2024
Оптимизация LLM в страховании с DSPy: за пределами ручной настройки
Optimizing LLMs in Insurance with DSPy: Beyond Manual Tuning
Надёжный LLM-продукт для страховой компании, по словам автора, держится на размеченной оценке и модульной программе, которую оптимизирует DSPy, а не на ручной настройке промптов.
- Оценка раньше промптов — команда сначала собрала пары вход-выход с разметкой, на это ушло несколько месяцев. Метка не должна выводиться из входных данных, а простые проверки через регулярные выражения и сравнение строк стоит ставить раньше LLM-as-judge.
- Смотрите реальный промпт — автор советует перехватывать запросы через mitmproxy и трассировать вызовы в Arize Phoenix. Библиотеки для структурированного вывода подставляют свои шаблоны, а небольшие правки промпта давали сильные сбои.
- Модули вместо одного большого промпта — задачу стоит разбить на шаги, например поиск и многошаговые вопросы. DSPy по заданной метрике компилирует каждый модуль в инструкции, few-shot примеры или fine-tuning.
- Метрики под немецкий — встроенные answer_exact_match и answer_passage_match работают только для английского, поэтому для немецких текстов пришлось писать свои метрики и оценщики.
Кому полезно: командам, которые строят LLM-пайплайны не на английском языке и думают о DSPy; автор предупреждает о крутой кривой обучения.
Статья по теме
Главы
Похожие доклады
DSPy: конец prompt engineering
AI Engineer Code 2025
Близко по содержанию
Страховые убытки — самая сложная проблема с данными для ИИ
Близко по содержанию
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
Необычайная эффективность разделения задачи и модели
AI Engineer World's Fair 2026
Близко по содержанию

