← Каталог

· AI Engineer Summit 2023

Лучшие практики оценки приложений на базе больших языковых моделей с llmeval

Best Practices for Evaluating Large Language Model Applications with llmeval: Niklas Nielsen

Изменения промптов и смену модели в LLM-приложении безопаснее проверять локальными повторяемыми тестами, чем вручную.

  • Несколько прогонов на каждый тест — по умолчанию пять запусков, а тест засчитывается, если проходит большинство: ответы моделей нестабильны, и один прогон ничего не доказывает.
  • Строгое сравнение с нормализацией — вывод сверяется с ожидаемым точно, но пробелы в начале строки обрезаются, потому что Claude их добавляет.
  • Регрессии видны сразу — после того как спикер убрал из промпта инструкцию «верни только ответ», GPT-3.5 и Claude начали расписывать вычисления, и отчёт по трём моделям показал провалы.
  • Судья-модель с критериями — модель ставит оценку от 1 до 5 с обоснованием, на примере проверки диаграмм Mermaid; при этом, по словам спикера, модели предпочитают собственные ответы и плохо работают со шкалами 0–1 или 0–100.

Кому полезно: тем, кто меняет промпты, модели или конфигурацию LLM-приложения и хочет ловить регрессии до продакшена. Инструмент llmeval работает локально из командной строки.

Статья по теме

Главы

Похожие доклады