Лучшие практики оценки приложений на базе больших языковых моделей с llmeval
Best Practices for Evaluating Large Language Model Applications with llmeval: Niklas Nielsen
Изменения промптов и смену модели в LLM-приложении безопаснее проверять локальными повторяемыми тестами, чем вручную.
- Несколько прогонов на каждый тест — по умолчанию пять запусков, а тест засчитывается, если проходит большинство: ответы моделей нестабильны, и один прогон ничего не доказывает.
- Строгое сравнение с нормализацией — вывод сверяется с ожидаемым точно, но пробелы в начале строки обрезаются, потому что Claude их добавляет.
- Регрессии видны сразу — после того как спикер убрал из промпта инструкцию «верни только ответ», GPT-3.5 и Claude начали расписывать вычисления, и отчёт по трём моделям показал провалы.
- Судья-модель с критериями — модель ставит оценку от 1 до 5 с обоснованием, на примере проверки диаграмм Mermaid; при этом, по словам спикера, модели предпочитают собственные ответы и плохо работают со шкалами 0–1 или 0–100.
Кому полезно: тем, кто меняет промпты, модели или конфигурацию LLM-приложения и хочет ловить регрессии до продакшена. Инструмент llmeval работает локально из командной строки.
Статья по теме
Главы
Похожие доклады
Как создавать системы оценки LLM для конкретной предметной области
AI Engineer World's Fair 2024
Близко по содержанию
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию
Оценка видео-слопа
AI Engineer World's Fair 2026
Близко по содержанию
Evals в ИИ: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию

