← Каталог

· AI Engineer Code 2026

Не выкатывайте настройки LLM, которые работают только на бумаге

Stop Shipping LLM Settings That Only Win on Paper - Rohan Pandey & Balaji Varadarajan, DigitalOcean

Байесовская оптимизация через Optuna подбирает параметры для VLM serving по замеру реальной нагрузки и находит конфигурации, которые быстрее стартовых.

  • Оценка по goodput — каждая проба получает оценку по числу полезных токенов, которые генерирует модель. По словам авторов, для GPT OSS 120B это дало рост на 17,5% к стартовому конфигу.
  • Четыре режима нагрузки — подбор проходит на коротком и длинном чате, RAG и пакетной классификации, у каждого сценария свои длины входа и выхода.
  • Время и результат на DeepSeek R1 distill — один подбор занимает от пары часов до четырёх-пяти, для GPT OSS 120B около четырёх-пяти часов. По словам авторов, на девяти пробах лучшей оказалась последняя: token throughput вырос вдвое, а ITL снизился почти вдвое.

Кому полезно: тем, кто подбирает параметры запуска open source моделей на собственных GPU и хочет, чтобы перебор шёл в фоне без ручного тюнинга.

Статья по теме

Главы

Похожие доклады