← Каталог

· AI Engineer World's Fair 2025

Эффективным AI-агентам нужны data flywheels, а не всё более крупные LLM

Effective AI Agents Need Data Flywheels, Not The Next Biggest LLM – Sylendran Arunagiri, NVIDIA

Агенту не нужна модель крупнее: его качество растёт, если логи работы и отзывы пользователей постоянно идут в курирование данных, дообучение и оценку более мелких моделей.

  • Цикл маховика данных — спикер описывает последовательность: сбор логов и отзывов, курирование ground truth, дообучение, оценка и повторный деплой. Инструменты NVIDIA для этого цикла: NeMo Curator, Customizer, Evaluator, Guardrails, Retriever и NIM.
  • Маршрутизация на 8B вместо 70B — в роутере внутреннего агента поддержки сотрудников NVIDIA дообученная 8B модель, по словам спикера, сравнялась по точности с 70B. Выборка для дообучения составила 685 примеров, размеченных экспертом.
  • Компромисс по размеру модели — 1B модель, по словам спикера, дала 94% точности против 96% у 70B, что при критичных задачах можно учитывать как цену за экономию инференса.
  • Оценка с LLM-as-a-judge — судья помогает найти неудачные ответы, но причину ошибки в маршрутизации пришлось подтверждать экспертом вручную, и без этого шага разметка была бы недостоверной.

Кому полезно: тем, кто вывел агента в продакшен и хочет снизить стоимость инференса, не переходя на более крупную модель.

Статья по теме

Главы

Похожие доклады