· AI Engineer World's Fair 2025
Эффективным AI-агентам нужны data flywheels, а не всё более крупные LLM
Effective AI Agents Need Data Flywheels, Not The Next Biggest LLM – Sylendran Arunagiri, NVIDIA
Агенту не нужна модель крупнее: его качество растёт, если логи работы и отзывы пользователей постоянно идут в курирование данных, дообучение и оценку более мелких моделей.
- Цикл маховика данных — спикер описывает последовательность: сбор логов и отзывов, курирование ground truth, дообучение, оценка и повторный деплой. Инструменты NVIDIA для этого цикла: NeMo Curator, Customizer, Evaluator, Guardrails, Retriever и NIM.
- Маршрутизация на 8B вместо 70B — в роутере внутреннего агента поддержки сотрудников NVIDIA дообученная 8B модель, по словам спикера, сравнялась по точности с 70B. Выборка для дообучения составила 685 примеров, размеченных экспертом.
- Компромисс по размеру модели — 1B модель, по словам спикера, дала 94% точности против 96% у 70B, что при критичных задачах можно учитывать как цену за экономию инференса.
- Оценка с LLM-as-a-judge — судья помогает найти неудачные ответы, но причину ошибки в маршрутизации пришлось подтверждать экспертом вручную, и без этого шага разметка была бы недостоверной.
Кому полезно: тем, кто вывел агента в продакшен и хочет снизить стоимость инференса, не переходя на более крупную модель.
Статья по теме
Главы
Похожие доклады
Масштабирование reinforcement learning между дата-центрами
AI Engineer World's Fair 2026
Близко по содержанию
Качество данных — множитель вычислительных ресурсов
AI Engineer World's Fair 2026
Близко по содержанию
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию
Современное состояние маршрутизации моделей
Alex Atallah, Carter Abdallah, Nader Khalil, Tanay Varshney, Walden Yan
AI Engineer World's Fair 2026
Близко по содержанию

