Законы масштабирования точности постановки задач
Task Fidelity Scaling Laws — Kobie Crawford, Snorkel AI
Качество задач в RL-средах определяет результат обучения агента: по словам авторов, хорошо заданные задачи подняли модель примерно на 6%, а слабые примерно на 1%.
- Четыре критерия приёмки задач — задача должна быть достижимой, нетривиальной и функционально корректной, а среда должна работать надёжно. Задачи, не прошедшие проверку, в обучение не попадают.
- Недоопределённые задачи — частая причина отбраковки: тесты проверяют то, что в условии не запрошено, или опираются на зависимости, которых модель не видит. Такой провал выглядит как сложность задачи, хотя это ошибка постановки.
- Чистые падения — принятые задачи вызывали в среднем вдвое больше tool calls и давали меньше успешных прогонов. Ошибки в них чаще отражали реальную сложность задачи, а не поломку окружения.
- Проверка разметки — экспертная разметка, LLM-судьи по общим рубрикам и замер inter-annotator agreement между людьми и между людьми и судьями. Спикер из Snorkel AI рассказывает о подходе своей компании, поэтому часть доклада носит характер презентации продукта.
Кому полезно: тем, кто собирает RL-среды или наборы задач для агентов в формате Harbor или OpenEnv и хочет отличать трудность задачи от ошибки в её постановке.
Статья по теме
Главы
Ещё доклады: Kobie Crawford
Страница спикера →Хватит увеличивать модели — научите их работать как надо
AI Engineer Europe 2026
Похожие доклады
Ваши evals бессмысленны — и вот как это исправить
AI Engineer Summit 2025
Близко по содержанию
Reinforcement fine-tuning для агентов
AI Engineer Code 2025
Близко по содержанию
Маленькие модели, большие результаты: обучение финансового агента менее чем за $500
AI Engineer World's Fair 2026
Близко по содержанию
