← Каталог

· AI Engineer Europe 2026

Законы масштабирования точности постановки задач

Task Fidelity Scaling Laws — Kobie Crawford, Snorkel AI

Качество задач в RL-средах определяет результат обучения агента: по словам авторов, хорошо заданные задачи подняли модель примерно на 6%, а слабые примерно на 1%.

  • Четыре критерия приёмки задач — задача должна быть достижимой, нетривиальной и функционально корректной, а среда должна работать надёжно. Задачи, не прошедшие проверку, в обучение не попадают.
  • Недоопределённые задачи — частая причина отбраковки: тесты проверяют то, что в условии не запрошено, или опираются на зависимости, которых модель не видит. Такой провал выглядит как сложность задачи, хотя это ошибка постановки.
  • Чистые падения — принятые задачи вызывали в среднем вдвое больше tool calls и давали меньше успешных прогонов. Ошибки в них чаще отражали реальную сложность задачи, а не поломку окружения.
  • Проверка разметки — экспертная разметка, LLM-судьи по общим рубрикам и замер inter-annotator agreement между людьми и между людьми и судьями. Спикер из Snorkel AI рассказывает о подходе своей компании, поэтому часть доклада носит характер презентации продукта.

Кому полезно: тем, кто собирает RL-среды или наборы задач для агентов в формате Harbor или OpenEnv и хочет отличать трудность задачи от ошибки в её постановке.

Статья по теме

Главы

Ещё доклады: Kobie Crawford

Страница спикера →

Похожие доклады