← Каталог

· AI Engineer World's Fair 2026

Состояние рынка данных

State of Data

Для дообучения моделей на сложных задачах ценнее трассы реальных процессов, чем итоговые записи, а одиночные цифры бенчмарков без учёта harness почти ничего не говорят.

  • Процессные данные вместо итоговых — записи ERP и сохранённые файлы фиксируют результат, а трасса решений показывает, как специалист дошёл до него. По словам спикера, захват реальных рабочих процессов, например коммитов и записей сессий, даёт переход примерно от 20 к 80 процентам качества, а экспертные примеры, созданные в искусственной среде, годятся только для старта.
  • Проверяемость определяет зрелость приложения — код созрел первым, потому что у него есть юнит-тесты, общее понимание правильного результата и огромный объём публичных коммитов. Финансы, право и здравоохранение, по мнению спикера, отстают, так как их проверяемость низкая.
  • Бенчмарк это одна выборка — расхождения результатов часто вызваны разницей harness и инфраструктуры. На трёх финансовых задачах GPT 5.5 и Opus 4.8 набрали в пределах трёх пунктов, но GPT точнее в арифметике, а Opus в методологии.

Кому полезно: тем, кто собирает датасеты для дообучения агентов на длинных задачах или сравнивает модели на собственных оценках.

Статья по теме

Главы

Похожие доклады