· AI Engineer World's Fair 2026
Состояние рынка данных
State of Data
Для дообучения моделей на сложных задачах ценнее трассы реальных процессов, чем итоговые записи, а одиночные цифры бенчмарков без учёта harness почти ничего не говорят.
- Процессные данные вместо итоговых — записи ERP и сохранённые файлы фиксируют результат, а трасса решений показывает, как специалист дошёл до него. По словам спикера, захват реальных рабочих процессов, например коммитов и записей сессий, даёт переход примерно от 20 к 80 процентам качества, а экспертные примеры, созданные в искусственной среде, годятся только для старта.
- Проверяемость определяет зрелость приложения — код созрел первым, потому что у него есть юнит-тесты, общее понимание правильного результата и огромный объём публичных коммитов. Финансы, право и здравоохранение, по мнению спикера, отстают, так как их проверяемость низкая.
- Бенчмарк это одна выборка — расхождения результатов часто вызваны разницей harness и инфраструктуры. На трёх финансовых задачах GPT 5.5 и Opus 4.8 набрали в пределах трёх пунктов, но GPT точнее в арифметике, а Opus в методологии.
Кому полезно: тем, кто собирает датасеты для дообучения агентов на длинных задачах или сравнивает модели на собственных оценках.
Статья по теме
Главы
Похожие доклады
Качество данных — множитель вычислительных ресурсов
AI Engineer World's Fair 2026
Близко по содержанию
Доверие к enterprise AI: оценка специализированных LLM на реальных финансовых сценариях
AI Engineer Summit 2025
Близко по содержанию
Рост популярности открытых моделей в корпоративном секторе
AI Engineer World's Fair 2025
Близко по содержанию
Как анализировать данные: что искать и как измерять
AI Engineer World's Fair 2025
Близко по содержанию

