← Каталог

· AI Engineer NYC 2026 Online Talks

Онтологии по требованию: что удешевление интеллекта значит для данных

Just-in-Time Ontologies: What Cheap Intelligence Means for Data — Hrishi Olickel, Southbridge AI

Преобразования под конкретное решение, а не под универсальную схему, по словам автора, снизили разметку доноров в Огайо до $795 вместо $10 000.

  • Определения важнее смены модели — уточнение критерия «домохозяйство» изменило ответы без замены моделей и порогов. Всего было больше дюжины раундов уточнений, а проверка стоила примерно в четыре раза дороже первичных ответов.
  • Тихие ошибки в данных — пропущенный знак минуса превратил чистый доход около $784 000 в долг $5,3 млн, а неверный формат дат оставил 99,4% дат пустыми. Такие сбои проходили незамеченными, потому что совпадали суммы и количество строк.
  • Согласие моделей не доказывает правоту — модели разных семейств совпали на 194 из 200 случаев, и все ошибки оказались в спорных шести. Но четыре семейства дали одинаковый итог из-за общего соглашения о знаке, которого не было в эталоне.
  • Условия для оптимизации — стабильная среда выполнения, эксперименты с ограниченным бюджетом, переиспользуемая методика и заранее заданная поверхность отказов. Базовый пайплайн переводится на более дешёвые модели по проверенным сегментам с возможностью отката; для этого автор использует open source харнесс Hankweave.

Кому полезно: тем, кто автоматизирует разметку и сверку больших таблиц и хочет заменять дорогие модели дешёвыми без потери качества.

Статья по теме

На какие вопросы отвечает доклад

  • Почему единая схема данных для всей компании постоянно проваливается?

    Источник, хранилище и решение задают каждый свою схему, и полная картина известна только в момент принятия решения. Спикер предлагает строить онтологию под конкретное решение и сохранять её вместе с обоснованием для повторного использования.

    ▶ 1:52Схемы источников, хранения и принятия решений
  • Почему LLM в пайплайне тихо портит данные: теряет знаки минус и ломает даты?

    Модель опирается на свои предположения и не сверяет их с файлом: 15 658 взносов натурой посчитали обычными деньгами, а чистый итог $784 тысячи превратился в долг $5,3 миллиона из-за потерянного минуса.

    ▶ 13:34Априорные представления моделей и незаметные ошибки преобразования
  • Как заранее оценить и ограничить стоимость разметки большого набора данных с помощью LLM?

    По словам авторов, дешёвая модель с проверкой спорных случаев разметила 203 317 случаев штата Огайо за $795 при оценке около $10 000. Проверка обошлась примерно в четыре раза дороже первичных ответов.

    ▶ 10:34Разрешение сущностей в Огайо: определения, проверки и затраты
  • Можно ли доверять согласию LLM из разных семейств при проверке результатов?

    На 200 проверочных группах модели совпали в 194 случаях, и ни одного общего ответа не оказалось ошибочным, все ошибки были в спорных шести. Но общие допущения, например одинаковое соглашение о знаке, согласие не выявляет.

    ▶ 15:44Разногласия между моделями и общие ошибки
  • Какие условия нужны, чтобы агент сам подбирал архитектуру и модели для пайплайна данных?

    Нужны стабильная среда выполнения с откатом и контролем бюджета, эксперименты с ограничением по стоимости и времени, записанная методика и заранее заданная поверхность отказов, относительно которой проверяется результат.

    ▶ 16:44Четыре требования к самооптимизации
  • Как заменить модель в работающем пайплайне на более дешёвую, не потеряв точность?

    Сначала находится рабочая архитектура с базовой линией, затем модели и части пайплайна заменяются на более быстрые и дешёвые варианты и сверяются с известными промежуточными результатами. Проверенные сегменты позволяют откатывать замены.

    ▶ 18:15Ограниченные пилоты, проверенные сегменты и повторно используемый контекст

Главы

Похожие доклады