← Каталог

· AI Engineer World's Fair 2025

Смерть оплачиваемого часа? Да здравствует оплачиваемый час?

The Billable Hour is Dead; Long Live the Billable Hour?

В консалтинге генеративный AI даёт заметный бизнес-эффект там, где автоматизирует разбор целых массивов документов и классификацию данных.

  • Классификация по таксономии — компании классифицируются по кодам NAICS, а для недостающих сведений о компании используется tool call с веб-запросом. По словам спикеров, точность около 95% на 10 тысячах вендоров, работа заняла минуты вместо дней при затратах на порядок ниже, и для этого понадобились бизнес-партнёры, которые проверяли разметку.
  • Проверка всего корпуса — модель просматривает 100% контрактов и других документов вместо верхних 20%, которые раньше отбирали вручную из-за ограниченного времени людей. По словам авторов, выводы от этого заметно лучше.
  • Уверенность модели в полях — для извлечения условий из кредитных соглашений берутся logprobs токенов, относящихся только к значениям полей, без ключей JSON. Их геометрическое среднее подсвечивает поля зелёным или жёлтым, чтобы человек быстрее находил места для проверки.
  • Внедрение вместе с техникой — ежемесячные демо для всей фирмы и метрики NPS и ROI, по словам спикеров, превратили скептиков в сторонников, которые сами просят новые GenAI-решения.

Кому полезно: инженерам, которые выводят извлечение структурированных данных из документов к нетехническим пользователям в крупной компании.

Статья по теме

На какие вопросы отвечает доклад

  • Как классифицировать тысячи компаний по отраслевой таксономии без обучения собственной модели?

    Используют structured outputs с таксономией NAICS и tool call с веб-запросом для компаний, которых модель не знает. По словам спикеров, точность около 95% на десяти тысячах вендоров, работа заняла минуты вместо дней.

    ▶ 7:27Категоризация, классификация текстов и таксономии NAICS
  • Как проверить тысячи контрактов целиком, а не выборку из верхних двадцати процентов?

    Извлекают нужные поля из каждого документа корпуса через LLM, а не читают вручную. По словам спикеров, ручной разбор занял бы дни или недели, а модель обрабатывает весь набор за минуты.

    ▶ 3:55Загрузка документов, их анализ и проверка контрактов по всему корпусу
  • Как показать пользователям, в каком извлечённом значении модель уверена, а в каком нет?

    Берут геометрическое среднее logprobs токенов самого значения, игнорируя JSON-ключи, и подсвечивают поля зелёным или жёлтым по уровню уверенности. Logprobs возвращает OpenAI API вместе со structured outputs.

    ▶ 12:58Извлечение структурированной информации из кредитных соглашений
  • Почему RAG плохо отвечает на вопросы, которые требуют рассуждений по всем документам сразу?

    RAG извлекает фрагменты под конкретный запрос, поэтому сквозное рассуждение по всему корпусу не работает напрямую. По словам спикеров, такие функции строят поверх RAG шаг за шагом.

    ▶ 7:27Категоризация, классификация текстов и таксономии NAICS
  • Как дать LLM доступ к внутреннему API, который раньше был доступен только через веб-интерфейс?

    Встроили спецификацию API в поиск и научили LLM вызывать его через tool calls. Данные, на получение которых раньше уходили дни, стали доступны по запросу.

    ▶ 7:27Категоризация, классификация текстов и таксономии NAICS
  • Как добиться, чтобы сотрудники консалтинговой компании реально пользовались внутренней платформой генеративного ИИ?

    Спикеры проводят демо раз в месяц, работают с бизнес-партнёрами и оценивают успех через NPS и ROI. По их словам, доверие к инструментам складывается медленно, по одной исправленной ошибке.

    ▶ 15:56Организационное внедрение и заключительные мысли

Главы

Ещё доклады: Kevin Madura

Страница спикера →

Похожие доклады