← Каталог

· AI Engineer World's Fair 2026

Семантическая слепота: 500 000 датчиков запутали LLM

Semantic Blindness: 500,000 Sensors Confused an LLM - Raahul Singh & Vanč Levstik, Phaidra

Поиск по иерархии оборудования на сотни тысяч GPU надёжнее строить как детерминированный код, а LLM оставить только планирование запроса, по словам авторов.

  • Заранее проиндексированная иерархия вместо списка имён — модель получает описание путей от корня до листа (для GPU, чиллера и коммутатора это четыре уровня), а не сотни тысяч имён, поэтому объём контекста почти не растёт при переходе от 64 к 460 тысячам GPU.
  • LLM строит план, код выполняет — модель возвращает структурированный вывод: поддерево, фильтр и набор; дальше пересечения множеств дают точный результат вместо нечёткого поиска по похожим именам вроде «чиллер 6» и «чиллер 7».
  • Цифры на тестах — при одной модели точность старого подхода упала с 80% на 64 GPU примерно до 30% на 460 тысячах, новый дал 100% на тестах и ноль сбоев на 66 кейсах с шести реальных систем; расход около 9 000 токенов на запрос, по словам авторов, не меняется с размером системы.
  • Правило переноса в код — если структуру можно записать схемой или правилами, как подсчёт, дедупликация и выборка, это задача обычного кода, а LLM остаётся для разбора неоднозначного запроса и итогового ответа.

Кому полезно: тем, кто строит агентов для эксплуатации большой инфраструктуры с тысячами однотипных узлов и видит, что модель путает похожие имена оборудования.

Статья по теме

Главы

Похожие доклады