· AI Engineer World's Fair 2026
Семантическая слепота: 500 000 датчиков запутали LLM
Semantic Blindness: 500,000 Sensors Confused an LLM - Raahul Singh & Vanč Levstik, Phaidra
Поиск по иерархии оборудования на сотни тысяч GPU надёжнее строить как детерминированный код, а LLM оставить только планирование запроса, по словам авторов.
- Заранее проиндексированная иерархия вместо списка имён — модель получает описание путей от корня до листа (для GPU, чиллера и коммутатора это четыре уровня), а не сотни тысяч имён, поэтому объём контекста почти не растёт при переходе от 64 к 460 тысячам GPU.
- LLM строит план, код выполняет — модель возвращает структурированный вывод: поддерево, фильтр и набор; дальше пересечения множеств дают точный результат вместо нечёткого поиска по похожим именам вроде «чиллер 6» и «чиллер 7».
- Цифры на тестах — при одной модели точность старого подхода упала с 80% на 64 GPU примерно до 30% на 460 тысячах, новый дал 100% на тестах и ноль сбоев на 66 кейсах с шести реальных систем; расход около 9 000 токенов на запрос, по словам авторов, не меняется с размером системы.
- Правило переноса в код — если структуру можно записать схемой или правилами, как подсчёт, дедупликация и выборка, это задача обычного кода, а LLM остаётся для разбора неоднозначного запроса и итогового ответа.
Кому полезно: тем, кто строит агентов для эксплуатации большой инфраструктуры с тысячами однотипных узлов и видит, что модель путает похожие имена оборудования.
Статья по теме
Главы
Похожие доклады
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
Запуск EyeLevel: почему ваш RAG дает сбои на самом деле
AI Engineer World's Fair 2024
Близко по содержанию
Дистиллируйте LLM, а не обслуживайте его: поиск и персонализация в DoorDash
AI Engineer World's Fair 2026
Близко по содержанию
Ваш стек LLM — это база данных 2008 года с более удачным маркетингом
AI Engineer World's Fair 2026
Близко по содержанию

