У LLM закончились знания — что дальше?
Your LLM Ran Out of Knowledge — Now What?
Экспертные правила и структурированный разбор сценария позволяют LLM рассуждать в доменах без обучающих данных и отсекать сценарии, которые нарушают эти правила.
- Правила в виде жёстких ограничений — правила для переговоров и геополитики сформулированы как «должен» и «не должен», например «больше пятидесяти процентов контроля» или «три и более независимых пути к критичным ресурсам». Модель ссылается на них в своих рассуждениях.
- Подбор эвристик отдельным LLM-запросом — промпт сопоставляет запрос с набором правил и приводит сценарий к стандартному формату. По словам автора, это дало больше детализации, чем tool calling.
- Отсев нарушающих сценариев — в демо геополитический сценарий номер пять исключён за нарушение одного из правил, а эксперт остаётся в контуре и проверяет результат.
- Слой реалистичных ограничений — WorldSim добавляет в промпт география, роль ООН и ВТО; в примере используется Anthropic. Автор называет первые результаты положительными, подход пока в работе.
Кому полезно: тем, кто строит LLM-системы для областей, где экспертиза не записана, например для рисков, безопасности или переговоров.
Статья по теме
Главы
Похожие доклады
Почему готовые ИИ не понимают деньги
AI Engineer World's Fair 2026
Близко по содержанию
Графы знаний в litigation-агентах
AI Engineer World's Fair 2025
Близко по содержанию
Как превратить LLM-приложение в эксперта предметной области: создание экспертной системы на базе LLM
AI Engineer World's Fair 2025
Близко по содержанию
Научное рассуждение LLM: как научить ИИ делать открытия уровня Нобелевской премии
AI Engineer World's Fair 2024
Близко по содержанию
