· AI Engineer World's Fair 2025
Ловушка связности: почему LLM кажутся умными, но не мыслят
The Coherence Trap: Why LLMs Feel Smart (But Aren’t Thinking)
Ощущение «ума» у LLM объясняется связностью ответа, которая зависит от контекста, а не пониманием, поэтому работу человека с моделью стоит строить вокруг структурированного резонанса.
- Цикл frame, generate, judge, iterate — по словам спикера, результаты заметно лучше, когда ответ модели оценивают и уточняют, а не принимают с первого раза. Вывод опирается на анализ истории собственных чатов с ChatGPT, по которому спикер написал кейс на 21 страницу.
- Галлюцинации как признак связности — модель достраивает пробелы там, где контекста не хватает, и делает это предсказуемо. Поэтому нужно давать достаточно контекста, а RAG-фрагменты использовать как якоря, которые задают направление генерации.
- Короткие модульные шаги вместо длинных цепочек — длинные цепочки рассуждений, по наблюдению спикера, часто теряют связность. На каждом шаге стоит заново напоминать контекст, а сдвиги тона, структуры или логики считать сигналом, с которого начинается отладка, например с размера чанков в векторной БД.
- Устойчивость под давлением — спикер считает этот критерий самым важным из четырёх свойств связности: модель не должна разваливаться, когда ей возражают или предлагают конкурирующую версию.
Кому полезно: тем, кто строит продукты на LLM и разбирается, почему качество ответов плавает в цепочках и RAG-пайплайнах.
Статья по теме
Главы
Похожие доклады
За пределами RAG: трансформеры с расширенной памятью
AI Engineer World's Fair 2024
Близко по содержанию
Создание контекстно-ориентированных приложений с рассуждением на LangChain и LangSmith
AI Engineer Summit 2023
Близко по содержанию
Хватит гадать: создаём надёжный ИИ с послойным CoT
AI Engineer Summit 2025
Близко по содержанию
MCP — это скучно (или почему мы теряем магию LLM)
AI Engineer World's Fair 2025
Близко по содержанию

