← Каталог

· AI Engineer World's Fair 2025

Ловушка связности: почему LLM кажутся умными, но не мыслят

The Coherence Trap: Why LLMs Feel Smart (But Aren’t Thinking)

Ощущение «ума» у LLM объясняется связностью ответа, которая зависит от контекста, а не пониманием, поэтому работу человека с моделью стоит строить вокруг структурированного резонанса.

  • Цикл frame, generate, judge, iterate — по словам спикера, результаты заметно лучше, когда ответ модели оценивают и уточняют, а не принимают с первого раза. Вывод опирается на анализ истории собственных чатов с ChatGPT, по которому спикер написал кейс на 21 страницу.
  • Галлюцинации как признак связности — модель достраивает пробелы там, где контекста не хватает, и делает это предсказуемо. Поэтому нужно давать достаточно контекста, а RAG-фрагменты использовать как якоря, которые задают направление генерации.
  • Короткие модульные шаги вместо длинных цепочек — длинные цепочки рассуждений, по наблюдению спикера, часто теряют связность. На каждом шаге стоит заново напоминать контекст, а сдвиги тона, структуры или логики считать сигналом, с которого начинается отладка, например с размера чанков в векторной БД.
  • Устойчивость под давлением — спикер считает этот критерий самым важным из четырёх свойств связности: модель не должна разваливаться, когда ей возражают или предлагают конкурирующую версию.

Кому полезно: тем, кто строит продукты на LLM и разбирается, почему качество ответов плавает в цепочках и RAG-пайплайнах.

Статья по теме

Главы

Похожие доклады