· AI Engineer World's Fair 2026
Почему ваш агент противоречит сам себе (и что с этим делать)
Why Your Agent Disagrees With Itself (And What To Do About It)
Расхождения агента между запусками на одинаковом входе чаще указывают на неясную разметку и нехватку контекста, а не на поломку модели.
- Нестабильность у границы решения — нестабильные вердикты концентрируются около границы между классами, где люди тоже расходятся, а правильный ответ зависит от политики компании. Такие случаи стоит искать, а не списывать на модель.
- Расхождение вместо оценки уверенности — по словам спикера, оценка уверенности LLM ненадёжна, а расхождение между запусками или моделями лучше показывает, где агенту нужна помощь человека.
- Память вместо дообучения — правила компании хранятся в семантической памяти, а похожие прошлые решения подтягиваются через эпизодическую память. Это дешевле, чем переобучать модель, и быстрее итераций.
- Ручная проверка остатка — на 93 алертах примерно четверть вердиктов менялась между запусками без памяти. По словам спикера, нестабильные случаи, которые память не сняла, уходят на проверку человеком, а его решения возвращаются в семантическую память.
Кому полезно: тем, кто строит агентов для классификации алертов или модерации с ручной проверкой и видит непостоянные ответы на одинаковые входы.
Статья по теме
Главы
Похожие доклады
Проблема структуры enterprise-агентов
AI Engineer World's Fair 2026
Близко по содержанию
Создавайте AI-системы для осознанной оценки, а не одобрения
AI Engineer World's Fair 2026
Близко по содержанию
Почему с увеличением контекста агент глупеет и что с этим делать
AI Engineer Europe 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию

