· AI Engineer World's Fair 2026
Я не видел ничего страшнее LLM с tool calls
"I've never seen anything scarier than an LLM with tool calls." — Erik Meijer aka @HeadinTheBox
Агента можно сделать доказуемо безопасным, если он возвращает план в виде программы с машинно проверяемым доказательством безопасности, а выполняет её изолированный исполнитель.
- Вызовы инструментов как `IO` — результат с побочными эффектами для проверки остаётся чёрным ящиком, поэтому агент должен отдавать программу-выражение, которое можно анализировать до запуска.
- Доказательство до исполнения — модель генерирует программу и доказательство её безопасности, а действия выполняются только после проверки; по словам спикера, это идея proof-carrying code из 1990-х, которую он переносит на агентов.
- Taint analysis по дереву программы — если план представлен как данные, можно отслеживать потоки от приватных данных и недоверенного контента к инструментам, то есть комбинацию, которую называют lethal trifecta. Открытая реализация на GitHub использует другой язык, но ту же идею.
- Граница подхода — формально доказать можно свойства действий, но не то, что ответ «безопасен»; поэтому LLM-as-judge и alignment модели, по мнению спикера, не дают гарантий.
Кому полезно: тем, кто даёт агентам инструменты с доступом к файлам, базам данных или деньгам и хочет проверять действия до их выполнения.
Статья по теме
Главы
Похожие доклады
Мы разрешили AI-агенту выполнять команды Bash — и выжили, чтобы об этом рассказать
Близко по содержанию
Защита систем машинного обучения
AI Engineer World's Fair 2024
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Реальные атаки на AI-агентов и меры, которые могли бы их предотвратить
Близко по содержанию

