← Каталог

· AI Engineer World's Fair 2026

Я не видел ничего страшнее LLM с tool calls

"I've never seen anything scarier than an LLM with tool calls." — Erik Meijer aka @HeadinTheBox

Агента можно сделать доказуемо безопасным, если он возвращает план в виде программы с машинно проверяемым доказательством безопасности, а выполняет её изолированный исполнитель.

  • Вызовы инструментов как `IO` — результат с побочными эффектами для проверки остаётся чёрным ящиком, поэтому агент должен отдавать программу-выражение, которое можно анализировать до запуска.
  • Доказательство до исполнения — модель генерирует программу и доказательство её безопасности, а действия выполняются только после проверки; по словам спикера, это идея proof-carrying code из 1990-х, которую он переносит на агентов.
  • Taint analysis по дереву программы — если план представлен как данные, можно отслеживать потоки от приватных данных и недоверенного контента к инструментам, то есть комбинацию, которую называют lethal trifecta. Открытая реализация на GitHub использует другой язык, но ту же идею.
  • Граница подхода — формально доказать можно свойства действий, но не то, что ответ «безопасен»; поэтому LLM-as-judge и alignment модели, по мнению спикера, не дают гарантий.

Кому полезно: тем, кто даёт агентам инструменты с доступом к файлам, базам данных или деньгам и хочет проверять действия до их выполнения.

Статья по теме

Главы

Похожие доклады