Открытые вопросы AI-инжиниринга
Open Questions for AI Engineering
Prompt injection пока нельзя закрыть так же надёжно, как SQL-инъекцию, поэтому ассистентам с доступом к личным данным рано доверять без оговорок.
- Prompt injection без надёжного решения — склейка промпта с пользовательским вводом не лечится параметризацией, как в SQL. По словам спикера, за 13 месяцев он не видел убедительного решения, а фильтры дают лишь около 90% защиты, и атакующий будет перебирать варианты, пока не пройдёт.
- CLI и SQLite вместо блокнотов — все промпты и ответы пишутся в SQLite, а инструмент
llmподключает API-модели и локальные через плагины и встраивается в Unix-пайплайны. Пример: сводки обсуждений Hacker News через Claude с окном 100 тысяч токенов, где цитаты можно сверить с исходным текстом; спикер не нашёл в них выдуманных фраз. - WebAssembly как песочница — Code Interpreter запускает сгенерированный код в изолированной среде, и спикер хочет такой же запуск на своей машине. Он считает WebAssembly вероятным путём, но пока это гипотеза, без работающего решения.
- Код на незнакомом языке — спикер выпустил Go-код с unit-тестами и CI/CD, не зная Go, опираясь на умение читать и ревьюить код, который генерирует модель.
Кому полезно: тем, кто строит ассистентов с доступом к почте или личным данным и выполняет сгенерированный код на своих машинах.
Статья по теме
Главы
Ещё доклады: Simon Willison
Страница спикера →Актуальные вызовы AI-инжиниринга
AI Engineer World's Fair 2024
Claude Fable, Claude Tag и культура Anthropic
Simon Willison, Thariq Shihipar, Cat Wu
AI Engineer World's Fair 2026
2025 год в мире LLM на примере пеликанов на велосипедах
AI Engineer World's Fair 2025
Похожие доклады
Зачем и как запускать код, сгенерированный ИИ, в песочнице?
AI Engineer Europe 2026
Близко по содержанию
Я не видел ничего страшнее LLM с tool calls
AI Engineer World's Fair 2026
Близко по содержанию

