← Каталог

· AI Engineer Summit 2023

Открытые вопросы AI-инжиниринга

Open Questions for AI Engineering

Prompt injection пока нельзя закрыть так же надёжно, как SQL-инъекцию, поэтому ассистентам с доступом к личным данным рано доверять без оговорок.

  • Prompt injection без надёжного решения — склейка промпта с пользовательским вводом не лечится параметризацией, как в SQL. По словам спикера, за 13 месяцев он не видел убедительного решения, а фильтры дают лишь около 90% защиты, и атакующий будет перебирать варианты, пока не пройдёт.
  • CLI и SQLite вместо блокнотов — все промпты и ответы пишутся в SQLite, а инструмент llm подключает API-модели и локальные через плагины и встраивается в Unix-пайплайны. Пример: сводки обсуждений Hacker News через Claude с окном 100 тысяч токенов, где цитаты можно сверить с исходным текстом; спикер не нашёл в них выдуманных фраз.
  • WebAssembly как песочница — Code Interpreter запускает сгенерированный код в изолированной среде, и спикер хочет такой же запуск на своей машине. Он считает WebAssembly вероятным путём, но пока это гипотеза, без работающего решения.
  • Код на незнакомом языке — спикер выпустил Go-код с unit-тестами и CI/CD, не зная Go, опираясь на умение читать и ревьюить код, который генерирует модель.

Кому полезно: тем, кто строит ассистентов с доступом к почте или личным данным и выполняет сгенерированный код на своих машинах.

Статья по теме

Главы

Ещё доклады: Simon Willison

Страница спикера →

Похожие доклады