← Каталог

· AI Engineer World's Fair 2024

Актуальные вызовы AI-инжиниринга

Open Challenges for AI Engineering

Модели уровня GPT-4 перестали быть монополией, поэтому выбирать стоит по цене и задаче, а главные открытые проблемы — prompt injection и доверие.

  • MMLU против пользовательских голосований — MMLU похож на бар-викторину с вопросами про сверхновые, а Chatbot Arena, где люди вслепую выбирают лучший из двух ответов, ближе к тому, как модель работает в продукте.
  • Дешёвые модели для основной работы — Claude 3 Haiku и Gemini 1.5 Flash, по оценке спикера, очень дешёвые и решают многие задачи, а GPT-3.5 Turbo он советует не использовать вовсе.
  • Открытые веса догоняют — Llama 3 70B, по словам спикера, находится в классе GPT-4 и запускается на обычном Mac, а модели Alibaba, DeepSeek и Cohere тоже поднялись в верхние строки рейтинга.
  • Markdown-картинки как канал утечки — если чат рендерит картинку с внешним URL, модель по prompt injection может передать в её параметрах приватные данные; по словам спикера, такой баг нашли в шести продуктах, включая ChatGPT и GitHub Copilot Chat, и вывод простой: не рендерить внешние Markdown-картинки.

Кому полезно: тем, кто выбирает модели для продукта и защищает чат-интерфейсы с доступом к приватным данным от prompt injection.

Статья по теме

Главы

Ещё доклады: Simon Willison

Страница спикера →

Похожие доклады