· AI Engineer World's Fair 2024
Актуальные вызовы AI-инжиниринга
Open Challenges for AI Engineering
Модели уровня GPT-4 перестали быть монополией, поэтому выбирать стоит по цене и задаче, а главные открытые проблемы — prompt injection и доверие.
- MMLU против пользовательских голосований — MMLU похож на бар-викторину с вопросами про сверхновые, а Chatbot Arena, где люди вслепую выбирают лучший из двух ответов, ближе к тому, как модель работает в продукте.
- Дешёвые модели для основной работы — Claude 3 Haiku и Gemini 1.5 Flash, по оценке спикера, очень дешёвые и решают многие задачи, а GPT-3.5 Turbo он советует не использовать вовсе.
- Открытые веса догоняют — Llama 3 70B, по словам спикера, находится в классе GPT-4 и запускается на обычном Mac, а модели Alibaba, DeepSeek и Cohere тоже поднялись в верхние строки рейтинга.
- Markdown-картинки как канал утечки — если чат рендерит картинку с внешним URL, модель по prompt injection может передать в её параметрах приватные данные; по словам спикера, такой баг нашли в шести продуктах, включая ChatGPT и GitHub Copilot Chat, и вывод простой: не рендерить внешние Markdown-картинки.
Кому полезно: тем, кто выбирает модели для продукта и защищает чат-интерфейсы с доступом к приватным данным от prompt injection.
Статья по теме
Главы
Ещё доклады: Simon Willison
Страница спикера →Открытые вопросы AI-инжиниринга
AI Engineer Summit 2023
Claude Fable, Claude Tag и культура Anthropic
Simon Willison, Thariq Shihipar, Cat Wu
AI Engineer World's Fair 2026
2025 год в мире LLM на примере пеликанов на велосипедах
AI Engineer World's Fair 2025
Похожие доклады
От текста к зрению и голосу: мультимодальность с OpenAI
AI Engineer World's Fair 2024
Близко по содержанию
Обучение передовых моделей думать на шаг впереди хакеров
AI Engineer World's Fair 2026
Близко по содержанию

