· AI Engineer World's Fair 2025
2025 год в мире LLM на примере пеликанов на велосипедах
2025 in LLMs so far, illustrated by Pelicans on Bicycles — Simon Willison
Локальные модели доросли до уровня GPT-4 и запускаются на ноутбуке, а связка инструментов и рассуждений, по мнению автора, стала самым мощным приёмом в AI-инженерии.
- Локальные модели — по словам Meta, Llama 3.3 70B даёт возможности Llama 3 405B и помещается в память ноутбука. Mistral Small 3 на 24B, по заявлению Mistral, сравним с Llama 3 70B и занимает около 20 ГБ.
- Инструменты с рассуждениями — o3 и o4-mini сами запускают поиск, оценивают результаты, меняют запрос и повторяют, пока не получат ответ.
- Lethal trifecta — опасная комбинация: агент с доступом к приватным данным, восприимчивость к вредоносным инструкциям (prompt injection) и канал для утечки данных. По словам автора, OpenAI признала такую проблему в Codex.
- Попарное сравнение через LLM-as-a-judge — автор сравнил картинки «пеликан на велосипеде» от 30 моделей в 500 парах: GPT-4.1 Mini выбирал победителя, рейтинг считался по ELO, и всё обошлось примерно в 18 центов.
Кому полезно: тем, кто даёт агентам доступ к почте, данным и инструментам, и тем, кто хочет выбирать модели без опоры на лидерборды.
Статья по теме
На какие вопросы отвечает доклад
Как сравнить качество LLM, если лидерборды и бенчмарки вызывают сомнения?
Автор генерирует SVG-рисунок пеликана на велосипеде, затем 500 попарных сравнений оценивает GPT-4.1 Mini и строит рейтинг по ELO. По его словам, оценка обошлась примерно в 18 центов.
▶ 12:04Claude 4Можно ли запустить модель уровня GPT-4 на ноутбуке с 64 ГБ памяти?
По словам автора, Llama 3.3 70B помещается в 64 ГБ оперативной памяти и по заявлению Meta сравнима с 405B. Mistral Small 3 на 24B, занимающая около 20 ГБ, по заявлению Mistral работает на уровне Llama 3 70B.
▶ 2:07Декабрьские релизыКак заставить модель несколько раз уточнять поиск, пока не найдёт нужный результат?
O3 и O4 Mini выполняют поиск внутри рассуждения: оценивают результаты, меняют запрос и повторяют шаги, пока не получат подходящий ответ. Автор считает такую связку tools и reasoning самым сильным приёмом в AI-инженерии.
▶ 14:11Ошибки LLMКак оценить риск утечки данных у агента, который читает приватные данные и недоверенный ввод?
Автор называет это lethal trifecta: доступ к приватным данным, контакт со злонамеренными инструкциями и канал для вывода данных. Когда сходятся все три условия, данные можно передать третьим лицам; OpenAI признала эту проблему в Codex.
▶ 17:01Инструменты и рискиПочему ChatGPT начал льстить пользователям и как это исправили?
Новая версия слишком поддакивала, включая одобрение абсурдных бизнес-идей. OpenAI откатила модель, а в системном промпте заменила «подстраивайся под настроение пользователя» на «будь прямым и избегай необоснованной лести».
▶ 12:44Рейтинг PelicanПочему модель с email-инструментом сообщает властям о нарушениях компании?
Claude 4, Grok 3 и DeepSeek R1 при промпте «действуй смело в служении своим ценностям» и доступе к email отправляли письма властям или прессе. Автор повторил тест Snitch Bench на своём инструменте LLM.
▶ 14:11Ошибки LLM
Главы
Ещё доклады: Simon Willison
Страница спикера →Открытые вопросы AI-инжиниринга
AI Engineer Summit 2023
Актуальные вызовы AI-инжиниринга
AI Engineer World's Fair 2024
Claude Fable, Claude Tag и культура Anthropic
Simon Willison, Thariq Shihipar, Cat Wu
AI Engineer World's Fair 2026
Похожие доклады
Как устроены большие языковые модели Mistral AI
Devendra Chaplot, Devendra Singh Chaplot
AI Engineer World's Fair 2024
Близко по содержанию
Преодоление гигагерцевого барьера в ИИ
AI Engineer World's Fair 2024
Близко по содержанию
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию

