· AI Engineer World's Fair 2024
Что нового у Anthropic и что дальше
What's new from Anthropic and what's next
Полезные AI-продукты строятся вокруг возможностей LLM, а не добавляются к существующему интерфейсу кнопкой с иконкой звезды.
- Artifacts и Projects как AI-native подход — Artifacts выносят результат работы модели из чата в отдельную панель, а Projects опираются на материалы команды: гайды по стилю, кодовую базу, транскрипты. По словам спикера, инженеры Anthropic уже делятся такими чатами и артефактами вместо документации.
- Claude 3.5 Sonnet на задачах кодинга — на внутренних evals на pull request модель набирает 64% против 38% у Claude 3 Opus, а цена составляет $3 за миллион входных токенов, то есть в пять раз ниже Opus. Цифры приведены самими авторами и не проверены независимо.
- Tool Use API для структурированного вывода — функции на стороне клиента и JSON на выходе; по словам спикера, разработчики уже передают модели сотни инструментов за раз.
- Планирование с учётом новых моделей — спикер ожидает, что модели будут становиться умнее, дешевле и быстрее за месяцы, поэтому roadmap стоит строить с расчётом на выход новых моделей во время разработки.
Кому полезно: тем, кто встраивает LLM глубже текстового поля в существующий продукт и выбирает модель для кодинга или RAG.
Статья по теме
На какие вопросы отвечает доклад
Почему добавление AI-кнопок в существующий интерфейс не даёт продуктового эффекта?
Спикер сравнивает это с заменой паровой машины электрической на старой фабрике: эффект появился, когда продукт перестроили вокруг возможностей технологии, как мобильные приложения перестроили вокруг камеры и GPS.
▶ 0:00Электричество, мобильные устройства и аргументы в пользу AI-native дизайна продуктовКак измерить, справится ли модель с многошаговой правкой кода, а не только с академическими бенчмарками?
Авторы используют внутренние pull request evals: задача с понятной целью, несколько шагов, модель пишет и тестирует код итеративно. По их данным, Claude 3.5 Sonnet решает 64%, Claude 3 Opus — 38%.
▶ 4:33Claude 3.5 Sonnet: бенчмарки, retrieval, зрение и доступность в облакеКак по скриншоту быстро получить работающий React-компонент с помощью LLM?
Artifacts выносит результат модели из чата в отдельное окно, и Claude 3.5 Sonnet по одному скриншоту воспроизвёл в React разметку чата claude.ai. Так же модель переводит диаграммы Figma в код.
▶ 7:20Artifacts и Projects: совместные AI-native сценарииКак привязать ответы LLM к стайлгайдам и кодовой базе команды?
Projects привязывает ответы Claude к загруженным материалам: стайлгайдам, кодовым базам, транскриптам. На командном плане проектами и чатами можно делиться с коллегами, и, по словам спикера, это всё чаще заменяет Google Docs.
▶ 7:20Artifacts и Projects: совместные AI-native сценарииКак дать LLM вызывать мои функции и возвращать строго структурированный JSON?
Tool Use API позволяет передать модели пользовательские клиентские функции, которые она вызывает по необходимости, и даёт стабильный JSON на выходе. По словам спикера, с 3.5 Sonnet разработчики передают сотни инструментов за раз.
▶ 9:29Tool Use API, пользовательские функции и структурированный JSONКак планировать продуктовую дорожную карту, если модели становятся дешевле и быстрее каждые несколько месяцев?
Спикер советует закладывать в план выход новых моделей во время разработки: каждое поколение, по его словам, повышает интеллект, снижает задержку и стоимость. Улучшения приходят за месяцы, а не годы.
▶ 9:29Tool Use API, пользовательские функции и структурированный JSON
Главы
Похожие доклады
Интеллектуальный интерфейс
AI Engineer Summit 2023
Близко по содержанию
Анализ 10 000 звонков отдела продаж с помощью ИИ за две недели
AI Engineer World's Fair 2025
Близко по содержанию
ИИ ничего не меняет
AI Engineer Code 2025
Близко по содержанию
Claude для долгосрочных задач
AI Engineer World's Fair 2026
Близко по содержанию

