← Каталог

· AI Engineer World's Fair 2024

Что нового у Anthropic и что дальше

What's new from Anthropic and what's next

Полезные AI-продукты строятся вокруг возможностей LLM, а не добавляются к существующему интерфейсу кнопкой с иконкой звезды.

  • Artifacts и Projects как AI-native подход — Artifacts выносят результат работы модели из чата в отдельную панель, а Projects опираются на материалы команды: гайды по стилю, кодовую базу, транскрипты. По словам спикера, инженеры Anthropic уже делятся такими чатами и артефактами вместо документации.
  • Claude 3.5 Sonnet на задачах кодинга — на внутренних evals на pull request модель набирает 64% против 38% у Claude 3 Opus, а цена составляет $3 за миллион входных токенов, то есть в пять раз ниже Opus. Цифры приведены самими авторами и не проверены независимо.
  • Tool Use API для структурированного вывода — функции на стороне клиента и JSON на выходе; по словам спикера, разработчики уже передают модели сотни инструментов за раз.
  • Планирование с учётом новых моделей — спикер ожидает, что модели будут становиться умнее, дешевле и быстрее за месяцы, поэтому roadmap стоит строить с расчётом на выход новых моделей во время разработки.

Кому полезно: тем, кто встраивает LLM глубже текстового поля в существующий продукт и выбирает модель для кодинга или RAG.

Статья по теме

На какие вопросы отвечает доклад

  • Почему добавление AI-кнопок в существующий интерфейс не даёт продуктового эффекта?

    Спикер сравнивает это с заменой паровой машины электрической на старой фабрике: эффект появился, когда продукт перестроили вокруг возможностей технологии, как мобильные приложения перестроили вокруг камеры и GPS.

    ▶ 0:00Электричество, мобильные устройства и аргументы в пользу AI-native дизайна продуктов
  • Как измерить, справится ли модель с многошаговой правкой кода, а не только с академическими бенчмарками?

    Авторы используют внутренние pull request evals: задача с понятной целью, несколько шагов, модель пишет и тестирует код итеративно. По их данным, Claude 3.5 Sonnet решает 64%, Claude 3 Opus — 38%.

    ▶ 4:33Claude 3.5 Sonnet: бенчмарки, retrieval, зрение и доступность в облаке
  • Как по скриншоту быстро получить работающий React-компонент с помощью LLM?

    Artifacts выносит результат модели из чата в отдельное окно, и Claude 3.5 Sonnet по одному скриншоту воспроизвёл в React разметку чата claude.ai. Так же модель переводит диаграммы Figma в код.

    ▶ 7:20Artifacts и Projects: совместные AI-native сценарии
  • Как привязать ответы LLM к стайлгайдам и кодовой базе команды?

    Projects привязывает ответы Claude к загруженным материалам: стайлгайдам, кодовым базам, транскриптам. На командном плане проектами и чатами можно делиться с коллегами, и, по словам спикера, это всё чаще заменяет Google Docs.

    ▶ 7:20Artifacts и Projects: совместные AI-native сценарии
  • Как дать LLM вызывать мои функции и возвращать строго структурированный JSON?

    Tool Use API позволяет передать модели пользовательские клиентские функции, которые она вызывает по необходимости, и даёт стабильный JSON на выходе. По словам спикера, с 3.5 Sonnet разработчики передают сотни инструментов за раз.

    ▶ 9:29Tool Use API, пользовательские функции и структурированный JSON
  • Как планировать продуктовую дорожную карту, если модели становятся дешевле и быстрее каждые несколько месяцев?

    Спикер советует закладывать в план выход новых моделей во время разработки: каждое поколение, по его словам, повышает интеллект, снижает задержку и стоимость. Улучшения приходят за месяцы, а не годы.

    ▶ 9:29Tool Use API, пользовательские функции и структурированный JSON

Главы

Похожие доклады