← Каталог

· AI Engineer World's Fair 2024

AI-инжиниринг без границ

AI Engineering Without Borders

Границы между дисциплинами AI-инженерии искусственны, а планировать стоит по трендам, которые устойчиво меняют стоимость и возможности моделей.

  • Законы AI-инженерии — спикер делит правила на константы (люди говорят около 80 слов в минуту, а читают около 200) и временные факты. Временные факты, например скорость локального инференса в 30 токенов в секунду, которую Apple рекламирует для моделей на телефоне, со временем становятся новой базовой планкой.
  • Рост контекста — по словам спикера, окно за год выросло с 60–70 тысяч токенов у MPT-7B, где качество заметно падало, до миллионов токенов. Важны и длина окна, и то, насколько модель реально использует контекст.
  • Удешевление интеллекта — по оценке спикера, стоимость уровня GPT-3 за два года упала на 99,55%. Архитектуру стоит проектировать с расчётом на дальнейшее падение цен, а не на текущие.
  • Вторая ось — помимо спектра безопасность против ускорения спикер предлагает измерение полезности: AI-инженер применяет технологии, чтобы они приносили пользу людям.

Кому полезно: тем, кто решает, какие части системы строить сейчас, а какие отложить, потому что ограничения моделей быстро меняются.

Статья по теме

Главы

Ещё доклады: swyx

Все 12 докладов →

Похожие доклады