← Каталог

· AI Engineer World's Fair 2024

Преодоление гигагерцевого барьера в ИИ

Breaking AI’s 1 Gigahertz Barrier

Рост скорости инференса LLM опережает закон Мура, и по словам спикера из Groq это делает LLM вероятным ядром будущих вычислений.

  • Скорость как новая частота процессора — по словам самой Groq, скорость Llama 3 8B выросла больше чем на 50% между апрелем и июнем 2024 года. Спикер сравнивает эту гонку с погоней за гигагерцами в процессорах и считает, что ответ на неё лежит в распараллеливании.
  • Несколько агентов на маленькой модели — спикер ссылается на недавние статьи, где несколько агентов, работающих вместе над задачей, обходили по качеству модели с большим числом параметров. Быстрый инференс делает такой подход с несколькими попытками дешёвым, поэтому спикер ожидает, что он станет основным.
  • Фоновые агенты — когда вычислительные циклы почти ничего не стоят, агент может постоянно работать в фоне и предсказывать действия пользователя, а не только реагировать на запросы.
  • Голос на входе, текст на выходе — спикер описывает смешанный интерфейс: клиент просит назвать свободное время голосом, а список слотов получает текстом, потому что длинный список на слух трудно запомнить.

Кому полезно: тем, кто проектирует голосовые или мультимодальные интерфейсы с LLM и хочет оценить, что изменится при росте скорости инференса.

Статья по теме

Главы

Похожие доклады