· AI Engineer World's Fair 2024
Преодоление гигагерцевого барьера в ИИ
Breaking AI’s 1 Gigahertz Barrier
Рост скорости инференса LLM опережает закон Мура, и по словам спикера из Groq это делает LLM вероятным ядром будущих вычислений.
- Скорость как новая частота процессора — по словам самой Groq, скорость Llama 3 8B выросла больше чем на 50% между апрелем и июнем 2024 года. Спикер сравнивает эту гонку с погоней за гигагерцами в процессорах и считает, что ответ на неё лежит в распараллеливании.
- Несколько агентов на маленькой модели — спикер ссылается на недавние статьи, где несколько агентов, работающих вместе над задачей, обходили по качеству модели с большим числом параметров. Быстрый инференс делает такой подход с несколькими попытками дешёвым, поэтому спикер ожидает, что он станет основным.
- Фоновые агенты — когда вычислительные циклы почти ничего не стоят, агент может постоянно работать в фоне и предсказывать действия пользователя, а не только реагировать на запросы.
- Голос на входе, текст на выходе — спикер описывает смешанный интерфейс: клиент просит назвать свободное время голосом, а список слотов получает текстом, потому что длинный список на слух трудно запомнить.
Кому полезно: тем, кто проектирует голосовые или мультимодальные интерфейсы с LLM и хочет оценить, что изменится при росте скорости инференса.
- Инференс, стоимость, открытые модели
- Автоматизация бизнес-процессов
- Мультимодальность и генеративные медиа
Статья по теме
Главы
Похожие доклады
Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике
AI Engineer World's Fair 2026
Близко по содержанию
Могут ли LLM писать быстрые multi-GPU kernels?
AI Engineer World's Fair 2026
Близко по содержанию
Создание корпоративных приложений генеративного ИИ на Llama-3 со скоростью 1 000 токенов/с на платформе SambaNova
Rachelle Mattern, Petro Junior Milan, Varun Badrinath Krishna
AI Engineer World's Fair 2024
Близко по содержанию
Тренды на переднем крае развития ИИ
George Cameron, Micah Hill-Smith
AI Engineer World's Fair 2025
Близко по содержанию

