Как сделать открытые модели в 10 раз быстрее и лучше для современных приложений
Dmytro (Dima) Dzhulgakov, Lin Qiao
AI Engineer World's Fair 2024
Загружаем страницу…
Инфраструктура AI-систем: масштабирование, базы данных, задержки, отказоустойчивость и вывод LLM-приложений в продакшен.
Доклады о том, что происходит под агентом. Revolut рассказывает, как сократил расходы на AI-кодинг на 90% благодаря self-hosted открытым моделям. Другие спикеры разбирают обучение, которое переживает отказ GPU, CI под поток коммитов от агентов, масштабирование баз данных и задачи с длинным горизонтом. Есть доклады про токеномику и защиту сайтов от AI-ботов.
Dmytro (Dima) Dzhulgakov, Lin Qiao
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Помимо модели и кода нужны повторы при сбоях провайдера, лимиты и кеширование, трейсы, evals в CI, контроль стоимости и запасная модель на случай недоступности основной. Агентам добавляют sandbox и хранение состояния долгих задач.
Брать модель поменьше там, где хватает качества, стримить ответ, кешировать общий префикс промпта и выполнять независимые вызовы параллельно. Спикеры советуют мерить время всего процесса: быстрая модель не помогает, если чаще ошибается и требует повторов.
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Pamela Fox, Gabriela de Queiroz, Aishwarya Srinivasan
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Cedric Vidal, David Smith, Miguel Martinez
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024