Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Загружаем страницу…
Инфраструктура AI-систем: масштабирование, базы данных, задержки, отказоустойчивость и вывод LLM-приложений в продакшен.
Доклады о том, что происходит под агентом. Revolut рассказывает, как сократил расходы на AI-кодинг на 90% благодаря self-hosted открытым моделям. Другие спикеры разбирают обучение, которое переживает отказ GPU, CI под поток коммитов от агентов, масштабирование баз данных и задачи с длинным горизонтом. Есть доклады про токеномику и защиту сайтов от AI-ботов.
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Помимо модели и кода нужны повторы при сбоях провайдера, лимиты и кеширование, трейсы, evals в CI, контроль стоимости и запасная модель на случай недоступности основной. Агентам добавляют sandbox и хранение состояния долгих задач.
Брать модель поменьше там, где хватает качества, стримить ответ, кешировать общий префикс промпта и выполнять независимые вызовы параллельно. Спикеры советуют мерить время всего процесса: быстрая модель не помогает, если чаще ошибается и требует повторов.
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
swyx, Greg Brockman, Jensen Huang
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Kwindla Hultman Kramer, Sean DuBois
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Byungjoong, Jaehan, Myungjong Kim, Travis Bartley
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025