GPU вышел из строя. Обучение продолжилось: самовосстановление на масштабе
Connor Guerrero, Nikhil Gupta, Young Jeong
AI Engineer Code 2025
Загружаем страницу…
Инфраструктура AI-систем: масштабирование, базы данных, задержки, отказоустойчивость и вывод LLM-приложений в продакшен.
Доклады о том, что происходит под агентом. Revolut рассказывает, как сократил расходы на AI-кодинг на 90% благодаря self-hosted открытым моделям. Другие спикеры разбирают обучение, которое переживает отказ GPU, CI под поток коммитов от агентов, масштабирование баз данных и задачи с длинным горизонтом. Есть доклады про токеномику и защиту сайтов от AI-ботов.
Connor Guerrero, Nikhil Gupta, Young Jeong
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
Помимо модели и кода нужны повторы при сбоях провайдера, лимиты и кеширование, трейсы, evals в CI, контроль стоимости и запасная модель на случай недоступности основной. Агентам добавляют sandbox и хранение состояния долгих задач.
Брать модель поменьше там, где хватает качества, стримить ответ, кешировать общий префикс промпта и выполнять независимые вызовы параллельно. Спикеры советуют мерить время всего процесса: быстрая модель не помогает, если чаще ошибается и требует повторов.
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025
AI Engineer Code 2025