Загружаем страницу…
Загружаем страницу…
Инфраструктура AI-систем: масштабирование, базы данных, задержки, отказоустойчивость и вывод LLM-приложений в продакшен.
Доклады о том, что происходит под агентом. Revolut рассказывает, как сократил расходы на AI-кодинг на 90% благодаря self-hosted открытым моделям. Другие спикеры разбирают обучение, которое переживает отказ GPU, CI под поток коммитов от агентов, масштабирование баз данных и задачи с длинным горизонтом. Есть доклады про токеномику и защиту сайтов от AI-ботов.
Помимо модели и кода нужны повторы при сбоях провайдера, лимиты и кеширование, трейсы, evals в CI, контроль стоимости и запасная модель на случай недоступности основной. Агентам добавляют sandbox и хранение состояния долгих задач.
Брать модель поменьше там, где хватает качества, стримить ответ, кешировать общий префикс промпта и выполнять независимые вызовы параллельно. Спикеры советуют мерить время всего процесса: быстрая модель не помогает, если чаще ошибается и требует повторов.