· AI Engineer World's Fair 2026
LLM-gateway в production: архитектура, компромиссы и важные уроки
Productionizing LLM Gateways: Architecture, Tradeoffs and Hard Lessons — Kanish Manuja, Twilio
Доклад Kanish Manuja (Twilio) о том, что для LLM gateway в продакшене доступность, латентность, guardrails и стоимость нельзя максимизировать одновременно, поэтому компромисс нужно выбрать заранее.
- Fallback вместо retry — повторные запросы с backoff съедают бюджет латентности LLM, поэтому спикер советует переключать запрос на второго провайдера. Резервный провайдер должен получать запас мощности больше основного, потому что он последняя линия защиты.
- Латентность по маршрутам — отслеживать P99 нужно для каждой модели и маршрута, а не по всему gateway, и задавать таймауты на класс модели. По словам спикера, reasoning-модели на один и тот же промпт отвечают от 2 до 60 секунд, а P99 однажды внезапно вырос до 60 секунд.
- Guardrails — заранее решить, пропускать ли запрос при их падении, задать для проверки отдельный time budget и не стримить структурированный вывод при параллельных проверках.
- Централизация без единого gateway — центральный gateway для всей компании остаётся единой точкой отказа. Спикер предлагает централизовать governance (учёт стоимости, rate limits) плагинами, а трафик распределять по отдельным деплоям, с разделением API-ключей по маршрутам и ограниченными очередями.
Кому полезно: тем, кто выводит LLM-сервисы в продакшен и настраивает gateway для нескольких провайдеров и типов запросов.
Статья по теме
Главы
Похожие доклады
Хватит гадать с настройками vLLM: бенчмаркинг LLM на Runpod
Близко по содержанию
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Маршрутизация инференса LLM в production: от сигналов движка к политике
Близко по содержанию
Ваш стек LLM — это база данных 2008 года с более удачным маркетингом
AI Engineer World's Fair 2026
Близко по содержанию

