← Каталог

· AI Engineer World's Fair 2026

LLM-gateway в production: архитектура, компромиссы и важные уроки

Productionizing LLM Gateways: Architecture, Tradeoffs and Hard Lessons — Kanish Manuja, Twilio

Доклад Kanish Manuja (Twilio) о том, что для LLM gateway в продакшене доступность, латентность, guardrails и стоимость нельзя максимизировать одновременно, поэтому компромисс нужно выбрать заранее.

  • Fallback вместо retry — повторные запросы с backoff съедают бюджет латентности LLM, поэтому спикер советует переключать запрос на второго провайдера. Резервный провайдер должен получать запас мощности больше основного, потому что он последняя линия защиты.
  • Латентность по маршрутам — отслеживать P99 нужно для каждой модели и маршрута, а не по всему gateway, и задавать таймауты на класс модели. По словам спикера, reasoning-модели на один и тот же промпт отвечают от 2 до 60 секунд, а P99 однажды внезапно вырос до 60 секунд.
  • Guardrails — заранее решить, пропускать ли запрос при их падении, задать для проверки отдельный time budget и не стримить структурированный вывод при параллельных проверках.
  • Централизация без единого gateway — центральный gateway для всей компании остаётся единой точкой отказа. Спикер предлагает централизовать governance (учёт стоимости, rate limits) плагинами, а трафик распределять по отдельным деплоям, с разделением API-ключей по маршрутам и ограниченными очередями.

Кому полезно: тем, кто выводит LLM-сервисы в продакшен и настраивает gateway для нескольких провайдеров и типов запросов.

Статья по теме

Главы

Похожие доклады