← Каталог

Как Revolut сократил расходы на AI-кодинг на 90% благодаря self-hosted открытым моделям

How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut

Revolut перевёл кодинговые инструменты двух тысяч инженеров на self-hosted GLM на собственных GPU, и, по словам спикера, счёт за токены упал примерно в десять раз.

  • Узкое место часто не в коде — по словам спикера, self-hosted GLM дал 60% прироста скорости кодинга и 70% улучшения lead time, а без лимита токенов инженеры автоматизируют почту, Jira и Confluence.
  • Тюнинг вместо новых GPU — на тех же GPU время до первого токена упало с более десяти секунд примерно до 1,6 секунды при росте нагрузки на 76%, по словам спикера.
  • Цели по задержке — для интерактивной работы спикер ориентируется на время до первого токена меньше трёх секунд и около 200 токенов в секунду, а задержка выше пяти секунд, по его словам, сразу вызывает жалобы.
  • Изображения и sandbox — картинки уходят в отдельную модель, а кодинговые агенты работают с human in the loop: sandbox с правилами разрешённых команд (grep можно, Gradle нельзя) и подробный OpenTelemetry для разбора инцидентов.

Статья по теме

Главы

Похожие доклады