Валера Ковальский — создатель NeuralDeep, inference-хаба на собственных GPU с OpenAI-совместимым API для разработчиков и агентов. В подкасте «300 токенов в секунду» рассказывает, как устроен такой сервис: prefix caching, speculative decoding, quantization и запуск моделей в день релиза.

Темы докладов: Инференс, стоимость, открытые модели, Инфраструктура и надёжность и Кодинг-агенты и AI-native процесс.

Другое1