· AI Engineer World's Fair 2025
Забавные истории о создании OpenRouter и о том, что ждёт индустрию
fun stories from building OpenRouter and where all this is going
Инференс, по словам автора OpenRouter, станет товаром с множеством провайдеров, где выигрывает маршрутизация запросов между ними.
- Запасной провайдер и агрегация — когда у популярной модели появилось много хостеров с разными ценами и возможностями, маршрутизация между ними, по словам автора, заметно подняла доступность, в том числе закрытых моделей.
- Нормализация различий — провайдеры по-разному поддерживают tool calling, кэширование и структурированный вывод, а отмена потокового ответа тарифицируется по-разному: одни списывают всю генерацию, другие берут оплату за токены, которых клиент не получил.
- Плагины как middleware — в отличие от MCP, который в основном работает до запуска инференса, плагин может менять потоковый ответ модели. Пример: веб-поиск добавляет аннотации к ответу любой модели прямо в потоке, а задержку платформы автор называет около 30 миллисекунд.
Кому полезно: тем, кто строит продукт на нескольких моделях и хочет снизить зависимость от одного провайдера.
Статья по теме
Главы
Ещё доклады: Alex Atallah
Страница спикера →Современное состояние маршрутизации моделей
Alex Atallah, Carter Abdallah, Nader Khalil, Tanay Varshney, Walden Yan
AI Engineer World's Fair 2026
Следующие единороги: 7 ведущих AI-стартапов из резиденции HF0
Alex Atallah, Eugene Cheah, Diego Rodriguez, David Vorick, Jonas Bauer, Shijia Liao
AI Engineer World's Fair 2025
Похожие доклады
Llamafile: ИИ для всех благодаря быстрому инференсу на CPU
AI Engineer World's Fair 2024
Близко по содержанию
Рост популярности открытых моделей в корпоративном секторе
AI Engineer World's Fair 2025
Близко по содержанию

