← Каталог

· AI Engineer World's Fair 2025

Забавные истории о создании OpenRouter и о том, что ждёт индустрию

fun stories from building OpenRouter and where all this is going

Инференс, по словам автора OpenRouter, станет товаром с множеством провайдеров, где выигрывает маршрутизация запросов между ними.

  • Запасной провайдер и агрегация — когда у популярной модели появилось много хостеров с разными ценами и возможностями, маршрутизация между ними, по словам автора, заметно подняла доступность, в том числе закрытых моделей.
  • Нормализация различий — провайдеры по-разному поддерживают tool calling, кэширование и структурированный вывод, а отмена потокового ответа тарифицируется по-разному: одни списывают всю генерацию, другие берут оплату за токены, которых клиент не получил.
  • Плагины как middleware — в отличие от MCP, который в основном работает до запуска инференса, плагин может менять потоковый ответ модели. Пример: веб-поиск добавляет аннотации к ответу любой модели прямо в потоке, а задержку платформы автор называет около 30 миллисекунд.

Кому полезно: тем, кто строит продукт на нескольких моделях и хочет снизить зависимость от одного провайдера.

Статья по теме

Главы

Ещё доклады: Alex Atallah

Страница спикера →

Похожие доклады