← Каталог

· AI Engineer World's Fair 2026

Как инфраструктура веб-данных помогает создавать новое поколение ИИ

How Web Data Infrastructure Powers the Next Generation of AI

Свежие веб-данные для AI-систем требуют постоянной перестройки инфраструктуры: по словам спикера, Fast Search API сократили с четырёх секунд до 550 миллисекунд средней задержки.

  • Перестройка вместо оптимизации — первая версия быстрого поиска дала около 650 мс P90 за две недели, но на живом тесте клиента её заблокировали, и систему пришлось строить заново на браузерах. По словам спикера, суточные запросы выросли с 400 миллионов почти до 6 миллиардов.
  • Меньше выдачи, меньше задержки — для AI-систем Fast Search API отдаёт органические результаты, top stories и новости, а рекламу, виджеты и сложную вёрстку убирает.
  • Нагрузочные тесты как узкое место — синтетический трафик генерировать легко, а трафик, похожий на реальных клиентов, сложнее. При примерно 20 тысячах запросов в секунду на Web Unblocker команда не могла понять, есть ли запас, а логи и метрики сами становились частью нагрузки.
  • Продукт из одного запроса — видео-API начинался с загрузчика под двухнедельный срок, потом добавили транскрипты, субтитры, поиск по языкам и метаданные. Клиенты покупали не первую версию, а способность команды адаптироваться.

Кому полезно: тем, кто строит пайплайны свежих веб-данных для RAG или агентов и упирается в задержку, масштаб или нагрузочное тестирование.

Статья по теме

Главы

Похожие доклады