← Каталог

· AI Engineer World's Fair 2024

Инженерия AI-платформ

AI Platform Engineering

Когда генеративным ИИ пользуются 10 и более команд, нужна отдельная платформенная команда, которая отдает им общие модели, данные, evals и правила как сервис.

  • Общая инфраструктура вместо отдельных решений — платформа дает доступ к моделям, векторной базе, коннекторам к источникам данных, реестру моделей и прокси с контролем доступа, чтобы каждая команда не собирала это заново.
  • Evals до смены модели — за два года команда сменила восемь моделей, и без тестов каждая смена означала ручную переработку промптов; спикер советует написать evals до рефакторинга.
  • Ускорение генерации без ускорения проверки — по словам спикера, после внедрения Copilot выросли размеры pull request и время ревью, поэтому общая скорость снова замедлилась.
  • Централизованные правила и самообслуживание — центральная команда задает общие правила governance, а каждая команда добавляет свои поверх, не дублируя проверку.

Кому полезно: тем, кто переводит генеративный ИИ из экспериментов отдельной группы data science в продакшен на несколько команд.

Статья по теме

Главы

Ещё доклады: Patrick Debois

Все 5 докладов →

Похожие доклады