← Каталог

· AI Engineer Summit 2023

Эволюция ИИ

The AI Evolution

Успех GitHub Copilot, по словам спикера, держался на inline-подсказках с задержкой часто меньше 100 мс и сильной модели, а не на чате.

  • Подсказки прямо в редакторе — ghost text, поданный вместе с моделью Codex, по словам спикера, изменил игру: код предлагается и по комментарию, и по мере набора. Позже модель заменили на GPT-3.5 Turbo.
  • Офлайн и онлайн scorecards — набор в офлайн-оценках может работать, а в продакшене метрики падают, поэтому нужны оба набора оценок, чтобы быстро итерировать.
  • Требования B2B — не хранить промпты и данные клиентов и не обучаться на них без согласия; компания, по словам спикера, даёт клиентам индемнификацию.
  • Глобальные дата-центры — развёртывание в Японии, Европе и Северной Америке нужно, чтобы время до первого байта оставалось низким.

Кому полезно: тем, кто встраивает AI-функции в редактор или B2B-продукт и выбирает, как строить оценки и работать с данными клиентов.

Статья по теме

Главы

Похожие доклады