← Каталог

· AI Engineer World's Fair 2024

Состязательный путь к персональному ассистенту

The Adversarial Path to the Personal Assistant

Персональный ассистент, по словам спикера, работает лучше, когда LLM получает профили из собранных данных пользователя, а не сырые выгрузки.

  • Вычисления в коде, а не в LLM — разницу между временем начала и конца пробежки из Strava спикер считает обычным кодом. По его словам, модель на такой задаче долго не могла догадаться, что нужно вычесть, и тратила место в промпте на подсказки.
  • Профили вместо сырых данных — заказы DoorDash и покупки в Amazon спикер превращает в профили и отдаёт LLM уже обработанный вход. К сырым данным система спускается только тогда, когда без этого не обойтись.
  • Меньше контекста на каждом шаге — по словам спикера, избыток данных в конвейере делает систему сложной и перегружает модель, поэтому данные подаются в нужный момент.
  • Сбор данных без API — Ario Boost, браузерное расширение, входит в сервисы через парсинг веб-интерфейсов, использует API там, где они есть, и автоматизирует GDPR-выгрузки. В режиме без входа данные остаются на устройстве, и их можно передать любой модели.

Кому полезно: тем, кто строит персонализацию на данных из внешних сервисов и решает, какие шаги оставить детерминированному коду, а какие отдать LLM.

Статья по теме

Главы

Похожие доклады