· AI Engineer World's Fair 2024
Состязательный путь к персональному ассистенту
The Adversarial Path to the Personal Assistant
Персональный ассистент, по словам спикера, работает лучше, когда LLM получает профили из собранных данных пользователя, а не сырые выгрузки.
- Вычисления в коде, а не в LLM — разницу между временем начала и конца пробежки из Strava спикер считает обычным кодом. По его словам, модель на такой задаче долго не могла догадаться, что нужно вычесть, и тратила место в промпте на подсказки.
- Профили вместо сырых данных — заказы DoorDash и покупки в Amazon спикер превращает в профили и отдаёт LLM уже обработанный вход. К сырым данным система спускается только тогда, когда без этого не обойтись.
- Меньше контекста на каждом шаге — по словам спикера, избыток данных в конвейере делает систему сложной и перегружает модель, поэтому данные подаются в нужный момент.
- Сбор данных без API — Ario Boost, браузерное расширение, входит в сервисы через парсинг веб-интерфейсов, использует API там, где они есть, и автоматизирует GDPR-выгрузки. В режиме без входа данные остаются на устройстве, и их можно передать любой модели.
Кому полезно: тем, кто строит персонализацию на данных из внешних сервисов и решает, какие шаги оставить детерминированному коду, а какие отдать LLM.
Статья по теме
Главы
Похожие доклады
Я создал персонального AI-агента на Raspberry Pi
Близко по содержанию
Персонализация в эпоху LLM
AI Engineer World's Fair 2025
Близко по содержанию
Будущее ассистентов по работе со знаниями
AI Engineer World's Fair 2024
Близко по содержанию
Перестраиваем веб для агентов
AI Engineer World's Fair 2026
Близко по содержанию

