· AI Engineer World's Fair 2026
Пользовательский сигнал теряется на этапе retrieval
User Signal Die at the Retrieval Boundary
Агент перестаёт повторять ошибки, когда результаты evals влияют на retrieval: Reflect ранжирует память по измеренной полезности вдобавок к семантическому сходству.
- Utility score поверх сходства — память ранжируется по близости к текущей задаче, умноженной на то, помогала ли она раньше или мешала; по словам спикера, на τ-bench точность выросла с 66 до 76 процентов, а с skills до 80.
- Память как правила, а не факты — вместо «пользователь любит тёмную тему» хранится рассуждение: перед возвратом денег проверь платёж, чтобы не вернуть их дважды.
- Уроки в skills — когда набирается около десяти записей, они переносятся в skill, поэтому устаревшие колонки перестают жить в system prompt SQL-агента.
- Ограничения — на холодном старте работает чистый семантический поиск, пока не накопится достаточно оценок, а шумные метки делают utility шумным. Доклад во многом презентация продукта Reflect компании Starlight Search.
Кому полезно: тем, кто строит агентов с поиском по базе или каталогу и хочет, чтобы feedback из evals влиял на следующие запуски без правки промпта.
Статья по теме
Главы
Похожие доклады
От контекста к памяти: вашим agents нужен полноценный слой памяти
AI Engineer World's Fair 2026
Близко по содержанию
Постепенно добавляем все техники RAG — запрос за запросом
AI Engineer World's Fair 2025
Близко по содержанию
Ваш агент эволюционировал. А evals — нет.
AI Engineer World's Fair 2026
Близко по содержанию
Бэктестинг агента на вчерашнем вебе
Близко по содержанию

