← Каталог

· AI Engineer World's Fair 2026

Пользовательский сигнал теряется на этапе retrieval

User Signal Die at the Retrieval Boundary

Агент перестаёт повторять ошибки, когда результаты evals влияют на retrieval: Reflect ранжирует память по измеренной полезности вдобавок к семантическому сходству.

  • Utility score поверх сходства — память ранжируется по близости к текущей задаче, умноженной на то, помогала ли она раньше или мешала; по словам спикера, на τ-bench точность выросла с 66 до 76 процентов, а с skills до 80.
  • Память как правила, а не факты — вместо «пользователь любит тёмную тему» хранится рассуждение: перед возвратом денег проверь платёж, чтобы не вернуть их дважды.
  • Уроки в skills — когда набирается около десяти записей, они переносятся в skill, поэтому устаревшие колонки перестают жить в system prompt SQL-агента.
  • Ограничения — на холодном старте работает чистый семантический поиск, пока не накопится достаточно оценок, а шумные метки делают utility шумным. Доклад во многом презентация продукта Reflect компании Starlight Search.

Кому полезно: тем, кто строит агентов с поиском по базе или каталогу и хочет, чтобы feedback из evals влиял на следующие запуски без правки промпта.

Статья по теме

Главы

Похожие доклады