← Каталог

У токенов должны быть свои задачи

Tokens Should Have Jobs — Katelyn Lesse & Angela Jiang, Anthropic

Токены агента не взаимозаменяемы: раздача им ролей советника, оценщика и «сновидца» при фиксированном бюджете, по словам авторов, даёт лучший результат, чем простое увеличение бюджета.

  • Советник при том же бюджете — в бенчмарке финансового анализа исполнитель, который обращается к советнику, при бюджете около 600 тысяч токенов набирает 89 против 76 у одиночного исполнителя.
  • Цена верного ответа — если неверный результат бесполезен, важна стоимость полного успеха: при примерно 40% успешных запусков исполнителя в среднем нужно три попытки, то есть около 1,8 млн токенов.
  • Выбор под задачу — если важна экономия токенов, берите советника; если важна надёжность каждого ответа, смотрите на грейдера или сновидца, которые дают больше полностью верных запусков.
  • Грейдер по рубрике — отдельный агент проверяет результат по заранее заданным критериям и запускает повтор, пока ответ не пройдёт; в примере службы поддержки это правила возврата денег.

Кому полезно: тем, кто решает, тратить ли бюджет на более дорогую модель или на усложнение архитектуры агента в задачах, где ошибка дорога, например в финансовой аналитике.

Доклад цитируется в статьях

Главы

Ещё доклады: Katelyn Lesse

Страница спикера →

Похожие доклады