← Каталог

· AI Engineer World's Fair 2026

Хватит сжигать токены: почему для самоулучшения сначала нужна экспертиза в предметной области

Stop Burning Tokens: Why self-improvement needs domain expertise first - Annabell Schäfer, Langfuse

Самоулучшение агента работает, когда целевая функция задана бинарными проверками, которые пишут эксперты предметной области.

  • Приёмка правок по валидационной выборке — агент на GPT-5.4 nano получает правки промпта от Claude Opus 4.8 и принимает их, только если точность растёт на валидационной выборке; на тестовой выборке из 300 статей arXiv, по словам спикера, она составила 80,2%.
  • Прирост в первой итерации — после разбора ошибок (64 штуки, две часто путаемые метки) точность выросла с 68% до 78%, потому что ошибка была однозначной: метка либо совпала, либо нет.
  • Проверки да или нет вместо оценок — шкала от 0 до 1 для correctness даёт нестабильный сигнал, поэтому спикер предлагает проверять конкретные критерии: опирается ли ответ на базу знаний, верно ли написано имя бренда.
  • Эксперты и ограничения цикла — примеры и критерии качества стоит выводить вместе с экспертами, а цикл останавливать по лимиту (15 запусков или 92% точности), чтобы не жечь токены впустую.

Кому полезно: тем, кто строит агентов для медицины, комплаенса или других областей, где результат нельзя проверить компиляцией.

Статья по теме

Главы

Ещё доклады: Annabell Schäfer

Страница спикера →

Похожие доклады