· AI Engineer World's Fair 2026
Хватит сжигать токены: почему для самоулучшения сначала нужна экспертиза в предметной области
Stop Burning Tokens: Why self-improvement needs domain expertise first - Annabell Schäfer, Langfuse
Самоулучшение агента работает, когда целевая функция задана бинарными проверками, которые пишут эксперты предметной области.
- Приёмка правок по валидационной выборке — агент на GPT-5.4 nano получает правки промпта от Claude Opus 4.8 и принимает их, только если точность растёт на валидационной выборке; на тестовой выборке из 300 статей arXiv, по словам спикера, она составила 80,2%.
- Прирост в первой итерации — после разбора ошибок (64 штуки, две часто путаемые метки) точность выросла с 68% до 78%, потому что ошибка была однозначной: метка либо совпала, либо нет.
- Проверки да или нет вместо оценок — шкала от 0 до 1 для correctness даёт нестабильный сигнал, поэтому спикер предлагает проверять конкретные критерии: опирается ли ответ на базу знаний, верно ли написано имя бренда.
- Эксперты и ограничения цикла — примеры и критерии качества стоит выводить вместе с экспертами, а цикл останавливать по лимиту (15 запусков или 92% точности), чтобы не жечь токены впустую.
Кому полезно: тем, кто строит агентов для медицины, комплаенса или других областей, где результат нельзя проверить компиляцией.
Статья по теме
Главы
Ещё доклады: Annabell Schäfer
Страница спикера →Похожие доклады
Кривая зрелости GenAI (или: вам, вероятно, не нужен fine-tuning)
AI Engineer World's Fair 2024
Близко по содержанию
Эффективные AI-агенты: когда и как их создавать
AI Engineer Summit 2025
Близко по содержанию
Непрерывное обучение AI agents: от ошибок к устойчивым улучшениям
AI Engineer World's Fair 2026
Близко по содержанию

