← Каталог

· AI Engineer World's Fair 2026

Самоулучшающийся стек OSS-агентов

The Self-Improving OSS Agent Stack — Marc Klingen, Langfuse

Агент может сам предлагать правки и поддерживать датасеты и evals, а человек задаёт цели и границы оптимизации.

  • Границы оптимизации за человеком — AI предлагает изменения реализации агента и обновляет датасеты и критерии оценки, но люди решают, какие сбои считать значимыми, чтобы не подгонять агента под случайные кейсы из продакшена. Докладчик из Langfuse, поэтому часть материала посвящена их продукту, но архитектура цикла применима и к другим стекам.
  • Проверка кандидата на старых данных — в демо coding агент нашёл, что changelog writer точен, но непонятен и выдаёт внутренний жаргон. По словам автора, новая версия лучше пишет языком пользователей, при этом точность и соблюдение формата сохранились; числовых оценок в докладе нет.
  • Изменения идут через pull request — агент не публикует ничего в продакшен, а открывает pull request, и замечания ревьюера становятся сигналом для следующей итерации.
  • Неявный фидбек без разметки — жалобы пользователей, правки сотрудников и аннотации в приложении дают сигнал, а циклы запускаются по расписанию, например раз в день или неделю.

Кому полезно: тем, кто ведёт агентов в продакшене и хочет автоматизировать цикл трейсинга, evals и датасетов.

Статья по теме

Главы

Ещё доклады: Marc Klingen

Страница спикера →

Похожие доклады