Бороться с AI с помощью AI
Lawrence Jones - Fighting AI with AI
Отлаживать сложные AI-системы эффективнее, когда coding агент работает с выгрузкой трассировок и промптов в файлы, а не с UI, и, по словам спикера, это работает лучше MCP.
- Промпты как YAML unit tests — eval-кейсы лежат рядом с Go-кодом промптов, а небольшой CLI Eval Tool позволяет агенту редактировать большие наборы, не забивая контекст. Агент сам добавляет падающий eval, правит промпт и проверяет, что остальные кейсы не сломались.
- Файловая система вместо UI — трассировки расследований выгружаются в файлы и открываются в Claude Code в песочнице. По словам спикера, агент находит нужный промпт через grep быстрее, чем через MCP или computer use.
- Пайплайн анализа на backtest — примерно 25 агентов параллельно разбирают расследования, затем кластеризуют типы ошибок. Промежуточные результаты хранятся в файлах, поэтому анализ можно возобновить, а отчёт объясняет, почему качество выросло или упало на конкретном аккаунте.
- Red-green цикл для фиксов — изменение промпта сначала подтверждается падающим eval, затем проходящим, и только после этого уходит в PR.
Кому полезно: тем, кто строит многоэтапные системы из десятков промптов и инструментов и хочет отлаживать их вместе с coding агентами.
Статья по теме
Главы
Похожие доклады
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию
Создание агентов, которые пишут собственный код
AI Engineer Summit 2025
Близко по содержанию
Хватит промптить
AI Engineer World's Fair 2026
Близко по содержанию
Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude
Близко по содержанию

