← Каталог

· AI Engineer Europe 2026

Бороться с AI с помощью AI

Lawrence Jones - Fighting AI with AI

Отлаживать сложные AI-системы эффективнее, когда coding агент работает с выгрузкой трассировок и промптов в файлы, а не с UI, и, по словам спикера, это работает лучше MCP.

  • Промпты как YAML unit tests — eval-кейсы лежат рядом с Go-кодом промптов, а небольшой CLI Eval Tool позволяет агенту редактировать большие наборы, не забивая контекст. Агент сам добавляет падающий eval, правит промпт и проверяет, что остальные кейсы не сломались.
  • Файловая система вместо UI — трассировки расследований выгружаются в файлы и открываются в Claude Code в песочнице. По словам спикера, агент находит нужный промпт через grep быстрее, чем через MCP или computer use.
  • Пайплайн анализа на backtest — примерно 25 агентов параллельно разбирают расследования, затем кластеризуют типы ошибок. Промежуточные результаты хранятся в файлах, поэтому анализ можно возобновить, а отчёт объясняет, почему качество выросло или упало на конкретном аккаунте.
  • Red-green цикл для фиксов — изменение промпта сначала подтверждается падающим eval, затем проходящим, и только после этого уходит в PR.

Кому полезно: тем, кто строит многоэтапные системы из десятков промптов и инструментов и хочет отлаживать их вместе с coding агентами.

Статья по теме

Главы

Похожие доклады