Три столпа автономности
The 3 Pillars of Autonomy – Michele Catasta, Replit
Агенту для нетехнических пользователей нужна автономность без технических решений человека, и по словам спикера её дают автотесты в браузере и субагенты.
- Метрика автономности — важна не длина работы агента, а reducible runtime: отрезок времени, в котором пользователь не принимает технических решений. Спикер предлагает максимизировать именно его.
- Автотесты вместо ручной проверки — во внутренних оценках Replit более 30% отдельных фич ломались при первом подключении агентом, и почти в каждом приложении была хотя бы одна нерабочая функция.
- Playwright вместо набора браузерных инструментов — агент пишет код Playwright, который выразительнее общих tool calls и остаётся регрессионным набором тестов. По словам спикера, это примерно на порядок дешевле и быстрее computer use.
- Субагенты для контекста — проверка идёт в субагенте с чистым контекстом, а в основной цикл возвращается только последнее наблюдение. По словам спикера, число записей памяти между сжатиями контекста выросло с примерно 35 до 45–50.
Кому полезно: тем, кто строит агентов для пользователей без программистской подготовки. Доклад во многом про собственный продукт Replit.
Статья по теме
На какие вопросы отвечает доклад
Как измерять автономность агента: по длительности работы или по времени без решений пользователя?
Авторы предлагают метрику reducible runtime: отрезок времени, в котором агент выполняет задачу без технических решений пользователя. Длинный запуск сам по себе автономность не доказывает, важна узкая область задачи.
▶ 6:18Редуцируемая среда выполнения и столпы автономностиПочему агент оставляет нерабочие кнопки и моковые данные и как ловить это автоматически?
По внутренним оценкам команды, более 30% фич ломаются при первом подключении агентом. Выход в автоматическом тестировании: статический анализ, unit, integration и API-проверки, затем браузерные тесты.
▶ 10:06Верификация: от статического анализа до тестирования в браузереКак агенту проверять, что задача выполнена, а не просто названа выполненной моделью?
Проверку делают на каждом шаге: агент обращается к базе данных, читает логи и вызывает API, а скриншоты используются только как запасной вариант. Это сокращает накопление мелких ошибок и галлюцинированных результатов.
▶ 10:06Верификация: от статического анализа до тестирования в браузереПочему для браузерных тестов агента лучше генерировать Playwright-код, а не вызывать набор инструментов браузера?
LLM хорошо пишут Playwright, он выразительнее фиксированного набора инструментов, а написанный тест можно запускать как регрессионный. По словам спикера, это примерно на порядок дешевле и быстрее computer use.
▶ 14:13Автоматизация в Playwright и согласованные длительные циклы агентовКак не переполнять контекст агента, если он работает несколько часов над одной задачей?
Состояние выносят в файлы: документацию, план и списки задач, которые агент читает по мере необходимости. Субагенты стартуют с чистым контекстом и возвращают только результат; после внедрения оркестратора число воспоминаний между сжатиями выросло примерно с 35 до 45–50.
▶ 14:13Автоматизация в Playwright и согласованные длительные циклы агентовКак запускать несколько агентов параллельно, чтобы не разбирать конфликты merge вручную?
Команда планирует отдать декомпозицию задач самому кодовому циклу, а не пользователю, и распараллеливать работу на лету. Конфликты при этом не исчезают полностью, но часть задач строится так, чтобы агенты не мешали друг другу.
▶ 14:13Автоматизация в Playwright и согласованные длительные циклы агентов
Главы
Ещё доклады: Michele Catasta
Страница спикера →Создавая ИИ для всех
AI Engineer Summit 2023
Похожие доклады
Подготовка кодовых баз к работе с agents
AI Engineer Code 2025
Близко по содержанию
За пределами покрытия кода: функциональное тестирование с Playwright
AI Engineer Europe 2026
Близко по содержанию
Агенты для разработки ПО: что работает, а что нет
AI Engineer World's Fair 2025
Близко по содержанию

