· AI Engineer World's Fair 2025
Как выпускать продукты, если не знаешь, на что они способны
Shipping Products When You Don’t Know What they Can Do
Продакт-менеджмент автономных агентов должен описывать широкие возможности вместо фич и считать evals живой спецификацией, потому что поведение LLM заранее не предсказать.
- Affordances вместо фич — спецификация описывает, что агент может делать в почте, Slack и комментариях к документам, а конкретные сценарии возникают из модели. По словам спикера, часть поведения появляется само, и задача продакта превращается в поиск того, что система умеет.
- Evals как спецификация — требования вроде «немного язвительна, но не грубая» проверяются LLM-as-a-judge с порогом, например 90% прохождения, и этот порог решает, можно ли выпускать. Без записанного критерия непонятно, баг перед вами или фича.
- Разбор неожиданного поведения — лишние эмодзи или слишком частые уточняющие вопросы не стоит заводить как баг, пока нет критерия в eval. Спикер предлагает спрашивать, нарушено ли то, что зафиксировано в спецификации.
- Vibe coding для ощущения продукта — быстрый прототип показал, что агент задаёт слишком много уточняющих вопросов и пользователям это не нравится. Спикер подчёркивает, что такие прототипы в продакшен не идут.
Кому полезно: продакт-менеджерам и техлидам, которые описывают поведение агентов с открытым пользовательским вводом.
Статья по теме
Главы
Похожие доклады
Развивайте продукты, а не ИИ-проекты в стороне
AI Engineer World's Fair 2025
Близко по содержанию
Выпустить что-то для пользователя — всегда выигрышный ход
AI Engineer World's Fair 2025
Близко по содержанию
Почему вашему продукту нужен AI-продакт-менеджер — и почему им должны стать вы
AI Engineer World's Fair 2025
Близко по содержанию
Ваш AI-продукт обречён, если вы не можете его объяснить
AI Engineer World's Fair 2026
Близко по содержанию

