← Каталог

· AI Engineer World's Fair 2025

Как выпускать продукты, если не знаешь, на что они способны

Shipping Products When You Don’t Know What they Can Do

Продакт-менеджмент автономных агентов должен описывать широкие возможности вместо фич и считать evals живой спецификацией, потому что поведение LLM заранее не предсказать.

  • Affordances вместо фич — спецификация описывает, что агент может делать в почте, Slack и комментариях к документам, а конкретные сценарии возникают из модели. По словам спикера, часть поведения появляется само, и задача продакта превращается в поиск того, что система умеет.
  • Evals как спецификация — требования вроде «немного язвительна, но не грубая» проверяются LLM-as-a-judge с порогом, например 90% прохождения, и этот порог решает, можно ли выпускать. Без записанного критерия непонятно, баг перед вами или фича.
  • Разбор неожиданного поведения — лишние эмодзи или слишком частые уточняющие вопросы не стоит заводить как баг, пока нет критерия в eval. Спикер предлагает спрашивать, нарушено ли то, что зафиксировано в спецификации.
  • Vibe coding для ощущения продукта — быстрый прототип показал, что агент задаёт слишком много уточняющих вопросов и пользователям это не нравится. Спикер подчёркивает, что такие прототипы в продакшен не идут.

Кому полезно: продакт-менеджерам и техлидам, которые описывают поведение агентов с открытым пользовательским вводом.

Статья по теме

Главы

Похожие доклады