78% хотели эту функцию ИИ. Почти никто ей не пользовался
78% Wanted This AI Feature. Almost Nobody Used It - Supriya Subudhi, Bumble
Положительный A/B-тест AI-функции ещё не повод её выпускать: по опыту Bumble, интерес пользователей не предсказал, что они ею пользуются.
- Интерес не равен использованию — в опросе 78% пользователей хотели получать AI-советы по профилю, но в A/B-тесте функцией пользовались 10–15%. По словам спикера, доля использования выросла, когда подсказки встроили в привычный путь пользователя, а не оставили отдельной функцией, которую нужно искать.
- Среднее скрывает хвост — средний показатель рос, но модель советовала улыбаться тем, кто уже улыбался на фото. Команда стала читать реальные выходы и смотреть evals по сегментам и языкам, а не только общий результат.
- Результат зависел от модели — самая дорогая LLM стоила примерно в 10 раз больше простой, и её нельзя было масштабировать. После перехода на дешёвую модель эффект упал, поэтому в итоге выбрали самый дешёвый вариант, который дал хороший результат, после частых ретестов моделей и промптов.
- Выпуск по странам — фича вышла только в США, потому что регулирование AI отличается от страны к стране, и требования к соответствию стоит учитывать с начала разработки.
Кому полезно: тем, кто решает выкатку LLM-функции для пользователей по результатам A/B-теста.
Главы
Похожие доклады
У AI-императора нет DAU: почему большинство разработчиков всё ещё не используют AI для кода
AI Engineer World's Fair 2024
Близко по содержанию
Горькая компоновка, или Как я полюбил выбор модели
AI Engineer World's Fair 2025
Близко по содержанию
AI-пилоты не повлияют на финансовые результаты. Вот что повлияет
Близко по содержанию
Почему ИИ не заменит специалистов по выбору акций
Близко по содержанию
