· AI Engineer World's Fair 2026
Инженерия персон: практическое руководство по синтетическим персонам на базе ИИ
Persona Engineering: A Field Guide to AI Synthetic Personas — Ishan Anand, InsightSciences.ai
Синтетические персоны на LLM стоит воспринимать как прогноз, а не как независимых респондентов: повторные запуски не добавляют уверенности, а проверять их нужно по распределениям реальных ответов людей.
- Потолок точности — шум в эталонных данных задаёт предел качества. По словам спикера, люди через две недели совпадали сами с собой лишь на 80%, поэтому 83% совпадения с респондентами считается с учётом этого шума.
- Контекст в промпте — когда детали не заданы, модель сама достраивает скрытые факторы: в эксперименте с ценой спрос у LLM рос вместе с ценой, потому что модель использовала цену как прокси. Персону нужно описывать подробно, включая условия самого исследования.
- Ответ текстом вместо шкалы — модель отвечает свободным текстом, а его семантическая близость к примерам людей даёт распределение по шкале от 1 до 5. По словам спикера, так лучше передаётся разброс ответов, чем при просьбе назвать одно число.
- Отношения, а не поведение — LLM точнее предсказывают ответы на опросы, чем результаты полевых экспериментов. Поэтому спрашивайте об отношении, которое связано с действием, а не о самом действии.
Кому полезно: тем, кто тестирует концепты продуктов или сообщения на синтетических респондентах. Доклад читает вендор этой области, но опирается на опубликованные исследования.
Статья по теме
Главы
Ещё доклады: Ishan Anand
Страница спикера →Таблиц достаточно: как устроена decoder LLM — без кода
AI Engineer World's Fair 2024
Как работают LLM: GPT на 600 строках чистого JavaScript
AI Engineer World's Fair 2025
Похожие доклады
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
Не испытывайте дефицита данных
AI Engineer World's Fair 2026
Близко по содержанию
Cognitive Shield: умная защита в реальном времени
AI Engineer World's Fair 2025
Близко по содержанию
Гипотеза Миранды: как мюзикл «Гамильтон» отравил ваши persona evals
AI Engineer World's Fair 2026
Близко по содержанию

