· AI Engineer World's Fair 2026
Гипотеза Миранды: как мюзикл «Гамильтон» отравил ваши persona evals
The Miranda Hypothesis: How Hamilton (the Musical) Poisoned Your Persona Evals
Стандартные evals для персон проверяют беглость и стиль, поэтому пропускают анахронизмы, а надёжный инструмент — пре-регистрированный протокол с историком в контуре.
- Беглость не равна верности — InCharacter даёт до 80.7% совпадения с восприятием личности, но Гамильтон в модели говорит языком мюзикла и проходит все метрики. Ошибку видно только при сверке с документами эпохи.
- Документы в контексте вместо fine-tuning — источники остаются в context window, их можно проверить и версионировать. По словам спикера, fine-tuning на узком корпусе прячет композит глубже и ухудшает общие способности модели.
- Рубрика с весами — анахронизмы 40%, соответствие документам 35%, правдоподобие для момента жизни 25%; сходство голоса намеренно не оценивается. Протокол: четыре периода жизни Линкольна, три условия и пять вопросов, 60 ответов.
- Эксперт при сборке, а не в рантайме — историк один раз пишет вопросы, рубрику и закрытый набор эталонов, которые затем работают как проверка перед выкаткой; автоматическая метрика делает первичный отбор. Результатов пока нет: протокол опубликован до сбора данных.
Кому полезно: тем, кто выводит персонажей на реальных исторических фигурах или религиозных текстах в продакшен и проверяет их только по стилю и качеству диалога.
Статья по теме
На какие вопросы отвечает доклад
Почему evals ролевых агентов пропускают анахронизмы в ответах исторических персон?
Метрики измеряют беглость и согласованность личности, поэтому правдоподобный усреднённый образ проходит их. Спикер предлагает оценивать соответствие документам по рубрике, где анахронизмы весят 40%.
▶ 4:11Почему бенчмарки соответствия персоне упускают культурный образ HamiltonПочему fine-tuning персонажа по архивным текстам хуже, чем подача документов в контекст модели?
Fine-tuning растворяет документы в весах, провенанс теряется, и персона перестаёт поддаваться аудиту. Документы в контекстном окне остаются целыми, их можно сверить с источником.
▶ 20:08Оптимизация предпочтений, sycophancy и искажение MirandaКак проверить, что LLM-персона опирается на первоисточники, а не на популярный образ фигуры?
Предрегистрированный протокол: несколько моментов жизни персоны, три условия (голая модель, биография, первоисточники) и слепая оценка экспертом по рубрике, где анахронизм весит 40%.
▶ 34:58Эксперимент с Lincoln, привязанный ко времениНужен ли эксперт предметной области в пайплайне проверки бота-персоны и на каком этапе?
Эксперт не участвует в работе системы во время ответов: он один раз строит диагностические вопросы, рубрику и золотой набор, и эта проверка выполняется перед каждым выпуском. Автоматическая метрика делает первичный отбор.
▶ 46:57Контекстуальная правдоподобность, предварительная регистрация и воспроизводимостьПочему RLHF усиливает популярный образ исторической личности, а не исправляет его?
Оценщики-люди опираются на те же популярные нарративы, что и корпус, поэтому выравнивание вознаграждает ответы, подтверждающие привычный образ. По словам спикера, post-training усиливает композит.
▶ 20:08Оптимизация предпочтений, sycophancy и искажение Miranda
Главы
Похожие доклады
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
Для долгоживущих агентов нужны эксперименты, а не только промпты
AI Engineer World's Fair 2026
Близко по содержанию
Инженерия персон: практическое руководство по синтетическим персонам на базе ИИ
AI Engineer World's Fair 2026
Близко по содержанию
Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
AI Engineer Europe 2026
Близко по содержанию

