← Каталог

· AI Engineer World's Fair 2026

Гипотеза Миранды: как мюзикл «Гамильтон» отравил ваши persona evals

The Miranda Hypothesis: How Hamilton (the Musical) Poisoned Your Persona Evals

Стандартные evals для персон проверяют беглость и стиль, поэтому пропускают анахронизмы, а надёжный инструмент — пре-регистрированный протокол с историком в контуре.

  • Беглость не равна верности — InCharacter даёт до 80.7% совпадения с восприятием личности, но Гамильтон в модели говорит языком мюзикла и проходит все метрики. Ошибку видно только при сверке с документами эпохи.
  • Документы в контексте вместо fine-tuning — источники остаются в context window, их можно проверить и версионировать. По словам спикера, fine-tuning на узком корпусе прячет композит глубже и ухудшает общие способности модели.
  • Рубрика с весами — анахронизмы 40%, соответствие документам 35%, правдоподобие для момента жизни 25%; сходство голоса намеренно не оценивается. Протокол: четыре периода жизни Линкольна, три условия и пять вопросов, 60 ответов.
  • Эксперт при сборке, а не в рантайме — историк один раз пишет вопросы, рубрику и закрытый набор эталонов, которые затем работают как проверка перед выкаткой; автоматическая метрика делает первичный отбор. Результатов пока нет: протокол опубликован до сбора данных.

Кому полезно: тем, кто выводит персонажей на реальных исторических фигурах или религиозных текстах в продакшен и проверяет их только по стилю и качеству диалога.

Статья по теме

На какие вопросы отвечает доклад

  • Почему evals ролевых агентов пропускают анахронизмы в ответах исторических персон?

    Метрики измеряют беглость и согласованность личности, поэтому правдоподобный усреднённый образ проходит их. Спикер предлагает оценивать соответствие документам по рубрике, где анахронизмы весят 40%.

    ▶ 4:11Почему бенчмарки соответствия персоне упускают культурный образ Hamilton
  • Почему fine-tuning персонажа по архивным текстам хуже, чем подача документов в контекст модели?

    Fine-tuning растворяет документы в весах, провенанс теряется, и персона перестаёт поддаваться аудиту. Документы в контекстном окне остаются целыми, их можно сверить с источником.

    ▶ 20:08Оптимизация предпочтений, sycophancy и искажение Miranda
  • Как проверить, что LLM-персона опирается на первоисточники, а не на популярный образ фигуры?

    Предрегистрированный протокол: несколько моментов жизни персоны, три условия (голая модель, биография, первоисточники) и слепая оценка экспертом по рубрике, где анахронизм весит 40%.

    ▶ 34:58Эксперимент с Lincoln, привязанный ко времени
  • Нужен ли эксперт предметной области в пайплайне проверки бота-персоны и на каком этапе?

    Эксперт не участвует в работе системы во время ответов: он один раз строит диагностические вопросы, рубрику и золотой набор, и эта проверка выполняется перед каждым выпуском. Автоматическая метрика делает первичный отбор.

    ▶ 46:57Контекстуальная правдоподобность, предварительная регистрация и воспроизводимость
  • Почему RLHF усиливает популярный образ исторической личности, а не исправляет его?

    Оценщики-люди опираются на те же популярные нарративы, что и корпус, поэтому выравнивание вознаграждает ответы, подтверждающие привычный образ. По словам спикера, post-training усиливает композит.

    ▶ 20:08Оптимизация предпочтений, sycophancy и искажение Miranda

Главы

Похожие доклады