← Каталог

Почему тексты ИИ всё ещё выглядят как AI slop

Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI

Для текстов в собственном голосе важнее модель, которую легко доводить правками, чем модель, которая с первого раза выдаёт удачный пост.

  • Тест на голос, а не на штампы — ToneBench проверяет, пишет ли модель сценарии видео в голосе автора, по девяти метрикам в пяти группах: тон, качество текста, следование инструкциям, точность исследования и штампы. Каждая модель получает по пять черновиков на задачу, потому что качество одной модели заметно скачет от черновика к черновику.
  • Судьи из разных семейств моделей — по наблюдениям автора, LLM-судьи заметно предпочитают модели своей семьи, особенно OpenAI, поэтому судей стоит брать от разных провайдеров. Автор также сравнил 1000 пар фрагментов вручную с тремя коллегами.
  • Длинный промпт и слияние черновиков — автор советует давать максимум примеров хорошего и плохого текста, сгенерировать около 10 черновиков дешёвой моделью и слить лучшие части сильной моделью. Одна проверка сильной моделью помогает, а три и больше, по его словам, начинают давать штампы; количественных данных у него на этот счёт нет.
  • Цена экспериментов — разработка заняла около 500 часов и несколько тысяч долларов. Перезапуск после правки рубрики обходится дороже $2000, после правки промпта генерации — дороже $4000.

Кому полезно: тем, кто выбирает модель для текстов в своём стиле или строит оценку генераций с помощью судей-LLM.

Статья по теме

Главы

Ещё доклады: Louis-François Bouchard

Страница спикера →

Похожие доклады