Почему тексты ИИ всё ещё выглядят как AI slop
Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI
Для текстов в собственном голосе важнее модель, которую легко доводить правками, чем модель, которая с первого раза выдаёт удачный пост.
- Тест на голос, а не на штампы — ToneBench проверяет, пишет ли модель сценарии видео в голосе автора, по девяти метрикам в пяти группах: тон, качество текста, следование инструкциям, точность исследования и штампы. Каждая модель получает по пять черновиков на задачу, потому что качество одной модели заметно скачет от черновика к черновику.
- Судьи из разных семейств моделей — по наблюдениям автора, LLM-судьи заметно предпочитают модели своей семьи, особенно OpenAI, поэтому судей стоит брать от разных провайдеров. Автор также сравнил 1000 пар фрагментов вручную с тремя коллегами.
- Длинный промпт и слияние черновиков — автор советует давать максимум примеров хорошего и плохого текста, сгенерировать около 10 черновиков дешёвой моделью и слить лучшие части сильной моделью. Одна проверка сильной моделью помогает, а три и больше, по его словам, начинают давать штампы; количественных данных у него на этот счёт нет.
- Цена экспериментов — разработка заняла около 500 часов и несколько тысяч долларов. Перезапуск после правки рубрики обходится дороже $2000, после правки промпта генерации — дороже $4000.
Кому полезно: тем, кто выбирает модель для текстов в своём стиле или строит оценку генераций с помощью судей-LLM.
Статья по теме
Главы
Ещё доклады: Louis-François Bouchard
Страница спикера →Превратите 10 994 заметки в память для ваших агентов
Louis-François Bouchard, Paul Iusztin
AI Engineer World's Fair 2026
Context engineering в 2026 году: компактизация, память и стоимость
Louis-François Bouchard, Samridhi Vaid, Omar Solano
AI Engineer World's Fair 2026
Создайте собственного Deep Research Agent и технического автора
Louis-François Bouchard, Paul Iusztin, Samridhi Vaid
AI Engineer Europe 2026
Похожие доклады
Как написать свой первый AI eval
Близко по содержанию
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию
Внутри 847 клинических AI-заметок из продакшена
AI Engineer World's Fair 2026
Близко по содержанию
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию

