Новые исследования показывают, что современные крупные языковые модели пока не способны достоверно воспроизводить манеру человеческой речи, даже когда их специально обучают имитировать конкретных пользователей. Сравнение ответов девяти открытых моделей с сообщениями реальных пользователей на платформах X, Bluesky и Reddit подтвердило ограниченность нынешних подходов к моделированию разговорной манеры. sources: [0, 1, 2]},{

Для оценки сходства между синтетическим текстом и человеческим использовалиCHAT — Conversational Human Authenticity Test. Эта система учитывает различия в лёгкости различения ответов, близость по смыслу и различия в стиле, лексике, эмоциональной окраске и тематике. Применение CHAT позволило не только фиксировать существование различий, но и определить, какие особенности речи модели воспроизводят хуже всего. В исследовании участвовали девять моделей семейств Apertus, DeepSeek, Gemma, Llama, Mistral и Qwen, применявшие пять стратегий настройки, включая дообучение, стилевые примеры и извлечение релевантного контекста. sources: [2]

Самым устойчивым признаком искусственного происхождения оказалась эмоциональная окраска. Настройки помогали моделям лучше копировать формальные характеристики текста, такие как длина предложений и количество слов, однако различия в тоне и эмоциональном выражении сохранялись. Аналитика также подчёркивала значимую роль сентиментальности и токсичности как признаков, связанных с отношением и реакциями. sources: [4]

Иными словами, модели научились воспроизводить внешнюю форму онлайн‑диалога лучше, чем его глубинную эмоциональную составляющую. Это означает, что синтетический текст может выглядеть естественно на поверхности, но внутри останется заметно отличным от человеческого общения по чувствам и отношениям. sources: [5]

Исследование также указывает, что увеличение размера модели само по себе не снимает проблему: крупнейшая Llama 3.1 на 70 миллиардов параметров не демонстрирует явного преимущества над значительно меньшими моделями. Более того, модели, не проходившие дополнительного обучения по инструкциям, чаще имитировали человеческую речь, чем те, что настроены специально под запросы. Эффект варьировался в зависимости от платформы: в X синтетика произвела наиболее убедительное впечатление, в Bluesky — хуже, а Reddit и его разнообразные нормы общения — наиболее сложны для подражания. sources: [6]

Главное ограничение связано с отношением между естественностью и точностью смысла: методы, которые снижали различимость ответов для классификаторов, часто уменьшали и семантическую близость к оригиналам. Напротив, ответы, наиболее близкие по смыслу к человеческим примерам, чаще распознавались как искусственные. Этот баланс сохранялся независимо от выбранной методики настройки и отбора. Более свободная генерация снижала выявляемость ИИ‑текста, но при этом ухудшала смысловую релевантность. sources: [7]

Результаты имеют значимые последствия для социальных наук: языковые модели всё чаще применяются для имитации участников опросов, прогнозирования благополучия, моделирования политического поведения и реакции общества. Авторы подчёркивают необходимость учитывать эмоциональные и стилистические особенности текста при сохранении корректности смысла и достоверности интерпретаций. sources: [8]