Стилистический анализ с противодействием

Одной из ранних работ в области противодействия стилистическому анализу стала статья Бреннана и соавтором Adversarial stylometry: Circumventing Authorship Recognition to Preserve Privacy and Anonymity. Важным вкладом также стали работы Кармачика и Гамона (2006) и Бреннана с соавторами (2012), где впервые были экспериментально оценены методы анонимизации авторства на реальных текстах.

В 2009 году Бреннан и Гринстад представили первый специализированный корпус для оценки стилистических методов противодействия; известными также являются Международный конкурс подражания Хемингуэю, Faux Faulkner contest и мистификационный блог A Gay Girl in Damascus^[1].

По мнению Рао и Рохатги (2000), короткие анонимные сообщения малочувствительны к идентификации автора по стилю, однако псевдонимные авторы, не использующие маскировку на больших корпусах (в тысячи слов), могут оказаться уязвимы. Крупномасштабное деанонимизационное исследование 100 тысяч блогов Нараянана и соавтором (2012) показало, что идентификация происходит заметно лучше случайной, но точного совпадения автора и блога достигается только в 20 % случаев. По данным Грёндаля и соавторов, вероятность совпадения увеличивается при большом количестве сообщений от автора в корпусе. Даже если автор напрямую не идентифицирован, его характеристики (например, пол или возраст) могут быть определены стилистически или сужается анонимный класс до такого размера, что дополнительные сведения делают идентификацию тривиальной. Определение характеристик автора обычно проще, чем точной идентификации из множества кандидатов.

Современные методы машинного обучения предоставляют мощные инструменты для идентификации; развитие корпусных ресурсов и вычислительных методов стилистики вызывает всё новые вызовы для приватности. Утверждение о неизменности «стилистического отпечатка» автора оспаривается, однако сам факт успешных атак на анонимность подтверждает наличие серьёзного риска для конфиденциальности.

Области применения противодействия стилистическому анализу включают: защиту разоблачителей, журналистов, активистов, авторов мошеннических или мистифицирующих текстов, фальшивых отзывов, литературных мистификаций, анонимных участников преступных сообществ, а также тех, кто стремится сохранить анонимность или использовать псевдонимы. Также такие методы могут применяться для удаления стилевых признаков, связанных с расой или полом, чтобы минимизировать возможную дискриминацию, а также для маскировки автоматически сгенерированных текстов как написанных человеком.

При методе имитации автор намеренно стилизует текст «под» другого человека, чтобы ввести аналитические алгоритмы в заблуждение. Неполная имитация, когда в тексте сочетаются черты настоящего и подражаемого автора, может выступать сигналом о применении маскирования. Имитация реализуема автоматически при помощи систем стилевого переноса, обычно требующих большого корпуса в нужном стиле.

Другой подход — многоэтапный машинный перевод исходного текста, при котором оригинальная стилистика нивелируется серией последовательных переводов («круговой перевод»). Такая техника может изменять текст до неузнаваемости или ухудшать его грамматику; современные улучшения качества переводчиков снижает этот риск, особенно для простых текстов. Машинный перевод сближается с автоматизированным стилевым переносом, когда вход и выход находятся на одном языке. При низком качестве перевода автор вынужден вручную исправлять ошибки, избегая возврата к исходному стилю. Исследования показали, что серьёзные ошибки у известных сервисов возникают редко, но при многократном переводе могут сохраняться отдельные простые предложения или опечатки исходника, что несёт идентификационный риск. По следам автоматического перевода иногда удаётся восстановить промежуточные языки и этапы.

Обфускация — это сознательное изменение стиля для уменьшения схожести текста с другими по заданному методу анализа. Это может быть сделано при написании или при правке с использованием обратной связи об успешности маскировки. Более сложный по форме оригинал обычно позволяет больше опций для обфускации без потери смысла, а жанры с высокой вариативностью — больше возможностей для скрытия особенностей. Однако длинные тексты труднее маскировать полностью. Если автор создаёт новый стиль, отличный как от своего, так и от заимствованных, граница между обфускацией и имитацией размыта. По отношению к характеристикам автора обфускация может либо добавлять признаки («объединение») имитируемых характеристик, либо удалять их, приводя к усреднённому стилю («пересечение»). Важным этапом возникает устранение типично авторских проявлений: характерных опечаток, индивидуальных словоупотреблений, особого форматирования и т. п. Простые признаки модифицировать относительно легко; сложные — например, частота букв — труднее, хотя имитация обычно эффективнее обфускации по количеству замаскированных характеристик. Автоматизированная обфускация требует значительных объёмов «эталонных» текстов самого автора.

Среди автоматических систем выделяют правило-ориентированные парафразаторы и энкодер-декдерные архитектуры, где текст преобразуется через нейтральное стилевое представление. Важный аспект — наличие обратной связи с идентификатором стиля: при таком подходе подбор парафраз описывается как эвристический поиск, который продолжается, пока текст не станет достаточно «отдалённым» (для обфускации) или, наоборот, «приближённым» (для имитации) по стилю. Примерно такую роль играют атакующие примеры для системы идентификации.

Вопрос о том, какие стилистические признаки лучше всего маскировать и насколько автоматизация или ручной труд релевантны для разных типов текстов, остаётся открытым. В ряде случаев мануальное противодействие предпочтительно (например, если автор не желает доверять машине — как в ситуации разоблачителя). Компьютерные инструменты требуют поддержки и обновления; по состоянию на 2022 год не существует общедоступных и поддерживаемых программ для обфусцирования стиля. Лидирующими считаются системы DS-PAN и Mutant-X для автоматической обфускации. Самостоятельное изменение стиля требует значительных усилий и мало масштабируется; автоматизация может снизить нагрузку, но в разных случаях степень помощи разная. Детерминированные методы быстро теряют эффективность против классификаторов, обученных на противодействии (например, на парафразах, полученных от стилевого трансфера).

Поттхаст с соавторами (2016) выделяют три критерия оценки методов: безопасность (надёжное устранение стилевых признаков), сохранность (смысловая близость выходного текста к оригиналу) и естественность (грамматическая правильность, отсутствие подозрительных следов). Падение любого из трёх параметров ведёт к неприемлемости метода; при практическом применении обычно приходится искать компромисс. Автоматическая оценка естественности чрезвычайно сложна, лучше всего помогает ручной просмотр; автоматическая оценка сохранности перспективна, но пока уступает человеку.

Хотя безопасность крайне важна, её компромисс может быть оправдан, если раскрытие признака возможно иным путём, не по стилю (например, если автор обсуждает свой британский опыт, не имеет смысла маскировать свой британский английский стиль). Надёжность против неизвестных методов называется трансферальностью; степень устойчивости сильно зависит от угрозы — какую информацию имеет аналитик. Для авторов выделяют 4 типа угроз: запросный доступ (автор знает всё о методах и данных анализатора), доступ к архитектуре (знает только методы), доступ к данным (знает только обучающие корпуса), замещённый доступ (аналитик знает всё, автор — ничего). Чаще всего автоматические методики базируются на гипотезе о запросном доступе; её переносимость к реальных сценариям ограничена. Использование ансамбля моделей может повысить устойчивость к неизвестным атакам.

Потеря смысла в тексте делает коммуникацию невозможной; однако допускается небольшая степень искажения смысла, если сохраняется ядро сообщения. Иногда допустимо разрешать только логически эквивалентные перефразирования или частичное сжатие/реферирование. Автоматическая перекомпоновка требований к смыслу — одна из главных нерешённых проблем полностью автоматических методов.

Резко ухудшенная естественность текста (неграмматичность, несоответствие жанру) сигнализирует о провале техники, однако частичные потери иногда допустимы. Утрата естественности может стимулировать проведение сложных/дорогих экспертиз (например, лингвистических), а для ряда сценариев такая утрата опасна (для литературного подделывания — критична, а для желания остаться анонимным — несущественна). Случается, что тексты, созданные с помощью противодействия стилистическому анализу, имеют общее «маскировочное» звучание. Однако на текущем уровне исследований не доказано, что такие методы всегда обнаружимы автоматически. Сглаживание результатов автоматизации может снизить их распознаваемость.

Проблемы идентификации и верификации авторства в условиях противодействия радикально отличаются от задач узнавания «наивных» или кооперативных авторов. Маскировка ставит серьёзные вызовы современным методам стилистического анализа, и ручные методы резко снижают эффективность традиционных подходов.

Низкоразмерные стилистические модели (использующие мало признаков) менее устойчивы к противодействию. Авторы различаются по способности изменять свой стиль; некоторые успешно справляются с этим без предварительного обучения. В ряде экспериментов показано, что методы имитации, перевода и обфускации все успешно снижают эффективность атрибуции авторства, ручная обфускация работает лучше других. Даже простые автоматические подходы затрудняют идентификацию, хотя за счет потерь в смысле и естественности. Идентификация, осведомленная о методах противодействия, показывает лучшие результаты даже при неточном определении типа обфускации.