GPTZero

GPTZero был создан Эдвардом Тианом, студентом Принстонского университета, с целью выявления текстов или их частей, созданных языковыми моделями^[1]. Программа появилась в сети 3 января 2023 года и уже в первую неделю была использована 30 000 раз^[2]. Благодаря успеху, Тиан совместно с Алексом Куи основал стартап, который уже к маю 2023 года привлёк 3,5 миллиона долларов стартового капитала^[3]. К июлю 2024 года продуктом пользовались уже 4 миллиона человек, а инвестиции составили 10 миллионов долларов^[4].

GPTZero уже предлагает модель классификации, определяющую долю ИИ-сгенерированных фрагментов текста. В сентябре 2024 года компания анонсировала разработку более комплексного инструмента для отслеживания процесса написания текстов. Пользователи новой авторской платформы смогут собирать и делиться данными о ходе своей работы, например, историей ввода, числом авторов, временем редактирования. Таким образом можно фиксировать и впоследствии проверять процесс создания текста^[5]. Этот инструмент, получивший название «Origin», может устанавливаться как плагин в Microsoft Word^[2].

Целью разработчиков GPTZero является выявление текстов или их фрагментов, созданных с помощью искусственного интеллекта^[1]. Для этого GPTZero использует два ключевых параметра текста с целью определить, написан ли он ИИ.

Первый параметр — это «perplexity» (перплексия, или неопределённость)^[6]. Это мера того, насколько текст кажется языковой модели привычным или случайным — то есть, типичен ли синтаксис и словоупотребление. Языковые модели наследуют особенности текстовых корпусов, на которых обучаются. Чем более разнообразен текст с этой точки зрения, тем выше вероятность его человеческого происхождения^[7].^[8]

Второй параметр текста в компании называют «burstiness» (сегментированность, вариативность). Он отражает разнообразие и сложность структуры предложений. Люди склонны чередовать длинные и короткие фразы, использовать разное количество прилагательных, тогда как тексты, созданные машиной, обычно более равномерны^[6].

Помимо анализа текстов, полностью скопированных из ИИ-инструментов, GPTZero также может выделять те сегменты, которые были написаны или переформулированы, например, ChatGPT. Можно загрузить одновременно несколько файлов для быстрой и эффективной проверки разнородных текстов. Это даёт, например, преподавателям возможность оперативно анализировать работы целого класса^[9].

Первые пользователи инструмента — школы и университеты, где он используется для проверки работ учащихся и студентов на предмет использования искусственного интеллекта^[10]. В октябре 2023 года GPTZero заключила соглашение с профсоюзом преподавателей США (US Teachers Union), второй по величине профессиональной ассоциацией этой страны^[11]. Летом 2024 года инструмент тестировался American Federation of Teachers и School of Education при Университете Виргинии. Также интерес к проверке писем и других документов на ИИ-происхождение проявили и HR-специалисты^[5].

Хотя основная аудитория — учебные заведения, по словам Тиана, цель состоит в том, чтобы «сделать этот инструмент доступным для любых сфер, затронутых ИИ — образования, финансов, журналистики и даже кибербезопасности»^[2].

Исследование учёных из Университета Мэриленда в марте 2023 года показало, что различные инструменты идентификации ИИ-текстов не всегда надёжны: зачастую простого перефразирования достаточно, чтобы обойти обнаружение. Точность работы таких программ может снижаться с 97 до 80 %, а в худшем случае — до 57 %. Это касается даже тех инструментов, которые используют водяные знаки или построены на нейросетях^[12].

В исследовании Уильяма Х. Уолтерса GPTZero показал высокую точность распознавания ИИ-текстов: 5 % ошибочно классифицировались как написанные человеком, 77 % — корректно выявлялись как сгенерированные искусственным интеллектом, в 18 % случаев модель оставалась в неопределенности. При этом для текстов, созданных людьми, результат такой: 88 % распознаны верно, 10 % — с неопределённостью, 2 % ошибочно определялись как ИИ-сгенерированные^[13].

Издание Futurism похвалило быстродействие GPTZero в тестах, однако отметило, что у программы всё ещё высокий уровень ошибок: из восьми текстов, написанных людьми, только шесть были распознаны верно; из восьми текстов, сгенерированных ChatGPT, семь были определены как ИИ-сгенерированные^[14]. Также Вашингтон пост в августе 2023 года отметила проблему ложноположительных срабатываний и опубликовала советы студентам по обращению с подобными обвинениями^[15].

Сайт Ars Technica комментировал, что и люди могут писать тексты с регулярными структурами — это также может приводить к ложным срабатываниям. Автор Бенж Эдвардс отмечал, что показатель перплексии отражает лишь то, что «неожиданно» для ИИ, поэтому даже общеупотребительные тексты, вроде Конституции США, могут ошибочно определяться как созданные искусственным интеллектом^[16].

По словам основателя Тиана, у любого инструмента идентификации ИИ есть «слепые зоны», над устранением которых команда продолжает работать^[4].