Марк Массаро долгие годы преподавал сочинение на английском языке в Государственном колледже Юго-Запада Флориды. Но, в 2023-м его работа превратилась в настоящий детектив. Вскоре после того как ChatGPT и другие ИИ-приложения стали доступны широкой публике, американские университеты столкнулись с цунами автоматизированного списывания. Студенты использовали ИИ для написания эссе, и это явление только набирало обороты. Массаро рассказал, что из 25 его студентов до пяти регулярно сдавали работы, которые явно были сгенерированы ИИ.
Когда ChatGPT только появился, Массаро ежедневно прогонял студенческие эссе через несколько ИИ-сканеров. Если большинство из них подтверждали, что текст создан ИИ, он верил им. Но, теперь университет запретил загружать работы студентов в такие приложения из-за опасений за их конфиденциальность. Точность ИИ-детекторов тоже оставляла желать лучшего, что только усложняло задачу.
Теперь Массаро вынужден полагаться на свою интуицию и опыт, чтобы выявить работы, созданные ИИ. Он составил список явных признаков, которые указывают на то, что статья сгенерирована искусственным интеллектом. Каждый раз, когда студент сдаёт эссе, Массаро сверяется с этим списком, словно детектив, ищущий улики. Он поделился некоторыми из этих тревожных сигналов, чтобы показать, в каких адских условиях оказались педагоги из-за ИИ.
Как распознать текст, написанный ИИ: главные признаки
В тексте слишком много тире
Одним из явных признаков того, что работа была сгенерирована с помощью искусственного интеллекта, является чрезмерное использование длинных тире. По необъяснимой причине приложения вроде ChatGPT обожают добавлять эти маленькие, но заметные знаки препинания в тексты.
Профессор Массаро разработал интересный и необычный способ проверки, который помогает ему выявлять студентов, прибегающих к помощи ИИ. Когда он подозревает, что эссе было создано с использованием генеративной модели, он приглашает студента к своему столу и предлагает ввести длинное тире на компьютере. Удивительно, но многие студенты даже не знают, как это сделать.
Профессор добавляет: «Я говорю: у тебя в работе полно длинных тире, просто покажи мне, как ты это сделал». Если студент начинает нервничать и не может выполнить простую задачу, то становится очевидно, что его работа была сгенерирована.
Текст без отступов
Массаро утверждает, что, несмотря на строгие требования к стилю традиционного студенческого эссе, тексты, сгенерированные чат-ботами, часто не следуют этим правилам.
В частности, ChatGPT и другие подобные системы не требуют отступов, что делает их тексты заметно отличающимися от работ, созданных людьми.
Если вы видите большие, неструктурированные куски текста, это может быть явным признаком того, что работа была написана роботом.
Идеальная грамматика и поверхностное содержание
Если студент представляет на проверку идеально структурированную работу, в которой, однако, отсутствует глубина и оригинальность мысли, это может быть явным признаком алгоритмической генерации, как отметил Массаро.
Хотя многие студенты обладают хорошими навыками письма, не все из них могут похвастаться обилием оригинальных идей. Однако, у текста, созданного искусственным интеллектом, есть несколько характерных особенностей, которые становятся заметными со временем.
Массаро описывает стиль ИИ как однообразный и механически ритмичный: предложения и абзацы имеют почти одинаковую длину, создавая впечатление искусственности и отсутствия живого дыхания. Кроме того, текст может быть чрезмерно формальным, с излишне отполированным академическим тоном, который редко встречается в студенческих работах.
Эти признаки позволяют отличить человеческий труд от автоматизированного, даже если на первый взгляд работа кажется безупречной.
Нет отражения работы в классе
По словам Массаро, тревожным сигналом является полное отсутствие участия в процессе написания работ в классе.
В своих занятиях по сочинению он активно проводит рецензирование и организует конференции, чтобы студенты могли обсудить свои работы и получить конструктивную обратную связь. Однако, как отмечает Массаро, некоторые студенты могут утверждать, что обращались в школьный Центр письма для подготовки эссе, хотя, на самом деле, этого не делали.
В таких случаях в эссе студента можно обнаружить «необычную для него лексику», которая характеризуется «внезапными скачками сложности», не встречавшимися в его предыдущих работах или обсуждениях в классе. Это может свидетельствовать о том, что студент использовал чужие материалы или не полностью понимает, о чём пишет.
Безличное письмо
Массаро с энтузиазмом поведал, что иногда предлагает студентам писать работы, основанные на их личном опыте. Например, если кто-то выбирает тему о работе в местном магазине, то в его сочинение неизбежно проникают самые неожиданные и уникальные детали, которые искусственный интеллект просто не способен придумать.
В то же время, работы, созданные автоматически, часто остаются на абстрактном уровне, рассуждая о таких высоких материях, как важность «дружбы» для человечества.
Эта мысль вызвала у Массаро лёгкую усмешку, подчеркнув разницу между человеческим и машинным творчеством.
Оставшиеся подсказки
Массаро бывает поражён до глубины души, когда обнаруживает, что некоторые студенты проявили невероятную беспечность в своём стремлении к мошенничеству.
Они настолько расслабились, что фактически оставили явные подсказки в своих взаимодействиях с чат-ботом, которые затем были вплетены в финальные эссе.
Это не просто небрежность, а, по мнению Массаро, настоящее проявление легкомыслия и неуважения к процессу обучения.
Цитаты — чушь собачья
Искусственный интеллект, как известно, не всегда точен. В студенческих работах его «галлюцинации» могут проявляться в самых неожиданных формах. Это могут быть не только явные ошибки и вымышленные факты, но и фальшивые цитаты, которые кажутся убедительными на первый взгляд. Профессор Массаро часто сталкивается с этой проблемой, и ему приходится тратить немало времени, чтобы разобраться, действительно ли упомянутый в эссе факт реален.
Иногда это превращается в настоящее детективное расследование. Ему нужно не просто проверить информацию, но и углубиться в изучение научных журналов и книг, на которые ссылаются студенты. Но, вот в чём загвоздка: эти источники могут отсутствовать в списке литературы, поскольку они выдуманы. В такие моменты Массаро понимает, насколько важно не только учить студентов критическому мышлению, но и прививать им навыки проверки информации.
Машинное письмо под контролем: выводы
Массаро поделился, что уличить студента в списывании — задача непростая, требующая деликатности и такта. Хотя обычно несложно заметить нечестную игру, процесс раскрытия правды может быть неловким и вызывать напряжение. Виновные студенты часто признаются, что прибегли к помощи ИИ, или просто игнорируют сообщения Массаро, особенно если учатся удалённо. Невиновные же студенты, напротив, часто начинают протестовать, и Массаро, как правило, склонен верить им.
Массаро также выразил своё разочарование в развитии ИИ-генерирующих текстов. По его мнению, это явление лишает студентов возможности самостоятельно формировать свою интеллектуальную и творческую идентичность.
«Им сейчас как никогда важно найти свой голос», — подчеркнул он. Однако, к сожалению, ИИ часто берёт на себя эту роль, диктуя студентам свои мысли и идеи.
