Современный ИИ способен выдавать бесконечные объемы аккуратно оформленного текста.BoliviaInteligente/Unsplash

Проверка эссе, просмотр резюме, обычный веб-серфинг или лента соцсетей — сегодня во многих случаях возникает один и тот же вопрос: а не написал ли это искусственный интеллект?

Считается, что у текста, созданного ИИ, есть характерные признаки, вплоть до любви к длинному тире. Кроме того, уже существует немало сервисов, которые анализируют такие маркеры и пытаются определить, написал ли текст человек или машина.

Но действительно ли тексты, созданные ИИ, можно распознавать так стабильно, как обещают эти инструменты? Чтобы это проверить, я протестировал пять разных детекторов на наборе примеров, написанных либо мной, либо ChatGPT, Gemini или Claude.

Для теста я взял несколько вступлений из своих недавних статей — без какой-либо помощи ИИ — а затем попросил ботов создать собственные версии примерно на 150 слов по заголовку и основной идее каждого материала.

После этого оставалось только посмотреть, смогут ли AI-детекторы увидеть разницу. Вот что получилось.

Pangram

A screenshot of AI detector Pangram
Pangram подтвердил свое обещание находить тексты, созданные ИИ. David Niel

Pangram обещает быть «AI-детектором, который действительно работает». Бесплатно можно запускать до четырех проверок в день, а подписка с более высокими лимитами и дополнительными возможностями вроде проверки на плагиат стоит от $20 в месяц, примерно 1 500 ₽.

Для меня хорошая новость заключалась в том, что оба моих текста сервис определил как на 100 процентов написанные человеком. Причем в обоих случаях Pangram указал «высокий» уровень уверенности. Похоже, мой стиль письма совсем не похож на машинный.

Затем я загрузил в Pangram вступления, созданные ChatGPT и Claude. Оба текста сервис верно определил как на 100 процентов написанные ИИ — здесь Pangram получил максимальную оценку. Он даже объяснил, какие фразы стали подсказками, например конструкцию «from the moment you …».

4 / 4 правильно

Grammarly

Screenshot of AI detector Grammarly
У AI-детектора Grammarly простой и понятный интерфейс. David Niel

Следующим был Grammarly. Сервис уже много лет известен как помощник по орфографии и грамматике, а теперь у него есть и функции, связанные с ИИ, включая определение AI-текста. Бесплатно доступны три проверки в день, а платные тарифы стартуют с $12 в месяц, примерно 900 ₽, и дают заметно более высокие лимиты, а также множество других функций.

И здесь результаты снова показали, что мои тексты мало похожи на машинные: оба образца получили идеальную оценку как написанные без участия алгоритмов. Grammarly сообщил, что доля AI-текста или AI-шаблонов в них составляет 0 процентов.

Для проверки ИИ я использовал тексты от Claude и Gemini. Сервис оценил их как написанные ИИ на 68 и 66 процентов соответственно. То есть Grammarly уловил характерные признаки, но полной уверенности у него не было.

4 / 4 правильно

GPTZero

Screenshot of AI detector GPTZero
GPTZero ставит перед собой задачу «сохранить человеческое». David Nield

Заявленная цель GPTZero — «сохранить человеческое», и сюда входит умение находить предложения, собранные ИИ. На бесплатном аккаунте можно проверять до 10 000 слов в месяц, а платные тарифы начинаются от $23.99 в месяц, примерно 1 799 ₽. Они открывают доступ к большему объему текста и дополнительным функциям.

К этому моменту я уже почти не сомневался, что мои тексты не содержат того, что ищут такие сервисы. Так и вышло: GPTZero определил оба примера как написанные человеком. Сервис сообщил: «Мы с высокой уверенностью считаем, что этот текст полностью написан человеком».

Когда я загрузил тексты от Gemini и ChatGPT, GPTZero тоже сработал верно и распознал их как созданные ИИ. Сервис даже выделил предложения, которые посчитал наиболее «AI-похожими», хотя, если честно, мне самому было непросто увидеть закономерность в этих отмеченных фразах.

4 / 4 правильно

Scribbr

Screenshot of AI detector Scribbr
Чтобы начать проверку в Scribbr, даже не нужен аккаунт. David Niel

Четвертым инструментом стал Scribbr, который также предлагает и другие сервисы для редактирования и вычитки текста. Его AI-детектор полностью бесплатный, и для начала работы даже не требуется регистрация.

Мои тексты сервис безоговорочно признал на 100 процентов человеческими. Хотя у Scribbr есть оговорка, что AI-детекторы не всегда абсолютно надежны, в случае с моими образцами он оказался точен.

Но тексты от ChatGPT и Claude сервис тоже отметил как полностью свободные от ИИ, хотя это не соответствовало действительности. Причем Scribbr, судя по ответам, был вполне уверен в своих выводах. Похоже, его методам определения машинного текста еще требуется доработка.

2 / 4 правильно

Copyleaks

Screenshot of AI detector CopyLeaks
Copyleaks позволяет начать проверку со своего текста или с примера. David Niel

Пятым и последним сервисом стал Copyleaks, у которого есть также инструменты для выявления AI-изображений и видео. Мне удалось бесплатно проверить четыре образца, а платные тарифы начинаются с $16.99 в месяц, примерно 1 274 ₽, и дают доступ к более подробным отчетам и дополнительным функциям.

Как и другие AI-детекторы в этом списке, Copyleaks без проблем распознал мои тексты как написанные человеком: оба образца были помечены как на 100 процентов свободные от ИИ. По крайней мере с такими инструментами мне, похоже, пока не грозит обвинение в использовании ИИ для письма.

А вот с текстами от Claude и Gemini результат оказался смешанным: первый сервис признал текстом без ИИ — 0 процентов AI, тогда как второй получил оценку 100 процентов AI. То есть Copyleaks оказался прав только наполовину. Как и в случае со Scribbr, здесь, похоже, есть проблемы с настройкой распознавания.

3 / 4 правильно

Итог

До начала теста у меня не было четкого ожидания от этих детекторов AI-текста — именно поэтому и хотелось их проверить. Лично мне кажется, что я обычно неплохо распознаю тексты, написанные ИИ, но выделить конкретные шаблоны и признаки все равно непросто.

Судя по этому тесту, такие детекторы действительно работают — по крайней мере большинство из них и в большинстве случаев. Человеческие тексты все сервисы во всех случаях определили верно. Возможно, отличить то, что не написано ИИ, проще, чем уверенно выявить то, что создано машиной.

При этом распознавание AI-текста нельзя назвать безошибочным, и многое зависит от конкретного инструмента. Если задача — всерьез искать тексты, созданные ИИ, логично использовать сразу два или три таких сервиса вместе с другими способами проверки. И, возможно, выбирать тарифы, где доступны более подробные отчеты с объяснением результата.

Читайте так же:

Материал показывает, что AI-детекторы могут быть полезны как вспомогательный инструмент, но полагаться только на один сервис рискованно. Это особенно важно для преподавателей, редакторов и HR-специалистов, которым приходится проверять большие объемы текста. Практический вывод простой: для более надежной оценки лучше сравнивать результаты сразу в нескольких системах.

Задайте вопрос? Оставьте комментарий
Ваш комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Смотрите так же 👀

Что будем искать? Например,как настроить

Минуту внимания
Мы используем файлы cookies, чтобы обеспечивать правильную работу нашего веб-сайта, а также работу функций социальных сетей и анализа сетевого трафика.