ШІ-детектори, з якими працює «Грамотій»

Ще в 2022-2023 роках мовні моделі замість якісного структурованого тексту видавали словесний «салат», де логіка губилася вже у другому реченні. Генерацію було видно неозброєним оком:

Але швидко ШІ навчилися створювати якісні матеріали, відрізнити які від написаних людиною складно. Втім Google відрізняє, та викидає сайти з топу. Тому з 2024 року ми в студії «Грамотій» перевіряємо всі тексти на наявність генерації за допомогою ШІ-детекторів. Але при перевірці одного тексту декілька сервісів видають абсолютно різні результати. Чому так?

AI детектори працюють за схожим принципом – розпізнають мовні патерни, реагують на структуру та довжину речень тощо. Але тонкощі в кожного різні, та кожен має свої переваги, недоліки та баги.

Попри заявлену точність 99%, на практиці майже всі вони не здатні точно визначати автора матеріалу. Деякі вбачають ШІ в кожному тексті, інші – називають автором генерації людину. Наша задача, як відповідальних за створення якісного контенту, знайти інструменти, які з одного боку не перетворюють роботу райтерів у сізіфову працю, а з іншого – не пропустять згенерований текст. Перевіривши тисячі статей, ми протестували безліч сервісів і склали свій рейтинг, яким і ділимося в матеріалі.

Дісклеймер! Практика показала, що не кожен сервіс коректно працює з будь-якою мовою. Тому наш топ розділяється на дві групи – українська й російська мови та англійська (в цілому мови латиниці). Ну й звісно ми не втрималися від антирейтингу.

Українська та російська мови

1. Pangram

Згідно з дослідженнями University of Chicago та University of Maryland, у детектора надзвичайно низький рівень хибних спрацювань – усього 1 на 10 000. Досвід нашої Студії підтверджує ефективність Pangram – навіть якщо матеріал був згенерований, а потім перекладений, детектор визначить генерацію. І мінімальні коригування не допоможуть.

Для порівняння: текст на 100%, написаний людиною (ліворуч), та аналогічний, написаний ChatGPT (праворуч):

Але, як і будь-який, цей детектор має і недоліки:

• іноді «під роздачу» все ж потрапляють тексти, написані людиною;
• часом детектор вважає згенерованою специфічну мовну конструкцію, наприклад, професійну фінансову або юридичну лексику;
• рідко, але буває, що мінімальні коригування фрагменту призводять до стрибка показника всього тексту на 20-30%.

2. GPTZero

Детектор працює за алгоритмом, який містить 7 компонентів для визначення генерації – класифікатор речень, захист від перефразування тощо. Так, хибні спрацювання трапляються, але зазвичай він гарно ідентифікує тексти людини. Навіть якщо в результаті помилково вказаний певний відсоток AI, він низький:

І, що важливо, GPTZero ефективно відловлює згенерований контент навіть за «авторством» найновіших на момент написання статті мовних моделей:

Головна зручність – зафарбовування речень різними градієнтами жовтого та зеленого в залежності від того, в якій ступені детектор вважає їх, відповідно, згенерованими або людськими.

Звісно не все ідеально: сервіс часто сприймає академічний стиль як штучний, тому результати варто інтерпретувати обережно.

Англійська мова (та інша латиниця)

1. Grammarly AI Detector

ШІ-детектор – це один із інструментів для роботи з текстом сервісу Grammarly від українського розробника Grammarly. Доступний лише у платній версії, він доволі стабільно визначає ШІ-текст, проте відбувається це скоріш за якимись лише йому відомими маркерами, тому з редагуванням усе доволі складно. Ми маємо великий досвід роботи з детектором, але відстеження логіки його роботи – ще той виклик.

Але це не відміняє факту якісної роботи сервісу – він з одного боку ефективно визначає навіть частково згенерований контент, а з іншого – не прискіпується до тексту, який точно писав досвідчений копірайтер.

2. GPTZero

Цей детектор один із наших фаворитів, та єдиний, який займає почесне місце в обох мовних рейтингах. Його детальний опис є вище.

3. Winston AI

Ще один топовий детектор, справжня знахідка, з яким надзвичайно приємно та зручно працювати. Має добре пропрацьований та зручний інтерфейс, градієнтне фарбування речень в залежності від того, наскільки він вважає їх згенерованними, зрозумілі метрики та алгоритм роботи. Додатково доступні перевірка на читабельність і плагіат. Платна версія дає змогу використовувати advanced-скан, що значно спрощує роботу над текстом.

Сервіс працює максимально влучно: якщо текст писав хороший райтер, детектор його пропустить. Якщо ж хоча б частково згенерований, або містить воду, шаблонні вислови, такий текст гарантовано отримає низьку оцінку.

4. Originality.ai

Зазвичай цей детектор, який працює як з кирилицею, так і латиницею, безпомилково визначає тексти, написані людиною:

Якщо текст створений за допомогою свіжих на момент написання статті ШІ, безплатний режим Lite, скоріше за все, також сприйме його як людський:

Тому, щоб ефективно виявити згенерований контент, знадобляться режими Turbo та Multi language, доступні в платній версії. Та тут криється деталь – платний режим не дає змоги працювати з кирилицею, а отже Originality.ai, як ефективний ШІ-детектор, потрапляє в наш топ тільки для латиниці.

Антирейтинг

1. ZeroGPT

На перший погляд зручний детектор для швидкої перевірки текстів обсягом до 15 000 символів у безкоштовному режимі та обмеженим «хуманайзером» – до 50% читабельності (після апгрейда цей показник зростає до 90%). При цьому результатам роботи цього «хуманайзера» довіряти не можна, оскільки більшість інших детекторів розпізнають в них ШІ.

В цілому цей буцімто топовий детектор нас розчарував. Результати часто «стрибають» та легко «ламаються» різними уловками при редагуванні тексту. Наприклад, ZeroGPT «не любить» списки в тексті, а отже показник AI можна коригувати зміною форматування.

Алгоритм роботи насамперед реагує на довжину та побудову речень, а не на їх зміст. Ось у тексті детектор знаходить понад 80% «машини»:

Просто розділивши складні речення на короткі прості, отримуємо суттєво нижчий відсоток:

Сервіс іноді «глючить» – можна отримати 0% ШІ, а при повторній перевірці через певний час у тому ж тексті отримати високий показник генерування.

Загалом у нас утворилося враження, що ZeroGPT створений для того, щоб назвати ваш текст згенерованим, продати свій інструментарій та потім текст, який ви «хуманізували» ним, назвати вже людським та благословити розміщувати на сайті. Звісно, коли Google вважатиме цей текст згенерованим, ви залишитеся з проблемою падіння рейтингу сам на сам.

2. QuillBot

Без тисячі слів хочеться сказати, що цей детектор за суттю роботи склав аналогічне попереднику враження, а за якістю перевірки – ще й гірший. У безкоштовній версії можна перевіряти тексти обсягом до 1200 слів із необмеженою кількістю спроб. Детектор не надто вимогливий: часто пропускає згенерований текст та легко «ламається»  різними уловками, наприклад, іноді достатньо змінити слово-маркер, щоб цілий абзац виглядав як human-written.

Текст, «хуманізований» за допомогою десятка інструментів QuillBot та затверджений його детектором як людський, не проходить перевірку інших топових детекторів. Історія аналогічна ZeroGPT – придбайте наш «хуманайзер», та ваш текст засяє людяністю.

3. Copyleaks

Розробники заявляють, що детектор працює з понад 30 мовами, в тому числі кириличними. Але наш досвід говорить, що в цьому сегменті рівень точності помітно знижується. Іноді достатньо змінити кілька маркерів, наприклад, прибрати надто поетичні словосполучення, щоб текст став людським. Ось Copyleaks правильно визначив текст, написаний людиною, але так само він оцінив аналогічний текст, створений ChatGPT (5.1):

З англійською мовою відносини Copyleaks трохи краще, але не суттєво. Взагалі всіма мовами детектор майже завжди видає результат перевірки рівний або 0%, або 100% ШІ. А це говорить про трохи дивну роботу його алгоритмів.

Результати перевірки доволі легко «ламати». Наприклад, уникати, скорочень на кшталт we’re, you’re, here’s, використовувати модальні дієслова (can, may, must) і прямий порядок слів, як заведено в англійській мові. «Викручуйте» речення на його смак, і детектор сприйме текст як людський. Це якщо результат потрібно «ламати» – Copyleaks і по власній волі часто пропускає згенерований текст.

Безкоштовна версія дозволяє перевіряти тексти будь-якої довжини та робити багато спроб. Можливо саме тому він потрапляє в рейтинги та топ видачі в Google, бо як ще пояснити його популярність.

4. Scribbr

Невелике місце в нашому антирейтингу посяде Scribbr AI Detector. В цілому це непоганий сервіс, який іноді можна зустріти в ТЗ замовників. Якби не одне «але» - ми швидко навчилися «грати» його результатами. Детектор реагує на незначні помилки в тексті, одруківкі, невірну пунктуацію тощо, вважаючи, що це точно писала людина. Як тільки текст проходить редакторські правки, показник ШІ може злітати на 40-60%. Можна було б сказати, що причина не в цьому, проте ні - багато тестувань показали, що сервіс дійсно любить дуже «просту» мову та помилки. Ане дійсно проводить глибокий аналіз тексту на наявність ШІ-генерації. 

Детектори-детекторами, але бюджети рятують люди

Як бачимо, жоден ШІ-детектор не гарантує правдиву на 100% оцінку. Ба більше – ніхто цього не може гарантувати. Реальний результат, як і завше, можна побачити лише через 2-3 місяці просування сторінок. І, по класиці SEO, зробити висновки з усього, що було зроблено по текстах: структури, ключових та LSI слів, стилю копірайтерів, та, звісно, сервісів, у яких тексти успішно пройшли перевірку.

Вибір наведених в цьому топі детекторів обумовлений не лише якістю їх роботи, а якраз і успішним досвідом просування сторінок, тексти на які вони «пропустили». Проте найважливішими тут є самі люди – копірайтери та редактори. Вони створюють тексти, які або успішно просувають сторінки, або гублять бюджети. Відтак, обираючи ШІ-детектори та інші інструменти роботи з текстами, варто пам'ятати, що в першу чергу вам потрібні професіонали, які перетворюють бюджет SEO в інвестицію, а не збитки.