Как проверить текст на нейросеть: чем проверять и чему верить

Четыре сервиса, которые работают с русским текстом, почему они дают разные проценты на одном файле и как читать результат, чтобы он что-то значил.

Как проверить текст на нейросеть: чем проверять и чему верить
9 августа 20265 мин
Содержание
  1. Чем проверяют русский текст
  2. Почему на одном тексте выходят разные проценты
  3. Как проверять, чтобы результат что-то значил
  4. Что делать с высоким процентом

Проверить текст на нейросеть можно четырьмя сервисами, которые понимают русский: нейродетектор Яндекса (файлы PDF, TXT и DOCX до 50 МБ), GigaCheck от Сбера (от 20 до 1000 слов, демо на сайте и в телеграм-боте), детектор text.ru и англоязычные GPTZero и ZeroGPT. Все они показывают вероятность, а не факт: детектор меряет не автора, а предсказуемость текста. Поэтому один и тот же файл легко получает в двух сервисах разные проценты, и ни один из них авторства не доказывает.

Ниже — чем эти сервисы отличаются, почему их оценки расходятся и как проверять, чтобы результат хоть что-то значил. Общий разбор темы — в статье о том, как писать SEO-тексты нейросетью.

Чем проверяют русский текст

СервисКак проверяетОграниченияЦена
Нейродетектор Яндексазагрузка файла PDF, TXT, DOCXдо 50 МБ, результат по сегментамбесплатно
GigaCheck (Сбер)вставка текста на сайте или в телеграм-ботеот 20 до 1000 слов, пока демо-версиябесплатно
text.ruвставка текста в формуот 100 до 50 000 знаковплатно, за «нейросимволы»
GPTZero, ZeroGPTвставка текста, расширение для Chromeлимит слов в бесплатном тарифебесплатный тариф + платные

Разница между ними больше, чем кажется. Яндекс работает с файлом целиком и показывает распределение по кускам — удобно, когда нужно понять, какая часть документа выглядит машинной. GigaCheck заточен под русский: Сбер заявляет точность 94,7% при доле ложных срабатываний не более 1%, но это цифра разработчика, полученная на своей выборке, — независимых замеров на русском нет ни у кого. GPTZero и ZeroGPT русский принимают, однако свои показатели точности они публикуют по английским текстам, так что уверенный процент на русском тексте у них означает меньше, чем выглядит.

Отдельная путаница — с Яндексом. Нейродетекторов у него два: публичный в лаборатории и встроенный в Яндекс Образование инструмент для преподавателей. Во втором Яндекс сам ограничил статус результата: выводы нейродетектора «выступают только в качестве рекомендации для преподавателя, указывая на работы, которые требуют особого внимания». Даже там, где детектор сделан ловить студентов, он не выносит вердикт — он показывает, что перечитать.

Почему на одном тексте выходят разные проценты

Детектор ИИ-текста не умеет видеть автора. Все такие сервисы измеряют предсказуемость: насколько каждое следующее слово ожидаемо после предыдущих. Модель по своей природе выбирает самый вероятный вариант, поэтому её текст ровный — одинаковая длина предложений, средний словарь, аккуратные переходы. Именно эту ровность детектор и ловит.

Ровно пишут не только модели, и здесь начинается неприятное. В 2023 году стэнфордские исследователи прогнали 91 экзаменационное эссе живых людей, для которых английский неродной, через семь популярных детекторов — и в среднем 61% этих работ сервисы пометили как сгенерированные; на 18 работах из 91 ошиблись единогласно все семь. Люди писали сами. Детекторы наказали их за простой словарь и предсказуемые конструкции, то есть за форму.

Показательнее всего поступил OpenAI. Свой детектор компания выпустила 31 января 2023 года и сразу опубликовала его показатели: 26% сгенерированных текстов он опознавал верно, 9% человеческих ошибочно помечал как машинные. 20 июля того же года сервис закрыли — «из-за низкой точности». Если разработчик модели не смог надёжно опознать её же тексты, к цифрам сторонних сервисов стоит относиться соответственно.

Как проверять, чтобы результат что-то значил

Правил всего четыре, и они простые.

Проверяйте текст целиком, а не абзацами. Детектор режет документ на сегменты и усредняет оценку, поэтому короткий кусок даёт резкий результат, а тот же кусок внутри большого файла — сглаженный. Отсюда классическое недоумение: по главам одно, целым файлом другое. Оба числа верны, просто это разные измерения.

Не проверяйте фрагменты короче тысячи знаков. На такой длине результат ненадёжен — это признавал даже OpenAI про свой собственный сервис.

Смотрите два сервиса сразу: русскоязычный и любой другой. Совпали — сигнал чуть весомее. Разошлись вдвое — обычное дело, и это лучший аргумент против того, чтобы принимать решения по одной цифре.

И главное: фиксируйте результат до и после правки. Проценты сами по себе бессмысленны, а вот динамика показывает, была ли работа над текстом. Если после часа редактуры цифра не сдвинулась, скорее всего, правили запятые.

Что делать с высоким процентом

Не переписывать текст ради его снижения — это тупик. Выдаче эта цифра ничего не сообщает: связи между результатом детектора и ранжированием Яндекс нигде не заявлял, а за качество контента в поиске отвечает рамка ЭПОС — экспертность, полезность, оригинальность, содержательность. Почему процент не связан с позициями, подробно разобрано в статье про сервис Яндекса.

Полезен высокий процент по другой причине. Ровным текст делает пустота: нет своих цифр, нет случаев из практики, каждый раздел закрыт вежливым выводом. Её детектор и ловит — то есть указывает на реальную проблему, просто называет её неправильно. Проверьте по тому же файлу, что в нём есть такого, чего нет в первых пяти статьях выдачи. Если ответа нет, дело не в проценте.

Лечится это скучно: вернуть фактуру, сломать однообразный ритм, убрать дежурные мини-выводы. Порядок действий разобран по шагам в инструкции по правке черновика. Процент после такой правки обычно падает сам, но это побочный эффект работы, а не её цель.

Услуга по темеSEO-оптимизацияПродвижение в Яндексе и Google: диагностика «почему нет заявок», семантика, контент и техническая база — с отчётами, которые можно проверить.

Частые вопросы

Чем проверить текст на нейросеть бесплатно?

Без оплаты работают два сервиса: нейродетектор Яндекса (yandex.ru/lab/neurodetector, файлы PDF, TXT и DOCX до 50 МБ) и демо-версия GigaCheck от Сбера — на сайте и в телеграм-боте, от 20 до 1000 слов. У GPTZero и ZeroGPT есть бесплатный тариф с лимитом слов, а проверка на ИИ в text.ru платная.

Какой детектор ИИ точнее для русского языка?

Самая высокая заявленная точность у GigaCheck — Сбер называет 94,7% при доле ложных срабатываний не более 1%. Это цифра разработчика, полученная на своей выборке; независимых замеров точности на русском нет ни у одного сервиса. GPTZero и ZeroGPT публикуют свои показатели по английским текстам.

Почему два сервиса показывают разный процент на одном тексте?

Потому что они измеряют не авторство, а предсказуемость текста, и у каждого своя шкала и свой обучающий корпус. Разброс от единиц до десятков процентов на одном файле — нормальное поведение детекторов, а не поломка одного из них.

Влияет ли результат проверки на позиции сайта в Яндексе?

Нет. Связи между процентом любого детектора и ранжированием Яндекс не заявлял. За качество контента в поиске отвечает рамка ЭПОС: экспертность, полезность, оригинальность, содержательность.

Как проверить текст на ИИ по частям и целиком — будет разница?

Будет, и это ожидаемо. Детекторы оценивают текст сегментами и усредняют результат, поэтому короткий фрагмент даёт более резкую оценку, чем тот же фрагмент внутри большого файла. Проверять надёжнее целиком: на текстах короче тысячи знаков результат считается ненадёжным даже у самих разработчиков.

Термины из этой статьи

Нейродетектор
Нейродетектор — сервис Яндекса, который проверяет текст на признаки машинной генерации и показывает долю сегментов, похожих на сгенерированные. Это отдельный публичный инструмент: на ранжирование сайта в поиске его результат не влияет.
Нейросеть
Нейросеть — программа, обученная на больших массивах данных и способная генерировать текст, изображения или код по запросу. В маркетинге так обычно называют генеративные модели вроде ChatGPT, GigaChat или Midjourney.
Поисковая выдача
Поисковая выдача — страница результатов, которую поисковик показывает по запросу. Кроме привычных десяти ссылок она содержит рекламу, карты, картинки и ответы, сгенерированные ИИ.
ЭПОС
ЭПОС — критерии качества контента Яндекса: экспертность, полезность, оригинальность и содержательность. По ним поиск оценивает, стоит ли страница показа, независимо от того, писал её человек или нейросеть.
SEO
SEO (search engine optimization) — работы, которые помогают сайту занимать более высокие места в результатах поиска и получать больше переходов из Яндекса и Google без оплаты за клик.

Все термины