ПрактикаEN

Практика7 мин чтения

Проверка текста на ИИ: что на самом деле показывает детектор

Детектор выдаёт число, и по нему хочется вынести вердикт автору. Ниже разобрано, из чего число складывается, где оно ошибается и какие вопросы стоит задать вместо обвинения.

Журавль съезжает вниз по крутому спуску большого графика
Процент на экране детектора скачет так же круто, как этот график

Процент в детекторе означает вероятность, с которой текст похож на типичный вывод языковой модели. Это оценка стиля, а не доказательство того, кто сидел за клавиатурой. Если вы получили от подрядчика статью и видите высокий процент «ИИ», у вас есть повод задать вопросы, но пока нет оснований для претензий.

Что сидит внутри числа

Детектор смотрит на три вещи: насколько легко угадать следующее слово, одинаковой ли длины идут предложения и какими оборотами пользуется автор. Машина берёт самое вероятное продолжение, поэтому её фразы предсказуемы и ложатся ровной строкой. Живой автор чаще спотыкается, меняет ритм и вставляет слово, которого никто не ждал.

Из этого следует неприятная вещь. Те же признаки есть у юридического текста, у вычищенной редактором инструкции и у статьи эксперта, который пишет осторожно и по шаблону компании. Детектор видит ровность и называет её машинной, хотя за ней может стоять корпоративный стиль. Заказчику с жёстким тон-оф-войсом такие срабатывания знакомы по первой же проверке. Про правки опубликованных текстов мы писали отдельно, там разобрано, нужно ли обновлять их и по каким признакам.

Когда вердикт ошибается чаще всего

Ошибка у детекторов системная, и у неё есть предсказуемые места. Группа из Стэнфорда в 2023 году прогнала эссе школьников через семь популярных детекторов. Работы американцев почти не вызвали нареканий, а вот тексты людей, для которых английский неродной, дали ложные срабатывания в 61% случаеврынок. Хотя бы один из семи детекторов пометил как машинные 97% таких работрынок. Простой словарь и осторожные конструкции читаются как почерк алгоритма.

Для заказчика практический вывод такой: тексты автора, который пишет на неродном языке, проверять детектором бесполезно, а переводные материалы вообще не стоит гонять через него. Отдельная группа риска ещё и короткие фрагменты. В двух-трёх предложениях зацепиться не за что, и ярлык получается по нехватке материала. Решение об оплате лучше не привязывать к баллу детектора: как устроена оплата за результат в SEO, мы разобрали отдельно.

Что проверяютРиск ложного «ИИ»Что делать
Короткий абзац или анонсвысокий, мало признаковпроверять статью целиком
Текст на неродном языкевысокий, словарь прощесмотреть черновики
Сухой юридический или медицинский стильсредний, ровный ритмсверять с прошлыми текстами автора
Свободный авторский текстниже, но не нулевойчитать глазами
Вид сверху на ноутбук, где открыты графики и таблицы
Цифры на экране стоит сверять с источником, а не с настроением

Почему громкая заявленная точность не защищает

Производители любят круглые цифры. Turnitin заявлял о точности около 98% и доле ложных срабатываний ниже 1%рынок. Университет Вандербильта пересчитал эту долю на людей: на потоке в 75 тысяч работ в год 1% ошибок даёт около 750 студентов под ложным подозрениемрынок. В августе 2023 года вуз отключил детектор, и о том же решили Йель и Университет Джонса Хопкинса.

Если подрядчик пришлёт вам скриншот «почти сто процентов человек» от платного сервиса, он доказывает только то, что сервис не нашёл признаков. Сам Turnitin сознательно оставляет часть машинного текста без отметки, чтобы не клеймить живых авторов, и примерно каждое седьмое сгенерированное предложение проходит как человеческоерынок. Поэтому зелёный результат доверия заслуживает не больше красного.

OpenAI свой классификатор закрыла летом 2023 года, сославшись на низкую точность. Компания, чьи модели генерируют эти тексты, не смогла надёжно их опознаватьрынок.

Четыре вопроса вместо приговора

Если процент вас насторожил, пройдите по списку. Он занимает полчаса и даёт больше, чем второй и третий детектор подряд.

  1. Проверьте объём: фрагмент короче нескольких абзацев не оценивайте вовсе.
  2. Прогоните тот же текст через два детектора и сравните разброс. Если один показывает почти ноль, а другой почти максимум, число ничего не значит.
  3. Положите рядом прежние статьи этого автора. Стиль, словарь и любимые обороты у человека держатся годами.
  4. Попросите черновики и историю правок. Живой автор показывает их без труда.

Особенно бережно относитесь к последнему шагу. Любой автор, которого ошибочно пометили, оспаривает это именно черновиками, потому что объяснить своё решение детектор не умеет. Если у подрядчика такого следа нет вовсе, это уже отдельный разговор, и его проще вести на уровне пяти пунктов договора: кто отвечает за правду в тексте и что считается принятой работой.

Человек правит распечатанный текст красной ручкой на улице
Правка на бумаге оставляет след, которого нет у готового текста

Что делать с подрядчиком, который сдаёт «машинное»

Первое, что стоит сделать, это выяснить, разрешён ли ИИ договором. Многие заказчики запрещают его по умолчанию и потом удивляются, что запрет никто не проверяет. Если запрета нет, процент детектора вообще не предмет спора: для читателя и для поисковика важнее, точен ли текст и помогает ли он решить задачу.

Второе: считайте не процент, а свои часы. Подрядчик, который присылает тексты, требующие от вас переписывания, отнимает время, и сколько часов в месяц на это уходит, видно по вашему календарю гораздо лучше, чем по детектору.

Третье: если вы уже решили расставаться, не начинайте с обвинения в «нейросети». Начните с того, чьи тексты и права вы забираете, и подготовьте это заранее, как описано в материале про то, чьи тексты и аккаунты остаются за вами. Претензия «детектор показал почти максимум» в споре слабая, а претензия «договор не соблюдён» крепкая.

Чего детектор не заменит

Хорошая проверка статьи для бизнеса состоит из вещей, которые детектор не видит: совпадают ли цифры с источниками, есть ли в тексте опыт компании, отвечает ли первый абзац на вопрос читателя.

Водяные знаки, которые Google встраивает в вывод своих моделей, пока решают задачу только для текстов самой Google. Метка пропадает после перевода туда и обратно или серьёзной перепискирынок. Универсального способа доказать машинное авторство у рынка нет, и честнее исходить из этого. Прежде чем спорить о текстах, посмотрите на страницу глазами поисковика: технический аудит покажет, видят ли её вообще.

Источники

  1. OpenAI, запись о закрытии классификатора ИИ-текстов, 2023: 26% найденных машинных фрагментов и 9% ложных срабатываний на человеческих.
  2. Исследование Стэнфордского университета об эссе TOEFL и семи детекторах, 2023: 61% ложных срабатываний в среднем, 97% хотя бы у одного детектора.
  3. Vanderbilt University, заметка об отключении детектора Turnitin, август 2023: расчёт 750 студентов на 75 тысяч работ.
  4. Securitylab.ru, «Как работают детекторы ИИ и почему их вердикт стоит перепроверять», 2026: сведения о Turnitin и SynthID.
  5. Google DeepMind, описание SynthID, 2025: ограничения водяных знаков для текста.

Проверьте свой сайт за минуту

Вставьте адрес — покажем оценку из 100, называет ли вас нейросеть и на какие запросы у сайта нет страницы. Бесплатно.