Как понять, что подрядчик пишет статьи нейросетью и не правит их

Можно ли по тексту понять, что его написала нейросеть?

Надёжно — нет. Можно заметить признаки черновика, который не редактировали: абзацы одинаковой длины, три однородных прилагательных подряд, вступление ни о чём перед каждым списком, «важно понимать» и «в современном мире». Это следы не модели, а отсутствия правки: живой автор, который пишет по шаблону и спешит, оставляет ровно такие же.

Что детектор путает чаще всего?

Он путает две вещи, которые заказчику важно различать: текст, целиком выданный моделью, и черновик модели, который человек переписал. Turnitin прямо пишет, что чаще всего ошибается на документах, где человеческий и машинный текст перемешаны, и особенно на стыках между ними^рынок. То есть ровно на той работе, за которую вы и платите.

Вторая системная ошибка — язык автора. В исследовании Стэнфорда семь детекторов назвали машинными 61,3 % эссе TOEFL, написанных живыми людьми, для которых английский не родной^рынок; хотя бы один детектор из семи пометил 97,8 % таких эссе, а эссе носителей языка те же приборы разметили почти без ошибок^рынок. Причина техническая: кто пишет проще и предсказуемее, тот выглядит машиной.

Сколько ошибаются популярные детекторы

Цифры ниже — то, что заявляют владельцы приборов, и то, что получили замеры со стороны. Разрыв между колонками и есть главный вывод таблицы.

Ни один из этих приборов не отвечает на вопрос, который вы на самом деле задаёте: проверял ли живой человек то, что в статье написано.

Накажет ли Google сайт за статьи, написанные нейросетью?

Нет — наказывают за другое. В марте 2024 года Google ввёл политику против массового производства страниц ради позиций, и в ней прямо сказано: значения не имеет, писал их человек, машина или оба^рынок. Тем же обновлением компания рассчитывала сократить долю бесполезного контента в выдаче на 40 %^рынок.

Как проверить подрядчика без детектора?

Работает не проверка файла, а проверка работы вокруг файла. Пять действий, каждое занимает минуты:

1. Попросите список источников к статье — с адресами и датами. У текста, написанного из головы модели, его не будет.
2. Возьмите две-три цифры из статьи наугад и откройте источник. Цифра, которой там нет, — главный признак.
3. Запросите историю документа. В любом облачном редакторе видно, писался текст постепенно или появился одной вставкой.
4. Сверьте фактуру со своей: цены, сроки, названия ваших услуг. Модель угадывает их правдоподобно и неверно.
5. Спросите, что автор изменил после первого черновика и почему. Ответ на этот вопрос нельзя сгенерировать за вас.

• Гонять текст через детектор и требовать ноль процентов — вы получите не правку, а обход детектора.
• Запрещать нейросети в договоре — проверить исполнение нечем, а сроки и цена вырастут.
• Судить по «живости» слога — модель имитирует живость лучше, чем точность.

Что писать в договоре вместо запрета нейросетей?

Пишите требования к результату, а не к инструменту: источник у каждой цифры, ссылки на первоисточники в конце материала, фактура по вашим услугам согласована с вами до публикации, правки в срок. Такие пункты проверяются за пять минут и не зависят от того, чем автор пользовался.

Мы сами держим это правилом редакции: цифра без источника в текст не идёт, а каждая цифра в статье помечена — наш это замер, рыночные данные или наша оценка. Проверить нас можно тем же способом, каким мы предлагаем проверять любого подрядчика: откройте источники в конце и сверьте.

Частые вопросы

Что делать, если детектор показал высокую долю ИИ?

Не расторгать договор по одному числу. Возьмите из этого же текста три конкретных утверждения с цифрами и попросите подрядчика показать, откуда они. Если источники есть и цифры в них совпадают — статья пригодна независимо от процента; если источников нет, процент уже не нужен.

Сколько стоит ошибка детектора для заказчика?

Дороже всего обходится обратная ошибка — когда детектор показал чистый результат, а в статье выдуманная цена или несуществующее исследование. Такой текст проходит любую автоматическую проверку и бьёт по репутации уже после публикации, когда его прочитал клиент.

Можно ли требовать, чтобы статью написал человек полностью?

Требовать можно, проверить — нечем: рабочих способов доказать авторство по готовому файлу не существует. Практичнее требовать проверяемый результат: источники, согласованную фактуру и правки по замечаниям.

Почему тексты не-носителей языка детекторы считают машинными?

Перплексити-детекторы меряют предсказуемость слов. Человек, который пишет на неродном языке, использует более простые конструкции и частотную лексику — по формуле это и есть машинный почерк. Тот же эффект бьёт по любому автору, которого просили писать проще.

Как быстро понять, что черновик не редактировали вообще?

Откройте середину статьи и прочитайте три абзаца подряд. Нередактированный черновик узнаётся по одинаковой длине абзацев, вступлению перед каждым списком и отсутствию любых конкретных названий — вместо них общие слова вроде «различные инструменты».