Рисунок 25 Лемматизированный текст, как выглядят шинглы, состоящие из 2 слов (Ш2)
При проверке в антиплагиат ВУЗ, текст работы сверяется с данными базы (другими текстами, проиндексированными ранее).
При определении уникальности текста проверяемой работы, в системе Антиплагиат происходит следующее:
Нормализация (канонизация) текста удаление из текста элементов, не несущих смысловой нагрузки, шаблонных фраз, предлогов, союзов, знаков препинания и др.
Лемматизация приведение слов к нормальной форме, рис. 25.
Разбиение текста на фрагменты шинглы, конец каждого фрагмента является началом предыдущего, рис. 25.
Вычисление хэш-значения фрагмента слова на этом этапе начинается сравнение текста. Точность сравнения напрямую зависит от количества операций это достаточно ресурсоемкий процесс. Чтобы увеличить производительность метода сверки шинглов, сравнение текстов по контрольным суммам может осуществляться на случайных выборках.
Определение результата на основе сравнения выдается результат, указывающий на уникальность проверяемого текста. Результаты отражаются в процентах: 100% полностью уникальный текст, 0% полностью неуникальный текст, т.е. такой текст уже существует.
На что опирается методология КонтрПлагиат, при использовании метода шинглов?
1) Мы исходим из того, что:
уникальных текстов в академической среде не осталось. Все, что может исследовать студент, уже исследовано.
любой текст, скомпилированный из Интернет-источников и печатных библиотек плагиат.
если текст скомпилирован поабзацно, и компиляция показывает уникальность, это связано с уникальным сочетанием абзацев. Изменение порядка следования абзацев или правка текста, внутри абзаца, может привести к появлению плагиата.
показатель уникальности, это совокупная оценка всей работы, «хитрый» метод правки мест плагиата, при следующей проверке выявляет плагиат в тех местах, которые в предыдущей проверке плагиатом не являлись.
В процессе проверки первого варианта работы, она попадает в индекс антиплагиата. С этого момента она считается первой версией. Все последующие проверки учитывают первую версию, и отслеживают процент изменения 2, 3, 4 версии работы по отношению к первой версии. Другими словами, повышая уникальность текста методом глубокого перефразирования вы, в том числе, противостоите первой версии своей работы и должны показать, что текст после перефразирования существенно отличается от первой версии.
2) Любой текст перед первой проверкой должен подвергаться глубокому рерайту это снижает последующие трудозатраты, т.к. вы не противостоите первой, второй, третьей и т. д. версиям своей работы. В процессе перефразирования, рерайта, необходимо добиться отличия текстов источника и перефразированного текста. Данное отличие, при сверке по показателю Ш2 должно составлять более 80%.
Поверхностный рерайт
Поверхностный рерайт обеспечивает двойной перевод текста на любой иностранный язык и обратно на рис. 26 показан перевод текста с русского на английский язык и обратный перевод с английского на русский. Текст, при сверке по шинглам, состоящим из 2 слов (показатель Ш2) показывает отличие на уровне 2040%, рис. 27.
Рисунок 26 Перевод текста в направлении: русский-английский; английский-русский, с помощью translate.google.com
Рисунок 27 Сверка текста источника (правое окно) с перефразированным текстом (левое окно) по методу шинглов, состоящим их 2 слов (Ш2), отличие текстов 30%
Применение GPT также обеспечивает поверхностный рерайт, на рис. 28 приведен интерфейс, в котором выполняется перефразирование с помощью GPT, применяется промпт 1.
Пример GPT-промпта 1
Перефразируйте текст [ваш текст]
Рисунок 28 Перефразирование текста с помощью GPT
На рисунке 29 представлена сверка текста по методу Ш2, как видно тексты отличаются на 40%.
Рисунок 29 Сверка текста источника (правое окно) с перефразированным текстом (левое окно) по методу шинглов, состоящим их 2 слов (Ш2), отличие текстов 40%
Известно, что GPT допускает ошибки, поэтому с целью их частичного исправления, дальнейшего повышения уникальности, а также удаления маркеров генеративного текста, можно выполнить вторичный перевод текста в направлении: русский-английский; английский-русский, с помощью translate.google.com, рис. 30.
Рисунок 30 Перевод текста, после GPT-обработки, в направлении: русский-английский; английский-русский, с помощью translate.google.com
Рисунок 31 Сверка текста источника (правое окно) с перефразированным текстом (левое окно) по методу шинглов, состоящим их 2 слов (Ш2), отличие текстов 55%
Все последовательности действий, приведенные выше дают поверхностное перефразирование, практикой доказано, что это не позволяет добиваться нужного показателя уникальности всего текста.
Глубокий рерайт
Глубокий рерайт, обеспечивает существенное отличие текстов, на основании практического опыта установлено, что текст источника должен отличаться от перефразированного текста, при сверке по показателю Ш2 на 80 и более процентов. Рассмотрим, как этого можно добиться.
Шаг 1 выполнить перевод текста в направлении: русский-китайский (традиционный); китайский (традиционный) -русский, с помощью translate.google.com. Это даст нам показатель Ш2 64%, рис. 32.
Рисунок 32 Сверка текста источника (правое окно) с перефразированным текстом (левое окно) по методу шинглов, состоящим их 2 слов (Ш2), отличие текстов 64%
Шаг 2 написание нового текста на основании текста перевода, с помощью GPT. Источником является текст после перевода: русский-китайский (традиционный); китайский (традиционный) -русский.
Пример GPT-промпта 2
Напишите новый текст, используя источник [текст после перевода: русский-китайский (традиционный); китайский (традиционный) -русский]
Рисунок 33 Сверка текста источника (правое окно) с перефразированным текстом (левое окно) по методу шинглов, состоящим их 2 слов (Ш2), отличие текстов 74%
Как видно, в результате GPT-генерации нового текста мы использовали текст источника, после перевода: русский-китайский (традиционный); китайский (традиционный) -русский, это дало показатель отличия Ш2 74%.
Шаг 3 вторичный перевод генеративного GPT-текста: русский-китайский (традиционный); китайский (традиционный) -русский. Вторичный перевод обеспечивает частичное исправление ошибок GPT-генерации, дальнейшее повышение уникальности, а также удаление маркеров генеративного текста, рис. 34.
Рисунок 34 Сверка текста источника (правое окно) с перефразированным текстом (левое окно) по методу шинглов, состоящим их 2 слов (Ш2), отличие текстов 78%
Шаг 4 согласно карте шинглов, в левом окне программы производится ручная правка не измененных шинглов, состоящих более чем из 2 слов, методом впечатывания, подходящих по смыслу новых слов, рис. 35.
Рисунок 35 Ручное изменение Ш2
Обратите внимание, в силу несовершенства технологий Google и GPT, текст содержит ошибки, поэтому, разбивая шинглы их нужно исправлять. Текст после перефразирования уменьшил объем и потерял ссылки на источники цитирования, значит это тоже предстоит подправить.
Почему не рекомендуется использовать другие переводчики:
Deepl позволяет переводить 1500 знаков в интерфейсе, при переводе файлом, он защищен от копирования, главный недостаток в том, что Deepl старается обеспечить высокую точность перевода, а значит отличие текстов минимизируется и все усилия по перефразированию снижаются, рис. 36.