Запрещение сканирования
В целях избежания нежелательного индексирования какого-то контента, веб-мастер может запретить поисковым роботам сканировать определенные файлы или каталоги через стандартный файл robots. txt в корневом каталоге домена. Помимо этого, страницу можно явным образом исключить из базы данных поисковика (поисковой системы). Это делается с помощью специального метатега для роботов (как правило, <meta name=«robots» content=«noindex»>).
Когда поисковая система посещает веб-сайт, файл robots. txt, это первый, расположенный в корневом каталоге просканированный файл. Затем файл robots. txt подвергается анализу и роботу указывается, какие страницы сканировать не следует. Поскольку сканер поисковой системы способен хранить кэшированную копию данного файла, он может иногда сканировать те страницы, которые веб-мастер подвергать сканированию не желает.
Обычно запрещенные для сканирования страницы это страницы, связанные с входом в систему, такие как корзины покупок и такой пользовательский контент, как результаты внутреннего поиска.
Год 2007-й (март). Это было время предупреждения Google вебмастеров, что им следует запретить индексацию результатов внутреннего поиска, так как эти страницы считаются поисковым спамом.
Год 2020-й был годом закрытия Google стандарта и открытия своего кода. И в настоящее время Google рассматривает его не в качестве директивы, а в качестве подсказки. Для надлежащего гарантирования того, что индексации страниц не произойдет, необходимо включение метатега робота на уровне страницы.
2.2 Повышение заметности веб-страницы в результатах поиска. Элементы для SERP, которым в последнее время Google уделяет больше внимания
Повышение заметности веб-страницы в результатах поиска
Уровень заметности веб-страницы в результатах поиска можно повысить с помощью различных методов. Этого повышения можно добиться с помощью перекрестных ссылок между страницами одного и того же веб-сайта ради предоставления большего количества ссылок на являющиеся важными страницы.
Источник: https://clck.ru/dWJpD
Заметность страницы обеспечивается также дизайном страницы. Из-за хорошего дизайна пользователи больше доверяют веб-сайту, желая остаться на нем после его нахождения. Если же люди покидают веб-сайт, это считается действием против веб-сайта и влияет на доверие к нему.
Еще повышение заметности веб-страницы в результатах поиска зависит от написания контента, включающего часто используемые ключевые фразы, чтобы обеспечилось его соответствие широкому кругу поисковых запросов и проявлялась тенденция к увеличению трафика.
Рекомендуется в целях учащения сканирования контента поисковиками (поисковыми системами) обеспечивать регулярное обновление контента. Это способно придать веб-сайту дополнительный вес.
Если вы добавите релевантные ключевые слова в метаданные веб-страницы, включая тег заголовка и метаописание, вы добьетесь повышения релевантности результатов поиска на сайте и увеличения трафика.
Канонизация URL -адресов веб-страниц, доступных через ряд URL-адресов, с использованием элемента канонической ссылки либо с помощью переадресации 301, может помочь убедиться, что все ссылки на разные версии URL-адреса учитываются в рейтинге популярности ссылок страницы. Данные ссылки известны в качестве входящих, указывающих на URL-адреса. Они могут приниматься во внимание в рейтинге популярности ссылки на страницу, влияя на уровень доверия пользователей к веб-сайту.
Элементы для SERP, которым Google уделяет в последнее время больше внимания
Кроме прочего, в последнее время Google уделяется больше внимания нижеперечисленным элементам для SERP (позиции в рейтинге поисковой системы). Это следующие элементы [1]:
«Версия HTTPS (защищенный или безопасный сайт).
Скорость страницы.
Структурированные данные.
Мобильная совместимость
AMP (ускоренные мобильные страницы)
BERT».
2.3 Категории техник SEO
Возможно подразделение техник SEO на две широкие категории: техники, рекомендуемые поисковыми системами как часть хорошего дизайна («белые шляпы»), и техники, не одобряемые поисковыми системами («черные шляпы»).