Откроется корневая папка
Жмём Загрузить файлы. На компьютере находим наш файл robots. txt
Жмём Загрузить. Когда загорится зелёный индикатор, значит загрузка прошла успешно.
Жмём Закрыть
Видим, что файл появился в корневой папке.
Закрываем файловый менеджер.
Чтобы быстро посмотреть содержимое файла robots. txt наберите в адресной строке браузера
адрес вашего сайта/robots. txt
Чтобы просмотреть какие страницы и записи вашего сайта проиндексированы Яндексом, в поисковой строке Яндекса наберите url: адрес сайта/*
Если вы установили плагин Yoast SEO, то отредактировать файл robots. txt можно зайдя в «Консоль/ SEO/Инструменты/Редактор файлов».
Тонкие настройки robots. txt
Ввиду особой важности этого файла можете провести более тонкие настройки файла robots. txt, изложенные на сайте:https://seogio.ru/robots-txt-dlya-wordpress/
Автор: bisteinoff Окт 19, 2018 Google, SEO, Яндекс
Один из лучших robots. txt на данный момент, это robots. txt, предложенный в блоге http://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html.
Ошибочные рекомендации других блогеров для Robots. txt на WordPress
Использовать правила только для User-agent: *
Для многих поисковых систем не требуется индексация JS и CSS для улучшения ранжирования, кроме того, для менее значимых роботов вы можете настроить большее значение Crawl-Delay и снизить за их счет нагрузку на ваш сайт.
Прописывание Sitemap после каждого User-agent
Это делать не нужно. Один sitemap должен быть указан один раз в любом месте файла robots. txt
Закрыть папки wp-content, wp-includes, cache, plugins, themes
Это устаревшие требования. Для Яндекса и Google лучше будет их вообще не закрывать. Или закрывать «по-умному», как это описано выше.
Закрывать страницы тегов и категорий
Если ваш сайт действительно имеет такую структуру, что на этих страницах контент дублируется и в них нет особой ценности, то лучше закрыть. Однако нередко продвижение ресурса осуществляется в том числе за счет страниц категорий и тегирования. В этом случае можно потерять часть трафика
Закрывать от индексации страницы пагинации /page/
Это делать не нужно. Для таких страниц настраивается тег rel = «canonical», таким образом, такие страницы тоже посещаются роботом и на них учитываются расположенные товары/статьи, а также учитывается внутренняя ссылочная масса.
Прописать Crawl-Delay
Модное правило. Однако его нужно указывать только тогда, когда действительно есть необходимость ограничить посещение роботами вашего сайта. Если сайт небольшой и посещения не создают значительной нагрузки на сервер, то ограничивать время «чтобы было» будет не самой разумной затеей.
Ляпы
Некоторые правила можно отнести только к категории «блогер не подумал». Например: Disallow: /20 по такому правилу не только закроете все архивы, но и заодно все статьи о 20 способах или 200 советах, как сделать мир лучше
Александр Борисов в своих интенсивах https://isif-life.com/school/free-kurs рекомендует более короткий файл robots. txt
User-agent: *
Disallow: /wp-
Disallow: /tag/
Disallow: */feed
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /201*
Disallow: /template.html
Disallow: /readme.html
Disallow: *?replytocom
Disallow: *?*
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Host: урл_сайта
Sitemap: http://урл_сайта/sitemap.xml
В заключение дадим ещё одну ссылку правильной настройки файла robots. txt с возможностью скачать вариант настроенного рабочего файла:
https://wordpress-book.ru/prodvizhenie/pravilnyj-robots-txt-dlya-wordpress/
автор: Роман Ваховский, обновлено: Апрель 14, 2018
Как учесть требования поисковиков?
https://texterra.ru/blog/kak-sozdat-sayt-na-wordpress-polnoe-rukovodstvo-dlya-novichkov.html
С помощью SEO-плагинов вы можете обеспечить соответствие сайта на WordPress техническим требованиям поисковых систем. В частности, дополнительные модули решают следующие задачи:
Создание и обновление карты сайта
Канонизация URL
Оптимизация title страниц
Автоматическая генерация мета-данных страниц
Блокирование индексации дублированного контента
Создание микроразметки страниц
Чтобы решить эти задачи, вы должны установить по одному SEO-плагину из трёх групп:
плагины для создания карты сайта,
плагины для технической оптимизации ресурса и
плагины для создания микроразметки.
Создание карты сайта. Используйте один из следующих плагинов:
Google XML Sitemaps
Google Sitemap
Simple WP Sitemap
WP Sitemap Page
Установите и активируйте выбранный плагин, например, Google XML Sitemap. Для настройки плагина перейдите в меню «Настройки XML-Sitemap».
Переходим в меню настройки плагина
Начинающим вебмастерам лучше оставить настройки по умолчанию. После активации плагин создал карту сайта, добавил её адрес в файл robots. txt и приготовился уведомлять поисковые системы об обновлениях ресурса.
Карта сайта создана.
Если вы считаете себя опытным вебмастером, можете изменить настройки плагина. В разделе «Дополнительные страницы» вы можете вручную включить в карту сайта URL, которые не были включены в неё автоматически. В разделе «Приоритет статьи» определите способ вычисления приоритетности индексирования контента. В разделах «Изменить частоты» и «Приоритеты» вы можете рекомендовать поисковым роботам наиболее приоритетные по вашему мнению типы контента.
Честно говоря, поисковики и без вас разберутся, что и когда индексировать.
Техническая оптимизация ресурса. Воспользуйтесь одним из следующих плагинов:
WordPress SEO by Yoast
All in One SEO Pack
Platinum SEO Pack
Установите и активируйте выбранный плагин, например, SEO by Yoast. О его настройках мы уже говорили ранее. Описание настроек других плагинов вы можете найти в интернете.
Создания микроразметки. Основная суть микроразметки на сайте это предоставить поисковым системам структурированную информацию, которая находится на странице. Благодаря микроразметке стало возможным выделить действительно важную информацию и давать более подробную информацию поисковому роботу.
Воспользуйтесь одним из следующих плагинов:
Yoast SEO
Schema Creator by Raven комплексная микроразметка для вашего сайта;
SEO Link Creator микроразметка к внешним ссылкам, а также их автоматическое повторное использование на тех же ключевых словах;
Основные моменты SEO оптимизации
В главе 2 мы уже затрагивали вопросы SEO оптимизации сайта. К этому вопросу мы ещё вернёмся в главе 29. Здесь же напомним некоторые моменты.
Ключевые фразы и метаописания.
Некоторые SEO эксперты считают, что сегодня ключевые слова не важны вовсе. Поисковые системы стали настолько умными, что легко ориентируются по содержанию самого текста. При этом они не раскрывают сколько именно веса они назначают ключевым словам или описанию. Даже сам Google говорит об их несущественности. Однако, другие эксперты не согласны с этим, и рекомендуют пользователям продолжать добавлять ключевые слова, указывая, что эти элементы являются достаточно важными и помогут вам в ранжировании.
Ключевые слова это важные слова или фразы, которые люди чаще всего запрашивают, когда ищут публикуемый вами контент. Ключевые слова, под которые Вы будете оптимизировать свой сайт и статьи для поисковиков выбираем с помощью WordStat.
Мета описание это краткое описание сути вашей страницы или записи. Мета описания крайне важны, потому как ими вы можете привлечь внимание пользователей.