это то, что сайт закрыт для индекса в ПС Гугл.
Основные индексирующие роботы поиска:
Поисковая система Яндекс Yandex
Поисковая система Гугл GoogleBot.
Есть еще роботы, которые отвечают за каждый участок индексации сайта. Не будем их перечислять. Гугл всем в помощь!
Задайте вопрос разработчику, почему он не открыл индекс. Возможно он просто забыл, ну, а может он хочет заполучить вас, как постоянного заказчика в продвижении сайта? Предположим, после создания сайта принято решение продвигать сайт самостоятельно или с помощью «записок интернет маркетолога» Игоря Новицкого. Создать сайт это единовременный заработок. Заказчик заплатил и до свидания. Чего не скажешь про раскрутку в поисковых сетях. Это постоянная работа и стабильный заработок. К тому же, открою секрет, над МС надо попотеть только первое время, потом его ПС сами будут тянуть в топ 5. Нет, я не хочу сказать, что работа над ним прекратиться, но она уж точно уменьшится намного. Так вот, «нечистоплотные» разработчики это знают и просто «забывают» сайт открыть для индексации. Вы еще не прочли эту книгу и начинаете волноваться. И это понятно, деньги потрачены, сайт не приносит прибыль. Идете к разработчикам, они открывают сайт для индекса всего за одну минуту. Через определенное время ресурс показывает первые результаты в выдаче. Вы довольны, и теперь постоянно платите, чтобы сайт там и оставался. Прекрасная схема, не правда ли? Есть много подводных течений и уловок, чтобы привести заказчика обратно. О них я буду постепенно рассказывать на страницах книг.
С запретом разобрались. Теперь вы знаете, как проверить индексацию и можете даже помогать своим друзьям и знакомым. Разбираемся дальше с файлом robots. txt.
С его помощью можно запрещать не только сайт весь, но и отдельные страницы. Кстати, некоторые надо запрещать в обязательном порядке. Это: технические страницы, дублированные и те страницы, которые вы не хотите видеть в ПС. Мой совет: создать файл robots. txt я помогу, а интегрировать его надо поручить человеку, который разбирается в этом. Так как файл должен лежать в папке на хостинге. И упаси вас Бог, сделать что то не так по неопытности.
Так для чего же все таки необходим этот файл? Приведу простой пример и перенесем его на реальную жизнь. Роботы поиска приходят на ваш сайт и видят много, иногда очень много дверей. Под дверями я подразумеваю интернет страницы. Они гадают, входить не входить. Именно robots. txt показывает в какую дверь надо входить, а в какую нет.
Помимо robots. txt жукам помогает карта сайта sitemap. Она создается, чтобы роботы не «заблудились», а четко и быстро просканировали все нужные страницы. Карту тоже надо создавать в ручном порядке, спросите вы? Нет, ни карту, ни файл robots. txt, не надо создавать руками. Для этого есть бесплатные программы. Для sitemap: mysitemapgenerator.com. Для robots. txt: pr-cy.ru. С этими программами очень легко работать. Они сами за вас все создадут. Останется только отдать файлы человеку, который занимается технической поддержкой сайта.