Posted in Новичкам
Сегодня большое количество сайтов создается через CMS — системы управления контентом сайта. CMS имеют административную панель — интернет-страницы, через которые можно редактировать, дополнять или перестраивать внешний облик сайта.
Основные страницы административной панели находятся под паролем, но некоторые, например страница ввода пароля, может оказаться доступна поисковикам. Это не очень хорошо, поскольку главное, за что поисковик ценит сайт — это уникальность его содержания, отсутствие заимствований и повторов. А типовые страницы сайтов у всех CMS, как правило, одинаковые.
Иногда скрыть страницы бывает нужно из-за особенностей работы со страницами у CMS. Зачастую системы располагают одну и ту же страницу под разными адресами. Причем владелец сайта может и не догадываться о существовании дубля, тогда, когда он коварно действует против сайта и владельца. Найти такую страницу и отключить ее - отдельная задача, но можно сделать так, что поисковик и не пойдет ее искать.
Скрыть страницу от поисковиков
Поведением поисковой системы на вашем сайте можно управлять через размещение и редактирование файла robots.txt. Если с помощью файла sitemap можно рекомендовать поисковику пройти на те страницы, которые вы хотите ему предложить, то robots.txt напротив, создается для того, чтобы объяснить, куда ему соваться не следует.
Скрыть изображения от поисковика
Такая же ситуация с системными изображениями. Многие картинки из оформления сайта являются стандартными для CMS и повторяются от сайта к сайту. Тогда как уникальные картинки — такие, которых ни у кого больше нет, поисковиками ценятся и сканируются. Обнаруживая факт копирования картинок, поисковик штрафует за это, снижая положение в выдаче, или просто игнорирует их. Игнорирование не так опасно как понижение, но если мы хотим чтобы наш сайт продвигался не только за счет текстов, но и изображений мы должны ставить только уникальные картинки, а неуникальные прятать подальше от глаз поисковых систем.
Чтобы этого не произошло, необходимо сразу прописать на какие страницы и в какие папки поисковикам можно заглядывать, а куда запретить доступ, чтобы они не нашли того, чего не надо.