Настройка robots txt и humans txt

23 Июня 2012

Вполне возможно что вы даже впервые слышите про существование этих файлов и не знаете для чего они нужны. Сегодня я расскажу зачем они нужны и как их правильно настроить. Файл robots txt находится в корне вашего сайта (если вы пользуетесь cms), исходя из названия можно понять, что он предназначен для поисковых роботов, а именно он предупреждает какие страницы и разделы вашего сайта вообще не индексировать. Поисковые роботы первым делом как раз смотрят на наличие этого файла (если его нет, то и запрета на индексацию нет), потом уже сканируют его.

Файл humans txt аналог robots txt, но опять же из названия понятно, что этот сайт для людей. Он служит для размещения информации о создателях сайта, это может пригодится, чтоб доказать авторство сайта. Впрочем его функция не так важна, да и он (насколько мне известно) воспринимается только поисковой системой Google.

Настройка robots txt

Настройка файла robots txt дело не хитрое, для этого нужно быть знакомым с его синтаксисом. Если вы не пользуетесь cms и у вас нет админки, то скорей вам не нужен этот файл, можете его не создавать, либо создать со следующим описание:

User-agent:*
Disallow:

User-agent - показывает для каких систем запрещать индексирования, если "*" то относится ко всем. Обозначение поисковых систем следующее:

  • Бот поисковой машины Яндекса – «Yandex»
  • Бот поисковой машины Рамблера – «StackRambler»
  • Бот поисковой машины Yahoo! – «Yahoo! Slurp»
  • Бот поисковой машины MSN – «msnbot»
  • Бот поисковой машины Google - «google bot»

Disallow - указывает какие директории на сайте не индексировать.

Sitemap - сюда нужно вписать ссылку на вашу карту сайта в XML, этот параметр показывает поисковому роботу где находится карта сайта и в дальнейшем посещении сайта запоминает путь и ускоряет индексацию сайта.

Вот приблизительно как эти атрибуты используются на письме (в примере сайта Skype.com)

User-agent: *
Disallow: /temp/
Disallow: /store/accessories/
Disallow: */downloading/
Disallow: /go/help.ticket.submit$
Sitemap: http://www.skype.com/sitemap.xml

Если вы хотите полностью запретить индексирование сайта, то вводим следующее:

User-agent:*
Disallow: /

Чтобы запретить индексировать один какой нибудь файл (proba.html), к примеру для поисковой системы Google то:

User-agent:google bot
Disallow: proba.html

Настройка humans txt

Как говорилось вначале файл humans txt используется для указания информации о разработчике сайта, поэтому мы будем указывать личные данные разработчика сайта. Для начала создания этого файла нужно добавить одну строку в главную страницу вашего сайта (index.html, index.php, template.php - по разному) между тегами <head> и </head>:

<code></code><link rel="author" href="/humans.txt" />

Далее требуется создать файл с именем "robots.txt" и следующем содержанием (шаблон заполнения предоставляется официальным сайтом):

/* TEAM */
Your title (роль в проекте): Ваше имя.
Site (Контакты): электронная почта, ссылка на форму обратной связи, т.д.
Twitter: твой ник на твитере (если имеется).
Location (Местоположение): Город, Страна.
 
[...]
 
/* THANKS */
Name (Имя): имя или адрес сайта
 
[...]
 
/* SITE */
Last update (Обновлено): YYYY/MM/DD
Standards (Стандарты): HTML5, CSS3,..
Components (Компоненты): Modernizr, jQuery, etc.
Software (Программное обеспечение): ПО использованное для разработки

 

Комментарии  

 
+1 # марат 24.06.2012 09:18
про файл humans к сврему стыду впервые слушу(((а профайл robots.txt по моему все знают да только настроивают криво
Ответить | Ответить с цитатой | Цитировать
 
 
+1 # Intelligent 24.06.2012 10:41
ИМХО нечего постыдного не вижу в этом сам относительно недавно узнал про существование humans txt :lol:
Ответить | Ответить с цитатой | Цитировать
 
 
+1 # марат 24.06.2012 11:20
и как резальтаты от humans.txt есть
Ответить | Ответить с цитатой | Цитировать
 
 
+1 # Intelligent 24.06.2012 11:24
Я не ставил его, не нуждаюсь в нём
Ответить | Ответить с цитатой | Цитировать
 
 
+1 # марат 24.06.2012 11:29
а смысл тогда от него?)))
Ответить | Ответить с цитатой | Цитировать
 
 
+1 # Intelligent 25.06.2012 04:31
Перечитайте статью там указывается зачем он, более подробную информацию можно получить на офф. сайте
Ответить | Ответить с цитатой | Цитировать
 

Добавить комментарий


Защитный код
Обновить

Самые комментируемые материалы

Последние комментарии

  • I don't even know how I ended up here, but I thought this post was good. I do not know who... Подробнее...
  • In fact no matter if someone doesn't know then its up to other users that they will help, ... Подробнее...
  • Amazing things here. I am very glad to look your article. Thanks so much and I'm taking a ... Подробнее...
  • Wow that was odd. I just wrote an really long comment but after I clicked submit my commen... Подробнее...
  • If concentration level is increased, lifestyle is improved. My website :: brain plus iq gu... Подробнее...