Блог Интеллигента SEO - оптимизацияНастройка robots txt и humans txt

Настройка robots txt и humans txt

23 Июня 2012
Posted in SEO - оптимизация

Вполне возможно что вы даже впервые слышите про существование этих файлов и не знаете для чего они нужны. Сегодня я расскажу зачем они нужны и как их правильно настроить. Файл robots txt находится в корне вашего сайта (если вы пользуетесь cms), исходя из названия можно понять, что он предназначен для поисковых роботов, а именно он предупреждает какие страницы и разделы вашего сайта вообще не индексировать. Поисковые роботы первым делом как раз смотрят на наличие этого файла (если его нет, то и запрета на индексацию нет), потом уже сканируют его.

Файл humans txt аналог robots txt, но опять же из названия понятно, что этот сайт для людей. Он служит для размещения информации о создателях сайта, это может пригодится, чтоб доказать авторство сайта. Впрочем его функция не так важна, да и он (насколько мне известно) воспринимается только поисковой системой Google.

Настройка robots txt

Настройка файла robots txt дело не хитрое, для этого нужно быть знакомым с его синтаксисом. Если вы не пользуетесь cms и у вас нет админки, то скорей вам не нужен этот файл, можете его не создавать, либо создать со следующим описание:

User-agent:*
Disallow:

User-agent - показывает для каких систем запрещать индексирования, если "*" то относится ко всем. Обозначение поисковых систем следующее:

Бот поисковой машины Яндекса – «Yandex»
Бот поисковой машины Рамблера – «StackRambler»
Бот поисковой машины Yahoo! – «Yahoo! Slurp»
Бот поисковой машины MSN – «msnbot»
Бот поисковой машины Google - «google bot»

Disallow - указывает какие директории на сайте не индексировать.

Sitemap - сюда нужно вписать ссылку на вашу карту сайта в XML, этот параметр показывает поисковому роботу где находится карта сайта и в дальнейшем посещении сайта запоминает путь и ускоряет индексацию сайта.

Вот приблизительно как эти атрибуты используются на письме (в примере сайта Skype.com)

User-agent: *
Disallow: /temp/
Disallow: /store/accessories/
Disallow: */downloading/
Disallow: /go/help.ticket.submit$
Sitemap: http://www.skype.com/sitemap.xml

Если вы хотите полностью запретить индексирование сайта, то вводим следующее:

User-agent:*
Disallow: /

Чтобы запретить индексировать один какой нибудь файл (proba.html), к примеру для поисковой системы Google то:

User-agent:google bot
Disallow: proba.html

Настройка humans txt

Как говорилось вначале файл humans txt используется для указания информации о разработчике сайта, поэтому мы будем указывать личные данные разработчика сайта. Для начала создания этого файла нужно добавить одну строку в главную страницу вашего сайта (index.html, index.php, template.php - по разному) между тегами <head> и </head>:

<code></code><link rel="author" href="/humans.txt" />

Далее требуется создать файл с именем "robots.txt" и следующем содержанием (шаблон заполнения предоставляется официальным сайтом):

/* TEAM */
Your title (роль в проекте): Ваше имя.
Site (Контакты): электронная почта, ссылка на форму обратной связи, т.д.
Twitter: твой ник на твитере (если имеется).
Location (Местоположение): Город, Страна.
 
[...]
 
/* THANKS */
Name (Имя): имя или адрес сайта
 
[...]
 
/* SITE */
Last update (Обновлено): YYYY/MM/DD
Standards (Стандарты): HTML5, CSS3,..
Components (Компоненты): Modernizr, jQuery, etc.
Software (Программное обеспечение): ПО использованное для разработки

canada drugs coupon code lowest price cialis
trusted online pharmacy reviews: http://www.taishanshuhua.cn/home.php?mod=space&uid=63495 cialis maximum dosage
otc cialis
how does viagra work: http://bbs.fzuky.com/space-uid-2355988.html
http://gaxy.nj310.com/home.php?mod=space&uid=107228
http://rus-zentrum.ru/information/forum/user/139787/
http://baijialuntan.net/home.php?mod=space&uid=1564576
http://monolit13.ru/user/JustWah/
http://x021.cc/space-uid-210691.html

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 02.01.2020 18:16

viagra canada cialis coupons 2019
california pharmacy http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 02.01.2020 20:34

expired cialis 3 years generic cialis
cialis in canada http://ciapwronline.com/#
cialis 5mg coupon: http://ciapwronline.com/# pharmacy canadian

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 02.01.2020 20:57

canadian drug stores
natural viagra
canadian world pharmacy
http://viapwronline.com/#
indian pharmacy
hims viagra kxckgatzvr: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 02.01.2020 21:28

usa pharmacy cheap cialis
legit online pharmacy http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 02.01.2020 22:23

viagra single packs generic viagra 100mg
safe alternatives to viagra and cialis http://canphpwronline.com/#
cialis price: http://canphpwronline.com/# cost of cialis 20mg tablets

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 03.01.2020 01:50

cost of viagra 100mg cheap viagra
women viagra http://viapwronline.com/#
viagra pill: http://viapwronline.com/# walgreens price for cialis 20mg

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 03.01.2020 02:09

canadian pharmacy viagra
otc viagra
mexican pharmacy online
http://viapwronline.com/#
canadian pharmacies online
levitra vs viagra szgahhnvms: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 03.01.2020 02:50

high blood pressure and cialis canada viagra
pharmacy rx http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 03.01.2020 03:22

female viagra viagra problem
levitra vs viagra http://viapwronline.com/#
viagra erection: http://viapwronline.com/# canadian compounding pharmacy

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 03.01.2020 05:16

hard erections cialis cialis ingredient
otc cialis http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 03.01.2020 07:04

canadian pharmacy world legitimate cialis by mail
generic viagra without subscription walmart http://ciapwronline.com/#
canadien cialis: http://ciapwronline.com/# average price cialis

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 03.01.2020 07:21

viagra samples from pfizer
levitra vs viagra
cheapest cialis
http://canphpwronline.com/#
viagra coupons from pfizer
lowest cialis prices bistwlbnepv: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 03.01.2020 08:08

lowest cialis prices cialis 20 image
viagra or cialis http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 03.01.2020 08:23

generic cialis tadalafil generic viagra prices
canadian pharmacy levitra http://canphpwronline.com/#
buy cialis online canadian: http://canphpwronline.com/# cheap cialis

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 03.01.2020 10:14

cialis vs levitra cost of cialis 20mg tablets
is generic cialis safe http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 03.01.2020 12:16

prices of cialis cialis cost
viagra dosage http://ciapwronline.com/#
safe alternatives to viagra and cialis: http://ciapwronline.com/# hard erections cialis

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 03.01.2020 13:23

cialis online pharmacy does cialis lower blood pressure
generic cialis without prescription http://ciapwronline.com/#
cialis or viagra: http://ciapwronline.com/# certified canadian pharmacy

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 03.01.2020 13:36

canadian pharmacy online cialis viagra alternatives
canadian discount pharmacy http://viapwronline.com#

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 03.01.2020 15:16

how much does cialis cost at walmart where to get cialis sample
warnings for cialis http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 03.01.2020 17:34

viagra for men cialis vs levitra
generic viagra india 100mg http://ciapwronline.com/#
side effects of cialis: http://ciapwronline.com/# legit canadian pharmacy online

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 03.01.2020 17:41

viagra vs cialis
indian pharmacy
how to take viagra for maximum effect
http://canphpwronline.com/#
generic viagra without subscription
canadian pharmacy levitra value pack deebooskyyf: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Ashleybedly 03.01.2020 18:02

liquid cialis otc cialis
viagra alternatives: http://bbs.lefant.com.cn/home.php?mod=space&uid=59985 cialis canadian pharmacy
pharmacy online
best canadian online pharmacy reviews: http://europahot.com/author/justmus/
http://itshecto.com/home.php?mod=space&uid=65813
http://iawbs.com/home.php?mod=space&uid=294229
http://amm888.com/home.php?mod=space&uid=191828
http://fm527100.com/BBS/home.php?mod=space&uid=38969
http://www.hyphoto.net/space-uid-568941.html

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 03.01.2020 18:18

5 mg cialis coupon printable certified canadian pharmacy
canadian pharmacy sarasota http://canphpwronline.com/#
30 day cialis trial offer: http://canphpwronline.com/# vipps approved canadian online pharmacy

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 03.01.2020 18:59

cheap viagra canadian pharmacy cialis money order
cialis dosages http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 03.01.2020 20:41

cialis coupons printable cialis 200mg
viagra problem http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 03.01.2020 22:58

otc cialis
how long does viagra last
best online pharmacy
http://canphpwronline.com/#
canadian pharmacy prices
canadian pharmacy cheap slmokpdubkt: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 03.01.2020 23:22

cost of viagra 100mg viagra vs cialis vs levitra
levitra vs viagra http://viapwronline.com/#
viagra without a doctor prescription walmart: http://viapwronline.com/# how does cialis work

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 04.01.2020 00:23

30ml liquid cialis cialis tolerance
canadian family pharmacy http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 04.01.2020 02:04

how long does it take cialis to take effect high blood pressure and cialis
viagra samples http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 04.01.2020 04:04

cialis dosage 40 mg dangerous
online canadian pharmacy review
how long for viagra to take effect
http://canphpwronline.com/#
canadian king pharmacy
24 hour pharmacy mmekufnryzt: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 04.01.2020 04:29

trial samples of viagra viagra for women
viagra help http://viapwronline.com/#
how long does viagra last: http://viapwronline.com/# samples of cialis

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 04.01.2020 05:51

online viagra buy viagra online
indian pharmacy http://viapwronline.com#

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 04.01.2020 07:31

what is cialis canadian pharmacy
canadian discount pharmacy http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 04.01.2020 09:06

female viagra
how to take viagra for maximum effect
adderall canadian pharmacy
http://viapwronline.com/#
cialis or viagra
how long does it take for viagra to work zlydtjsybx: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 04.01.2020 09:13

what does viagra do fda warning list cialis
high blood pressure and cialis http://ciapwronline.com/#
30ml liquid cialis: http://ciapwronline.com/# pharmacy open near me

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 04.01.2020 09:32

generic viagra without subscription walmart how long for viagra to take effect
viagra coupons 75% off http://viapwronline.com/#
how long for viagra to take effect: http://viapwronline.com/# cialis coupon code

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 04.01.2020 14:10

canada drugs online
cialis vs viagra
canadian pharmacy generic levitra
http://viapwronline.com/#
canadian drugs pharmacy
viagra generic availability misjuctalr: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 04.01.2020 14:28

free viagra cost of cialis 20mg tablets
levitra vs viagra http://ciapwronline.com/#
30 day cialis trial offer: http://ciapwronline.com/# my canadian pharmacy review

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 04.01.2020 16:10

viagra price cialis coupons
viagra for women http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 04.01.2020 18:16

canadian cialis pharmacy discount card
when will generic viagra be available http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 04.01.2020 18:54

how to get cialis samples
best canadian online pharmacy
viagra online
http://canphpwronline.com/#
viagra or cialis
canadian pharmacy meds review licxrkiatgv: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 04.01.2020 19:14

what does viagra do viagra without doctor prescription
generic viagra 100mg http://viapwronline.com/#
viagra dosage: http://viapwronline.com/# hims viagra

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 04.01.2020 19:34

cost of cialis 20mg tablets best liquid cialis
legitimate cialis by mail http://ciapwronline.com/#
does cialis lower blood pressure: http://ciapwronline.com/# 100 mg viagra lowest price

Ответить | Ответить с цитатой | Цитировать

# Ashleybedly 04.01.2020 20:10

viagra pills canadian viagra cialis
generic cialis no doctor's prescription: http://www.aiai2015.com/home.php?mod=space&uid=2542 real cialis without a doctor prescription
tadalafil vs cialis
pharmacy online: http://web.0951web.net/91out/home.php?mod=space&uid=709648
http://www.peugeot-207-club.ru/forum/member.php?u=288141
http://www.luyifang.cn/space-uid-9046.html
http://52jieqi.com/home.php?mod=space&uid=111765
http://lazienkiportal.pl/forum/member.php?action=profile&uid=260039
http://www.hongfengzhineng.com/home.php?mod=space&uid=293249

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 04.01.2020 21:16

canadian pharmacy for viagra lowest price cialis
canadian pharmacy meds http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Robertbrafe 04.01.2020 21:33

viagra online canadian pharmacy
viagra for men
what is cialis used for
http://canphpwronline.com/#
my canadian pharmacy
legitimate canadian pharmacy online pszhqyhxfjz: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 04.01.2020 23:28

cheapest cialis
best canadian pharmacy to buy from
cialis pills
http://canphpwronline.com/#
cialis free trial
tops pharmacy fketoszwoba: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 04.01.2020 23:50

generic cialis at walmart cost of viagra 100mg walmart
canadian pharmacy cialis reviews http://viapwronline.com#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 04.01.2020 23:57

warnings for cialis viagra prescriptions over internet
viagra coupons http://canphpwronline.com/#
generic cialis without prescription: http://canphpwronline.com/# buy viagra

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 05.01.2020 00:59

india pharmacy viagra canadian pharmacy
viagra vs cialis http://canphpwronline.com/#
when will viagra become generic: http://canphpwronline.com/# cost of cialis 20mg tablets

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 05.01.2020 03:00

cialis patent expiration viagra coupons from pfizer
tops pharmacy http://viapwronline.com#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 05.01.2020 05:28

cialis tolerance
best price 100mg generic viagra
natural viagra alternatives that work
http://viapwronline.com/#
high blood pressure and cialis
when to take viagra hcktxitovb: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 05.01.2020 05:34

cost of cialis 20mg tablets fastest delivery of cialis buying online
canadian pharmacy victoza http://ciapwronline.com/#
cialis lowest price 20mg: http://ciapwronline.com/# cialis 5mg coupon

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 05.01.2020 06:02

viagra prices sildenafil vs viagra
how long does it take cialis to take effect http://canphpwronline.com/#
canadian pharmacy discount code: http://canphpwronline.com/# viagra generic availability

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 05.01.2020 06:33

generic cialis black 800mg discount pharmacy card
does cialis make you bigger http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 05.01.2020 09:35

generic viagra online canadian pharmacy viagra price
how to take viagra for maximum effect http://viapwronline.com#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 05.01.2020 10:01

my canadian pharmacy review cialis erections
canadian pharmacy scam http://canphpwronline.com/#
viagra without doctor prescription: http://canphpwronline.com/# canadian pharmacy victoza

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 05.01.2020 10:25

legitimate canadian pharmacy
liquid cialis
canadian pharmacy online cialis
http://ciapwronline.com/#
buy viagra
herbal replacement for viagra/cialis/levitra... icrhhgfmtxr: http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Stevenswock 05.01.2020 11:03

pharmacy online cialis ingredient
canadian pharmacy cheap http://ciapwronline.com/#
switching from tamsulosin to cialis: http://ciapwronline.com/# canadian pharmacy world

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 05.01.2020 12:28

cialis in canada canadian pharmacy
cialis vs viagra http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Robertbrafe 05.01.2020 13:46

viagra for sale
women viagra
price of cialis
http://viapwronline.com/#
pharmacy near me
viagra help iuomeanrrl: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 05.01.2020 14:17

free viagra
viagra cost
77 canadian pharmacy
http://viapwronline.com/#
cialis price
cheap viagra uxessfvvfo: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 05.01.2020 14:44

hims viagra free cialis
women viagra http://canphpwronline.com/#
canadian pharmacy viagra reviews: http://canphpwronline.com/# canadian pharmacy sarasota

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 05.01.2020 14:45

best canadian pharmacy for viagra cialis vs levitra
canadian pharmacy coupon http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 05.01.2020 17:54

canada drugs
viagra 100mg
viagra cost per pill
http://viapwronline.com/#
low cost cialis
female viagra pills qnowcyibci: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 05.01.2020 19:21

buying drugs from canada cialis at a discount price
viagra prescriptions over internet http://ciapwronline.com/#
generic cialis bitcoin: http://ciapwronline.com/# levitra vs viagra

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 05.01.2020 20:05

viagra prices generic cialis without prescription
viagra help http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 05.01.2020 21:30

best rated canadian pharmacy
how much does viagra cost
trusted online pharmacy reviews
http://canphpwronline.com/#
cheapest viagra
mexican pharmacy zihbzfcznez: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Ashleybedly 05.01.2020 23:46

mail order prescription drugs from canada generic viagra without subscription
cheap viagra online canadian pharmacy: http://100ssc.cc/space-uid-18051.html viagra dosage
cialis discount card
women viagra: http://pokrovka-info.ru/board/boardtools.php?event=profile&pname=JustJoymn
http://forum.avtomaty.ru/memberlist.php?mode=viewprofile&u=8554
http://rus-inter.com/forum/user/305650/
http://iawbs.com/home.php?mod=space&uid=294229
http://yymoli.cn/home.php?mod=space&uid=238285
http://028smm.com/home.php?mod=space&uid=59645

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 05.01.2020 23:55

how long does 20mg cialis keep in system viagra cost per pill
what is cialis http://canphpwronline.com/#
generic cialis at walgreens pharmacy: http://canphpwronline.com/# canadian pharmacy near me

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 06.01.2020 00:23

cialis vs viagra pfizer generic viagra
real viagra without a doctor prescription http://viapwronline.com#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 06.01.2020 01:05

viagra cost
cheapest viagra
viagra single packs
http://viapwronline.com/#
real canadian pharmacy
viagra 100mg kgtiurjcwe: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 06.01.2020 01:21

sildenafil 20 mg vs viagra family pharmacy
buy viagra cialis http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# WilliamIdiof 06.01.2020 04:32

chrissy teigen legend viagra viagra erection
viagra single packs http://viapwronline.com/#
100 mg viagra lowest price: http://viapwronline.com/# how long for viagra to take effect

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 06.01.2020 04:39

prescription drugs from canada
viagra coupon
cialis without a doctor prescription
http://viapwronline.com/#
legit online pharmacy
viagra problem fytvsghmhg: http://viapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# ThomasWEW 06.01.2020 06:03

best canadian pharmacy otc viagra
canada pharmacy reviews http://viapwronline.com#

Ответить | Ответить с цитатой | Цитировать

# Robertbrafe 06.01.2020 06:23

cialis discount card
canadian pharmacy ratings
viagra prices
http://canphpwronline.com/#
canadian pharmacy scam
canada pharmacy online mvrtfwxtqcp: http://canphpwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Jerrypaw 06.01.2020 06:40

generic viagra prices buy cialis online
viagra for women http://ciapwronline.com/#

Ответить | Ответить с цитатой | Цитировать

# Michaelmug 06.01.2020 08:07

Настройка robots txt и humans txt

Настройка robots txt

Настройка humans txt

Комментарии