SEO - оптимизация
23 Июня 2012
Posted in
SEO - оптимизация
Вполне возможно что вы даже впервые слышите про существование этих файлов и не знаете для чего они нужны. Сегодня я расскажу зачем они нужны и как их правильно настроить. Файл robots txt находится в корне вашего сайта (если вы пользуетесь cms), исходя из названия можно понять, что он предназначен для поисковых роботов, а именно он предупреждает какие страницы и разделы вашего сайта вообще не индексировать. Поисковые роботы первым делом как раз смотрят на наличие этого файла (если его нет, то и запрета на индексацию нет), потом уже сканируют его.