Правда о Robots.txt: как его настроить

что такое robots txt и зачем он нужен

Речь напрямую пойдёт о Robots.txt: только ленивому еще не известно, что поисковики в последнее время очень придирчивы к интернет страницам, сайтам.

Они будто беременные женщины, выбирают какой контент, какие страницы вашего сайта скушать, а какие нет. Именно поэтому, владельцы сайтов или блогов, как мужья этих женщин пытаемся угодить им, заботимся о будущем ребенка уже тогда, когда еще ребенок не родился. И подобно тому, что употребляет женщина будущи беременной, зависит насколько крепким и здоровым будет наш будущий ребенок, в нашем случае это сайт.

Я этим хочу сказать, что о проекте, надо заботится еще до того пока он не вырос, потом изменить что-либо будет очень трудно, а порой и невозможно. Итак, покончив с философией, перейдем непосредственно к теме поста — что такое Robots.txt и как ее правильно настроить.

Robots.txt – это простой текстовой файл в формате .txt , который располагается в корне сайта и предназначен он для роботов ПС (поисковых систем). Именно в Robots.txt сайтовледелец, т.е вы можете установить параметры индексирования своего сайта/блога. В этом файле, вебмастер может устанавливать свои параметры индексация для  каждой ПС или для всех один.

Как создать Robots.txt и каким он должен быть

Самое главное файл должен быть в формате .txt, иначе роботы поисковых систем его попросту не увидят. Воспользовавшись любым текстовым редактором создаем файл с названием Robots.txt и заполняем его в соответствии с тем, что по вашему мнению должно и не должно индексироваться.

Скажу только то, что в  настраивая правильно Robots.txt не забудьте указать там карту сайта .xml и приоритет домена. Вот например как настроен мой Robots.txt:

http://putintsev.pro/robots.txt

Убраны все ненужные разделы, тем самым очищая выдачу своего блога в ПС и избавляясь от ненужного повтора в контенте.

Я сразу закрыл индексацию для категорий, различных архивов, тэгов , так как это создаёт слишком много дублей.

Disallow: /archives
Dosallow: /author
Disallow: /category
Disallow: /tags
Disallow: /2013
Disallow: /2014

Важное замечание по Robots для Яндекса:

Чтобы правила вступили в силу и Яндекс стал их учитывать, то перед набором правил поставьте такое (или посмотрите как я составил свои правила):


User-agent: Yandex

Будут вопросы задавайте их в комментариях, отвечу обязательно.

Понравилась статья? Поделить с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: