Файл Robots.txt
Все оптимизаторы знают, что роботы ПС при посещении сайта первым делом пытаются найти файл robots.txt, который представляет собой уникальный текстовый файл, содержащий информацию для роботов. Хотелось бы отметить, что стандартно рассматриваемый файл принято размещать непосредственно в корне сайта. А вот если по каким-то причинам robots.txt будет некорректно заполнен или вовсе пуст, то сайт может быть неправильно проиндексирован и план раскрутки будет не коректен.
Не забывайте закрывать в файле robots.txt все страницы от индексирование роботом вашего сайта пока он находится на этапе создание и разработки. Оператором Disallow: /.
В данном текстовом файле вебмастеры могут закрыть от индексации технические страницы и разделы сайта, которые не имеют никакой ценности для посетителей. В robots.txt можно указать роботам на правильное “зеркалирование”. Также у вебмастеров есть возможность задавать специальный временной интервал, соблюдая который роботы будут посещать ресурс и индексировать его содержимое.
Неверное заполнение robots.txt позволит роботам ПС свободно перемещаться в пределах сайта и сканировать документы, появление которых в поисковый выдаче может негативно повлиять на ранжирование сайта в целом. По этой причине прежде чем создавать robost.txt, следует ознакомиться с правилами его заполнения и определить, какие разделы сайта лучше закрыть от индексации.
2015-01-02