Все поисковики «Yandex» «Google» и тд при заходе на сайт в первую очередь читают файл robots.txt. Если вы webmaster, вы должны знать назначение и синтаксис robots.txt. Файл robots.txt — это файл, находящийся в корневой директории сайта, в нём записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые папки, разделы или страницы на сайте, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и тому подобное.

(далее…)