Все поисковики «Yandex» «Google» и тд при заходе на сайт в первую очередь читают файл robots.txt. Если вы webmaster, вы должны знать назначение и синтаксис robots.txt. Файл robots.txt — это файл, находящийся в корневой директории сайта, в нём записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые папки, разделы или страницы на сайте, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и тому подобное.

В этой статье мы обсудим как должен быть составлен robots.txt для WordPress.

Начнем с того, что вообще представляет из себя данный файл. Это текстовый файл, который легко можно создать в Блокноте. Имя его, как вы догадались (: robots.txt. Пишется он только мелкими строчными буквами на латинице. Robots.txt или ROBOTS.txt — не верно. Роботы будут игнорировать такой файл.

Функции robots.txt

User-agent — имя робота. У каждого бота есть такое уникальное имя (User-agent: Yandex).
Disallow — после этой директивы мы и должны указать файл или папку, к которой запрещаем доступ относительно корня вашего сайта. Разрешается указывать только одну папку или имя файла
(Disallow: /admin).

Создадим файл robots.txt и поместим в него следующий код:

 

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.ваш домен.pro

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://www.ваш домен.pro/sitemap.xml

 

Этими строчками мы запретили роботам индексировать системные папки (wp-admin, wp-includes, wp-content), страницы с информацией по тегам, rss feed, поисковые результаты. Но, указали точный путь до папки с мультимедиа файлами и карты сайта. Вот и все. Файл готов. Если же вы хотите узнать больше информации о файле robots.txt, то обязательно посетите ресурс robotstxt.org.ru

 

Видео

ВАЗ 2107 против Мазерати

Буду очень благодарен если поделитесь этой статьёй:

0