Коротко о файле robots.txt

При заходе на сайт поисковый робот обращается к файлу «robots.txt» и следует его инструкции. Для управления поисковыми роботами, приходящими за очередным обновлением, веб мастера используют файл «robots.txt» В файле «robots.txt» указываются инструкции, а именно те директории сайта, которые поисковый робот не должен индексировать или наоборот.

Файл «robots.txt» имеет основные директивы :

User-agent:
Allow:
Disallow:
Host:
Sitemap:

Рассмотрим что означают эти директивы и как с помощью них можно управлять поисковыми роботами.

Директива User-agent

«User-agent» указывает, для какого именно поискового робота составлена инструкция. Обычно инструкция указывается для всех роботов, для этого используется знак *(звездочка). Если необходимо создать инструкцию для нескольких поисковых робот, то в файле «robots.txt» указываются дополнительные директивы «User-agent». Важно что инструкции составляются поочередно, сначала для одного поискового робота, потом для другого!

Примеры написания строки «User-agent»

User-agent: * → инструкция предназначена для всех поисковых роботов;

User-agent: Yandex → инструкция предназначена для поискового робота Яндекс;

User-agent: Googlebot → инструкция предназначена для поискового робота Google.

Директива Allow

«Allow» указывает, какие директории сайта можно индексировать. Сюда можно внести директории с загруженными картинками.

Пример написания строки «Allow»

Allow: /wp-content/uploads → разрешается индексировать папку «uploads»
Allow: /wp-content/gallery → разрешается индексировать папку «gallery»

Директива Disallow

«Disallow» указывает на те директории сайта, которые нужно исключить из индексации. К таким директориям относятся не информационные части сайта – это страницы регистрации и авторизации, формы административной части и статистики, формы поиска на сайте и т.д.

Пример написания строки «Disallow»

Disallow: /wp-register.php → запрещается индексировать форму регистрации на сайте;
Disallow: /wp-login.php → запрещается индексировать форму авторизации на сайте;
Disallow: /wp-admin/ → запрещается индексировать административную часть сайта.

Директива Host

«Host» указывает на основной домен сайта. Обычно имеет вид с «www» или без него.

Пример написания строки «Host»

Host: example.ru → указывает на основной домен сайта.

Директива Sitemap

«Sitemap» указывает на составленную карту сайта и её место расположение. В директиве «Sitemap» прописывается полный путь.

Пример написания строки «Sitemap»

Sitemap: http://example.ru/sitemap.xml → полный путь к карте сайта.

Создать файл «robots.txt» можно в обычном блокноте, сохранив его в формате .txt (текстовый файл). После создания, загрузите свой файл «robots.txt» в корневой каталог сайта, чтоб он стал доступен по адресу «http://example.ru/robots.txt»