Правильный robots.txt

Зачем нужен robots.txt?

1. Для запрета индексации служебных директорий.
2. Для определения главного зеркала сайта (с www или без).
3. Для запрета к индексации дубоированных страниц.

О синтаксисе robots.txt

Подробно в особенности работы с robots.txt вдаваться не буду, об этом вы можете прочитать на специализированном сайте (ссылка внизу поста). Сейчас просто кратко опишу основные моменты.

  • Между директивами User-agent и Disallow(Allow и прочими) не должно быть пустых строк. Пустая строка означает конец блока описания правил для указанного выше робота.
  • Директива Allow, не смотря на то что ее нет в стандарте существует, поддерживается Yandex и Google. Поэтому при желание ее можно применять.
  • Символы подстановки (* — последовательность любых символов и $ — конец строки) также отсутствует в стандарте, но поддерживаются Yandex и Google. Смело применяем.
  • Директива Host поддерживается только Яндексом. При этом она не указывает, какое доменное имя считать основным, как считают многие. Эта директива говорит роботу Яндекса какое из двух зеркал сайта главное. То есть пока робот не посчитал сайт с www и без www зеркалами эта директива работать не будет. Идти должна в конце блока после директивы Disallow (Allow).
  • Директива “Disallow: ” значит то же самое что «Allow: /» и наоборот.

User-agent: *

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php

Disallow: /*?*
Disallow: /*?

Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

Disallow: /?s=
Disallow: /search/

Disallow: /page/
Disallow: /tag/
Disallow: /category/
Host: domen.ru

User-agent: Yandex
Crawl-delay: 5

Sitemap: http://ваш сайт.ru/sitemap.xml

User-agent: MSNBot
Crawl-delay: 120
Disallow: /

User-agent: Slurp
Crawl-delay: 120
Disallow: /

# Поиск Яндекса по блогам
User-agent: YandexBlog
Disallow:

Популярность статьи: 3%

Самые комментируемые записи