Правильный robots.txt для wordpress

Рубрика: CMS системы, WordPress

Это один из самых важны этапов для оптимизации wordpress это правильно настроенный файл robots.txt, иначе поисковики на сканируют лишнего, и станет очень много дублей страниц

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author
Disallow: /page
Disallow: */trackback
Disallow: */comments
Disallow: */feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Disallow: /archive
Disallow: /2010
Disallow: /2011
Disallow: /2012
Disallow: /search
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author
Disallow: /page
Disallow: */trackback
Disallow: */comments
Disallow: */feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Disallow: /archive
Disallow: /2010
Disallow: /2011
Disallow: /2012
Disallow: /search
Disallow: /xmlrpc.php

Host: bortvlad.ru

Sitemap: http://bortvlad.ru/sitemap.xml

Можно было закрыть еще теги и категории это /category/ а теги я и не использую /tag/ а /page/ в некоторых случаях лучше не закрывать, например в тех когда вы используете постраничный вывод списков или какой нибудь плагин постраничной навигации.

Также можно воспользоваться плагином упомянутым выше "All in One SEO Pack" и в его настройках задать какие разделы закрыть от поисковиков

Теги: seo wordpress

комментария 2

комментария 2 для записи Правильный robots.txt для wordpress

1. Блондинка:

   29.02.2012 в 14:16

   А как стать журналистом чтоб размещать свои статьи а лучше видео с ютуба

2. Juan:

   01.03.2012 в 23:26

   Большое спасибо — ваш ответ решил все мои проблемы после нескольких дней борьбы