Файл Robots.txt — разбираю подробности создания

Вот и еще одну ошибку я допустил при создании блога, я не уделил внимание созданию такого файла, как robots.txt. Для начала — что он делает? Он запрещает или разрешает индексировать файлы или целые каталоги файлов, которые размещены на сервере моего хостера. Для кого это файл предназначен? Этот файл состоит из инструкций для поисковых роботов, как для всех скопом, так и для отдельных их видов. Ведь только у распоряжении Яндекса их будет не меньше 10 штук.

Когда эти роботы приходят для индексации сайта, они ищут для себя инструкции, которые и прописаны в этом файле. Когда нужно создавать этот файл robots.txt? Сразу же после создания блога и его установки на сервер. Во время написания этой заметки я попытаюсь создать файлы robots.txt для wordpress и robots.txt для joomla

Я долго не мог приступить к написанию этой статьи, потому что я не мог понять некоторые нюансы создания файла robots.txt. Казалось бы, создал обыкновенный документ, назвал загадочно Robots, и написал пару строк, закинул на хост.

Но по мене сбора информации у меня уже начала пухнуть голова, именно в нюансах дело. Нужно учитывать некоторые вещи, чтобы и сайту не повредить, и блогом остались довольны. Для начала установим так, раз этот документ общается с роботами  поисковых систем, и указывает на то, какие именно файлы, каталоги индексировать или не индексировать, то было бы разумно написать два Robots.txt. Первый документ будет касаться файлов CMS WordPress, второй — CMS Joomla.

Первый файл для CMS WordPress.

Для создания файла нужно установить все каталоги этой CMS, а после установки я переписываю их. Это я делаю с целью обобщить знания о каталогах и файлах этого движка, а затем разобраться и о том, как создавать этот robots.txt для wordpress:

А теперь я должен создать новый документ и назвать его robots.txt. Открываю с помощью блокнота и создаю данный документ.

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/uploads/
Disallow: /wp-content/themes/
Disallow: /tag/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-register.php
Sitemap: http://seomans.ru/sitemap.xml.gz
Sitemap: http://seomans.ru/sitemap.xml
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/uploads/
Disallow: /wp-content/themes/
Disallow: /tag/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-register.php
Host: seomans.ru
Sitemap: http://seomans.ru/sitemap.xml.gz
Sitemap: http://seomans.ru/sitemap.xml

А теперь немного по тексту мною созданного документа robots.txt для wordpress.

User-agent: * — это строка, которая говорит, что всех поисковиков касаются инструкции, которые написаны ниже, я не буду ограничивать никого из поисковиков. User-agent: Yandex — блок инструкций, что касаются только поисковика Яндекс

Allow: /wp-content/uploads/ — в эту папку Вордпресс складывает все загруженные и размещенные картинки в статьях и страницах моего созданного блога. Так как мои картинки представляют собой в основном скрины моей работы, стоит их индексировать, тем более они имеют названия более или менее, но подходящие под тему моего блога.

Если на блоге используют только скачанные в интернете картинки, стоит их назвать по другому, изменить их размер.

Все что размещается в других подкаталогах каталога wp-content — следует запретить от индексации, так как в ней размещены темы оформления блога, плагины, кеш страниц, в принципе, это не нужно показывать поисковику абсолютно. В ней находятся файлы, которые могут еще быть в тысячах других блогах, они связаны с обслуживанием блога.

Disallow: /wp-admin/ — запрет индексирования папки с файлами, которые обеспечивают административную панель в блоге.

Disallow: /wp-includes/ — запрет индексирования каталога с файлами, которые размещены в  wp-includes. Это рабочие файлы CMS WordPress, ничего нового для поисковика не представляют, а для потребители вообще никакого интереса не имеют.

Disallow: /wp-content/plugins/, Disallow: /wp-content/cache/, Disallow: /wp-content/themes/ – я запрещаю для индексации все папки и файлы в них, которые содержат плагины, которые установлены в моем блоге, папка cache – я запрещаю к индексации файлы, которые создает плагин кэширования, это дубли открытых страниц моего блога, но я даже не знаю, вроде в формате .HTML. Я не желаю, чтобы эти файлы попадали в индекс поисковиков, так как они времены и создаются на притяжении определенного времени и уничтожаются. Зачем мне его индексировать.

Disallow: /wp-login.php — запрещаю индексировать страницу, по которой я захожу в админку, думаю, не стоит рассказывать почему.

Disallow: /wp-register.php — запрещаю индексировать страницу регистрации на блоге, я ее не использую вообще.

Disallow: /trackback/  и Disallow: */trackback/ — запрещаю индексировать страницы, которые отвечают за трекбеки, вообще не пользуюсь этим делом, и не сильно понимаю что это такое.

Disallow: /feed/, Disallow: */feed/, Disallow: /?feed= — запрещаю индексировать страницы, которые связаны с работой с фидами движка Вордпресс, если честно не очень понял написание этих строк, но понял зачем — все равно фид, это тоже что и заметки, только без применения свойств офрмления темы.

Disallow: /?s= , Disallow: /*?* , Disallow: /*? — запрещаю индексацию результатов поиска, понятно почему.

Disallow: /tag/ — запрет индексации меток на моем блоге, потому что они содержат 100% -ные копии заметок.

Disallow: /xmlrpc.php — запрещаем индексацию файла xmlrpc.php, который отвечает за вызов удаленных процедур в WP.

Sitemap: http://seomans.ru/sitemap.xml, http://seomans.ru/sitemap.xml.gz — строка, которая указывает где размещена карта блога, вернее говорит, что она существует на этом блоге(карта сайта создается с помощью специального плагина )

Host: seomans.ru — это строка говорит, что это мой основной домен, на ней размещена моя главная, оригинальная, сладкая, потом добытая информация. Вся другая подобная инфа той, что на этом домене, является зеркалом.

Некоторые операторы были нещадно скопированы с других блогов, которые базируются на CMS WordPress. Пока я поставлю этот Robots.txt в корневую папку моего блога. Когда  найду больше информации о роли не включенных файлов в в роботс, я обязательно добавлю записи и напишу продолжение моей заметки.

Второй файл для  CMS Joomla.

Для создания файла нужно установить все каталоги этой CMS, а после установки я переписываю их:

Для сайта acvafish.ru я попробую также создать файл robots.txt.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /LICENSE.php
Disallow: /LICENSES.php
Host: acvafish.ru
Sitemap: http://acvafish.ru/sitemap.xml

Вроде все по созданию и редактированию файла robots.txt. Хочу правда попросить, если кто имеет какие-то поправки к этой заметке, писать их в комментариях. Может где неточность я допустил, ошибку выловите.

З.Ы. Напоследок напишу пару слов о расшифровке директив файла:

User-agent: *  — вместо звездочки указывается название поискового робота. Если указывается конкретное название, то прописывается ему инструкция от директивы до следующей директивы User-agent:. В ней уже прописываются указания следующему роботу. Обычно ставят *, тем самым все условия должны выполнять все роботы всех поисковых систем. Почему так делается? Чтобы не нагромождать условия, ведь они одни и теже, а вот я выбрал я перечисления поисковых роботов. И попробуй имм всем условия то написать.

Disallow: запрет индексирования. После : указывают что запрещают индексировать. Если стоит Disallow: / - весь сайт, если Disallow: /administrator/ - то каталог, который называется administrator, если Disallow: /LICENSE.php - только вот этот файл.

Аllow: — директива разрешения индексировать роботом созданный блог, каталог с файлами, или файл. Есть один нюанс, можно запретить индексировать все каталоги и подкаталоги сайта(например, administrator). Но рядом написать директиву Allow: /administrator/language/ -  и вот уже только этот каталог и файлы, что в ней будут индексироваться.

Директива Sitemap: — указывает путь к карте сайта или блога, очень важно для верной индексации ресурса.

Директива Host: — указывает на основной домен моего сайта, все остальные домены с подобным блогом или сайтом считать зеркалом.