Получил отчет «Исключенные страницы» в панели Вебмастер Яндекс

Зашел я вечером в панель “Вебмастер Яндекс” и решил поискать проблемы на своем блоге. Какая-то чуйка подсказывала мне, что ждет несколько неприятных сюрпризов. И она не подвела меня. Вчера потерял 10 от моего ТИЦа, сегодня...

О том, какие приготовила мне сюрпризы мое криворукое сайтостроительство, узнаете, дочитав мою заметку до конца.

Скажу о положительных сторонах происшедшего, я знаю где искать причины проблем. А многие ведь и не понимают, что беда нависла над их сайтом. Не нужно врагов и вредителей. Ведь найти проблемы поможет банальное незнание основ создания сайта и работы движка. И это не смотря на то, что я использую самую легкую и дружелюбную CMS WordPress.

Спасибо работникам Яндекса за труд. Они расширили функционал раздела “Исключённые страницы”. А я получив новую порцию информации, попытаюсь что-то сделать. Вот что я вижу.

В Яндекс.Вебмастере таки обновился отчет «Исключенные страницы»(1).  Оказывается на моем блоге 12 страниц отдает код 404. Это значит, что 12 страниц были движком созданы, а потом удавлены, но за время существования успели попасть в индекс.

Чтобы узнать, какие это страницы, кликаю на самой ссылке, сообщающей о HTTP-статусе(7). В другой вкладке открывается страница на которой размещены 12 ссылок, кликнув по каждой я перехожу на страницу моего блога.

А вот кликнув на значок “?”(8), появляется надпись и ссылка на форму(9), которая поможет направить Яндексу сообщение о его ошибке.

К примеру, я перешел по 12 ссылкам 11 раз попал на несуществующие страницу(никак Яндекс не может выбросить из индекса 11 страниц меток, которые я уничтожил еще в прошлом году, но меток было в 2 раза больше. Все же некоторые страницы удалены из индекса Яндексом по своей инициативе). Но одна страница все же реально существует – это разворот категории, правда на нем пока размещается один анонс записи.

В форму, которая появилась после клика по ссылке 9, ввожу адрес страницы блога, получил его на странице, на которую попал, перейдя по ссылке 7. В результате один адрес блога(10) объявлен существующим, так как отдал код 200 (11).

Что делать с остальными 11-ю страницами с 404 ошибкой? Ведь это не порядок. Поэтому при создании рубрик и меток думайте хорошенько. Лучше в будущем создать дополнительную рубрику, чем решать внеочередную ошибку. Попробую выполнить простой редирект или закрыть от  индексации.

Известно, что WordPress создает кучу дублирующих страниц. Их рекомендуется закрывать с помощью файла robots.txt(3). За полгода постоянного внесения изменений в этот файл я добился, что в индексе находятся только одна версия страниц всех постов, главная и категорий с разворотами.

А вот в разделе 3 все страницы дублей: feed, тоесть материал, который ушел в RSS-ленту, страницы закачек, которые я реализовал с помощью плагина, и все адреса типа /?p=xxx , где ххх числа от 1 и до бесконечности. Несмотря на настройку чпу адресов страниц и такие страницы на блоге существуют. Это полные дубли постов, которые уже проиндексированные ПС, и мне они не нужны в поиске. Их адреса можно получить в “Визуальном редакторе”, нажав на кнопку “Получить короткую ссылку”.

Мета-тегом noindex (4) – я запретил индексирование всех страниц архивов, они представляют собой набор анонсов, которые формируются по дате публикации, и 20 страниц, к которым прикреплены анонсы статей, принцип их создания – по автору. В адресе страниц присутствует мой старый логин от администраторской панели!!!! По новому логину не замечено ни одной созданной страницы.

Какая глупость со стороны создателей движка такое творить, это же прямая угроза безопасности моего ресурса!! Или ребятам все равно? А если бы  я страницы отправил в индекс ПС и мой блог стал успешным, а значит, был объектом для нападения “редисок”. Ведь так просто получить логин — открыть пару страниц моего блога

Страницы архивов в глобальном понимании полные дубли страниц категорий и главной страницы, частично они повторяют несколько первых абзацев в полных постах, которые выводятся файлом single.php. Я не понимаю, почему создатели движка WordPress не отключать возможность их генерации. По сути, эти страницы нужны ребятам, которые работают под продажу временных ссылок, к примеру через Трастлинк. А СДЛ-кам они вредят.

У меня на блоге существуют 108 неканонических страниц(5)  и я ничем не могу моему ресурсу помочь. Во-первых, потому что в его список попали страницы с комментариями, категорий, в-вторых я могу нужный мета-тег добавить только на страницы постов, активировал нужную опцию в плагине все в одном. Больше никак не могу повлиять на объявление страниц каноническими, разве что перейти на ведение блога на HTML-страницах.

Робот Яндексе нашел на моем блоге только один файл, который написан на непонятном языке для него. Но какой ужас, ведь это карта сайта xml. А ведь все seo-блоггеры кричат уже лет пять, что этот файл важен в продвижении ресурса. А Яндекс считает, что этот файл для него ноль!!!!

Не бойтесь. В справке Яндекс четко сказал, что в этот раздел может попадать только один файл, без угрозы для продвижения интернет-ресурса. Он называется sitemap.xml. Если Вы в разделе нашли другие файлы,  их нужно удалить за неважностью, или переделать.

По сути предоставленные данные раздела “исключенные страницы” Вебмастер Яндекс поможет настроить файл Robots.txt. Лично для своего блога я не нашел ни одной ошибки. Влиять на объявление канонических страниц на блоге под WordPress не имею никакой возможности. Так как разработчики скриптов и обновлений плагинов не спешит подгонять их под требования ПС. Но все таки с этой информацией я нашел одну ошибку и исправил. А вот как быть с 11 страницами с 404, не знаю.

P.S. На моем кулинарном блоге из-за ошибки создания url, на блоге образовалось большое количество несуществующих страниц. Три месяца назад “глюкнул” плагин, который убирал слово “category” и вошел в конфликт с плагином, выводящим постраничную навигацию Page Navi. Я его удалил. В результате алгоритм создания адресов страниц блога изменился.  В итоге 1680 страниц с кодом 404, это только страницы бывших категорий. И я не верно настроил редирект страниц.

P.S.S. Через 12 часов в разделе показывается, что на кулинарном блоге найдено только 45 страниц, которые отдают 404 ошибку, на этом блоге 12 несуществующих страниц.

В общем, есть за что браться за голову. Надеюсь моя заметка Вам очень помогла не исправить возникающие на Вашем ресурсе проблемы.