Как скрыть от поиска дублированный контент

июня 9, 2019  
Категория Блоггинг

Как скрыть от поиска дублированный контент

Как скрыть от поиска дублированный контент. Опытные вебмастера хорошо знают, как «не любят» поисковые системы дублированный контент. Многие владельцы сайтов эту нелюбовь ощутили на себе, когда после 2 ноября 2010 года посещаемость их сплогов упала в разы.

Это потому, что Яндекс, в соответствии с новым алгоритмом, вслед за Гуглем стал накладывать фильтр на веб-ресурсы, содержащие большой процент неоригинального, заимствованного контента. Но
самым большим санкциям подвергаются сайты, содержащие несколько страниц почти одинакового
содержания.

В результате преимущества WordPressа обернулись его недостатками. А суть в том, что Вордпресс создаёт отдельные страницы для каждой рубрики и для каждого тэга. Он выдаёт содержимое страниц в RSS каналах и в результатах внутреннего поиска.

Это было хорошо для продажи ссылок – достаточно при написании поста задать несколько рубрик и множество тэгов – и получалось до нескольких десятков страниц, содержащих один и тот же текст.
Их адреса отличались только именем рубрики или тэга в URL. И на каждой такой странице можно было
продавать несколько ссылок.

В плане новой политики борьбы за чистоту контента такое размножение страниц – подходящий повод засунуть ваш блог в самый конец поисковой выдачи.

Пострадать может даже самый «белый и пушистый» блог, содержащий только оригинальный авторский контент. Дело в том, что этот контент в нескольких экземплярах.

Как же победить эту беду? Как же спасти блог от несправедливых санкций?

Выход прост – не показывать поисковым ботам те страницы, где содержатся копии текста.

Как это сделать?

Поможет правильное оформление файла robots.txt. Именно он предназначен для управления действиями
поисковых ботов. К сожалению, в дистрибутиве WordPress он отсутствует. Но создать его легко с помощью обычного Блокнота.

Первым делом нужно указать, что файл предназначен для всех типов поисковых ботов – и существующих и будущих:

User-agent: *

Затем запретить индексацию папок, в которых может быть дублированный контент. Это прежде всего тэги, фиды (rss-каналы), комментарии (их может быть несколько страниц)

Disallow: /tag/

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/

Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

Затем запретить страницы с результатами поиска встроенной поисковой системы:

Disallow: /?feed=
Disallow: /?s=

Также стоит закрыть от индексации все папки, где лежат медийные файлы:

Disallow: /img/
Disallow: /video/
Disallow: /files/
Disallow: /audio/

И, конечно же, админку блога:

Disallow: /wp-*

Заодно нужно указать адрес карты сайта для облегчения его индексации ботами и хост сайта:

Sitemap: http://prodiz-int.ru/sitemap.xml
Host: prodiz-int.ru

Вот теперь поисковые боты должны индексировать только страницы, содержащие оригинальный контент
и игнорировать те, где этот контент, в силу особенностей устройства WordPress, повторяется полностью или частично.

Скачайте файл robots.txt, замените в нём адрес карты сайта и хост и поместите в корневой каталог
вашего блога.

eTXT

Комментарии

Поделись с нами, что вы думаете об этой статье...
и если хотите добавть своё фото к комментарию, зайдите сюда!

Вы должны бытьавторизованы для отправки комментария.