Поиск дублей страниц сайта – как найти

699

Поиск дублей страниц сайта – как найти

Ссылка на релевантное фотоСсылка на релевантное фото
Author: Анатолий Ситников

Содержание страницы: "Поиск дублей страниц сайта — как найти"

Дубли — это страницы, контент на которых полностью или частично повторяется. Такие страницы могут очень негативно повлиять на позицию сайта в поисковой выдаче или даже попасть под фильтры системы, что может сломать все планы по продвижению ресурса.

Внимание! Чтобы найти дубли страниц, перейдите по ссылке:

https://www.screamingfrog.co.uk/seo-spider/

Причин у дублей могут быть несколько от технических ошибок в настройке 301 редиректов, до особенностей той или иной платформы. Однако вне зависимости от причины, от дублей нужно обязательно избавляться.

Получите предложение на email:

5000 максимум символов

О том, как это сделать, какие бываю причины дублей и в чем их опасность, мы расскажем в этой статье.

Чем грозят дублированные страницы

Существует сразу несколько серьезных проблем, причиной которых являются дубли. Среди них:

  • Неправильная индексация нужной страницы. Если вы вкладывали рекламный бюджет в продвижение одной страницы, а система начала индексировать ее дубликат, то деньги будут потрачены впустую. Дубликат в данном случае будет иметь рейтинг значительно ниже той, которую вы продвигали.
  • Слишком долгий анализ сайта поисковиком. Система анализирует и индексирует каждую страницу сайта отдельно. При этом за определенный промежуток времени робот может проверить ограниченное количество страниц. Поэтому из-за дублей анализ может значительно затянуться. Особенно это актуально для крупных сайтов с большим количеством страниц.
  • Неподъемный объем работы для вебмастера. Если данную проблему дублей долго не решать, она станет намного серьезней. Дубликатов станет так много, что вебмастеру понадобиться очень много времени и сил для их устранения. А это, в свою очередь, может стоить крупных денег.
  • Санкции поисковых систем. Поисковики не видят серьезной проблемы в дублях, поэтому они сами по себе не могут стать причиной понижения рейтинга в выдаче. Однако если система посчитает, что вы создаете дубликаты страниц сознательно для манипуляции алгоритмами, то на весь сайт будут наложены санкции.

Читайте интересные статьи: 

Фильтры Google — виды фильтров поисковой системы, что делать чтобы не попасть под фильтр

Дубли могут иметь и менее значительные последствия для сайта и его позиции в поисковой выдаче. Однако вышеперечисленные проблемы являются основными и могут очень сильно навредить как отдельным страницам, так и ресурсу в целом.

Поэтому устранением дублей необходимо заняться как можно раньше.

Какие бывают виды дублей

Несмотря на то, что дубли — это довольно конкретное понятие, их видов существует очень много. В зависимости от вида, порядок устранение этой проблемы тоже может отличаться.

Дубли условно можно разделить на две основные категории: явные и неявные. Обе эти категории насчитают сразу несколько видов дублей, на каждом из которых мы остановимся отдельно.

Явные дубли

Такими дублями называют страницы, которые доступны по двумя или нескольким URL. Разновидностей таких дублей очень много, однако они похожи по своей структуре.

Самыми распространенными явными дублями являются:

  • Слеш в конце. Данные дубли можно считать самыми распространенными. Их причиной являются ошибки в 301 редиректе. Если ваш сайт работает на Apache, то исправить эту проблему можно через файл htaccess в папке сайта.
  • Один товар доступен на двух и более страницах. В онлайн-магазинах часто встречаются дубликаты страниц, на которых представлен один и тот же товар. Чтобы решить эту проблему, для начала нужно выбрать каноническую страницу (то есть ту, которая должна индексироваться), а затем настроить тег <link> при помощи атрибута rel="canonical". Сделать это можно через PHP или встроенными в платформу плагинами.
  • URL с www. и без. Как и первый дубль, эта проблема также является ошибкой в 301 редиректе, поэтому для ее решение необходимо его настроить. Чтобы указать поисковой системе на каноническую версию сайта, вам необходимо изменить программный код, вставив в него тег <link> с атрибутом rel="canonical.
  • Версия для печати. Так как текстовой контент главной страницы и версии для печати идентичны, это тоже считается дублем. Чтобы эту проблему исправить необходимо в текстовом файле robots ограничить доступ системы к версии для печати.
  • Совпадения GET-параметрами. Это понятие подразумевает под собой символы в URL, которые идут после знака «?»‎. Поэтому каждая страница с такими параметрами будет дубликатом главной страницы. Чтобы этого избежать необходимо, как и в предыдущем варианте, в файле robots.txt ограничить индексацию таких страниц.
  • Переход с HTTP на HTTPS. Во время смены одного протокола безопасности на другой могут появиться дубли. Основной причиной этому являются ошибки в редиректах, поэтому их стоит проверить в первую очередь. Однако при этом необходимо учитывать, что переход с HTTP на HTTPS не моментальный. Это может занять несколько недель. Поэтому если прошло слишком мало времени после перехода, то искать проблему пока рано.
  • Остальные дубли. Как уже говорилось ранее, явных дублей очень много, поэтому описать их все очень проблематично. Однако чаще всего решения проблемы явных дублей похожи, поэтому вышепредставленные методы могут помочь и других случаях. При этом использовать сразу все не стоит — это бессмысленная работа. Выберете что-то одно. Если это не помогло, переходите к следующему способу.

Неявные дубли

Неявные дубли — это страницы, контент на которых отличается, но не значительно. Решение проблемы таких дублей чуть сложнее, так как оно зависит от конкретного случая.

Среди самых распространенных неявных дублей можно выделить следующие.

  • Схожие описания страниц товаров. Часто на страницах интернет-магазинов присутствуют похожие товары, но с разными характеристиками (например, цвет или размер). Проблема заключается в том, что нередко такие товары размещают на разных страницах, но описание остается прежним. Система выделяет только одну страницу, оставляя другие неиндексированными. Лучшее решение это задачи — это объединение таких товаров в одну страницу с добавлением селектора. Если добавить селектор не представляется возможным, стоит написать более уникальные описания для товаров. Кроме того, вы можете скрыть повторяющийся фрагмент описания от индексации, используя тег noindex.
  • Древовидные комментарии. Одна из особенностей платформы WordPress заключается в том, что для каждого ответа на комментарий под публикацией генерируется новый URL. При этом поисковая система их благополучно индексирует. Это приводит к формированию огромного количества дублей при условии активных комментариев. Решить эту проблему можно в настройках WordPress во вкладке «Обсуждения». Однако в данном случае удобство комментариев ухудшится, поэтому лучше воспользоваться другими методом. Одним из них является установка другой системы комментариев по типу Disqus вместо штатного модуля. Есть более сложный способ с изменением программного кода платформы и закрытием таких страниц от индексации. Однако для этого потребуется помощь специалиста по программированию.
  • Страницы пагинации. Пагинацией называют каталог товаров, который разбит на несколько страниц для удобства пользователей. К сожалению, это приводит к генерации дублей, поэтому эту проблему нужно решить. Лучше всего это сделать с помощью атрибута rel="canonical", ограничив индексацию дубликатов. Писать для каждой страницы новый уникальный текстовый контент не стоит, так как это пустая трата времени, которая, помимо всего прочего, может запутать пользователя.

Читайте интересные статьи: 

Продвижение интернет магазина

Это основные неявные дубли, которые чаще всего встречаются на интернет-ресурсах. Есть и более редкие виды, решения которых более сложные и системные. Если вы столкнулись с такой проблемой, то необходимо сначала найти ее источник, а уже потом искать решение.

Так вы сэкономите время и не допустите дополнительных ошибок.

Как найти дубли

Внимание! Чтобы найти дубли страниц, перейдите по ссылке:

https://www.screamingfrog.co.uk/seo-spider/

Если вы не уверены в наличии дублей на вашем сайте, то вам необходимо провести проверку ресурса. К счастью, это несложно, поэтому с этим сможет справиться человек без специальных навыков.

Способов найти дубли довольно много, однако есть самый простой, не требующий ни специальных инструментов, ни каких-либо данных. Найти дубли на сайте можно просто с помощью поисковой системы.

Однако для этого нам необходимо знать, какие именно дубли мы ищем.

Например, мы хотим найти дубли, образованные древовидными комментариями в WordPress. В поисковой строке вводим «site:{URL сайта} inurl:replytocom». После этого в выдаче сразу же появиться нужные нам дубли.

Если же у вас нет возможности искать дубли самостоятельно или же вы хотите провести более детальный анализ вашего сайта, то в этом случае лучше всего обратиться к специалистам.

Аудит сайта — это довольно дорогое удовольствие, однако он покажет вам не только присутствие дублей, но и наличие других ошибок, которые негативно влияют на трафик или ранжирование вашего сайта в поисковой системе.

Среди них ошибки в коде, SEO-оптимизация, перелинковка и много другое. При этом специалисты дадут вам подробные рекомендации по устранению этих ошибок и улучшению работы сайта.

Читайте интересные статьи: 

SEO аудит сайта — что это такое, как сделать СЕО аудит сайта самостоятельно, основные ошибки на сайте

Подводим итоги

Дубли — это довольно серьезная проблема, которая может сильно навредить вашему сайту. А учитывая то, что эта проблема имеет свойство усугубляться со временем, ее необходимо решить как можно раньше.

Дубли бывают разные, и каждый их вид имеет свои особенности и пути решение. Вышепредставленные советы помогут вам избавиться от большинства подобных проблем без серьезных затрат.

Однако если вы не уверены в том, что сможете справиться самостоятельно, вы всегда можете обратиться за помощью к специалистам, которые проведут комплексную проверку и дадут четкие рекомендации по устранению тех или иных проблем.

5 1 1 1 1 1 Рейтинг 5.00 (1 Голос)

Телефоны и адрес

Работаем по миру

  • Англия
  • Бельгия
  • Германия
  • Дания
  • Испания
  • Италия
  • Казахстан
  • ОАЭ
  • Польша
  • Канада
  • США
  • Франция
  • Чехия

Основано в 2013