В новом аудиоподкасте №24 Анатолий Улитовский и Николай Шмичков рассказали, что такое дубли страниц.
Текстовая версия выступления:
“Всем привет.
Это 24 подкаст.
С вами Николай Шмичков и Анатолий Улитовский.
Да, мы сегодня поговорим по такой достаточно интересной теме для уже более-менее опытного СЕОшника, тех, кто знает свой сайт – это дубли страниц.
Я затрону эту тему, потому что именно из-за этой ошибки большая часть сайтов практически не продвигается.
Это касается огромных сайтов с огромным количеством страниц, это интернет-магазины, сайты, допустим, каталоги.
Если вы планируете создавать свой интернет-магазин, малейшая ошибка может привлечь к тому, что вы просто будете топтаться на месте и никогда не продвинетесь.
Я буду говорить с позиции Яндекса то, что я вот узнал, что изменилось, что не изменилось.
Анатолий добавит потом, что он что-то по Гуглу.
Вот, что же такое дубли страниц?
Дубли страниц, когда на самом деле существует две или более страниц одного сайта, содержащие похожий текстовый контент.
Ключевое слово текстовый контент.
Робот поисковой, в частности Яндекса, смотрит только на текст.
Поэтому, если текст у вас повторяется, но при этом у вас разные УРЛы – такие страницы поисковая система видит как дубль.
То есть, чаще всего 90% дублей, которые замечают поисковой системы – это одна и та же страница, которая возникла из-за каких-то ошибок.
Какие ошибки.
Например – это у вас некорректно работают относительные ссылки вашего сайта.
Да, есть же понятие абсолютная и относительная, надо подкачаться относительными ссылками и у вас получится дубль.
Второй момент – это когда на страницах просто отсутствует контент.
Самая банальная причина – это для карточек товаров, в которых не заполнено описание, либо, когда есть страница каталога, которых функционально не отличить друг от друга, они ничем не отличаются и фактически, если заголовок одинаковый – страница является дублем.
Даже при разных урлах.
То есть, когда вы даже по логике думаете, что это разные страницы, страничка «майки белые» и «майки жёлтые», а в итоге у вас тайтл «майки», заголовок страницы «майки» – для Гугл это разные страницы, но страницы с одинаковым контентом – выходят дубли.
Третий вариант – это, когда у вас неправильно работает 404 ошибка, я по этому поводу снял видео.
Если у вас 404 ошибка в итоге дает 200 http ответ, таким образом поисковик ещё одну страничку как с уникальным УРЛом, но с одинаковым в итоге контентом.
Если 504 странички с разными урлами с 200ым ответом создадут целый вагон бесконечного количества дублей.
И также, конечно же, самый такой жесткий косяк, когда вы забудете закрыть от индексации ваши служебные странички, например, личный кабинет, корзину и тому подобное.
Так как там урлы генерируются разные, их нужно блокировать от индексации, чтобы поисковик даже про них не знал.
Иначе у вас каждое заполнение корзины, каждое заполнение будет генерироваться уникальный УРЛ, в итоге при попытке на него зайти, в пользователя ничего не выйдет, но поисковая система будет знать, что 50 тысяч раз заполненная корзина попала в индекс.
Собственно, что может произойти.
В первую очередь, ключевые проблемы, которые Вас могут ждать – это конечно из-за смены релевантности у Вас могут падать позиции, то есть робот же хранит 1 страницу из дубля.
Если он распознаёт, что допустим вас есть вторая, третья, пятая одинаковая страница, он запомнит только одну какую-то, это уже как робот решит.
Анатолий говорил, что алгоритм ранжирования у Гугла и Яндекса разные.
В этом плане Яндекс чуть-чуть притормаживает, он обновляет странички не каждый час, не каждую секунду, а где-то раз в недельку, поэтому выдачу будет вашу прилично шатать просто из-за дублей.
Вторая причина, на которую я обратил внимание – это обход дублирующих страниц.
Какая может быть проблема.
Вы все прекрасно понимаете, что поисковый робот ограничен в обходе вашего сайта.
Если ваш сайт миллионник, имеется в виду 1000000 страниц, то он будет обходить их поэтапно, и вы фактически ограничены crawl-delay, который вы прописали для своего сайта, вашим хвостом, вашими фаерволами на сайте и тому подобное.
Поисковый робот не может обработать весь сайт, будут проходить его пакетами 1000 страниц, 10000 страниц за раз, это уже такое.
И, если он будет получать 90% дублей, в итоге для анализа, то есть находить внутри сайта дубли бесконечные страницы, то уники рано или поздно даже уники, можно назвать уникальной страницей, никогда даже толком не будут проиндексированы.
Если у вас молодой сайт и вы не исправили ошибки технического аудита, вы рискуете тем, что на месяц, а то и на год и из-за этого вы будете просто топтаться в органике, даже, если будете делать ссылки, стараться – индексация затянется.
А если Вы ещё будете постоянно дополнять позицию, то это можно забыть о полной индесации всего ресурса.
Более того, еще не должны забывать, что поисковому роботу ещё нужно сделать переобход уже по тем страничкам, по которым он прошёл.
Вы обновили товар, вы обновили карточку, вы обновили описание – нужно за этим следить.
Если он тратит время на ваши дубли, это конечно всё будет сделано в пустую.
Ну и собственно, какие методы поиска дублей.
Я скажу в вебмастере Яндекс.
Самый простой метод – это конечно, есть непосредственно такой – выкачать весь список дублей, дать прогеру, пускай он проанализирует.
Второй способ, который я бы проверил – он конечно более сложный.
Нужно посмотреть все 200 ответы по статистике обхода и посмотреть там будет на тех страницах, которые поисковик назвал, закрыть дубли, нужно разобраться и закрыть дубли, оставить только одну нужную версию, которая нужна.
Третий способ, конечно, я бы так его назвал более сложный, я бы сказал он требует фантазии, потому что ваша задача зайти в Вебмастер, инструмент код ответа сервера.
Попробуйте сочинить любой новый УРЛ через параметр Get(?), там URL сайта? 123, к примеру.
Если выдаёт 200 вариант, у вас они происходят там редиректом или что-то ещё, то фактически это и есть возможность генерирования бесконечного количества дублей страниц.
Ну и четвертый способ, на который я бы проверил – инструмент проверить статус урл.
Есть он в Яндекс вебмастере этот инструмент, там всегда можно посмотреть причину, почему страница была удалена из индекса, но это уже постранично.
Анатолий.
Спасибо, очень полезная информация, даже я заслушался.
Только вот действительно там добавить по поводу инструментов.
В Google Вебмастер тоже как уже сегодня называется Google Консоль, есть инструменты по проверке тайтл, дескрипшн: уникальны они или нет.
Непосредственно тоже будет полезна информация.
Если увидите, что неуникальный тайтл и дескрипшн, стоит действительно это подкорректировать, потому что для поисковика это важно, он не понимает по каким ключам надо ранжировать данную страницу.
Есть множество тулов, которой проверяют непосредственно дубли: тот же screaming Frog и множество других, заходите на нашу страницу сайта, список утилитов, там множество тулов и можете просто подходящий именно для вас выбрать.
И они также проверяют непосредственно именно уникальность ваших страниц и обязательно обращайте на это внимание, потому что если у вас множество дублей и страниц, то я скажу вам, вы будете конкурировать сами собой и конечно поисковику необходимо дважды проходить по дублям.
Иногда там создают множество дублей – это очень частая ситуация в интернет-магазинах, когда там создается множество однотипных страниц, это конечно лучше оставить какую-то основную страницу, можно настроить тот же Canonical или какие-то другие, какие более предпочтительны для вас.
Возможно это будет просто закрыть от индекса страницу.
Возможно это роботу необходимо запретить непосредственно проверять эти страницы, но мне больше нравится каноникал, потому что он все-таки передаёт вес непосредственно именно какой-то основной страницы, внешнюю ссылку и тому подобное.
Поэтому обращайте обязательно на это внимание и тогда вы получите результат.
В принципе это всё на сегодня.
Оценивайте наши аудиоподкасты, пишите ваши комментарии, задавайте вопросы и до новых встреч.”
