В новом аудиоподкасте №242 Николай Шмичков рассказал про то как удалить информацию с Google - 5 советов.
Текстовая версия выступления:
"Всем привет.
Вы на канале Seoquick, меня зовут Николай Шмичков и мы сегодня обсудим такую тему: Как удалить свою ссылочку из поиска Google, и рассмотрим свеженький методы.
На эту статейку я наткнулся на сайте ahrefs, хочу с вами поделиться мнениями.
У них есть неплохая инфографика на эту тему и её можно изучить.
По какому принципу она удаляется?
В первую очередь вы должны задать вопросы себе, контролируете ли вы страничку и отвечайте на вопрос да или нет.
Если вы контролируете страничку, то является ли эта информация полезной?
Вы так же отвечаете да или нет, и по этой цепочке продолжаете.
Саму картинку я добавлю в описании под этим подкастом, не забудьте на неё обратить внимание.
Но я сейчас хотел поговорить непосредственно о самой статье.
Какие какие методы полезные в ней рассказывают.
В первую очередь, мы должны ответить на вопросы: как проверить проиндексирована ли страница, потом рассмотрим все способы удаления этой ссылочки, как научиться расставлять приоритеты при удалении, проверим ошибки при удалении, как удалить контент, которого нет на вашем сайте и как удалить изображение.
Все пункты интересны.
Как проверить проиндексирован ли URL - это очень просто.
Заходите на сайт, копируйте ссылку, вставляйте в браузерную строку site: и ссылку на сайт и смотрите результат.
Если вы что-то увидели, значит ссылочка в индексе, если увидите, что ссылочки нет, значит её нет.
Второй вариант - веб мастер Гугл, если это ваш сайт или есть доступ к сайту, то в Гугл вебмастере есть функция Отчет покрытия индекса.
Просто вбейте URL и увидите входит он в систему или не входит.
Точно так же вы можете использовать ahrefs, например, там же поискать существует ли по ней какие-то показы по ключам - как минимум, вы можете обратить внимание на этот момент.
Есть простейшие способы, как удалить страничку.
Первый вариант - это удалить саму страницу.
То есть, если вы удалите страницу и дадите ответ 404 или 410, страница будет удалена из индекса, вскоре после повторного сканирования.
Пока она не будет удалена, страница может отображаться в результатах поиска.
И даже, если сама страница останется недоступной, кэшированная страница может быть временно доступной.
Если же вам нужны другие варианты, если нужно очень быстро удалить страничку, то вам нужно заходить в инструмент удаления URL веб мастера и таким образом, удалять.
Если нужно объединить сигналы, то тогда вам нужно обязательно настроить каноническую страничку.
Вам нужно будет настроить Canonical и таким образом, передать вес старой ссылки на новые.
И если вам нужна страница доступная для пользователей, но при этом она должна отсутствовать в Гугле, то вы можете проверить и поставить статус noindex в шапке кода страницы.
Второй вариант, это вариант удаления через noindex.
Сообщите в заголовке xrobots поисковым системам через метатег noindex, что страничку удалили из индекса и, если поисковый робот пройдёт и увидит это так, он выкинет страничку из индекса и таким образом, она перестанет быть доступна.
Пример робота noindex выглядит очень просто.
META name ="robots content"noindex.
Если в ответе заголовка, то http 200 ответ будет x-robots-tag noindex.
Если же вам нужно, чтобы пользователи получали доступ к этим страницам, то ограничьте доступ.
Если вам нужно объяснить такие сигналы, как ссылки, то мы перейдём к разделу канонизации.
Третий вариант ограничения доступа.
Если вы хотите, чтобы страница была доступна для некоторых пользователей, но не для поисковых систем, то вам нужно выполнить один из трех вариантов.
Какую-то систему через логин, http аутентификация, где для входа требуется пароль и IP белый лист, когда разрешен вход только по определенным IP.
Если контент закрыт и доступен только для разработчиков, самый оптимальный вариант использовать такого рода закрытие.
Если вы сделаете такого плана блокировку, то тогда система для поисковый робот выпадет из странички и они выпадут из индекса.
Если вам нужно будет действительно удалить всё, то переходим к варианту четыре.
Это инструмент для удаления URL.
Название инструмента немножко вводит в заблуждение, потому что оно на самом деле не удаляет внешние ссылки - это делает другой стул сервис disolve links.
Этот сервис занимается тем, что он выкидывает у Гугла странички из индекса.
Его нужно сделать действительно в крайних случаях, если есть такие проблемы как утечка безопасности, утечка данных, личная информация.
Для Google используют инструменты Removals, а для Bing сервис блокирования url-адресов.
Нужно сочетать несколько элементов и соответственно использовать несколько, чтоб запрещать доступ к старому контенту, обновлять доступ.
Я порекомендовал бы для быстрого удаления URL совместить все предыдущие методы плюс этот инструмент, иначе URL обратно появится снова.
Вариант пятый, который мы рассмотрим - это канонизация.
Если отслеживать несколько версий страницы и вы хотите объединить сигналы, например, внешние ссылки на одну версию, то вы делаете некоторую форму канонизации.
Получаете дубли страниц, вы делаете Canonical, ссылочка на одну страницу.
И таким образом, проиндексированный URL в итоге будет только один, даже если пользователи будут попадать на другие.
Варианты тут - каноническая метка, redirect и обработка параметров URL.
В канонической метке вы указываете версию ту, что хотите показать, а если страница дублируется и очень похожа - это самый правильный вариант.
Если страницы слишком разные, канонический так может быть проигнорирован, потому что это не директива, а к сожалению, лишь подсказка.
Во всяком случае, нужно использовать функцию redirect, которая перенаправляет пользователя и поискового робота с одной страницы на другую.
301 redirect - самый часто использованный.
Он сообщает поисковым системам, что вы хотите чтоб канонический url был тем, который показан в результатах поиска, где сигналы объединены - 302 или временная, говорит поисковым системам, что вы хотите, чтобы исходный URL оставался в индексе и объединял там сигналы, но при этом происходит перенаправление самого пользователя.
Обработка параметров URL, добавляется в конец ссылки вопросительный знак и какой-то параметр.
Этот инструмент Google позволяет вам рассказать, как обрабатывать URL определенными параметрами.
Например, вы хотите указать будет ли параметр изменять содержимое страницы, не предназначенное только для отслеживания.
Какие приоритеты по удалению страниц.
Конечно же, наиболее высокий приоритет получают те страницы, которые действительно несут угрозу безопасности.
Когда кто-то получил доступ к вашим личным данным и личным данным ваших пользователей.
Либо контент, который несёт коммерческую или конфиденциальную информацию.
То нужно использовать те методы, которые являются очень срочными.
В среднем приоритете это корпоративный интернет или портал для сотрудников, чаще всего в среде подготовки и тестирования разработки.
И низким приоритетом являются страницы, которые содержат дубликаты контента.
Ну вот, например, когда несколько страниц обслуживается с несколькими или url-адреса с параметрами, это действительно приоритеты по удалению.
Какие самые большие ошибки удаления.
Первая ошибка - это когда пытаются удалить, просто прописать теги noindex в роботс.
Роботс уже официально не поддерживаются Гуглом и, поэтому это неправильный метод Второе это блокировка для краулера в robots.txt, это то же самое.
По факту сканирование - это не одно и то же, что индексирование.
Об этом я писал в своей статье "Факторы ранжирования" - рекомендую сходить посмотреть.
Это два разных процесса.
Сканирование - это проход поискового робота по страницам, а индексирование - это уже сбор собранных данных, которые получил поисковик.
Но поисковик может получить данные не обязательно из поискового робота.
Если у вас есть внутренние или внешние ссылки, даже если вы заблокируйте вход, Google проигнорирует ваши директивы в роботсе и попросту перейдёт по внутренней ссылке на этот контент.
Яркий пример: вы в роботсе заблокировали вход в страницу Б, но со страницы А, на которую робот может попасть, есть ссылка на страницу Б.
Во всяком случае, поисковый робот проигнорирует robots.txt и пройдет по другому пути.
Nofollow - cамый большой также косяк, который путают с новым индексом.
Nofollow когда вы говорите поисковым роботам, что по этой ссылке ходить не нужно - ранее это была подсказка.
Если ранее поисковый робот по ссылочкам много не ходил, то сейчас это не так.
Ресурсов Гугла хватает, чтобы пройти по ссылкам Nofollow и посмотреть, куда они ведут.
Почему он проверяет ссылку Nofollow, проставлена она ошибочно или нет, даже они стали игнорироваться.
Раньше Nofollow использовалась для того, чтобы сохранять пейджранк, так называемое скульптурирование пейджранка, процесс, когда вы закачивали домен ссылками и все исходящие ссылки закрывали тегом Nofollow.
Сейчас поисковик начал по ним прекрасно ходить.
Мы заметили, что по ссылкам Nofollow действительно есть переходы.
Он индексируются, поэтому поисковик будет игнорировать Nofollow при сканировании.
Известная ошибка - это noindex канонический для другого URL.
Этот сигнал противоречив, noindex говорит об удалении страницы из индекса.
Canonical говорит, что другая страница эта версия, которая должна быть проиндексирована, это может работать за консультацией, ведь Google предпочитает игнорировать noindex и вместо этого использует канонические основы сигнала.
Тег noindex может быть подсчитанным сигналом.
Если это так, страницы не будут правильно объединяться, поэтому сочетание noindex и каноникал могут навредить.
Если вы можете проверить сочетание в ahrefs при помощи анализа page Explorer и проверить, допустим, совпадение noindex - yes и self Canonical - no, если вы найдёте такие страницы, то увидите, что они тоже могут индексироваться.
Когда поставите noindex и когда робот уже просканировал, страница будет заблокирована, но проиндексирована.
Люди будут добавлять тег noindex и таким образом, поисковик уже успеет пройти по сканированию и уже его закинуть в индекс.
Как удалить URL, если этого контента нет на вашем сайте.
Это один из вопросов, что нам задавали и на него, пока к сожалению, только один ответ.
Есть инструмент удаления авторских прав Google, есть закон о защите авторских прав в цифровую эпоху DMCА и есть инструмент по удалению авторских прав, что позволяет удалить контент.
Если этот контент действительно является вашим.
На чужом сайте из поисковика, например там, ваши фотографии.
Это самый простой метод.
Если вы докажете, что вы автор.
Размещение файлов, которые являются коммерчески значимых для вас, на сторонних сайтах, вы можете таким образом подать запрос через этот бесплатный сервис и таким образом, он будет рассмотрен.
Если вы хотите в процесс ускорить, то будьте добры, платите.
И стоит это недорого.
Если этот контент наш, но не на вашем сайте, то если вы находитесь в Европейском союзе, вы можете удалить контент содержащий информацию о вас, благодаря постановлению суда о праве удаления.
Можно запросить удаление личной информации через специальную форму удаления конфиденциальности и Евросоюза.
Если вам нужно удалить изображение допустим из Гугл картинок.
Просочились ваши личные картинки с вашего личного сайта по ошибке.
Тогда нужно будет для одного изображения делать googlebot image disallow на конкретное изображение, а для всех изображений нужно будет googlebot image сделать disallow, тогда из Гугл картинок выпадут все картинки с конкретного сайта.
Что бы посоветовал напоследок - это, если вы хотите на удалить что-то из поиска, надо продумать стратегию.
Очень полезно понимать за что браться, в каких процедурах за какие вещи нужно цепляться.
Если вы хотите удалить информацию, которая касается вас лично, но вы не живёте в Евросоюзе, то попробуйте написать email владельцу сайта и попросить его удалить.
Это иногда действительно работает.
Например, если это допустим, ваш контент и это вы можете на него доказать права, то через форму DMCA, конечно блокируйте его и просите избавиться.
Картинку на это я оставлю под описанием этого подкаста на нашем сайте.
Рекомендую сходить посмотреть и там очень четко расписана стратегия.
На этом сегодня всё, не забываем подписываться на наш канал, задаём вопросы в комментариях.
Я буду рад любому мнению, которые можно задать в нашей телеграм группе, на нашем youtube-канале.
До новых встреч."