Sitemap.xml:Создание карты сайта - полный курс

Свой первый сайт, как и подавляющее большинство людей, я сделал сам на конструкторе.

Во-первых, это было просто.

Никаких знаний кода не требовалось.

А во-вторых, не надо было возиться с оптимизацией.

Большинство SEO-настроек в конструкторах сайтов – автоматические.

Прошло время.

Код мною был изучен, а функционала конструктора уже не хватало.

Таким образом, я дорос до того, чтобы собственноручно сверстать сайт.

И все было замечательно, пока после посадки не были начаты  работы по SEO-оптимизации.

Сервис аудита показал множество ошибок.

Одна из которых – отсутствие Sitemap.

Тогда пришлось разбираться с тем, что это такое, для чего нужно и как оно готовится.

Чтобы Вы не тратили свое время на поиски, всю самую необходимую информацию я собрал в этой статье.

Что представляет собой карта сайта и для чего она нужна

Sitemap – это отдельная страница, на которой указаны все остальные страницы сайта с их подразделами.

Ее можно сравнить с каталогом или книжным оглавлением, включающим в себя ссылки на все нужные страницы сайта.

Задача такой карты заключается в помощи людям и поисковым роботам как можно быстрее отыскать требуемую страницу, делая как можно меньше переходов.

Зачастую на маленьких корпоративных сайтах с несколькими страницами можно оказаться в любой точке ресурса за пару кликов от главной.

А получится ли так же легко перемещаться по какому-нибудь интернет-магазину, у которого, допустим, несколько десятков тысяч страниц?

Крайне маловероятно, если у Вас отсутствует HTML-Sitemap.

Это все, что касается удобства для пользователя.

Но также карта будет полезна для поисковиков.

Установив Sitemap, Вы обеспечите увеличение скорости индексирования сайта в разы.

Это произойдет благодаря тому, что роботы поисковиков начнут заметно быстрее индексировать недавно созданные страницы.

Риск того, что какая-то отдельно взятая страница, находящаяся «в глубине» сайта, останется незамеченной поисковыми роботами, останется, но он заметно снизится.

Также в награду за установку карты будет получен еще один бонус – мониторинг индексированных страниц.

Владелец сайта будет держать в своих руках контроль над индексацией.

Решайте сами, какие страницы будут появляться в поисковиках Яндекса и Google (и всех остальных поисковиков), а какие не будут бороться за выход на первую страницу поиска.

Обсудим еще несколько моментов.

Если у Вашей компании всего лишь сайт-визитка, одностраничник или маленький корпоративный сайт, то волноваться о наличии Sitemap не стоит, потому что для таких небольших сайтов она попросту не нужна.

Это первое.

Второе.

Хоть установленная карта сайта и дает преимущество в индексации, одна только ее установка не позволит вывести Ваш бизнес на первые страницы поисковиков.

В данном случае большую роль играет содержание всех индексируемых страниц.

А именно – хороший полезный материал на страницах с уникальными текстами и прописанными Title и Description в коде.

Без этих и других полезных мер, являющихся частью SEO-оптимизации, карта сайта будет бесполезна.

Как и хороший оптимизированный контент рискует «не выстрелить» без Sitemap.

Помните, что продвижение проводится комплексно.

В этой статье мы не станем разбирать все детали SEO-продвижения, а сосредоточимся на создании карты сайта.

В чем ее польза, мы поняли.

Можно двигаться дальше.

Какие бывают карты сайтов

Существует около десяти разновидностей карт сайтов.

Но стоит выделить две категории – HTML-Sitemap (создается для удобства использования людьми) и XML-Sitemap (необходима для удобства «чтения» сайта роботами), которая подразделяется на несколько подвидов.

Итак, о каждой по порядку.

HTML-карта сайта. Свойства и процесс создания

Как мы уже говорили ранее, этот вид карты можно сравнить с книжным оглавлением.

Html-Sitemap имеет структуру дерева.

Ссылка на нее находится в подвале (самый нижний блок сайта).

Главная польза такой карты для посетителей сайта – облегчение навигации по нему.

Можно сразу увидеть нужный раздел или подраздел и в один клик перейти к нему.

Также Вы получите пользу и для SEO-продвижения.

Поисковые роботы анализируют HTML-карту, вычисляя ссылки на важные страницы (важность каждой страницы Вы настраиваете самостоятельно).

Это благоприятно скажется на индексации приоритетных страниц.

Джон Мюллер, являющийся ведущим аналитиком в Google, подтвердил, что HTML-Sitemap порой влияет на СЕО.

По его словам, это уместно, если с помощью этого инструмента происходит разметка страниц категорий и описаний.

Он добавил, что карта особо актуальна, если у поискового робота не выходит качественно проанализировать сайт (это обычно происходит с сайтами с тяжелой навигацией и непростроенной логической структурой).

В этом случае HTML-карта становится необходимой.

Рекомендуем для чтения:

1. Валидаторы W3C: как правильно проверить сайт на ошибки CSS И HTML
2. Коды ответов HTTP: ТОП-10 ошибок сервера и клиента

Грамотно создаем HTML-Sitemap. Пошаговая инструкция

Создавая HTML-карту, учитывайте несколько важных правил.

А именно:

1. Карта должна быть максимально простой. Прежде всего Вы делаете ее для людей. А значит, посетитель должен максимально быстро отыскать нужную ему страницу.
2. Актуальность всех ссылок. Sitemap не должна предоставлять ссылки на несуществующие и неиндексируемые страницы. Битые ссылки также непозволительны.
3. Соблюдайте структуру. Sitemap обязана как можно вернее отображать действующую структуру сайта.

Кроме этих основных правил, нужно упомянуть еще несколько рекомендаций, полезных для правильного составления HTML-Sitemap.

А именно:

1. Желательно указать ссылки на каждую страницу сайта, участвующую в ранжировании. Исключением могут быть страницы, преобладающие по количеству в структуре сайта (свыше 90%). К таким страницам можно отнести:
   • определенные товары (у интернет-магазинов);
   • посты;
   • статьи;
   • пагинации.
2. Позаботьтесь о постоянном автообновлении HTML-карты. Благодаря этому весь перечень страницы останется актуален.
3. Если у Вас огромный сайт с непростой структурой, и в HTML-Sitemap требуется внести свыше 150 ссылок, то делать карту надо на многостраничной основе. То есть на Вашей HTML-Sitemap будут ссылки на иные HTML-карты. Вариант на скриншотах ниже.
   
   
   

4. Выполните зрительное разделение по темам и категориям. Благодаря этому посетителю будет намного проще воспринимать карту визуально и перемещаться по сайту.
   

5. Соблюдайте иерархию. Располагайте все ссылки последовательно: разделы – категории – подкатегории.
6. Для анкоров ссылок воспользуйтесь соответствующими ключевиками. Подобрать ключи нужно на стадии сбора семантического ядра.
7. Ссылку на HTML-Sitemap расположите в подвале каждой страницы.

Варианты создания HTML-Sitemap:

1. Создать карту вручную.
   Под силу не всякому, так как этот способ требует навыков программирования (если речь идет о сайте, написанном кодом вручную, а не на конструкторе). Также сайт должен быть относительно небольшим. Если на нем несколько сотен или тысяч страниц, страшно представить, сколько времени займет работа.
   В этом случае переходим к следующему способу.
2. Использовать сервисы, специализирующиеся на автоматическом создании карт сайтов.
   Очень удобно, но большинство из них создают Sitemap бесплатно для сайтов, не превышающих 500 страниц. Но не стоит переживать, если Ваш сайт превысил этот порог. Цены на таких сервисах умеренные.
   После создания HTML-страницы ее нужно добавить на хостинг.
3. Воспользоваться плагинами.
   Какой плагин Вам потребуется, зависит от CMS, на которую посажен сайт. Они могут быть как платные, так и бесплатные.

Оформление HTML-Sitemap

Опираясь на представленные выше советы, проявите фантазию для оформления карты сайта.

Предлагаю рассмотреть удачные на мой взгляд примеры:

1. Знаменитые Нью-Йорк Таймс. Посмотрите на их карту. С ее помощью удобно искать даже материалы, опубликованные в 80-х годах.
   

2. Интересный подход у портала IMDb. На нем каждая ссылка имеет лаконичную аннотацию, дабы посетитель сразу имел некую информацию о разделе, в который собирается перейти.
   

3. Что я там говорил про зрительное разделение? Наглядный пример: HTML-Sitemap Daily Mail. Сочная, красивая, приятна глазу. И соответствует стилистике сайта.
   

Вывод по HTML-карте

HTML-Sitemap, составленная по всем правилам, не только упростит навигацию посетителей по сайту, но и поможет его ранжированию в целом.

Ее составление основывается на трех важных правилах:

1. Простота использования.
2. Актуальность ссылок.
3. Грамотная структура.

Создать HTML-карту можно:

1. Полностью вручную.
2. С помощью сервиса для генерации карты сайтов.
3. Воспользовавшись плагинами для CMS.

Пошаговая инструкция по созданию XML-Sitemap

С HTML-картой разобрались.

Переходим к XML-Sitemap.

Отличается она по следующим пунктам:

• В первую очередь – формат карты (она будет в XML-формате, как ни удивительно).
• XML-карта рассчитана только для «глаз» поисковых роботов. Заодно и влияние на SEO у нее выше.
• Ограничения по количеству ссылок на одну карту заметно ниже. XML-Sitemap позволит Вам добавить до 50 000 URL-адресов. Если этого количества слишком мало, потребуется создать дополнительные XML-карты.
• У XML-карты можно самому задавать частоту обновления поисковиками и приоритеты, но частота выставляется с некоторыми нюансами. Если Вы зададите ежеминутное обновление, это не значит, что роботы поисковиков будут фактически проводить обновления каждую минуту. Скорее Вы прописываете свои пожелания, к которым поисковые системы могут прислушаться.

Инструкция по грамотному составлению XML-карты

Чтобы качественно сформировать XML-Sitemap, потребуется строго соблюсти несколько правил:

1. XML-карта не будет весить свыше 10 МБ (для Яндекса, подробнее чуть ниже).
2. В XML-Sitemap не будет находиться свыше пятидесяти тысяч ссылок. Если на сайт требуется включить большее количество ссылок, нужно сформировать дополнительные карты и подключить их к основной XML-карте.
3. Адрес Sitemap проставьте в robots.txt.
4. Обязательно включите сайтмап в Яндекс и Google. Подробнее о том, как это сделать, поговорим ниже.
5. Поисковики должны обладать доступом к Sitemap. Для этого нужно воспользоваться тегами, помогающими Гуглу и Яндексу определить, что данный файл является картой сайта.
6. Для карты сайта применима только кодировка UTF-8.

Нюансы и отличия при формировании Sitemap для Яндекса и Гугла:

• Sitemap для Яндекса позволяется весить до 10 МБ, в то время как Google разрешено все 50;
• Яндекс поддерживает кириллицу, а Google – только латиницу и цифры.

Вариант обыкновенной XML-Sitemap:

Обратите внимание на некоторые теги: без url и loc карты создать не получится.

В теге url проставляются полные данные о конкретном url.

В теге loc проставляют сам адрес.

Остальные теги, представленные на скриншоте выше, вставлять не обязательно, но желательно.

Разберем их значения.

По тегу lastmod Вы узнаете, когда карта в последний раз обновлялась.

Тегом Changefreq зададите время, как часто будет обновляться карта. Можно задать следующие значения:

1. Hourly – каждый час.
2. Always – безостановочное обновление (помните: это лишь пожелание, в действительности ежесекундное обновление маловероятно).
3. Weekly – еженедельно.
4. Daily – один раз в день.
5. Monthly – ежемесячно.
6. Yearly – ежегодно.
7. Never – никогда не обновлять карту (крайне не рекомендую его использовать, но об этом поговорим чуть позже).

С помощью тега Priority Вы укажете поисковым роботам важность страницы относительно других.

Выставляется от низкого (0,1) до высокого (1).

На скриншоте представлен лишь пример Sitemap.

Не обязательно выставлять значения тегов точь-в-точь как на нем. Могу порекомендовать поставить приоритет для главной страницы – единицу, для главных страниц раздела – 0,6, для подразделов – 0,4.

Как уже упоминалось ранее, при количестве ссылок, превышающем 50 000, создавайте дополнительные карты сайта.

Сделать это можно, как указано здесь:

Как сформировать Sitemap XML

Вот несколько способов:

1. Создать сайтмап при помощи специального сервиса онлайн-генератора, скачать его и установить.
2. Создать карту с помощью специализированных программ. Но учтите, что такие программы обычно стоят денег.
3. Сделать сайтмап вручную.
4. Использовать автоматическое создание Sitemap с применением CMS, если движок имеет такую функцию.

Рассмотрим пример формирования XML-карты, используя плагин на WordPress, который называется Google XML Sitemaps. Делается это просто:

1. Скачайте плагин.
2. Установите его и откройте (консоль – настройки).
3. Кликните на XML-Sitemap и проставьте настройки. Приоритет оставьте по умолчанию.

Назвать карту можно как угодно.

Главное при этом оставить расширение .xml.

Также при изменении имени пропишите верный путь к карте в robots.txt.

Проверяем карту сайта и даем знать о нем поисковикам

Чтобы труд был проделан не зря, добавьте карту сайта в вебмастер Яндекса или Google.

Эти платформы подскажут Вам, все ли было сделано правильно.

В Яндексе ищите необходимый раздел вот здесь:

В Гугл Вебмастере заявить о карте нужно вот тут:

Дабы Яндекс увидел Вашу карту, подключите в robots.txt этот код.

Sitemap: https://your-site.com/sitemap.xml

После этого в вебмастере открывайте файлы Sitemap и пропишите в нем адрес Вашей карты.

В Гугле сайтмап добавляется аналогично.

Единственное отличие: раздел «файлы Sitemap» будут располагаться во вкладке «сканирование».

Ваш сайт плохо индексируется?

Скорее всего у вас ошибки в Sitemap.

Хотите проверить, правильно ли он у вас составлен?

Напишите нам.

Мы проведем технический аудит, проверим ошибки в карте сайта и в индексации.

Имеет ли смысл прятать Sitemap?

Вопрос неоднозначный.

Есть люди, которые целенаправленно скрывают Sitemap, боясь оказаться обворованными.

В карте находится большая часть структуры сайта.

Это означает, что при желании кто-то сможет создать дубликаты и локальные копии отдельных страниц или всего сайта.

На деле же выигрывает тот, кто держит карту для роботов открытой.

Кто будет воровать Ваши данные, если Вы рискуете даже не оказаться на первой странице поиска?

Поэтому я рекомендую Вам не закрывать карту сайта.

Инструкция по удалению Sitemap

Удаление выполняется в два этапа:

1. Удаляем плагин, с помощью которого создавали карту (или удаляем вручную из корневой папки, в зависимости от способа установки).
2. Удаляем ссылку на карту в файле robots.txt.

XML-Sitemap для картинок

Как Вы помните, карты XML-форматов бывают нескольких подвидов.

Посмотрим на пару из них и начнем с карты для изображений.

Синтаксис картинок поддерживается у Google.

Есть два варианта установки: сделать отдельную Sitemap или внедрить в уже существующую.

Такая карта нужна, чтобы предоставить поисковым роботам дополнительные данные о картинках на сайте.

Устанавливая ее, снижается риск, что некоторые изображения останутся незамеченными поисковиком.

По аналогии с обыкновенной Sitemap, некоторые теги необходимо включить, а остальные – на Ваше усмотрение.

Необходимые:

<image:image> – включает в себя URL картинки и дополнительные данные о ней.
<image:loc> – URL картинки.

Дополнительные теги:

<image:caption> – подпись к картинке.
<image:geo_location> – локация, в которой было снято изображение.
<image:title> – имя картинки.
<image:license> – Url-лицензия картинки.

XML-Sitemap для видео

Вторая карта, на которую обратит внимание Гугл. Пример карты:

Преимущества включения XML-Sitemap для видео:

1. Гугл сможет различить контент на сайте.
2. Поисковик получает более подробные данные о видеофайлах.
3. Видео с сайта можно будет найти в Google Видео.
4. Начало видео будет видно в поисковой выдаче, что благоприятно сказывается на трафике.

XML-Sitemap для видео включает следующие необходимые теги:

<loc> – включает URL-адрес страницы, на которой располагается видеоролик.
<video:video> – в теге содержатся все данные о видеоролике.
<video:thumbnail_loc> – URL к мини-картинке (она же заставка) видеоролика.
<video:title> – заголовок, имя которого должно быть аналогично названию страницы с видеороликом.
<video:description> – аннотация к видеоролику. Обязан быть аналогичным метаописанию страницы.

Тегов гораздо больше. Здесь перечислены основные. Все остальные можно посмотреть в справочнике Гугла.

Вывод

Карты сайта полезны для поисковых роботов, так как помогают им просмотреть структуру сайта.

HTML-карта также полезна для людей – она облегчает навигацию по сайту.

Надеюсь, это руководство поможет Вам без посторонней помощи создать карту сайта.