Как сделать sitemap для сайта

Корректно реализованный файл Sitemap является критически важным компонентом SEO-продвижения сайта. Он не гарантирует индексацию абсолютно всех страниц, но значительно упрощает и ускоряет их обнаружение поисковыми роботами, особенно для крупных и часто обновляемых ресурсов. Это прямо влияет на оперативность отображения нового контента в поисковой выдаче и, как следствие, на видимость всего сайта.

Что такое карта сайта?

Sitemap представляет собой служебный файл, содержащий список URL-адресов, которые должны попасть в индекс сайта. Файл выступает в роли технической документации или путеводителя, составленного для поисковых роботов.

Он стандартизирован и включает в себя как прямые ссылки, так и дополнительную мета-информацию (например, дату последнего изменения страницы, частоту ее обновления и приоритетность относительно других разделов сайта).

Для чего нужна карта сайта?

Основная задача Sitemap заключается в помощи поисковым системам эффективнее обнаруживать, сканировать и индексировать контент.

Ее внедрение становится особенно важным в ряде случаев. Например, для крупномасштабных проектов со сложной архитектурой и большой вложенностью. Впрочем, незаменим файл и для сайтов, не имеющих четкой иерархической структуры. Или тех, что содержат разделы, изолированные от основного «дерева» ссылок.

Наличие sitemap.xml важно для новых, недавно запущенных проектов, которые еще не успели получить достаточное количество внешних ссылок, а также для ресурсов с часто обновляемым контентом. Во втором случае он будет сигнализировать ботам о необходимости повторного сканирования.

Виды карт сайта

Существует два основных типа карт сайта:

1. Карта сайта XML. Выступает техническим файлом, размещаемым в корневом каталоге сервера. Предназначена исключительно для поисковых ботов и содержит «машиночитаемые» инструкции. Ее основная функция — коммуникация с алгоритмами поисковых систем.
2. Карта сайта HTML. Создается для людей. Выглядит как отдельная страница, обычно доступная через ссылку в подвале сайта, и представляет собой структурированный, часто древовидный список основных разделов и страниц. Ее цель — помочь посетителю сориентироваться в навигации и быстро найти нужный ему контент. 

Синтаксис sitemap.xml

Структура файла Sitemap строго регламентирована протоколом sitemaps.org. Все содержимое файла должно быть заключено в корневой тег <urlset>, который содержит ссылку на пространство имен. Каждый отдельный URL на сайте при этом описывается внутри собственного тега <url>.

Перечень обязательных элементов синтаксиса выглядит следующим образом:

1. <url>. Это контейнер для всех данных об отдельной странице. Каждый адрес на карте сайта должен быть обернут в этот тег.
2. <loc>. Обязательный дочерний тег внутри <url>. Содержит адрес страницы. При этом он должен включать протокол (например, https://) и не должен превышать 2048 символов. Это единственный обязательный для заполнения тег для каждого URL.

Есть и рекомендуемые, дополнительные элементы:

1. <lastmod>. Указывает дату и время последнего изменения контента на странице в формате ISO 8601 (например, 2023-10-05 или 2023-10-05T08:15:30+03:00). Актуальность информации по тегу помогает поисковым ботам оптимизировать «обход» сайта.
2. <changefreq>. Содержит приблизительную оценку частоты обновления контента на странице. Внутри используются текстовые значения: always, hourly, daily, weekly, monthly, yearly, never — всегда, каждый час, каждый день, неделю, месяц, год и никогда — соответственно. Это именно рекомендация, а не строгая команда для бота.
3. <priority>. Задает относительный приоритет текущей страницы по отношению к другим URL на сайте. Значение находится в пределах 0.0–1.0. Например, главной странице часто присваивают приоритет 1.0, страницам услуг — 0.9, категориям — 0.8, а статьям блога — 0.5.

Следует отметить, что для Google последние два пункта — <changefreq> и <priority> — уже не являются обязательными и быть проигнорированы. Помимо основных тегов, существуют специализированные теги для локализованных версий страниц, изображений.

Как сделать Sitemap для сайта?

Существует два основных подхода к его созданию: ручной и автоматизированный. 

Ручное создание

Метод предполагает формирование файла вручную с помощью любого текстового редактора. Здесь необходимо строго соблюдать синтаксис, вручную прописывая теги для каждого адреса. Способ абсолютно трудоемок, подвержен ошибкам и подходит только для небольших сайтов, структура которых меняется крайне редко.

Генераторы, плагины

Для подавляющего большинства современных сайтов рекомендуем автоматизированный подход. Он реализуется с помощью:

• Онлайн-сервисов и программ-генераторов, которые создают файл на основе введенного URL сайта.
• Встроенных или сторонних модулей для CMS. Подобные решения автоматически генерируют и обновляют карту сайта при добавлении нового контента. Метод предельно корректный и эффективный.

Технические требования и рекомендации

Вне зависимости от выбранного способа создания, файл должен соответствовать ряду строгих технических критериев:

1. Кодировка и валидность. Файл должен быть сохранен в UTF-8. Кириллические символы в ссылке должны быть экранированы.
2. Ограничения по объему. Один файл не может содержать более 50 тысяч URL и превышать размер 50 МБ (до сжатия). Для сайтов большего объема необходимо создать несколько карт и объединить их в индексный файл.
3. Актуальность и доступность. Файл должен быть актуальным и автообновляемым. Если автоматическое обновление невозможно, то необходимо хотя бы регулярно обновлять Sitemap. При запросе, по его прямому URL, сервер должен возвращать «успешный» код — «200 ОК». Файл также не должен быть заблокирован для ботов в robots.txt или настройках сервера.
4. Релевантность содержания. Все URL, указанные в карте, должны принадлежать тому же домену, на котором они размещены. Включать следует только канонические ссылки, доступные для индексации и сканирования, отдающие код ответа сервера «200 ОК». Следует исключать дубликаты и страницы пагинации (даже если они доступны для индексации). 
5. Интеграция с robots.txt. Для указания поисковым системам пути к карте сайта ссылка на Sitemap должна быть добавлена в файл robots.txt с помощью директивы «Sitemap:».

После создания файл необходимо разместить в корневой директории сайта. Далее — выполнить проверку: убедиться в возможности открытия по прямому URL в браузере и проверить на соответствие синтаксису — с помощью валидаторов.

Необходимо также добавить карту в инструменты Google Search Console и Яндекс.Вебмастер. Такое решение позволит систематически проверять sitemap.xml на ошибки и передать поисковым системам данные напрямую. На выходе получается отслеживать процесс индексации куда удобнее.

Наша команда Webernetic настраивает карты сайта, превращая их в мощный способ коммуникации с поисковыми ботами. Мы гарантируем, что навигационная структура будет представлена максимально четко, что послужит опорой для сохранения текущих позиций и трафика, и при этом создаст надежный плацдарм для их дальнейшего упрочнения.

Ответы на популярные вопросы

Сколько карт сайта можно создать?

Ограничений нет. Количество зависит от размера и структуры сайта. Небольшим сайтам хватит одной карты, а крупным проектам лучше создать несколько тематических (например, для товаров, статей или услуг).

Как найти Sitemap, если его нет в robots.txt?

Можно попробовать перейти по стандартным адресам. Например, по https://site.com/sitemap.xml.

Как добавить изображения в sitemap?

Для каждого URL подойдет тег <image:image>, внутри которого следует указать <image:loc» — с ссылкой на картинку.

Какие имена подойдут для sitemap?

Жестких стандартов нет, но для удобства используйте понятные имена: sitemap.xml, sitemap_images.xml, sitemap_products.xml или sitemap_index.xml для главного файла-индекса.

Есть ли ограничения на размер файла?

Да. Один файл не должен превышать 50 МБ (в несжатом виде) и содержать не более 50 тысяч адресов. Если лимит превышен, то нужно создать основной индексный файл, который будет ссылаться на несколько отдельных карт.