Sitemap (рус.карта сайта) — файл или страница, содержащие структурированный перечень URL-адресов ресурса, предназначенный для упрощения сканирования и индексации сайта поисковыми системами. Карта сайта позволяет роботам быстрее находить новый и обновлённый контент, оптимизирует краулинговый бюджет и помогает передавать дополнительные метаданные о страницах[2][3][4].
Протокол Sitemap был впервые представлен компанией Google в июне 2005 года под названием Sitemaps 0.84[5]. Инициатива была запущена как способ для веб-мастеров сообщать поисковым системам о страницах на своих сайтах, доступных для сканирования.
Значительное расширение произошло в ноябре 2006 года, когда к инициативе присоединились Yahoo! и Microsoft[6][7]. В рамках этого сотрудничества протокол был обновлён до версии 0.90, а вся официальная документация была размещена на специально созданном сайте sitemaps.org[8].
В апреле 2007 года поддержку протокола также внедрили компании Ask.com и IBM. В том же месяце поисковые системы анонсировали возможность автоматического обнаружения файлов Sitemap с помощью специальной директивы в файле robots.txt[7], что сделало протокол общепринятым отраслевым стандартом.
В июне 2008 года о поддержке протокола Sitemap официально объявил Яндекс[9].
Развитие протокола и расширения
После стандартизации протокола Sitemap 0.90 в 2006 году его развитие было сосредоточено на расширении функциональности для передачи поисковым системам более подробных метаданных о различных типах контента. Были введены специализированные расширения, использующие собственные пространства имён XML[10]:
Для изображений — позволяет указывать расположение изображений на страницах, их названия и подписи для улучшения индексации в поиске по картинкам[10].
Для видео — даёт возможность передавать метаданные о видео, включая название, описание, продолжительность и URL миниатюры[11].
Для новостей — специальный формат для новостных изданий, помогающий Google Новостям оперативно обнаруживать свежие публикации. В такие карты сайта включаются только статьи, опубликованные за последние два дня[12].
В декабре 2011 года Google представил атрибут hreflang, который стало возможно указывать в файлах Sitemap. Это стало важным инструментом для международной SEO-оптимизации, позволяя поисковым системам показывать пользователям правильную языковую или региональную версию страницы[13].
Параллельно с развитием расширений менялась и поддержка протокола со стороны поисковых систем. После закрытия собственного инструмента для веб-мастеров Yahoo! Site Explorer 21 ноября 2011 года, поддержка Sitemaps со стороны Yahoo! была объединена с Bing Webmaster Tools[14].
Со временем поисковые системы стали отказываться от поддержки некоторых элементов протокола, которые оказались неэффективными. Google официально подтвердил, что полностью игнорирует теги `<priority>` и `<changefreq>`, так как на практике веб-мастера редко поддерживали их в актуальном состоянии[14]. В мае 2022 года Google также объявил о прекращении поддержки ряда тегов в расширениях для изображений и видео (например, `<image:caption>`, `<image:geo_location>`, `<video:category>`), чтобы упростить протокол[15].
В июне 2023 года Google прекратил поддержку эндпоинтов для анонимной отправки Sitemap через HTTP-запросы (метод «ping») из-за низкого уровня использования и большого количества спама[16]. Впоследствии от этого метода отказались и другие поисковые системы, включая Bing[17] и Яндекс[18]. В качестве более современной альтернативы для мгновенного уведомления об изменениях поисковые системы начали продвигать протокол IndexNow[19].
В последние годы роль Sitemap вновь возросла в связи с развитием поисковых систем на базе искусственного интеллекта. В 2025 году Microsoft заявила, что файлы Sitemap стали «критической инфраструктурой» для сайтов, так как ИИ-системы работают более избирательно, чем традиционные краулеры, и полагаются на структурированные сигналы для обнаружения контента[20]. В этом контексте особую важность приобрёл тег `<lastmod>`. В июне 2024 года Google обновил свою документацию, уточнив, что дату в этом теге следует обновлять только при внесении существенных изменений в контент страницы, а не при косметических правках. Это позволяет поисковому роботу более точно оценивать свежесть контента и планировать переобход[16].
Определение
Sitemap представляет собой список всех значимых страниц сайта, предназначенных для индексации поисковыми системами. В зависимости от формата карта сайта может содержать как простой перечень URL, так и расширенные метаданные о каждой странице (дата последнего изменения, частота обновления, относительный приоритет)[21].
Основные функции карты сайта:
Ускорение индексации — помогает роботам быстрее обнаруживать новый и обновлённый контент.
Улучшение сканирования — предоставляет полный список URL, исключая риск пропустить важные страницы[22].
Передача метаданных — в формате XML возможно указать дату изменения, частоту обновления и приоритет страницы.
Определение канонических страниц — наличие URL в карте сайта повышает вероятность выбора его в качестве канонического среди дублей[21].
Улучшение навигации для пользователей — HTML-карта сайта выступает дополнительным инструментом юзабилити.
Диагностика проблем — наличие/отсутствие страниц в индексе относительно карты сайта помогает выявлять ошибки сканирования[3].
Основные форматы Sitemap
Существует несколько форматов карт сайта, каждый из которых служит разным целям:
XML Sitemap — основной формат, предназначенный для поисковых систем. Это структурированный файл, который позволяет передавать не только список URL, но и дополнительные метаданные. Стандартный протокол поддерживает расширения, которые используют собственные пространства имён для передачи информации о специфических типах контента[23]. Ключевые расширения включают:
Для изображений — позволяет указывать расположение изображений на страницах для улучшения их индексации в поиске по картинкам.Для видео — даёт возможность передавать метаданные о видео, включая название, описание, продолжительность и URL миниатюры.Для новостей — специальный формат для новостных изданий, помогающий Google Новостям оперативно обнаруживать свежие публикации. В такие карты сайта включаются только статьи, опубликованные за последние два дня. Атрибут hreflang — хотя и не является отдельным расширением, его можно указывать в XML Sitemap для информирования поисковых систем о наличии различных языковых или региональных версий страницы, что критически важно для международной SEO-оптимизации[24].
HTML Sitemap — обычная HTML-страница на сайте, предназначенная в первую очередь для посетителей. Она содержит иерархический список ссылок на основные разделы и страницы ресурса, улучшая юзабилити и внутреннюю перелинковку[25].
Текстовый Sitemap — простой текстовый файл (.txt) в кодировке UTF-8, где каждый URL-адрес страницы расположен на новой строке. Этот формат не поддерживает метаданные, но является простым решением для небольших сайтов[26].
Ленты RSS и Atom — некоторые поисковые системы, например Bing, могут использовать ленты новостей в форматах RSS 2.0 и Atom 1.0 в качестве карты сайта для обнаружения нового контента[27].
XML Sitemap
XML-карта сайта адресована прежде всего роботам Google, Bing и других поисковых систем. Файл начинается с тега <urlset>, содержит не более 50 000 URL и весит не более 50 МБ; при превышении лимита используются индексные файлы. Внутри каждого блока <url> могут присутствовать теги:
<loc> — обязательный абсолютный URL;
<lastmod> — дата последнего изменения;
<changefreq> — рекомендуемая частота обновления;
<priority> — относительная важность страницы.
Указанные лимиты в 50 000 URL и 50 МБ актуальны для всех основных поисковых систем, включая Google, Bing и Яндекс[14][18][28]. При этом Google и Bing официально полностью игнорируют теги <changefreq> и <priority>[14][29], в то время как Яндекс рассматривает их лишь как рекомендацию[30].
HTML Sitemap
HTML-вариант создаётся как обычная веб-страница и ориентирован на людей: он облегчает навигацию по разделам и, косвенно, способствует индексации за счёт внутренней перелинковки[31].
Современные HTML-карты сайта должны соответствовать стандартам доступности WCAG 2.2, включая обеспечение корректной семантической структуры и возможности навигации с клавиатуры[32].
Текстовый Sitemap
Текстовая карта сайта содержит лишь список абсолютных URL без дополнительных атрибутов. Как и XML-файл, она должна быть в кодировке UTF-8 и не превышать 50 МБ или 50 000 строк[33].
Планирование
определение URL, подлежащих индексации, исключение дубликатов и служебных страниц;
расстановка приоритетов и частоты обновления;
выбор формата карты сайта и, при необходимости, создание отдельных файлов для изображений, видео или новостей[34].
Генерация
Карта сайта формируется:
вручную — для очень маленьких проектов;
через онлайн-генераторы;
плагинами CMS (WordPress, Joomla, Drupal и т. д.);
обновление карты сразу после добавления или удаления страниц;
автоматизация генерации для динамичных ресурсов;
периодический аудит и повторная отправка карты сайта при существенных изменениях[39];
особое внимание уделяется тегу <lastmod>. Согласно рекомендациям Google от июня 2024 года, дату в этом теге следует обновлять только при внесении существенных изменений в контент страницы (например, обновление основного текста или важных ссылок), а не при косметических правках. Это помогает поисковым системам более эффективно планировать переобход[40].
ускоренная индексация и обнаружение нового контента;
оптимизация краулингового бюджета;
возможность передачи метаданных страниц;
поддержка специализированного контента (изображения, видео, новости);
улучшенная навигация для пользователей (HTML-карта);
повышение эффективности обнаружения контента для поисковых систем на базе ИИ, которые используют Sitemap как основной источник структурированных данных для более избирательного сканирования.
Ограничения формата: один файл не может содержать более 50 000 URL и превышать 50 МБ, что требует создания индексных файлов для крупных сайтов.
Отсутствие гарантий индексации: наличие страницы в карте сайта не гарантирует, что поисковая система её просканирует или проиндексирует.
Необходимость поддержки: файл требует постоянного обновления для отражения актуальной структуры сайта, что может быть ресурсозатратно.
Риск синтаксических ошибок: ошибки в файле, особенно при ручном создании, могут помешать его обработке поисковыми системами.
Игнорирование тегов поисковыми системами: Google официально подтвердил, что полностью игнорирует теги <changefreq> и <priority>. Это делает их использование для влияния на сканирование Google бесполезным, а для других поисковых систем их значение носит лишь рекомендательный характер.
По мнению поисковых систем, таких как Google, файл Sitemap является важным, хотя и не всегда обязательным, инструментом для оптимизации сканирования сайта. Его использование рекомендуется в первую очередь для определённых категорий сайтов, чтобы помочь поисковым роботам более эффективно обнаруживать и индексировать контент[41].
Сайты, для которых Sitemap настоятельно рекомендуется
Крупные веб-сайты. Для сайтов со сложной структурой и большим количеством страниц (условно, более 500) Sitemap помогает поисковым роботам обнаруживать контент, на который может не вести достаточное количество внутренних ссылок[41].
Новые веб-сайты. Ресурсы с небольшим количеством внешних ссылок сложнее обнаружить, и карта сайта помогает ускорить их первую индексацию[41][42].
Сайты с богатым медиаконтентом. Для ресурсов с большим количеством изображений, видео или новостных статей рекомендуется использовать специализированные расширения Sitemap. Это позволяет передавать поисковым системам дополнительные метаданные (например, тематику изображений, продолжительность видео), улучшая их представление в поиске[41]. Для новостных сайтов Google Новости рекомендуют включать в карту только статьи, опубликованные за последние два дня.
Сайты со сложной внутренней структурой. Если на сайте есть «страницы-сироты», до которых трудно добраться через основную навигацию, Sitemap гарантирует, что поисковые роботы смогут их обнаружить[43].
Когда Sitemap не является необходимостью
Небольшие сайты. Для сайтов с условным количеством страниц до 500 и качественной внутренней перелинковкой поисковые роботы, как правило, могут обнаружить весь контент самостоятельно[41][43].
Сайты с идеальной структурой ссылок. Если все страницы на сайте логично связаны между собой и на каждую из них можно попасть по ссылкам из навигации, поисковые системы смогут эффективно обойти сайт без карты[41].
Одностраничные сайты. Ресурсам, состоящим из одной страницы (например, лендинг), карта сайта не требуется[44].
Важно отметить, что наличие файла Sitemap не гарантирует, что все указанные в нём страницы будут просканированы и проиндексированы. Карта сайта является лишь рекомендацией для поисковых систем, а не директивой[41][45].
XML-Sitemaps.com — один из старейших онлайн-инструментов, не требующий регистрации. Позволяет бесплатно создавать XML-карты сайта объёмом до 500 страниц, а также генерирует HTML-версию для посетителей и текстовый файл со списком URL[46]. Платные тарифы предоставляют возможность сканировать большее количество страниц и создавать карты для изображений и видео.
Small SEO Tools Sitemap Generator — бесплатный онлайн-сервис для создания XML-файлов объёмом до 500 страниц[47].
Генератор sitemap.xml от PR-CY — позволяет создавать XML-карту на основе списка URL, вставленного вручную, без ограничения по количеству адресов[48].
Majento Sitemap Generator — бесплатный онлайн-генератор, создающий файл sitemap.xml для сайтов с количеством страниц до 500[49].
Генератор sitemap.xml от be1.ru — сервис, который бесплатно сканирует до 1000 страниц и отправляет готовый файл на электронную почту. Платная версия позволяет увеличить лимит до 10 000 страниц[50].
WordPress: Большинство популярных SEO-плагинов, таких как Yoast SEO, Rank Math, All in One SEO (AIOSEO) и Jetpack, автоматически создают и обновляют XML-карты сайта при добавлении нового контента[51]. Многие из них также поддерживают протокол IndexNow для мгновенного уведомления поисковых систем об изменениях[52].
Joomla: Модуль OSMap позволяет создавать как XML, так и HTML-карты сайта, включая в них изображения и новости.
Drupal: Модуль XML Sitemap обеспечивает генерацию карты сайта с гибкими возможностями фильтрации контента[53].
1С-Битрикс: Система имеет встроенный мастер для создания файла sitemap.xml.
Screaming Frog SEO Spider — десктопная программа-сканер для Windows, которая позволяет детально анализировать сайты и создавать гибко настраиваемые XML-карты. Бесплатная версия позволяет сканировать до 500 URL, а платная является мощным инструментом для SEO-специалистов.
Netpeak Spider — программа для аудита сайта и генерации карты сайта, ориентированная на большие проекты.
Серверные скрипты — для динамических ресурсов часто используются собственные скрипты (например, на Python или Node.js), которые автоматически генерируют и обновляют карту сайта по расписанию (через CRON).
Сообщить поисковым системам о наличии и местонахождении файла Sitemap можно несколькими способами. Основными методами являются добавление файла через интерфейс инструментов для веб-мастеров и указание пути в файле robots.txt. Устаревший метод уведомления через HTTP-запросы («ping») больше не поддерживается ведущими поисковыми системами.
Google Search Console — является предпочтительным методом, так как позволяет отслеживать статус обработки файла, дату последнего сканирования и возможные ошибки. Добавление осуществляется в разделе «Файлы Sitemap». Для программной отправки Sitemap используется метод API sitemaps.submit, требующий авторизации OAuth 2.0[54].
Яндекс.Вебмастер — файл добавляется в разделе «Индексирование» → «Файлы Sitemap». После добавления файл попадает в очередь на обработку, которая может занять до двух недель. Для ускорения переобхода уже добавленного файла можно использовать специальную кнопку обновления в интерфейсе[55].
Bing Webmaster Tools — отправка Sitemap осуществляется во вкладке «Sitemaps». Сервис также позволяет импортировать данные о сайтах, включая файлы Sitemap, напрямую из Google Search Console.
В качестве более современной альтернативы для мгновенного уведомления об изменениях (добавлении, обновлении или удалении страниц) поисковые системы, включая Яндекс и Bing, активно продвигают протокол IndexNow. Он работает по push-модели (мгновенное активное уведомление) и дополняет, но не заменяет традиционный Sitemap, который функционирует по pull-модели (периодическое сканирование роботами)[19][56][57][58].