Карта сайта

Карты сайта могут быть ориентированы как на пользователей, так и на программное обеспечение.

Многие сайты имеют видимые пользователю карты сайта, обычно реализованные как структурированные иерархические списки страниц ресурса. Они предназначены для помощи посетителям в поиске нужной информации, а также могут быть использованы роботами для обхода сайта. Кроме того, карта сайта обеспечивает обзор структуры ресурсов и служит навигационным инструментом^[1]. Бывают и карты сайта, упорядоченные в алфавитном порядке; такие перечни часто называют сайт-директориями и они реализуют иной подход.

Для поисковых систем и других сканирующих программ существует структурированный формат — XML-карта сайта (англ. XML sitemap), который содержит список всех страниц сайта, их относительную важность и частоту обновления. Такая карта может быть указана в файле robots.txt, обычно размещается как sitemap.xml. Структурированные XML-карты особенно важны для сайтов, часть страниц которых недоступна по обычным ссылкам, а генерируется только поисковыми системами или посредством динамического JavaScript-формирования URL.

Google разработал протокол карт сайта (англ. Sitemaps protocol), позволяющий веб-разработчикам публиковать списки ссылок на различные разделы своего сайта. Основная задача — сделать доступными для индексации страницы, которые создаются динамически или доступны только после заполнения форм или авторизации. Файл карты сайта содержит URL таких страниц, чтобы их могли обрабатывать поисковые роботы. Bing, Google, Yahoo! и Ask.com поддерживают этот протокол совместно.

Поскольку ведущие поисковые системы используют одинаковый протокол, наличие карты сайта упрощает поддержание актуальной информации для роботов поиска. Однако сама карта не гарантирует, что все URL обязательно будут проиндексированы и появятся в поиске^[2]. Владельцы сайтов могут сообщить поисковым системам о карте сайта, указав её в файле robots.txt или добавив напрямую через инструменты для веб-мастеров, такие как Google Search Console. Эти способы стали основными для уведомления Google после того, как в июне 2023 года была прекращена поддержка анонимной отправки карты сайта через ping-запросы из-за низкой эффективности и большого количества спама^[3]. Google также подтвердил, что не использует теги <priority> и <changefreq>, в то время как тег <lastmod>, указывающий на дату последнего обновления контента, играет ключевую роль в планировании повторного сканирования страниц^[3]. Поисковая система Bing наряду с картами сайта активно продвигает протокол IndexNow, который позволяет мгновенно уведомлять поисковые системы об изменениях на сайте, дополняя, но не заменяя sitemap^[4].

С появлением XML-карт сайта необходимость ручной отправки URL в поисковые системы ушла в прошлое: теперь веб-разработчики либо направляют карту сайта напрямую, либо просто размещают её и ждут обнаружения поисковиком^[5]. Предоставление обновлённой карты сайта при публикации новых страниц способствует их более быстрой индексации по сравнению с автоматическим поиском роботом. Для эффективной работы карта сайта должна содержать только актуальные, канонические URL-адреса со статусом ответа 200 OK и не включать страницы с перенаправлениями или ошибками^[6].

Ниже приведён пример стандартной XML-карты для простого сайта из трёх страниц. Карты сайта особенно полезны для обеспечения лучшей индексируемости ресурсов, созданных не только на HTML.

Пример XML-карты сайта:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
  <loc>http://www.example.net/?id=who</loc>
  <lastmod>2009-09-22</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.8</priority>
 </url>
 <url>
  <loc>http://www.example.net/?id=what</loc>
  <lastmod>2009-09-22</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.5</priority>
 </url>
 <url>
  <loc>http://www.example.net/?id=how</loc>
  <lastmod>2009-09-22</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.5</priority>
 </url>
</urlset>

Стоит отметить, что, согласно заявлению Google, поисковая система больше не использует теги <changefreq> и <priority> для определения приоритетов сканирования.