Заголовок HTTP X-Robots-Tag: что это, как использовать и проверить

X-Robots-Tag — это HTTP-заголовок, используемый в веб-страницах для управления поведением поисковых роботов при индексации контента. Использование X-Robots-Tag позволяет вебмастерам более точно контролировать, как поисковые системы будут обрабатывать и индексировать их контент.

Этот элемент дает поисковым системам инструкции, понятные без загрузки основного тела страницы. В связи с этим, его указания для поисковиков более авторитетны, ведь системы затрачивают меньше ресурсов для анализа страниц, а значит экономят краулинговый бюджет, выделенный для сайта.

В чем разница запрета на индексацию Robots.txt, Meta Robots и X-Robots-Tag

Все эти три способа предназначены для того, чтобы давать поисковым системам указания по индексации вашего сайта. Но все же они различаются. Разберемся, в каких случаях предпочтительнее пользоваться тем или иным способом.

Текстовый файл robots.txt

Стандартный и общепринятый метод управления индексацией сайта. Яндекс в основном четко понимает все указания, прописанные в файле и следует им. Но вот Google в этом плане более самостоятелен. Зачастую этот поисковик игнорирует указания файла robots.txt и в индекс попадают нежелательные страницы сайта. Использование этого способа очень удобно и просто, но не совсем надежно. Инструкции в файле robots.txt носят рекомендательный характер и могут игнорироваться поисковыми системами. Они управляют сканированием сайта, а не его индексацией.

Специальный тег Meta Robots

Смысл данного метода тот же — дать указание поисковику об индексации контента. Тег прописывается между <head> и </head> в коде страницы сайта. Он может не только закрывать от индексации страницы, но и запрещать поисковым роботам переходить по внутренним и внешним ссылкам, сохранять документ в кэше.

Но у данного метода есть и недостатки: он не может регулировать взаимодействия поисковых систем с медиаконтентом. Ведь данный метатег невозможно прописать к картинке или в видео.

Заголовок X-Robots-Tag

Наконец, третий способ управления поисковыми роботами, посещающими сайт — заголовок X-Robots-Tag. Данный метод считается самым надежным, так как его действие распространяется абсолютно на все виды контента, присутствующего на сайте.

Данный элемент устанавливается на уровне заголовков сервера, поэтому указания, прописанные в нем, имеют самые приоритетные правила.

Директивы X-Robots-Tag

Заголовок X-Robots-Tag использует те же самые директивы, что и метатег Meta Robots.

Рассмотрим основные из них, которые доступны в Google:

  • all — ограничения на индексацию и выдачу контента отсутствуют. Данное правило будет использовано по умолчанию, если не прописаны другие указания. Оно никак не влияет на деятельность поисковых роботов.
  • noindex — директива для запрета отображения документа. Также не будет отображаться ссылка на архивную версию страницы в поисковой выдаче.
  • nofollow — запрет на переходы по ссылкам, содержащимся в теле страницы.
  • none — директива, использование которой равнозначно использованию директив noindex и nofollow одновременно.
  • noarchive — запрет на отображение в поисковой выдачи ссылки на архивную версию документа, сохраненную в кэше.
  • nosnippet — запрет на отображение description (описания) документа на страницах поисковой выдачи.
  • noodp — запрет на использование метаданных, присутствующих в проекте Open Directory, для этого документа.
  • notranslate — в результатах поиска не будет отображаться окно с предложением перевода этого документа.
  • noimageindex — запрет на индексацию изображений, содержащихся на странице.
  • unavailable_after: [RFC-850 date/time] — запрет на отображение документа в поисковой выдаче по наступлению указанных даты и времени. Календарные и временные значения указываются в формате RFC-850.

Яндекс для X-Robots-Tag понимает только noindex, nofollow, none, noarchive. Более подробно со всеми директивами Яндекса можно ознакомиться в справке Вебмастера.

Поддерживаемые Яндексом директивы для X-Robots-Tag

Как применять X-Robots-Tag

Использовать заголовок X-Robots-Tag можно двумя способами:

  1. С помощью настройки файла конфигурации сервера .htaccess.
  2. Реализация с помощью PHP.

Первый метод распространяется на статические документы, страницы и контент вашего сайта, а второй способ — на динамические страницы, создающиеся на вашем сайте в процессе его функционирования.

Чаще всего X-Robots-Tag используется с помощью файла .htaccess, поэтому разберем этот способ подробнее, а после кратко поговорим об использовании его с помощью PHP.

Пример использования X-Robots-Tag с помощью .htaccess

Данный файл .htaccess находится в корне сайта. Открывается для редактирования текстовым редактором или средствами, представленными в файловом менеджере вашего хостинга.

Допустим, вы решили закрыть от индексации все файлы .pdf, имеющиеся на вашем сайте. В .htaccess прописывается следующее:

Запрет в .htaccess всех файлов .pdf для индексации

<FilesMatch> — директива, позволяющая искать на сайте файлы, используя регулярные выражения.

В нашем случае, регулярным выражением является .pdf, а знак $, стоящий перед ним, указывает на то, что выражение находится в конце строки.

Таким образом, будут найдены все .pdf файлы и закрыты от индексации с помощью noindex. Также, директива nofollow запретит переходить по ссылкам в этих файлах.

Еще пример:

Запрет кэширования, отображения в сниппете и удаление из индекса в определенную дату всех файлов формата .pdf, .doc, .swf

Будут найдены все файлы .doc, .pdf и .swf. К ним будут применены следующие правила:

  • запрет на кэширование;
  • запрет на отображение на них сниппета в результатах поисковой выдачи;
  • 1 июля 2019 года в 12:00, все файлы будут удалены из индекса поисковых систем.

Пример использования с помощью PHP

В данном случае нам понадобится файл index.php, который также находится в корне вашего сайта. Между тегами <head> и </head>, нужно прописать функцию header.

Например, чтобы запретить индексацию контента и переход по ссылкам, функция должна выглядеть так:

Запрет и индексации контента в index.php

Как скрыть заголовок от людей

Иногда бывают ситуации, в которых необходимо скрыть настройки своего сайта от посторонних глаз. Давайте настроим наш X-Robots-Tag таким образом, чтобы его указания видели только роботы поисковых систем.

Опять редактируем файл .htaccess:

Скрыть настройки x-robots-tag в .htaccess  для Google

Теперь X-Robots-Tag будет виден только поисковому роботу Google.

Как проверить использование HTTP-заголовка X-Robots-Tag

Если вы проверяете у своего сайта, то соответственно лучшим способом — это будет заглянуть в файл .htaccess.

Если у вас нет доступа к этому файлу, то тогда могут помочь эти инструменты. Рассмотрим несколько способов проверки HTTP-заголовка X-Robots-Tag в программах, сервисах и с помощью плагинов к браузерам.

Онлайн сервисы

1. Проверка ответа сервера от Яндекс

В сервисе Яндекса заголовок запрещающий индексацию страницы, будет выглядеть вот так.

2. askapache.com

Онлайн инструмент, простой и понятный в использовании.

3. pr-cy.ru/x-robots-checker

Русский сервис для проверки x-robots-tag.

4. site-analyzer.pro/services-seo/robots-meta-headers-checker/

Сервис русскоязычной программы по сканированию сайтов. Плюсы, что можно проверять одновременно до 50 url.

Анализ x robots tag в сервисе

Плагины к браузерам

1. Плагин Web Developer для Google Chrome и Firefox

Установите расширение в ваш браузер, на интересующем вас документе нажмите на значок плагина и проследуйте: «Information» → «View Response Headers».

Результаты проверки выглядят так:

Плагин web developer для проверки x-robots-tag

2. Плагин Detailed SEO Extension для Chrome и FireFox

Позволяет просматривать ответ сервера прямо при просмотре страниц. Очень удобный плагин. Доступен для Google Chrome и Firefox.

Просмотр x-robots-tag в плагине Detailed SEO Extension

Программы

1. Netpeak Spider (Не доступен в России)

Данная программа позволяет сделать анализ всего сайта целиком, отдельных документов или отдельной директории. Закрытые для индексации документы будут отдельно выделены следующими параметрами:

  • Запрет в X-Robots-Tag. Указывает на страницы, заблокированные к индексации посредством «noindex».
  • Nofollow в X-Robots-Tag. Указывает на страницы, в которых присутствует «nofollow» в поле X-Robots-Tag в HTTP-заголовках ответа сервера.

2. Screaming Frog

Очень удобный инструмент для обхода огромных сайтов. Результаты выглядят так:

Проверка x-robots-tag в Screaming frog

3. Site Analyzer

Русская разработка аналога Screaming Frog. Более современный интерфейс, стоит дешевле и справляется не хуже с большим объемом данных.

Проверка x-robots-tag в Site Analyzer

Выводы

Использование X-Robots-Tag имеет ряд преимуществ:

  • возможность использования регулярных выражений в файле .htaccess для передачи указаний поисковым системам;
  • действует для любого типа контента;
  • правила индексации скрыты от посторонних глаз;
  • имеет больший приоритет перед поисковиками, нежели файл robots.txt.

Использование данного метода должно осуществляться с осторожностью и пониманием значений директив.

Вопросы и ответы про X-Robots-Tag

Собрал самые популярные вопросы про заголовок http x-robots-tag, которые задают мне на консультациях. Кратко привожу ответы на них.

Какие поисковые системы поддерживают X-Robots-Tag?
Основные поисковые системы, такие как Google, Bing, Yandex и Baidu, поддерживают и используют X-Robots-Tag при индексации страниц. Это стандартный и широко принятый способ управления индексацией для вебмастеров.
Чем X-Robots-Tag отличается от robots.txt?
Хотя и X-Robots-Tag, и robots.txt используются для управления поведением поисковых роботов, между ними есть важные различия:

1) X-Robots-Tag задается на уровне отдельной веб-страницы, в то время как robots.txt применяется ко всему сайту.

2)X-Robots-Tag имеет более точные и гибкие настройки, позволяя управлять индексацией каждой страницы.

3) Robots.txt может игнорироваться поисковыми системами, тогда как X-Robots-Tag обязателен к исполнению.
Влияет ли X-Robots-Tag на ранжирование сайта в поисковой выдаче?
Правильное использование X-Robots-Tag может косвенно повлиять на ранжирование сайта в поисковой выдаче, но не напрямую. Например:

- Блокировка индексации нерелевантных или дублирующих страниц с помощью noindex может улучшить релевантность сайта.

- Запрет на кэширование страниц с динамическим контентом с помощью noarchive может улучшить актуальность информации.

Таким образом, X-Robots-Tag помогает оптимизировать сайт для поисковых систем, что в итоге может положительно повлиять на его ранжирование.
Поделиться статьей:
Александр Овсянников
С 2009 года занимаюсь заработком в интернете и пишу об этом в блог. За более чем 14 лет практики, я успел попробовать различные виды онлайн бизнеса. О всех нюансах делюсь в своих статьях и в телеграм канале.

Комментарии

Подписаться
Уведомить о
guest
2 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Алексей
Алексей
30.04.2021 08:14

пишу из будущего
пандемия 2021 год

статья даже сейчас просто охрененная!!
она одна отвечает на десяток моих вопросов висевших годы
а когда я дочитал ее до конца, не веря в происходящее,
я увидел еще 3 статьи, ну прямо в точку
это именно те три магических зерна знания, которые вытолкнули меня на новый SEO Level

и в конце моя любимая сео прога… рыдаю

спасибо, бро!

© 2024