Заголовок HTTP X-Robots-Tag: что это, как использовать и проверить

Александр Овсянников (Интернет Мажор)
Обновлено: 12.07.2019
x robots tag

X-Robots-Tag — это заголовок HTTP, который дает указания о индексации сайта поисковым системам.

Использование X-Robots-Tag считается продуктивным и полезным для оптимизации сайта. Этот элемент дает поисковым системам инструкции, понятные без загрузки основного тела документа. В связи с этим, его указания для поисковиков более авторитетны, ведь системы затрачивают меньше ресурсов для анализа документов, а значит экономят краулинговый бюджет, выделенный для сайта.

В чем разница запрета на индексацию Robots.txt, Meta Robots и X-Robots-Tag

Все эти три способа предназначены для того, чтобы передавать поисковым системам указания по индексации вашего сайта. Но все же они различаются. Разберемся, в каких случаях предпочтительнее пользоваться тем или иным способом.

Текстовый файл robots.txt

Стандартный и общепринятый метод управления индексацией сайта. Яндекс четко понимает все указания, прописанные в файле и следует им. Но вот Google в этом плане более самостоятелен. Зачастую этот поисковик игнорирует указания файла robots.txt и в индекс попадают нежелательные страницы сайта. Использование этого способа очень удобно и просто, но не совсем надежно.

Специальный тег Meta Robots

Смысл данного метода тот же: дать указание поисковику о индексации контента. Тег прописывается между <head> и </head> в коде документа. Он может не только запрещать индексацию, но и запрещать поисковым роботам переходить по внутренним и внешним ссылкам, сохранять документ в кэше, сохранять какие-то выдержки из документа и заносить их в сниппет, и многое другое.

Но у данного метода есть и недостатки: он не может регулировать взаимодействия поисковых систем с медиаконтентом. Ведь данный метатег невозможно прописать к картинке или в видео.

Заголовок X-Robots-Tag

Наконец, третий способ управления поисковыми роботами, посещающими сайт: заголовок X-Robots-Tag. Данный метод считается самым надежным, так как его действие распространяется абсолютно на все виды контента, присутствующего на сайте.

Данный элемент устанавливается на уровне заголовков сервера, поэтому указания, прописанные в нем, имеют приоритетные правила.

Как использовать X-Robots-Tag HTTP-header

Заголовок X-Robots-Tag использует те же самые директивы, что и метатег Meta Robots. Рассмотрим основные из них, которые доступны в Google:

  • all — ограничения на индексацию и выдачу контента отсутствуют. Данное правило будет использовано по умолчанию, если не прописаны другие указания. Оно никак не влияет на деятельность поисковых роботов.
  • noindex — директива для запрета отображения документа. Также не будет отображаться ссылка на архивную версию страницы в поисковой выдаче.
  • nofollow — запрет на переходы по ссылкам, содержащимся в теле страницы.
  • none — директива, использование которой равнозначно использованию директив noindex и nofollow одновременно.
  • noarchive — запрет на отображение в поисковой выдачи ссылки на архивную версию документа, сохраненную в кэше.
  • nosnippet — запрет на отображение description (описания) документа на страницах поисковой выдачи.
  • noodp — запрет на использование метаданных, присутствующих в проекте Open Directory, для этого документа.
  • notranslate — в результатах поиска не будет отображаться окно с предложением перевода этого документа.
  • noimageindex — запрет на индексацию изображений, содержащихся на странице.
  • unavailable_after: [RFC-850 date/time] — запрет на отображение документа в поисковой выдаче по наступлению указанных даты и времени. Календарные и временные значения указываются в формате RFC-850.

А Яндекс понимает только noindex, nofollow, none, noarchive. Более подробно со всеми директивами Яндекса можно ознакомиться в справке Вебмастера.

Использовать заголовок X-Robots-Tag можно двумя способами. Первый способ заключается в настройке файла конфигурации сервера .htaccess, а второй способ — реализация с помощью PHP.

Первый метод распространяется на статические документы и контент вашего сайта, а второй способ — на динамические страницы, создающиеся на вашем сайте в процессе его функционирования.

Пример использования

Чаще всего X-Robots-Tag используется с помощью файла .htaccess, поэтому разберем этот способ подробнее, а после кратко поговорим об использовании его с помощью PHP.

Пример использования X-Robots-Tag с помощью .htaccess

Данный файл находится в корне сайта в папке public_html. Открывается для редактирования текстовым редактором или средствами, представленными в файловом менеджере вашего хостинга.

Допустим, вы решили закрыть от индексации все файлы .pdf, имеющиеся на вашем сайте. В .htaccess прописывается следующее:

Запрет в .htaccess всех файлов .pdf для индексации

<FilesMatch> — директива, позволяющая искать на сайте файлы, используя регулярные выражения.

В нашем случае, регулярным выражением является .pdf, а знак $, стоящий перед ним, указывает на то, что выражение находится в конце строки.

Таким образом, будут найдены все .pdf файлы и закрыты от индексации с помощью noindex. Также, директива nofollow запретит переходить по ссылкам в этих файлах.

Еще пример:

Запрет в .htaccess всех файлов .pdf для индексации и переход по ссылкам внутри их

Будут найдены все файлы .doc, .pdf и .swf. К ним будут применены следующие правила:

  • запрет на кэширование;
  • запрет на отображение на них сниппета в результатах поисковой выдачи;
  • 1 июля 2019 года в 12:00, все файлы будут удалены из индекса поисковых систем.

Пример использования с помощью PHP

В данном случае нам понадобится файл index.php, который также находится в корне сайта (в папке public_html). Между тегами <head> и </head>, нужно прописать функцию header.

Например, чтобы запретить индексацию контента и переход по ссылкам, функция должна выглядеть так:

Запрет и индексации контента в index.php

Как скрыть заголовок от людей

Иногда бывают ситуации, в которых необходимо скрыть настройки своего сайта от посторонних глаз. Давайте настроим наш X-Robots-Tag таким образом, чтобы его указания видели только роботы поисковых систем.

Опять редактируем файл .htaccess:

Скрыть настройки x-robots-tag в .htaccess

Теперь X-Robots-Tag будет виден только поисковому роботу Google.

Как проверить использование HTTP-заголовка X-Robots-Tag

Рассмотрим несколько способов проверки HTTP-заголовка X-Robots-Tag в программах, сервисах и с помощью плагинов к браузерам.

Онлайн сервисы

1. Проверка ответа сервера от Яндекс

В сервисе Яндекса заголовок запрещающий индексацию страницы, будет выглядеть вот так.

Проверка x-robots-tag в Яндекс

2. Server Header Cheker

Позволяет проверять адреса документов по одиночке или массово. Для проверки нужно ввести адрес документа, выбрать User Agent и нажать «Check Header». Результаты выглядят следующим образом:

server header checker

3. askapache.com

Онлайн инструмент, простой и понятный в использовании.

4. urivalet

Сервис, аналогичный сайту Server Header Checker. Вводим адрес документа и получаем результат:

urivalet

5. DeepCrawl

Позволяет совершать обход документов на сайте и выводит нужную нам информацию:

deepcrawl

Плагины к браузерам

1. Плагин Web Developer для Google Chrome и Firefox

Установите расширение в ваш браузер, на интересующем вас документе нажмите на значок плагина и проследуйте: «Information» → «View Response Headers».

Результаты проверки выглядят так:

web developer

2. Плагин LiveHTTPHeaders для Chrome и FireFox

Позволяет просматривать ответ сервера прямо при просмотре документов. Очень удобный плагин. Доступен для Google Chrome и Firefox.

livehttpheaders

Программы

1. Netpeak Spider

Мы уже делали обзор этой программы у нас на сайте, можно прочитать здесь.

Данная программа позволяет сделать анализ всего сайта целиком, отдельных документов или отдельной директории. Закрытые для индексации документы будут отдельно выделены следующими параметрами:

  • Запрет в X-Robots-Tag. Указывает на страницы, заблокированные к индексации посредством «noindex».
  • Nofollow в X-Robots-Tag. Указывает на страницы, в которых присутствует «nofollow» в поле X-Robots-Tag в HTTP-заголовках ответа сервера.

Очень удобный софт с огромным количеством возможностей.

2. Screaming Frog

Очень удобный инструмент для обхода крупномасштабных сайтов. Результаты выглядят так:

screaming frog

Заключение

Подводя итоги, можно выделить следующее: использование X-Robots-Tag имеет ряд преимуществ. И вот некоторые из них:

  • возможность использования регулярных выражений в файле .htaccess для подачи указаний поисковым системам;
  • действует для любого типа контента;
  • правила индексации скрыты от посторонних глаз;
  • имеет больший приоритет перед поисковиками, нежели файл robots.txt.

Использование данного метода должно осуществляться с осторожностью и пониманием значений директив.

Пожалуйста, оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!

Рейтинг статьи: / 5. Кол-во оценок:

Александр Овсянников ака Интернет Мажор
Занимаюсь продвижением и заработком на сайтах с 2009 года.

Оставить комментарий

avatar
  Подписаться  
Уведомление о