Почему сайт не индексируется поисковыми роботами: 16 причин

Александр Овсянников (Интернет Мажор)
Обновлено: 05.12.2018
Почему сайт не индексируется поисковыми роботами?

Многие вебмастера сталкиваются с проблемами индексации сайта, которые негативно влияют на его SEO-продвижение, трафик. Они постоянно совершенствуют сайт, оптимизируют, добавляют новый контент, а число страниц в индексе не растет, либо и вовсе весь ресурса там отсутствует.

Чтобы предпринять соответствующие меры по предотвращению данной проблемы, нужно выяснить, почему сайт не индексируется поисковыми роботами. Сегодня мы и поговорим об основных причинах, которые приводят к тому, что материалы с ресурса не вносятся в базу данных поисковиков.

1. Яндекс и Google еще не заметили ваш ресурс

Это одна из самых возможных причин. Вы недавно создали свой сайт и выложили его в интернет, но не предприняли никаких мер, чтобы поисковики побыстрее нашли его. Тогда индексацию и вправду можно ждать очень долго.

Чтобы этого не допустить, обязательно добавьте проект в Addurl (Аддурилку), а также в панель вебмастера Google и Яндекс. Проделав эти несложные шаги, можно ожидать попадания сайта в индекс уже через пару часов, но бывает, что приходится ждать и несколько дней.

2. Настройки приватности в WordPress

Настройки приватности в WordPress
Если вы используете готовую CMS, обязательно проверьте приватные настройки, которые нередко установлены по умолчанию, и именно из-за них сайт может не индексироваться.

Например, если у вас WordPress зайдите в «Настройки», а затем в «Чтение». Там вы найдете опцию «Видимость для поисковиков», напротив которого нужно убрать галочку возле «Попросить поисковые машины не индексировать сайт».

Если вы используете другую CMS, то обязательно проверьте стоит ли у вас в настройках подобная опция. Как ни странно, но ситуации, когда сайтостроители элементарно забывают снять эту галочку, случаются довольно регулярно.

3. Веб-ресурс или отдельные его файлы заблокированы в robots.txt

Еще одна распространенная причина, которая остается без внимания вебмастеров. Но и эту проблему легко исправить. Если на сайте нет мусорных страниц и технических разделов, то достаточно создать файл robots с таким правилом, которое разрешает индексировать весь ваш сайт:

User-agent: *
Disallow:

Что такое robots.txt и как правильно его настроить читайте в этой статье.

4. На сайте много повторяющихся материалов

Как правило, зачастую дублируются страницы и мета-теги. Это грозит не только непопаданием вашего сайта в индекс, но и применением по отношению к нему санкций от Google Panda (алгоритм, который борется с некачественным контентом). Узнать, какие основные проблемы существенно снижают качество и эффективность проекта, вы можете в разделе «Вид в поиске» –> «Оптимизация HTML» в Google Вебмастере.

Сегодня это одна из распространенных причин, по которой сайты попадают под санкции, и разработчикам становится сложнее их продвигать.

5. Мета-тег name, content

Скрыть веб-ресурс от поисковиков можно и мета-тегом:

<meta name=”robots” content=”noindex, nofollow”>

Иногда это правило может быть прописано и для определенных роботов:

<meta name="googlebot" content="noindex" />

Чтобы проверить его наличие, откройте исходный код сайта и проверьте содержимое. Если найдете вышеупомянутую строку, просто удалите ее, или «nofollow» и «noindex» замените на «follow» и «index» соответственно.

Да, бывали и такие случаи, когда данный мета-тег присутствовал в коде, а вебмастера даже не догадывались об этом и искали совершенно другие проблемы.

6. Мета-тег noindex

Заодно проверьте в коде тег <noindex></noindex>, не обрамлен ли им ваш контент. Этот тег служит для поисковой системы Яндекс, который указывает, что этот контент не следует индексировать. То есть если у вас часть текста закрыта этим тегом, то у вас страница будет индексироваться, а сам контент который им обрамлен не будет.

7. Использование HTTP-заголовка X-Robots-Tag

Этот способ закрывает от индексации страницы только для Google. В коде этот метатег не найти, так как он работает на уровне заголовков сервера. Проверить его можно с помощью плагина для браузера Web Developer: Chrome, FireFox

x-robots-tag проверка web developer

Или с помощью онлайн инструмента http://tools.seobook.com/server-header-checker/

8. Перебои в работе хостинга или сервера

Если робот посетил ваш сайт, чтобы проиндексировать его содержимое, а в это время он оказался недоступным, то страницы так и не будут внесены в базу данных поисковых систем. Поэтому очень важно выбрать надежный хостинг и сервер с хорошим up time.

Чтобы всегда быть в курсе доступности ресурса, созданы самые разные сервисы. Найти их можно, введя в поиск запрос «uptime checker». Рекомендуем Яндекс.Метрика – он совершенно бесплатный.
Сервис Яндекс.Метрика

9. Ошибки при сканировании

Если их возникает в изобилии, то боты не имеют возможности полноценно обойти сайт и добраться до необходимых страниц. Проверить наличие ошибок можно в Google Webmaster Tools. Зайдите в раздел «Сканирование» и выберите «Ошибки сканирования». Если они будут обнаружены, сервис предложит их исправить.

10. Ранее используемый домен

Если вы зарегистрировали сайт на старое доменное имя, потому что оно легко читается и хорошо звучит, будьте готовы к тому, что его предыдущий владелец занимался черными методами SEO-продвижения, и теперь вам придется «разгребать» все те проблемы, к которым привела его деятельность.

Поправить ситуацию можно:

  1. Отправив в Яндекс и Google запрос на пересмотр и узнав, почему страницы не индексируются.
  2. Продолжая продвигать проект и работать над его качеством.

На заметку. Если домен спустя 3 или чуть более месяцев все равно нормально не индексируется, лучше сменить доменное имя. Или написать в поддержку поисковых систем и узнать насчет санкций на этот домен.

11. Медленная скорость загрузки сайта

Данный показатель является одним из основных факторов ранжирования ресурса и оказывает существенное влияние на его позиции в поисковых системах. Разумеется, если ваш портал загружается дольше положенного, с большой долей вероятности и его индексация будет проходить очень медленно. Самое оптимальное время загрузки составляет 2 секунды. Более 3-х секунд – это уже долго. На загрузку сайта влияет хостинг на котором он расположен.

12. Ресурс заблокирован в файле htaccess

Зачастую данный файл используется для настройки 301 редиректа, однако здесь также можно осуществить закрытие поисковым ботам доступ к сайту. Чтобы проверить содержимое .htaccess, найдите его на сервере, после чего проверьте код, чтобы там не было команды, блокирующей ресурс.

13. Наличие AJAX и JavaScript

Поисковик Google индексирует их, но гораздо сложнее, чем тот же HTML. Неправильно настроив страницы AJAX и JavaScript, ваш сайт не будет проиндексирован.

14. Попадание под фильтры поисковиков

Получить Deindexed, пожалуй, страшнее всего. Это наказание за то, что вебмастер выбрал нелегальную политику продвижения своего сайта: размещал запрещенные материалы или нерелевантный запросам контент, спамил ключевыми словами, использовал дорвеи и пр. Это очень и очень плохо, и если вас разоблачили, то вернуть сайт в поиск и заслужить доверие поисковых машин будет сложно.

15. Индексация сайта с www и без www

По сути, www – это поддомен. Поэтому http://webmasterie.ru и http://www.webmasterie.ru – это разные адреса сайта. Перепроверьте, указали вы 301 редирект с одного домена на другой. Также не забудьте указать основное доменное имя, и при этом подтвердить, что вы являетесь владельцем обеих доменов, чтобы поисковая система не считала эти домены разными сайтами.

16. Отсутствие карты сайта

В редких случаях, но отсутствие Sitemap на сайте может стать причиной того, что он остается незамеченным поисковыми ботами. Эту страницу тоже не забудьте добавить в панель вебмастера Яндекс и Google.

Заключение

Без индексации веб-сайта его существование просто бессмысленно, только если вы не ведете его чисто для себя. Если желаете продвигать сайт, найдите причину, из-за которой он не заносится в индекс. Это важно, чтобы поскорее предотвратить проблему и в дальнейшем не допускать ее снова.

Если же вы исправили все вышеуказанные причины и ресурс все-равно не попадает в поиск, незамедлительно обращайтесь в поддержку Google и Яндекс. Там вам с большой вероятностью объяснят, в чем дело.

Пожалуйста, оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!

Рейтинг статьи: / 5. Кол-во оценок:

Александр Овсянников ака Интернет Мажор
Занимаюсь продвижением и заработком на сайтах с 2009 года.

Оставить комментарий

avatar
  Подписаться  
Уведомление о