//

Noindex, nofollow: как и когда нужно использовать

Noindex, nofollow: как и когда нужно использовать

обновлено: 24.10.2019
Александр Коваленко, CEO/founder агентства Advermedia.ua, опыт в SEO более 10 лет. Телеграм: @profseoua
0
23.10.2019

1. Тег <noindex>

– Что такое тег <noindex>

Тег noindex – это тег, который используется для запрета индексации части контента, который в него заключен. Данный тег не входит в спецификацию языка гипертекстовой разметки HTML.

Правильное использование тега:

<noindex>тут текст</noindex>

Важно:

  1. Тег noindex был предложен поисковой системой Яндекс как альтернатива атрибуту rel=“nofollow”.  Данный тег распознают только поисковые системы Яндекс и Рамблен. Google его не учитывает.
  2. С мая 2010 года Яндекс учитывает атрибут rel=“nofollow”.
  3. Данный тег несовместим с HTML-валидаторами, которые считают его ошибкой. Чтобы сделать код валидным, используйте конструкцию:
    <!--noindex-->тут текст<!--/noindex-->

Теперь давайте разберемся, в каких случаях уместно использование тега  <noindex>

– Тег <noindex> – для закрытия от индексации части контента

Пример 1.
Основная область применения данного тега – это закрытия от индексации текстового контента или его части. Предположим, вам необходимо разместить на странице SEO текст, а также дополнительную текстовую информацию, которую вы не хотите индексировать, в таком случае – отключите данную часть контента с помощью тега <noindex>.

Пример 2.
Яндекс и Гугл имеет разное отношение к переспаму и количеству употреблений ключевых фраз в тексте. Если вам необходимо сократить количество употреблений ключевых фраз для Яндекса – сократите часть контента с помощью данного тега в глазах Яндекса.

– Тег <noindex> для закрытия текстовых ссылок

Не используйте данный тег для этой цели, почему:

  • данный тег не учитывает поисковая система Google;
  • он сможет скрыть только текст ссылки (анкор) для поисковой системы Яндекс.

Установите атрибут для таких ссылок:  rel=”nofollow”. 

– Сочетание тега <noindex> и атрибута ссылок rel=”nofollow”

Тег <noindex> можно использовать в сочетание с rel=”nofollow”. Данная комбинация ограничивает передачу ссылочного веса ссылки, также Яндекс не обратит внимание на текст ссылки (анкор). 

Конструкция:
<noindex><a href="http://site.com/">текст ссылки</a></noindex>

– Распространенные ошибки

Как правило, основная ошибка связанная с тегом <noindex> – это неучитывание факта того, что Google не распознает данный тег. Таким образом текст не будет проиндексирован в Яндекс, но будет полностью проиндексирован Google.

2. Mета-тег “robots” со значением “noindex”

– Что такое мета-тег “robots” со значением “noindex”

Мета-тег – это тег, который применяется только для роботов поисковых систем с целью закрытия от индексации (не сканирования).

Как использовать данный тег:

Мета-тег роботс устанавливается в секцию на той страницы, которую необходимо закрыть индексации или которая не должна индексироваться поисковыми системами.

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

Конструкция тега:

<meta name="robots" content="директива" />

Какие директивы могут быть использованы в Google:

ДирективаОписание
allНет ограничений на индексирование и показ контента. Эта директива используется по умолчанию и не влияет на работу поисковых роботов, если нет других указаний.
noindexНе показывать эту страницу, а также ссылку “Сохраненная копия” в результатах поиска.
nofollowНе выполнять переход по ссылкам на этой странице.
noneАналогично метатегам noindex, nofollow.
noarchiveНе показывать ссылку “Сохраненная копия” в результатах поиска.
nosnippetНе показывать фрагмент текста этой веб-страницы в результатах поиска. При этом уменьшенное статическое изображение (если оно есть) останется видимым.
notranslateНе предлагать в результатах поиска перевод этой страницы.
noimageindexНе индексировать изображения на этой странице.
unavailable_after: [RFC-850 date/time]Не отображать эту страницу в результатах поиска после указанного времени/даты. Время/дату следует указать в формате RFC 850.

*данные из справки Google.

ДирективаОписание
noindexНе индексировать текст страницы. Страница не будет участвовать в результатах поиска
nofollowНе переходить по ссылкам на странице
noneСоответствует директивам noindex, nofollow
noarchiveНе показывать ссылку на сохраненную копию в результатах поиска
noyacaНе использовать сформированное автоматически описание
index | follow | archiveОтмена соответствующих запрещающих директив
allСоответствует директивам index и follow — разрешено индексировать текст и ссылки на странице

*Данные из справки Яндекс.

Как видим, основная часть директив одинаковые.

– Варианты использования meta robots noindex

Можно выделить наиболее частые конструкции, которые используются SEO-оптимизаторами на практике:

  1. – если не нужно, чтобы страница индексировалась, но нужно, чтобы роботы могли ходить по ссылкам на странице.
  2. ИЛИ- если не нужно, чтобы страница индексировалась и роботы переходили по ссылкам на странице.
  3. ИЛИ- если нужно, чтобы страница индексировалась, но не нужно, чтобы роботы переходили по ссылкам на странице.

При этом, если вам нужно закрыть страницу от индексации в Яндекс, используем:

<meta name="yandex" content="noindex"/>

В Google:

<meta name="googlebot" content="noindex" />

– Отличия meta robots noindex от noindex в robots.txt

Основное отличие в следующем:

  • Мета-тег предназначен для закрытия страницы от индексации (запрет индексации).
  • Директива Disallow в файле robots.txt предназначена для закрытия от сканирования (не индексации).

Также, стоит отметить, что с помощью директивы Disallow можно закрыть от сканирования не только конкретную страницу, но и целую папку, в отличие от мета-тега роботс, который может запретить индексацию только той страницы, на которой он размещен.

В каких случаях нужно использовать мета-тег “robots”:
Для исключения из индекса поисковой системы страницы, которая уже проиндексирована, а также точечного или массового удаления из индекса или запрета ненужных страниц.

В каких случаях нужно использовать Disallow в файле robots.txt:
Для запрета сканирования служебных файлов и документов, а также нежелательных страниц: динамические страницы фильтра, страницы с результатами поиска и тд.

Воспользуйтесь развернутой инструкцией: Robots.txt: полное руководство по настройке

Важно:

  1. Для поисковой системы Яндекс файл robots.txt – обязательная директива, для Google – рекомендация.
  2. Поисковый робот может обращаться к файлу роботс не при каждом заходе на ваш сервер.

– Распространенные ошибки

  • Ошибка 1. Удаление страницы из индекса с помощь Disallow в файле robots.txt
    Почему это ошибка? Страница уже проиндексирована и находиться в индексе – вы установили запрет сканирования в файле робот, теперь робот не будет заходить на нее, но она останется в индексе.
  • Ошибка 2. Удаление страницы из индекса с помощь Disallow в файле robots.txt + установка мета-тега роботс
    Почему это ошибка? Страница уже проиндексирована и находиться в индексе – вы установили запрет сканирования в файле робот, теперь робот не будет заходить на нее, т.е. робот не сможет зайти на страницу и увидеть, что на ней установлен запрет индексации, следовательно, он не сможет исключить ее из индекса.

3. Атрибут rel=“nofollow”

– Что такое атрибут rel=“nofollow”

Атрибут Nofollow предназначен для запрета перехода по ссылке роботам поисковых систем. Данный атрибут распознает как Яндекс, так и Google.

Конструкция:

<a href=http://www.example.com rel=nofollow>Анкор (текст ссылки)</a>

Данный атрибут ссылок может использоваться:

  • Для внутренних ссылок на сайте. Допустим, у вас есть необходимость запретить переходы поискового робота по определенным ссылкам на сайте, а также исключить передачу внутреннего ссылочного веса со страницы на страницу.
  • Для внешних ссылок на сайт. Для ограничения передачи ссылочного веса на ваш сайт. 

Важно:

  1. В конце 2019 года Google опубликовал обновленную инструкцию по настройке атрибута Nofollow для внешних ссылок, в последствие чего появились новые атрибуты, такие как rel=”ugc” (для ссылок из комментариев) и rel=”sponsored” (для платных ссылок).

  2. Поисковый робот Google сканирует только ссылки типа a href=, и не сканирует ссылки a routerLink=, span href= и a onclick=.

– Атрибут Nofollow для закрытия внешних ссылок 

Как правило, данный атрибут используется SEO-оптимизатором в 2 случаях:

  • для для “разбавления” ссылочной массы сайта;
  • точечная необходимость, чтобы конкретную ссылку не учитывали поисковые системы и вес ссылки не передавался. 

Часто используется для ссылок из комментариев на форумах, статьях (крауд-ссылок).

– Атрибут Nofollow для закрытия внутренних ссылок 

Данный атрибут необходимо использовать только для точечного ограничения передачи ссылочного веса, а также перехода по ссылке роботом внутри сайта. Не массово.

В основном, данный атрибут используется в следующих случаях: 

  • для ограничения передачи ссылочного веса на все внешние ссылки;
  • для ограничения передачи ссылочного веса на точечные ссылки (например, ссылка на страницу регистрации, входа на сайт и другие страницы интерфейса сайта).

– Передает ли nofollow вес

Google утверждает следующее: «…Как правило, переход не производится. Это означает, что по этим ссылкам Google не передает ни PageRank, ни текст ссылки…»

4. Заголовок x-robots noindex

Продвинутый метод закрытия от индексации с помощью HTTP-заголовок X-Robots-Tag

С помощью данного заголовка можно настроить закрытие от индексации страницы. Параметры указываеются в специальном мета-теге на страницах (X)HTML или в HTTP-заголовке.

Данный формат поддерживает как Яндекс, так и Google.

Важно:
У поискового робота должен быть полный доступ странице.

Как это работает:
Пример HTTP ответа документа, который запрещает индексирование такого документа:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

С помощью данного заголовка также можно ограничить индексирование для конкретной поисковой системы:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Тут можно найти список директив.

Заключение

Используйте тег <noindex> исключительно по назначению, учитывайте, что данный тег применим только для поисковой системы Яндекс. Последующие 3 решения применимы для обоих поисковых систем:

  • Мета-тег “robots” со значением “noindex” выполняет запрет от индексации конкретной страницы, не допускайте ошибку с закрытием страницы от сканирования через файл робот.
  • Атрибут ссылок rel=”nofollow” применим как для внутренних (прежде чем применять это решение – проанализируйте ссылочные веса внутренних страниц – примите взвешенное решение), так и для внешних ссылок.
  • Применяйте HTTP-заголовок x-robots noindex как альтернативу запрета индексации страницы, если это необходимо с технической точки зрения. 
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (1 оценок, среднее: 5,00 из 5)
Загрузка...
CEO/founder агентства Advermedia.ua, опыт в SEO более 10 лет. Телеграм: @profseoua