Canonical или Noindex: какое решение для закрытия от индексации

Вопрос:

Какое решение закрытия от индексации страниц лучше Canonical или Noindex?

Ответ:

Частная проблема: тег rel = canonical используется не по назначению и не в тех ситуациях, где он действительно нужен, в итоге – нежелательные странички в индексе, проблемы с канибализацией запросов.

В данном посте хочу затронуть 2 вопроса:
– Какое решение выбрать для закрытия
– Как найти и промониторить возможные ошибки максимально быстро

Полезная инфо по софту внизу поста. Хороший 👉материал по теме, комментарии Джона Мюллера из Google по этому вопросу.

Мета-тег noindex – официальная документация Google :

> «Вы можете предотвратить отображение страницы или другого ресурса в поиске Google, включив метатег noindex или заголовок в ответ HTTP. Когда робот Googlebot в следующий раз просканирует эту страницу и увидит тег или заголовок, он полностью исключит эту страницу из результатов поиска Google, независимо от того, ссылаются ли на нее другие сайты ».

Все, что делает тег noindex, – это исключает отображение этой страницы в результатах поиска Google.

Тег rel = canonical – официальная документация Google:

> «Канонический URL-адрес – это URL-адрес страницы, которая, по мнению Google, является наиболее репрезентативной из набора повторяющихся страниц на вашем сайте. Например, если у вас есть URL-адреса для одной и той же страницы (example.com?dress=1234 и example.com/dresses/1234), Google выберет один из них как канонический ».

Т.е. это решение может объединить все сигналы ссылок и релевантности на одной странице. Но, Google рассматривает тег rel canonical как подсказку, нет никакой гарантии, что Google будет ему подчиняться, и алгоритм Google может решить показать какую-либо другую страницу в результатах поиска.

Цитата Мюллера по вопросу:

…если вы действительно не хотите, чтобы этот контент вообще отображался в поиске, я бы использовал noindex. Если вы предпочитаете, я действительно хочу, чтобы все было объединено на одной странице, и если будут отображаться отдельные, как и все, но большинство из них должно быть объединено, я бы использовал rel canonical…

Если задача – исключить из выдачи, то эффект будет один, но:
noindex – точно исключит из выдачи,
canonical – скорее всего, исключит.

Также можно использовать схему Rel Canonical и Noindex, это не является широко обсуждаемым решением, но, по словам Джона, это действенный способ борьбы, например, с дублирующимся контентом.

Как найти страницы страницы под тегом noindex и массово проверить корректность canonical-ов?

Нетпик спайдер – один из моих инструментов для решения задач 👉поиска ошибок по каноникалам, п.5 (https://netpeaksoftware.com/ru/blog/atribut-rel-canonical-kak-sposob-borby-s-dublikatami), а также 👉проверки тега robots (п.4 (https://netpeaksoftware.com/ru/blog/robots-meta-tag-and-its-role-in-seo#toc-how-to-check-meta-robots-in-netpeak-spider)). Ссылочки на инструкции в общем, как это сделать именно через Netpeak Spider