//Яндекс поделился нововведением в robots.txt

Яндекс поделился нововведением в robots.txt

redactor,
0
11.06.2016

Поисковые боты Яндекса теперь не учитывают пустую директиву Allow как запрещающий сигнал в robots.txt.

Очень часто встречается такая ошибка в robots.txt, как запрет на посещение всех страниц. В следствии которой индексирующий робот не может получить доступ к сайту. Такая ошибка связана с использованием пустой директивы Allow. Раньше робот принимал такую директиву как полностью запрещающую, и это делало сайт недоступным для визита роботов.

Поэтому Яндекс решил изменить обработку такой команды – теперь она игнорируется при обнаружении в robots.txt. Если на сайте специально нужно применить пустое правило Allow в robots.txt, то нужно изменить на директиву Disallow:

Disallow: * или Disallow: /

Проверить, что доступно, а что нет – можно в Яндекс.Вебмастере. Стоит обратить особое  внимание на отсутствие пустых значений, целью которых является запрет на индексирование.

От | 2018-05-29T17:04:54+02:00 11.06.2016|IT новости|0 Comments
Добавить комментарий +

Добавить комментарий