Если в один прекрасный день в ConsoleGoogle панели вы увидели оповещение «Googlebot не может получить доступ к файлам CSS и JS (JavaScript)…», и не имеете ни малейшего понятия о том, что делать в такой ситуации, наша статья однозначно будет вам полезна.

Если в один прекрасный день в ConsoleGoogle панели вы увидели оповещение «Googlebot не может получить доступ к файлам CSS и JS (JavaScript)…», и не имеете ни малейшего понятия о том, что делать в такой ситуации, наша статья однозначно будет вам полезна.

Что такое Googlebot – это робот поисковой системы Google, разработанный с целью парсинга контента в глобальной сети интернет, основной задачей которого является найти и добавить в индекс измененные и новые страницы.

Конечно, можно проигнорировать данную проблему и не позаботиться о том, как открыть сайт. Заблокированный ресурс – как минимум одно из ожидающих вас последствий, которому будет предшествовать потеря позиций в поисковой выдаче. Поэтому не стоит безответственно пускать всё на самотёк – подобные сложности не решаются сами собой и требуют вмешательства.

Скажем пару слов о том, что такое searchenginebots, – это роботы поисковых систем, которые неустанно сканируют и индексируют ресурсы в интернет пространстве. Думаем, ответ на вопрос «что такое Googlebotuseragent» очевиден – это один из таких роботов поисковой системы Гугл.

 Итак, перейдём к поэтапному решению возникшей проблемы.

1. Что такое посмотреть как Googlebot – выявляем заблокированные ресурсы

Сперва в SearchConsole выберите требуемый сайт, после чего на вкладке «Сканирование» вам нужно выбрать «Посмотреть как Googlebot» и кликнуть на кнопку «Получить и отобразить».

После этих нехитрых манипуляций перейдите в конец списка отобразившихся результатов, где вы увидите:

А) то, как именно отображается конкретная страница и для Гугл-робота, и для пользователей ресурса

Б) перечень ресурсов, где для каждого из них указана причина, почему у робота нет доступа к папке

Также, если вы хотите узнать, когда же в последний раз была проиндексирована та или иная страница, в этом может помочь Гугл Кэш. Как открыть кэш Гугла вы можете прочитать здесь.

2. Как настроить robotstxt для Googlebot

Файл robotsGooglebot воспринимает фактически как инструкцию к действиям. С его помощью вы можете контролировать, как настраивается поисковый робот для работы с вашим сайтом, то есть, редактировать страницы/файлы, доступные или недоступные для него. Задавать указания в файле роботcа для поисковой системы Гугл вы можете, обозначив директиву User-agent: Googlebot.

На этом этапе необходимо скопировать полученную в консоли Гугл таблицу и вставить её в Excel (не забудьте отключить форматирование). После чего нужно отсортировать данные по столбцу, содержащему значения URL. С помощью функции «Найти и заменить» удалите домен из URL и выделите типы файлов/папки, которые требуется открыть, чтобы осуществилась индексация сайта.

Теперь добавьте команду, которая разрешает индексацию

После этого вы получите seolinkrobottxt, то есть, строки, необходимые для добавления в файл robots.

3. Проверка обновлённого robots.txt

Перед тем, как залить обновлённый файл, проверьте все инструкции, которые вы создали, – возможно, где-то есть ошибки или какие-то файлы по-прежнему не открыты.

Мы рекомендуем прибегнуть к помощи Яндекс.Вебмастера в этом вопросе.

Если все ваши действия увенчались успехом, вам придёт уведомление о том, что все требуемые ресурсы открыты для осуществления индексации. После этого можно смело обновлять robots.txt на сервере.

4. Повторение – мать учения

В силу того, что с помощью шага 1 мы не всегда можем сразу увидеть все недоступные для индексации ресурсы, возникает вопрос – как получить доступ к папке в конечном итоге? Загвоздка в том, что по неизвестным причинам Google иногда не с первого раза отображает полный перечень закрытых файлов и страниц – вы можете увидеть это, проведя повторную проверку, где могут появиться, например, ещё и images, к которым робот по-прежнему не имеет доступа.

Но эта проблема решается довольно просто – нужно только повторить уже пройденные вами этапы, но для новых файлов.

5. Проверка доступа для Mobiledatepicker

Если вы переходили по указанной нами в этой статье ссылке, где представлен перечень всех поисковых роботов Google, вы наверняка обратили внимание на то, что там есть робот, проверяющий доступность для мобильных устройств. Не стоит упускать из виду важность его работы, поэтому настоятельно рекомендуем сделать проверку и для него. На старте проверки просто смените изначально установленное значение «ПК» на «Mobile:Smartphone», после чего нажмите уже знакомую кнопку «Получить и отобразить».

Мы приведём примеры JS и CSSmobiletemplate для стандартных CMS.

Универсальный вариант для всех движков

WordPress

Joomla

DataLife Engine

Подводя итог, заметим, что описанные нами действия могут показаться непонятными и сложными для тех, кто только начинает работу в сфере SEO и не знает, что такое, к примеру, jQuery или AJAX.

На самом деле, всё реализуется довольно просто, и если вы будете поэтапно следовать приведённой нами инструкции, а также будете предельно внимательны на каждом этапе, вы абсолютно точно сможете справиться с возникнувшей проблемой и открыть роботу Гугл доступ к нужным файлам на вашем сайте.

(Пока оценок нет)

Завантаження...