Google «блокирует» страницы, закрытые поисковым роботом robots.txt
По сообщению издания Search Engine Roundtable, на страницах сервиса «Рекомендации для веб-мастеров» некоторые пользователи стали жаловаться на уведомления о блокировке URL определенных интернет-страниц алгоритмом поисковой системы, появляющиеся в отчетах по индексации Google в разделе «Инструменты для веб-мастеров».
В первый момент эта информация привела специалистов в смятение, но в результате проверки данных обнаружилось, что отчеты содержали информацию о якобы заблокированных отдельных интернет-странцах, которые были ранее закрыты robots.txt. Позже большинство подобных страниц были удалены самими веб-мастерами, однако отчеты об индексации по-прежнему считают их «заблокированными алгоритмом».
Комментируя сложившуюся ситуацию, Джон Мюллер от лица Google заявил, что анализ данной манипуляции поисковым роботом происходит так, словно эти страницы кратковременно «исчезли» из индекса. Впоследствии подобные страницы индексируются повторно. Именно это и вызывает накладки. По его мнению, в ближайшее время не стоит ожидать значительного снижения количества уведомлений о блокировке, но это никак не сказывается на общем ранжировании интернет-ресурсов. Успокаивая пользователей, Джон Мюллер подчеркивает, что такое положение дел не служит неким плохим предзнаменованием, а является технической особенностью работы алгоритма.
