Представители компании Google ни раз говорили о том, что на позиции страниц в топе поисковой выдачи влияет целая совокупность факторов, включая корректность программных кодов и редиректов на сайте. На днях компания систематизировала свои заявления в единый документ, в котором в формате справки дается объяснение влияния кодов состояния HTTP, ошибок сети и DNS на представленность сайта в поиске.
Как и все документы, которыми делится компания, этот пока доступен только в оригинале на английском языке. В нем много интересного, но самое главное — раздел с разновидностями кодов и описанием их обработки алгоритмами Googlebot.
- Код 2XX не гарантирует, но обеспечивает высокие шансы индексации страницы поисковой системой.
- Код 3ХХ — редирект, число которых для Googlebot ограничено лимитом в 10 переходов и цифрой и типом используемого user agent.
- Код 4ХХ — не индексируемый контент, если страница ранее возвращала другой код, а теперь передает 4ХХ, то она будет помечена для удаления из выдачи.
- Коды 5ХХ — информирует о замедлении сканирования, при длительном сохранении ресурс помечается как содержащий ошибку и может совсем пропасть из поиска.
Все виды ошибок сети и DNS обрабатываются аналогично кодам 5XX. При обнаружении таких ошибок и замедленной загрузки бот какое-то время будет «приходить» перепроверять ссылку, а если проблема сохранится, уберет контент из поиска.
Разумеется, для большинства веб-мастеров в документе не будет ничего нового. И раньше в кабинете Search Console с указанием кода ошибки, ссылкой на рекомендации по ее устранению, а также предупреждение о возможных или уведомление о примененных санкциях к странице либо ко всему сайту.
Для тех, кто хочет узнать о кодах ошибок Googlebot больше, документ в его первоначальной англоязычной версии доступен для просмотра и скачивания по ссылке.