Чек-лист проверки индексации и исправления ошибок
6 мин.
Работоспособность интернет-ресурса — краеугольный камень для развития и продвижения. Как бы качественно не наполнили контентом и не организовали продуктивный функционал, типовые технические ошибки затруднят или даже сведут на нет позитивные последствия индексации сайта поисковым ботом, а это в 80% случаев приводит к ощутимому падению поискового рейтинга.
Главные параметры и положения по индексации описали в этой статье. Теперь же сосредоточимся на методах проверки и исправления выявленных недочетов.
Немного про Яндекс.Вебмастер
Яндекс.Вебмастер на текущий момент считается одним из достаточных сервисов по обнаружению проблем с индексацией интернет-ресурсов. Сервис споро выявляет главные параметры:
- Доступность ключевых страниц.
Для интернет-ресурсов главное не полный набор страниц, а некоторый ограниченный их список. Как правило, это главная страница, страницы разделов и подразделов каталога для интернет-магазинов, посадочные страницы для продвижения и маркетинговых акций, отдельные страницы товаров, которые являются флагманскими и проч. Вебмастер настраивают таким образом, чтобы отслеживать индексацию этих страниц с дополнительной тщательностью, ведь недоступность регулярно приводит к ощутимому падению трафика и проч. критически важных параметров. - Отслеживание «Статистики обхода».
Этот алгоритм выявляет страницы, которые поисковые боты при стандартной индексации обходят. Причем доступно также просмотреть была ли проведена индексация до этого или эти обходы новые. Видя в списке «выпавших» страниц важные для продвижения споро восстанавливают к ним доступ и настройку путей индексации со стороны сайта. - Статистика и сравнительный анализ.
Сервис отображает графики и общие сведения по количеству страниц, которые индексируются или нет. Эти данные соответствующим образом обрабатываются и сравниваются с общим количеством доступных страниц интернет-ресурса. Достаточным считается, если количество индексируемых за раз страниц соответствует цифре 85% и выше от общего количества доступных для пользователей страниц сайта. - Отслеживание с течением времени.
Яндекс.Вебмастер собирает и накапливает статистику. Если первый пункт рассчитан на просмотр относительно новых индексаций, то схожий функционал позволяет запрашивать и изучать сведения за более долгий период. Например, полгода или год. Это выявляет, какие проблемные моменты систематически повторятся, а какие действия над сайтом улучшили или наоборот ухудшили ситуацию. - Отслеживание недоступных страниц.
По тем или иным причинам страницы из индексации регулярно исключаются. Например, так поступают со страницами акций, которые работают с заданной периодичностью, или страницы закончившихся товаров. Этот алгоритм и способ исключения предусматриваются функционалом интернет-ресурса. Вебмастер систематизирует и показывает такие страницы в едином списке, что выявляет негативные ситуации с систематическим исключением из индексации критичных для продвижения и развития бизнеса страниц. - Отслеживание тегов noindex и nofollow.
Теги noindex и nofollow позволяют исключать из индексации части кода и ссылки на страницы. В отдельных случаях это становится непродуктивным, если, например, выключенное действие вновь приобрело актуальность. Вебмастер отображает такие моменты и позволяет споро среагировать.
Чек-лист для отслеживания
Итак, мы рассмотрели главные и доступные пути выявления ошибок индексации. Теперь кратко по пунктам, на что в первую очередь обращают внимание профессионалы:
- Проверка наполнения файла robot.txt для выявления страниц, которые систематически исключаются из индексации или наоборот попадают, забивая очередь для более важных.
- Создание и размещение карты сайта sitemap.
- Наличие запретов на индексацию страниц с использованием тегов noindex и nofollow.
- Выявления страниц с ошибками загрузки 404, 5хх и проч.
- Выявление страниц с редиректами 3хх и наличие их зацикливания.
- Выявление страниц, для которых время ответа выше 2–3 сек.
- Выявление страниц-дублей.
Способы исправления ошибок
Пойдем по тому же пути, что и в чек-листе, для упрощения восприятия.
Корректность файла robot.txt
В первую очередь в файле robot.txt просматривают все записанные исключения для индексации. Регулярно выявляются ситуации, когда выставлены избыточные ограничения, например, на целые подразделы и даже разделы, а они содержат требуемые маркетологами товары.
Также этот файл позволяет настроить блокировку JavaScript и CSS. В отдельных ситуациях это допустимо и применяется, но на постоянной основе может ощутимо снизить качество сайта для пользователей и ухудшить индексацию.
Наличие sitemap
Sitemap или карта сайта для интернет-ресурсов, которые претендуют на продуктивность? обязательна. Она не только упрощает работу пользователям, но и ощутимо помогает в индексации. За счет sitemap задаются главные пути и маршруты следования по сайту, в порядке, в котором по ним пойдет поисковый бот.
Файл размещается в корне сайта и прописывается в robot.txt.
Спецтеги индексации
Тег noindex — доступное и продуктивное решение, для исключения отдельных страниц из индексации. Преимущественно используется, если с интернет-ресурса идет перенаправление на сторонние источники. Тем не менее, регулярно возникают ситуации, когда этот тег закрывает для бота страницы, которые со временем становятся требуемыми. Поэтому в обязательном порядке регулярно отслеживайте, что исключаете.
Еще один тип ошибок возникает, когда накладываются единовременно теги index и noindex, т. е. запускающий индексацию и ее отменяющий. Это считается грубой ошибкой, за которую бот ощутимо снижает поисковый рейтинг. Отслеживайте корректность информации.
Тег nofollow работает по схожему принципу исключения, но преимущественно используется, если с интернет-ресурса идет перенаправление на сторонние источники.
Доступность и скорость работы страниц
Что касается страниц, которые временно недоступны или выдают ошибку 404, то тут регулярно помогает только отслеживание и ручной перебор и исключение их из выдачи и индексации. Если страница популярная, то разумно ее исключить из индексации через файл robot.txt.
Различные проблемы серверного характера решаются за счет корректировки информации на интернет-ресурсе. Если проблема с объемным контентом, то визуальная часть нуждается в оптимизации и облегчении «веса» при учете допустимой потери качества. Если сайт тормозят JavaScript или CSS, то тут требуется глубокая подстройка отображения. Страницам со скриптами в обязательном порядке требуется прописывание метатегов и проч. информации в блоке <head> до того, как скрипт начинает работу. CSS-файлы и проч. также доступны к оптимизации и сжатию для уменьшения нагрузки на отображение страницы.
Кроме того, не забывайте о мобильной версии. Главная проблема, когда нет адаптированного функционала для полноценной версии и пользователи сталкиваются с длительным отображением и чрезмерной скоростью загрузки. Это недопустимо, если не ставите целью потерю аудитории.
Исключение страниц-дублей
Дублирование контента на прогрессивном интернет-ресурсе не допускается, но регулярно такие моменты проявляются. Особенно это касается масштабных интернет-магазинов, в которых в наличии масса однотипных товаров, или сайтов, где непрофессиональные разработчики грамотно не развели схожие товары по соответствующим разделам.
Исправляется эта ошибка за счет использования канонических ссылок и тегов. Страницы-дубли выявляются и тем или иным способом «сливаются» в одну. Так и пользователь не путается, и поисковый бот не проверяет одно и тоже, бесперспективно тратя ограниченные ресурсы индексации.
Общие рекомендации
Статистика показывает, что масса ошибок индексации приходится на ситуации, когда сайт не подготовлен заранее и содержит массу сведений и страниц, которые бот якобы должен проверить в полном объеме по очереди. При это наличие пустых и ошибочных страниц, масса битых ссылок, чрезмерная углубленность каталога — это маячки того, чтобы не ждать продуктивности работы поискового бота.
Устраняйте подобные моменты заранее, до того, как поисковый бот потратит на вашем интернет-ресурсе время впустую.
В последнее время также больше внимания при индексации стало уделяться качеству контента. Алгоритмы бота анализируют контент не только на отсутствие дублей, но и на общую уникальность, экспертность и проч. параметры. Это тоже становится частью продуктивной индексации.
Резюме
Оставлять процесс индексации на самотек и рассчитывать, что интернет-ресурс окажется рабочим и для бота — утопично. Каждый процесс, который упускается из внимания и не контролируется, дает сбой. В случае с сайтом — это систематическое недополучение позиций в поисковой выдаче и падение поискового трафика.
Отслеживайте главные и вспомогательные моменты работы, регулярно проверяйте сайт по указанному чек-листу и устраняйте ошибки, используйте специализированные сервисы и тогда сайт займет достойное место и получит конкурентное преимущество, с технической стороны уж точно.
Интернет-агентство U-sl+Мирмекс в обязательном порядке отслеживает работоспособность сайтов наших клиентов, которые находятся у нас на технической поддержке. Мы обеспечиваем высокий уровень работоспособности и доступности интернет-ресурсов, своевременно выявляем и устраняем ошибки, а также следим за корректностью процесса индексации, без которой добиться высокого поискового рейтинга невозможно.
С нами ваш сайт займет достойное место в поисковой выдаче!
