Как ускорить индексацию сайта и его страниц

В 2020 году конкуренция в рунете выросла ещё больше. Любая стратегия и даже параметр, улучшающий позиции сайта в Yandex/Google, стал крайне важен. Ускорение индексации — один из методов эффективной оптимизации, гарантирующий своевременное попадание новых материалов в БД.

Яндекс.Вебмастер

Проще всего ускорить индексацию в Яндексе — воспользоваться встроенным сервисом Вебмастера.

Что надо сделать:

• перейти в раздел «Индексирование»;

• нажать на «Переобход»;

• добавить URL в открывшееся поле и кликнуть по кнопке «Отправить».

Число страниц для добавления ограничено 24 часами. Для каждого website существует собственный лимит, который определяет Яндекс.

Перед тем, как отправлять урлы на переобход, рекомендуется проверить их на корректность отображения. Для этого нужно:

• зайти в «Индексирование»;

• перейти во вкладку «Проверить статус URL», ввести адрес проверяемой страницы;

• нажать кнопку «Проверить»;

• если web-page нормально отображается, то высветится зелёная галочка.

Если страницы нет, то система будет грузиться или отдаст ответ 404. В этом случае надо проконтролировать, какие ошибки к этому приводят.

Google Search Console

Чтобы ускорить попадание ресурса в базу данных Гугл, сначала наводят порядок в аддурилке. Тут надо выбрать «Проверка URL» и ввести нужный адрес. После анализа система формирует отчёт об ошибках или успешном сканировании. Если страницы в базе данных не окажется, следует кликнуть на «Запросить индексирование».

Подробнее о том, как это делается.

• Зайти в Search Console;

• Выбрать график «Покрытие». Зелёным на графике отмечается количество нормально индексируемых страниц, а красным — проблемных;

• Перейти на вкладку, где удастся детально посмотреть, с чем связаны ошибки.

Если в индексе страницы нет, пользователь увидит такое сообщение.

Оптимизаторы часто вносят изменения на web-page. После таких действий урл надо перепроверить, вновь запросив индексирование.

Веб-мастеру придёт такой ответ.

Регулярное обновление контента

Эффективный и 100-процентный способ для обеих поисковых систем. Роботов надо приучать, что в такое-то время он увидит обновление на сайте. Тогда веб-паук будет индексировать материалы без задержек. Если же выкладывать статьи редко, без конкретной схемы, то и алгоритмы долго не будут посещать ресурс.

Любой уважающий себя seo-специалист подтвердит, что регулярное добавление 2-3 статей в неделю обеспечит ускоренную индексацию площадки. Но при условии, что отсутствуют технические ошибки. 

Естественно, контент должен быть соответствующего качества:

• число знаков — не менее 2000;
• уникальность — около 80% и выше (text.ru, advego, etxt);
• релевантность тематике — более 50-70%;
• плотность КС — низкая, средняя;
• количество смысловых, орфографических ошибок — минимум.

Выкладывание текстов ради галочки ни к чему хорошему не приведёт. Плохое качество материала отрицательно скажется на ранжировании в целом, и даже может привести к фильтру со стороны ПС.

Дубли

Они создают неудобства не только для веб-мастеров, но и ухудшают качество сайта с точки зрения поискового алгоритма. Различают два вида дублей:

• явные — страница доступна по 2 и более урлам;
• неявные — URL разный, но контент отличается незначительно.

Особый вред для индексирования несут явные дубли. Они увеличивают время, необходимое краулерам на сканирование ресурса. Часто именно из-за них сайт попадает под санкции. Поэтому лишние страницы нужно устранять, грамотно настроив 301 редирект.

Robots.txt

В этом файле прописаны различные правила для поисковых ботов, в том числе запреты. Ограничения нужны не только для отсекания лишних, неинформативных частей веб-ресурса, но и для прямого влияния на качество индексации. Например, оптимизаторам даётся возможность закрывать директивой технические разделы, указывать URL, UTM-метки и т. д.

Роботы ПС получают ограниченное время на сканирование — это называется краулингом (crawling). Для каждого веб-ресурса, исходя из пользовательского спроса и доступности сервера, выделяется собственный временной лимит. Поэтому, если страница долго не отвечает, поисковый алгоритм уже при следующем заходе может её повторно и не сканировать. Весь краулинговый бюджет расходуется на обработку только нужных разделов.

Для примера рассмотрим структуру интернет-магазина. Здесь генерируется большое количество ненужных для индексации страниц — служебные, технические, находящиеся в разработке. Поэтому они закрываются от сканирования роботов инструкцией Disallow. Это помогает исключить всё лишнее и ощутимо ускорить ресурс.

Бывает, что из-за случайности или незнания запрещается сканирование всего ресурса. Потом веб-мастер удивляется, почему его площадка не развивается. Также не редкость, что вместо целого раздела в индекс попадает лишь единственная страница. Залогом быстрой и полной индексации сайта в обеих поисковых системах выступает правильно заполненный robots.txt.

Карта Sitemap.xml

Для ускорения сканирования сайта большое значение также имеет наличие Sitemap.xml. Это очень сильная штука. Помимо того, что карта содержит ссылки на все страницы ресурса (разрешённые для попадания в базу данных), краулеры здесь видят:

• <lastmod>, дату последнего изменения — прямое указание боту о том, что на странице проведены изменения, её нужно переиндексировать;
• <priority> — приоритетность, задающая очередь на indexing (главная сайта всегда в приоритете, ей задаётся коэффициент 1, остальным — между 0 и 1).

Сайтмап карта необходима для всех ресурсов. Размещают её в корневной папке, а путь прописывают в robots.txt. Дополнительно Sitemap.xml загружается в панели веб-мастера.

Карта имеет ограничение на количество ссылок — до 50 000. Если на площадке больше страниц, то создаётся уже несколько файлов. Отдельно рекомендуется делать сайтмап и для изображений/видео.

Создаётся карта для роботов посредством различных удобных генераторов:

• Online XML-Sitemaps;
• MysitemapGenerator;
• FreesitemapGenerator и др.

Внешняя перелинковка

Бэклинки также сыграют свою роль в улучшении индексации. Ссылки на сторонних площадках привлекают внимание поисковиков. И поэтому роботы быстрее посещают ресурс — особенно это актуально для молодых сайтов, которым нет и года.

Нужно стараться размещать обратные ссылки там, где они выглядят естественно, и где часто обновляется контент:

• тематические форумы;
• новостные порталы;
• активные блоги, бесплатные хостинги — LiveJournal, Blogger;
• закладки на память и т. д.

Отдельного внимания заслуживают каталоги и рейтинги. Здесь сайт надо зарегистрировать в первую очередь, так как эти площадки часто мониторят роботы. Среди популярных сервисов можно выделить:

• Liveinternet;
• Рамблер;
• Blog Rider;
• Mail.ru;
• Яндекс.Дзен.

Пинг-сервисы

Ещё их называют агрегаторами слежения или Update Services. Это служебные ресурсы, уведомляющие ПС про обновления. Пинг-сервисы дают роботам как бы «знак» — на сайте выложена новая статья или добавлен комментарий. Естественно, новая страница мгновенно попадает в индекс.

На WordPress сервисы слежения работают автоматически. Они встроены в настройки. Чтобы Update Services корректно работали, рекомендуется периодически обновлять их список. Для этого нужно пройти — Параметры/Написание/Сервисы обновления.

Можно воспользоваться также сторонними площадками:

• PingoMatic;

• Pingler;

• Pingoat.

SMM

Создание лояльной аудитории в социальных сетях — не менее эффективный приём, ускоряющий индексацию ПС. Делается это путём регулярного выкладывания анонсов новых статей в активных группах и сообществах FB, Vk, Ok, Instagram и других. 

Данный метод крайне успешен для быстрого попадания в БД Гугла. Чтобы сэкономить время, веб-мастеры используют автоматические сервисы и программы. Хорошо зарекомендовали себя — SmmBox, Amplift, Жукладочник.

Рассылка

Использование рассылки позволяет быстрее индексировать сайт. Пользователи начнут переходить по ссылкам, а это уже чёткий сигнал для поисковиков. Воспользоваться для этого можно одним из инструментов:

• MailChimp;
• SendPulse;
• SendSay;
• Sendinblue.

Многие сервисы автоматической отправки писем имеют также мобильную версию, DKIM и другие полезные функции.

RSS

Хотя RSS-ленты уходят в прошлое, актуальность они не потеряли. Создать трансляцию новостей (частичное содержание) можно, используя специализированные приложения, агрегаторы и каталоги:

• RSS Reader;
• Feedburner;
• Subscribe и другие.

HTML-карта

Помимо Sitemaps для роботов, существует также статический каталог для людей, включающий ссылки на значимые страницы сайта и рубрики. Карта призвана облегчить навигацию для посетителей и алгоритмов. 

Карта для людей принесёт пользу только при наличии следующих составных:

• простоты — поиск необходимой страницы не должен вызывать сложностей;
• автоматического дополнения/изменения — путеводитель на сайте должен регулярно обновляться;
• структурированности — карта обязана максимально точно отражать структуру, быть логичной и соответствовать иерархии;
• актуальности — ссылки должны быть проставлены только на рабочие страницы (ответа 404 вообще быть не должно, иначе это вызовет диссонанс с robots.txt, что однозначно приведёт к проблемам в индексации).

Чаще всего html-карта имеет древовидную структуру, ссылка на неё размещается в подвале сайта.

Создаётся карта для людей несколькими способами:

1. Вручную. Для этого нужно разбираться в коде. 
2. Через сервис SiteMap Generator. Здесь разрешено создавать несколько видов карт, но бесплатно — только для ресурсов с не более чем 500 страницами.
3. Посредством плагина WordPress — Dagon Design SG. Удобство создания, простота использования и поддержка пользователей — достоинства этого способа.

Каталог со ссылками полезен для организации внутренней перелинковки и реально помогает ускорить индексацию в Яндексе. А вот специалисты Google утверждают, что для их поисковой системы актуальность путеводителя в формате html не столь важна. Однако хуже от неё точно не будет, особенно при сложной навигации сайта и отсутствии логически выстроенной структуры.

PageSpeed Insights

Быстрая загрузка сайта — гарантия оперативной обработки поисковым роботом страницы с последующим её добавлением в БД. PageSpeed Insights является инструментом от Гугл, помогающим вычислить скорость открытия web-page и дающий полезные рекомендации.

Сервис предоставляет советы по увеличению page speed:

• сделать кэширование — скрипты и другие тяжёлые части данных будут храниться отдельно на сервере, роботу не нужно будет каждый раз их заново загружать;
• сжать изображения — для этого можно воспользоваться различными сервисами, уменьшающими вес фотографий без потери качества (TinyPNG, Image Compressor и т. д.);
• использовать формат gzip — чтобы информация сохранялась в сжатом виде, а декомпрессировалась в браузере посетителя;
• сократить код JS — посредством различных сервисов.

Следование рекомендациям от PSI в первую очередь поможет ускорить индексацию Гугл.

Внутренняя перелинковка

Проработанная навигация (структура) и равномерное распределение статического веса между страницами также помогут ускорить indexing. Перелинковка делается несколькими способами:

• хлебные крошки;
• встроенный функционал сайта — меню, сайдбары;
• блоки похожих записей;
• использование ссылок внутри контента.

Внутренние ссылки помогают роботам поисковых систем быстрее находить страницы, в том числе и с высоким уровнем вложенности. Однако в любом разделе веб-ресурса надо обеспечивать переход в не более трёх кликов с главной сайта.

Таким образом, ускорить индексацию Яндекса и Гугла можно только в комплексе, используя все описанные выше способы. Или обеспечить хотя бы самый минимум — регулярно добавлять контент и проводить крауд, сформировать грамотную перелинковку, исправить технические ошибки.

Краткая справка — FAQ