Как добавить URL в индекс поисковых систем?

Одна из главных задач в продвижении — максимально быстро поисковым системам о появлении новых страниц. Как добавить страницу в индекс Google и Яндекса, мы сейчас расскажем.

Для чего нужно добавлять страницы в индекс поисковых систем?

Бывалый SEO-специалист сочтет такой вопрос слишком наивным (не так ли?), но ведь не все подкованы в продвижении сайтов настолько хорошо. Добавление страниц в поисковую базу решает сразу несколько задач:

  • страница становится известна поисковой системе и с момента первой индексации у нее начинается отсчет возраста;
  • она быстрее попадает в поисковые базы;
  • она быстрее попадает в поисковую выдачу;
  • если страница качественная, контент на ней релевантный и отвечает запросам пользователей, то она быстрее начинает показываться в поиске (возможно, на более высоких позициях);
  • чем раньше страница начала показываться в поиске, тем раньше поисковые системы будут отслеживать ее CTR (или то, как часто люди кликают по ссылке из поиска и переходят на страницу);
  • страница начинает раньше собирать трафик из поиска и поисковые системы будут отслеживать поведенческие факторы;
  • плюс это должно помочь в защите контента от воровства. У кого контент был проиндексирован впервые, тот и автор (в теории, но на практике это не всегда работает).

Чем раньше новая страница станет известна поисковой системе, тем лучше. Об этом стоит всегда помнить. И стараться максимально быстро оповещать поисковые системы о новом контенте, о новых страницах.

Как добавить страницу в индекс Google Яндекса?

Важно всегда добавлять свой сайт в Google Search Console и Яндекс Вебмастер. Если вы этого еще не сделали, то советуем поторопиться.

На вашем сайте в обязательном порядке должна быть обновляемая карта сайта sitemap.xml. Обновляться она может, например, раз в сутки, добавляя URL новых страниц. Либо формироваться динамически при обращении поискового робота к ней. А в robots.txt вашего сайта обязательно должна быть строчка вроде «Sitemap: https://ваш-сайт.ru/sitemap.xml».

Непосредственно в Яндекс Вебмастер перейдите в раздел Индексирование — Файлы Sitemap. Вставьте ссылку на карту сайта и нажмите «Добавить Sitemap»

В Google Search Console также зайдите в раздел «Файлы Sitemap» и добавьте ссылку на карту сайта.

Есть у карты сайта один существенный недостаток — поисковые роботы проверяют новые ссылки с некоторой периодичностью (например, раз в неделю), но не в режиме онлайн. А как быть, если нужно добавить страницу в индекс моментально?

Какие есть универсальные способы?

В Яндекс Вебмастере в разделе «Индексирование» есть страница «Переобход страниц». Новые страницы можно добавить сюда, сообщив Яндексу об их появлении. Правда дневной лимит на переобход страниц у каждого сайта свой (часто 20 страниц в сутки для небольших сайтов).

Включите переобход по счетчикам Яндекс Метрики. Делается это в Яндекс Вебмастере. Нужно связать воедино Яндекс Метрику и Яндекс Вебмастер. Зайдите в «Яндекс Вебмастер» — «Индексирование» — «Обход по счетчикам». Укажите там счетчик метрики (в самой Яндекс Метрике в настройках нужно будет подтвердить взаимосвязь). И дальше включите кнопку «Обход» в положение «включен».

обход по счетчикам метрики

Из плюсов — все страницы, где активируется счетчик Яндекс Метрики, уходят на индексацию роботам Яндекса. Из минусов — если на вашем сайте есть дубли страниц, то они тоже уйдут на переобход роботам.

У Google Search Console в обновленном интерфейсе сверху есть своеобразная «строка поиска» — «проверка URL», куда можно вставить ссылку на новую страницу. Если она неизвестна Google, то можно попросить поисковик поскорее ее проиндексировать. Дневных лимитов раньше не было, теперь же Google может прислать уведомление об исчерпании количества страниц, отправленных на переобход роботом.

Как еще можно добавить URL в индекс?

Есть ли другие способы индексации? Конечно же, есть. Поисковая система может найти новые страницы, если на них будут вести ссылки с вашего сайта и с других сайтов. И здесь для вас открываются сразу несколько способов.

Способ № 1 — сделать перелинковку со старых страниц на новые. Такой метод также помогает с помощью внутренних ссылок передать вес старых страниц новым. Правда появление новой ссылки в старом контенте должно сопровождаться обновлением самого контента (например, желательно дописать новый абзац и уже в нем поставить ссылку). Кстати, такую перелинковку мы рекомендуем делать вне зависимости от вашего желания побыстрее добавить новую страницу в индекс. Так вы еще перераспределите вес со старых страниц на новые, что очень даже неплохо.

Способ № 2 — пресс-релизы и анонсы. Суть заключается в публикации на других сайтах анонса или краткой новости с предложением прочитать полную версию в первоисточнике и со ссылкой на вашу новую страницу. У такого способа есть свои плюсы:

  • страницу пресс-релиза могут проиндексировать быстрее, чем страницу на вашем сайте и робот перейдет по ссылке на первоисточник;
  • увеличение числа внешних ссылок на ваш сайт
  • передача веса внешних ссылок на новую страницу

Главное не переусердствуйте и не публикуйте в пресс релизах десятки ссылок и не публикуйте в пресс-релизе контент с вашей страницы целиком. Придерживайтесь правила: одна ссылка, которую нужно проиндексировать — один пост пресс релиза. Есть у способа и минусы: сами пресс-релизы должны проиндексироваться и на это уйдет какое-то время.

Способ № 3 — социальные сети. Нужно опубликовать анонс новой страницы со ссылкой (либо саму ссылку) в социальных сетях. Это может быть публикация, например, ВКонтакте, в Твиттере или в Facebook. Главное чтобы группа или аккаунт, в которых вы будете публиковать ссылку, не были закрыты для незарегистрированных пользователей.

Бывает, что публиковать ссылки у себя в группе или на своей странице неудобно (особенно если у вас известный бренд), то можно воспользоваться сервисами для индексации вроде indexgator.com и тому подобным. Либо можно завести несколько аккаунтов в соцсетях для такого постинга ссылок.

Способ № 4. Использовать сайты и сервисы, позволяющие массово добавлять ссылки в Google. Большинство этих сайтов не раскрывают принципов своей работы, часть — даже не предоставляет каких-либо отчетов. Полагаем, что для ускоренной индексации ими могут использоваться как соцсети (публикация поста с ссылками), так и использование API, напрямую обращающегося к поисковым системам. Рабочий этот способ или нет — только выяснять на практике.

Какие методы сейчас не работают?

Например, раньше была так называемая «аддурилка» от английского «add url», позволявшая добавить данные о новой ссылке прямо в Google со страницы поисковой выдачи. С 2018 года такой метод уже не работает и он заменен возможностью переобхода страниц в Google Search Console.

Не работает и ранее эффективный способ — добавление ссылок в социальную сеть Google+. Кто не в курсе, Google закрыл эту соцсеть в августе 2019 года.

Какие могут быть трудности?

Проверьте, что вы случайно (или специально) не закрыли доступ к новым страницам в файле robots.txt. Такое бывает в интернет-магазинах, когда нужно закрыть целый раздел, а потом просто забывают открыть к нему доступ поисковым системам. И добавление новых страниц на эти разделы останется поисковиками незамеченным.

Чтобы добавить новые страницы на переобход в  Яндекс.Вебмастер и Google Search Console, вы должны быть администратором сайта или вам должны делегировать права управления.

Подведем итоги

Стоит ли уделять внимание новым страницам и скорости их попадания в поисковые базы? Безусловно, да. Мы советуем комбинировать несколько методов сразу. Например, добавлять страницу в Яндекс Вебмастер и Google Search Console на переобход, а также делать пару-тройку пресс-релизов и постов в соцсетях со ссылками на новые страницы. Тогда и новые страницы попадут в индекс, и у них появятся внешние ссылки.