Как можно закрыть сайт от индексации?

zakrit-sait-ot-indeksaciiДа, мой дорогой читатель, порой возникает необходимость закрыть сайт или его часть от индексации поисковых систем. Причины бывают разные: то сайт на реконструкции и модернизации, то нежелательно показывать какие-либо страницы, папки и документы поисковой машине.

Для начала нужно знать, от какого поисковика Вы хотите закрыть свой сайт. У каждой поисковой системы есть свой список поисковых роботов, к которым можно обращаться по имени в файле robots.txt. Как говорится, для более полной информации обращайтесь на страницы помощи вебмастерам, но некоторый список основных поисковых роботов мы приведем:

  • Yandex — поисковый робот Яндекса.
  • Googlebot — поисковый робот Google.
  • Slurp — поисковый робот Yahoo!.
  • MSNBot — поисковый робот от MSN (поисковая система Bing).
  • SputnikBot — имя робота российского поисковика Спутник от Ростелекома.

Способов закрыть сайт от индексации хватает. Самый первый из них — отредактировать robots.txt.

User-agent: *
Disallow: /

Добавив такой текст, Вы запрещаете индексировать Ваш сайт  любым поисковым системам.

User-agent: Yandex
Disallow: /

Сейчас запрет коснулся только Яндекса.

User-agent: Googlebot
Disallow: /

А в данном примере — только Google.

Закрыть папку, отдельный файл или же группу файлов очень просто. Так закрывается файл:

User-agent: Yandex
Disallow: /folder/file.php

Так закрываются все файлы с разрешением .jpg.

User-Agent: *
Disallow: *.jpg

А вот так закрывается доступ к папке:

User-agent: *
Disallow: /folder/

Можно и комбинировать: закрыть от индексации папку, но разрешить индексировать какой-либо файл в этой папке:

User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Есть и более простой способ — воспользоваться метатегами. Это особенно актуально, если Вы хотите закрыть  как отдельную страницу сайта, так и весь сайт целиком.

<meta name=»robots» content=»noindex, nofollow»/>

либо

<meta name=»robots» content=»none»/>

Как и в случае с robots.txt, с помощью метатегов можно закрыть сайт от конкретной поисковой системы:

Для Google:
<meta name=»googlebot» content=»noindex, nofollow»/>
Для Яндекса:
<meta name=»yandex» content=»none»/>

Иногда в meta name=»robots» добавляют еще и «noarchive», запрещающий поисковым системам сохранять сайт в своем кэше (то есть запрещает делать сохраненные копии на серверах Google, Яндекс и других ПС).

Читайте также

Продвижение сайта и государственные закупки... Добрый день, уважаемые читатели! В любой сфере деятельности актуальным остается вопрос "Где искать клиентов?", а в сфере продвижения сайтов этот вопрос еще более значим. При этом значительная часть организаций является учреждениями бюджетной сферы, ...
Иностранные IT-компании будут платить НДС?... Уже совсем скоро иностранные будут вынуждены платить в России налог на добавочную стоимость (НДС). Поправки в соответствующий законопроект были недавно приняты Комитетом Государственной Думой по бюджету налогам. В этот законопроект внесли механизм у...
Нужны ли на сайте отзывы и комментарии?... Действительно, нужны ли на сайте комментарии и отзывы? И зачем? Именно такие вопросы волнуют многих. И давайте подробно ответим на них. Итак, приступим. Что такое комментарий и отзыв? Если объяснить все очень простым языком, то комментарии поль...
Как ускорить индексацию сайта? Индексация сайта. Для кого-то это словосочетание совершенно непонятно. А вот специалисты всегда стараются по максимуму ускорить индексацию всего сайта или отдельных страниц. Для чего это надо и как ускорить индексацию сайта - об этом в нашей статье! ...
Налог на Гугл, а платим мы… В среду 15 июня 2016 года Госдума приняла в последнем чтении закон, согласно которому зарубежные IT-компании будут обязаны платить НДС с продаж услуг на территории России. Закон вступит в силу с 1 января 2017 года. Вместе мы сделаем акцент на том, к...
Что такое ТИЦ Тематический индекс цитирования (или ТИЦ) — алгоритм оценки сайтов, исходя из их авторитетности, качественных характеристик ссылочной массы, известности и многих других критериев. ТИЦ используется Яндексом как измеритель качества и "веса" сайта. Инде...
9 причин, почему контент-маркетинг не работает... Далеко не секрет, что использование контент-маркетинга - это один из самых безопасных способов продвижения сайта. И не секрет, что контент-маркетинг работает не у всех. Мы нашли 9 причин, почему контент-маркетинг не работает именно у вас! Почему т...
Контент — король! Да здравствует Король!... Продвижение сайтов - процесс многогранный и разнообразный. Формула ранжирования сайтов по релевантности запросов у Гугл и Яндекса постоянно меняется и совершенствуется. И сейчас практически невозможно выделить тот или иной способ, дающий 100% результ...