Как можно закрыть сайт от индексации?

zakrit-sait-ot-indeksaciiДа, мой дорогой читатель, порой возникает необходимость закрыть сайт или его часть от индексации поисковых систем. Причины бывают разные: то сайт на реконструкции и модернизации, то нежелательно показывать какие-либо страницы, папки и документы поисковой машине.

Для начала нужно знать, от какого поисковика Вы хотите закрыть свой сайт. У каждой поисковой системы есть свой список поисковых роботов, к которым можно обращаться по имени в файле robots.txt. Как говорится, для более полной информации обращайтесь на страницы помощи вебмастерам, но некоторый список основных поисковых роботов мы приведем:

  • Yandex — поисковый робот Яндекса.
  • Googlebot — поисковый робот Google.
  • Slurp — поисковый робот Yahoo!.
  • MSNBot — поисковый робот от MSN (поисковая система Bing).
  • SputnikBot — имя робота российского поисковика Спутник от Ростелекома.

Способов закрыть сайт от индексации хватает. Самый первый из них — отредактировать robots.txt.

User-agent: *
Disallow: /

Добавив такой текст, Вы запрещаете индексировать Ваш сайт  любым поисковым системам.

User-agent: Yandex
Disallow: /

Сейчас запрет коснулся только Яндекса.

User-agent: Googlebot
Disallow: /

А в данном примере — только Google.

Закрыть папку, отдельный файл или же группу файлов очень просто. Так закрывается файл:

User-agent: Yandex
Disallow: /folder/file.php

Так закрываются все файлы с разрешением .jpg.

User-Agent: *
Disallow: *.jpg

А вот так закрывается доступ к папке:

User-agent: *
Disallow: /folder/

Можно и комбинировать: закрыть от индексации папку, но разрешить индексировать какой-либо файл в этой папке:

User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Есть и более простой способ — воспользоваться метатегами. Это особенно актуально, если Вы хотите закрыть  как отдельную страницу сайта, так и весь сайт целиком.

<meta name=»robots» content=»noindex, nofollow»/>

либо

<meta name=»robots» content=»none»/>

Как и в случае с robots.txt, с помощью метатегов можно закрыть сайт от конкретной поисковой системы:

Для Google:
<meta name=»googlebot» content=»noindex, nofollow»/>
Для Яндекса:
<meta name=»yandex» content=»none»/>

Иногда в meta name=»robots» добавляют еще и «noarchive», запрещающий поисковым системам сохранять сайт в своем кэше (то есть запрещает делать сохраненные копии на серверах Google, Яндекс и других ПС).

Читайте также

SEO для начинающих — книга от Google Поисковые системы то и дело стараются помочь вебмастерам и SEO-специалистам в создании хороших и качественных сайтов, а также их продвижении. Уже давно существует у Google интересная книга о продвижении сайтов в этой поисковой системе. Некоторые опти...
Яндекс изменил условия отсрочки платежа... Стало известно, что в Яндекс Директ изменились условия отсрочки платежа. Подробности читайте далее. Если раньше отсрочка платежа была доступна только тем рекламодателям, бюджет которых составлял не менее 20 000 рублей в месяц за последние полгода, т...
PageRank Google больше не актуален? Google не перестает печалить SEO-оптимизаторов. Недавно поисковый гигант подтвердил удаление Toolbar PageRank. И если Вы используете инструмент или браузер, позволяющий получать данные PageRank от Google, то в течение следующих недель они перестанут ...
Контент для социальных сетей Контент для социальных сетей всегда играл значительную роль. Привлечь и заинтересовать пользователя, а затем удержать его можно лишь посредством интересного контента. Но вот вопрос: что же публиковать на разных площадках? Контент - это не только т...
Продвижение сайта в нескольких регионах: особенности и секреты... Эта статья будет очень актуальна и для новичков в продвижении сайтов, и для профессионалов, и для руководителей компаний, чьи сайты планируется продвигать в нескольких регионах. Начнем с небольшого отступления. На рынке SEO-услуг сейчас дикая ко...
Нужны ли на сайте отзывы и комментарии?... Действительно, нужны ли на сайте комментарии и отзывы? И зачем? Именно такие вопросы волнуют многих. И давайте подробно ответим на них. Итак, приступим. Что такое комментарий и отзыв? Если объяснить все очень простым языком, то комментарии поль...
Каким должен быть отзыв в крауд-маркетинге?... С развитием поисковых систем перестают работать "старые, добрые и проверенные" методы продвижения - ссылки. Поисковые гиганты достаточно просто отличают SEO-ссылки от естественных. Но как получить естественные ссылки в эпоху Минусинска? На помощь п...
Яндексу не нужна война с SEO-шниками Совсем недавно Яндекс объявил о запуске нового алгоритма (фильтра) по борьбе с ссылочным спамом, который будет пессимизировать сайты, злоупотребляющие покупными внешними ссылки. Однако по словам  руководителя Яндекса по поисковым сервисам Александра ...