Как можно закрыть сайт от индексации?

zakrit-sait-ot-indeksaciiДа, мой дорогой читатель, порой возникает необходимость закрыть сайт или его часть от индексации поисковых систем. Причины бывают разные: то сайт на реконструкции и модернизации, то нежелательно показывать какие-либо страницы, папки и документы поисковой машине.

Для начала нужно знать, от какого поисковика Вы хотите закрыть свой сайт. У каждой поисковой системы есть свой список поисковых роботов, к которым можно обращаться по имени в файле robots.txt. Как говорится, для более полной информации обращайтесь на страницы помощи вебмастерам, но некоторый список основных поисковых роботов мы приведем:

  • Yandex — поисковый робот Яндекса.
  • Googlebot — поисковый робот Google.
  • Slurp — поисковый робот Yahoo!.
  • MSNBot — поисковый робот от MSN (поисковая система Bing).
  • SputnikBot — имя робота российского поисковика Спутник от Ростелекома.

Способов закрыть сайт от индексации хватает. Самый первый из них — отредактировать robots.txt.

User-agent: *
Disallow: /

Добавив такой текст, Вы запрещаете индексировать Ваш сайт  любым поисковым системам.

User-agent: Yandex
Disallow: /

Сейчас запрет коснулся только Яндекса.

User-agent: Googlebot
Disallow: /

А в данном примере — только Google.

Закрыть папку, отдельный файл или же группу файлов очень просто. Так закрывается файл:

User-agent: Yandex
Disallow: /folder/file.php

Так закрываются все файлы с разрешением .jpg.

User-Agent: *
Disallow: *.jpg

А вот так закрывается доступ к папке:

User-agent: *
Disallow: /folder/

Можно и комбинировать: закрыть от индексации папку, но разрешить индексировать какой-либо файл в этой папке:

User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Есть и более простой способ — воспользоваться метатегами. Это особенно актуально, если Вы хотите закрыть  как отдельную страницу сайта, так и весь сайт целиком.

<meta name=»robots» content=»noindex, nofollow»/>

либо

<meta name=»robots» content=»none»/>

Как и в случае с robots.txt, с помощью метатегов можно закрыть сайт от конкретной поисковой системы:

Для Google:
<meta name=»googlebot» content=»noindex, nofollow»/>
Для Яндекса:
<meta name=»yandex» content=»none»/>

Иногда в meta name=»robots» добавляют еще и «noarchive», запрещающий поисковым системам сохранять сайт в своем кэше (то есть запрещает делать сохраненные копии на серверах Google, Яндекс и других ПС).

Читайте также

Как продвигать молодые сайты? Продвижение сайта – дело затратное, как по времени, так и по деньгам. Быстрого результата ждать не следует, особенно если Ваш сайт только создан. Возраст сайта - это один из факторов продвижения. Молодой сайт еще не заслужил доверия и поисковиков. И ...
20 лет Яндексу! В это трудно поверить, но поисковой системе Яндекс уже 20 лет! 20 лет Яндекс повсюду с нами, помогая находить в интернете нужную нам информацию. Поисковая система www.yandex.ru была анонсирована 23 сентября 1997 года. С тех пор прошло целых 20 лет...
Стоит ли веб-студиям и SEO-агентствам работать с НДС?... Вопрос очень актуален. Ведь для крупных заказчиков важно уменьшить сумму ежеквартальных платежей по налогу на добавленную стоимость. И многие агентства сталкиваются с уходом крупных клиентов из-за того, что исполнитель работает на упрощенке. Так стои...
Ссылки снова под запретом: АГС от Яндекса... Итак, Яндекс снова бьет по ссылкам. Не успели мы оправиться от "Минусинкса", как Яндекс изменил действие алгоритма АГС, о чем и уведомил всех в своем блоге для вебмастеров. Теперь даже популярные и трастовые ресурсы могут легко и непринужденно попаст...
Как правильно прописать мета-теги сайта?... Мета-тэги, по мнению некоторых оптимизаторов, уже потеряли свою актуальность. Мол, данные теги уже не в той мере влияют на поисковые системы, чем это было раньше. Однако, так ли это? Давайте научимся правильно прописывать МЕТА-теги, а также разберем,...
YouTube рассказал о своих перспективах YouTube на собственной маркетинговой конференции NewFront в Нью-Йорке рассказали о будущем своего бизнеса: мобильный видео-контент сейчас набирает популярность семимильными шагами, а аудитория YouTube молода и энергична настолько, что вряд ли будут с...
Нужны ли на сайте отзывы и комментарии?... Действительно, нужны ли на сайте комментарии и отзывы? И зачем? Именно такие вопросы волнуют многих. И давайте подробно ответим на них. Итак, приступим. Что такое комментарий и отзыв? Если объяснить все очень простым языком, то комментарии поль...
Какие есть сервисы для анализа сайта?... Доброго дня, дорогой читатель этого блога! Сегодня мы постараемся рассказать Вам о том, какие сервисы можно и нужно использовать для бесплатного анализа сайтов. Итак, Вы новичок и перед Вами стоит простая задача - узнать ситуацию с каким-то сайтом и...