Как можно закрыть сайт от индексации?

zakrit-sait-ot-indeksaciiДа, мой дорогой читатель, порой возникает необходимость закрыть сайт или его часть от индексации поисковых систем. Причины бывают разные: то сайт на реконструкции и модернизации, то нежелательно показывать какие-либо страницы, папки и документы поисковой машине.

Для начала нужно знать, от какого поисковика Вы хотите закрыть свой сайт. У каждой поисковой системы есть свой список поисковых роботов, к которым можно обращаться по имени в файле robots.txt. Как говорится, для более полной информации обращайтесь на страницы помощи вебмастерам, но некоторый список основных поисковых роботов мы приведем:

  • Yandex — поисковый робот Яндекса.
  • Googlebot — поисковый робот Google.
  • Slurp — поисковый робот Yahoo!.
  • MSNBot — поисковый робот от MSN (поисковая система Bing).
  • SputnikBot — имя робота российского поисковика Спутник от Ростелекома.

Способов закрыть сайт от индексации хватает. Самый первый из них — отредактировать robots.txt.

User-agent: *
Disallow: /

Добавив такой текст, Вы запрещаете индексировать Ваш сайт  любым поисковым системам.

User-agent: Yandex
Disallow: /

Сейчас запрет коснулся только Яндекса.

User-agent: Googlebot
Disallow: /

А в данном примере — только Google.

Закрыть папку, отдельный файл или же группу файлов очень просто. Так закрывается файл:

User-agent: Yandex
Disallow: /folder/file.php

Так закрываются все файлы с разрешением .jpg.

User-Agent: *
Disallow: *.jpg

А вот так закрывается доступ к папке:

User-agent: *
Disallow: /folder/

Можно и комбинировать: закрыть от индексации папку, но разрешить индексировать какой-либо файл в этой папке:

User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Есть и более простой способ — воспользоваться метатегами. Это особенно актуально, если Вы хотите закрыть  как отдельную страницу сайта, так и весь сайт целиком.

<meta name=»robots» content=»noindex, nofollow»/>

либо

<meta name=»robots» content=»none»/>

Как и в случае с robots.txt, с помощью метатегов можно закрыть сайт от конкретной поисковой системы:

Для Google:
<meta name=»googlebot» content=»noindex, nofollow»/>
Для Яндекса:
<meta name=»yandex» content=»none»/>

Иногда в meta name=»robots» добавляют еще и «noarchive», запрещающий поисковым системам сохранять сайт в своем кэше (то есть запрещает делать сохраненные копии на серверах Google, Яндекс и других ПС).

Читайте также

9 причин, почему контент-маркетинг не работает... Далеко не секрет, что использование контент-маркетинга - это один из самых безопасных способов продвижения сайта. И не секрет, что контент-маркетинг работает не у всех. Мы нашли 9 причин, почему контент-маркетинг не работает именно у вас! Почему т...
PageRank Google больше не актуален? Google не перестает печалить SEO-оптимизаторов. Недавно поисковый гигант подтвердил удаление Toolbar PageRank. И если Вы используете инструмент или браузер, позволяющий получать данные PageRank от Google, то в течение следующих недель они перестанут ...
Какие есть сервисы для анализа сайта?... Доброго дня, дорогой читатель этого блога! Сегодня мы постараемся рассказать Вам о том, какие сервисы можно и нужно использовать для бесплатного анализа сайтов. Итак, Вы новичок и перед Вами стоит простая задача - узнать ситуацию с каким-то сайтом и...
Как продвигать молодые сайты? Продвижение сайта – дело затратное, как по времени, так и по деньгам. Быстрого результата ждать не следует, особенно если Ваш сайт только создан. Возраст сайта - это один из факторов продвижения. Молодой сайт еще не заслужил доверия и поисковиков. И ...
Как Минусинск отразится на биржах ссылок?... Минусинск уже наделал много информационного шума. Главный вопрос поисковых оптимизаторов: "Снимать покупные ссылки или нет?" Споры не прекращаются до сих пор. Заявления Яндекса посеяли панику в мире SEO. Однако владельцы бирж ссылок вполне могут зада...
Стоит ли веб-студиям и SEO-агентствам работать с НДС?... Вопрос очень актуален. Ведь для крупных заказчиков важно уменьшить сумму ежеквартальных платежей по налогу на добавленную стоимость. И многие агентства сталкиваются с уходом крупных клиентов из-за того, что исполнитель работает на упрощенке. Так стои...
Продвижение сайта с минимальным бюджетом... Продвигать сайты нужно всегда. Ведь чем выше позиция сайта по тому или иному поисковому запросу, тем выше посещаемость со всеми вытекающими последствиями (больше звонков, больше клиентов, больше узнаваемость). Вопрос цены при продвижении всегда актуа...
Стоимость продвижения сайта: из чего складывается?... Сколько стоит продвижение сайта? Самый частый вопрос. То, что за продвижение сайта необходимо платить, знают все. Правда мало кто понимает, почему у одних продвижение сайта стоит 20 000 рублей в месяц, а у других - уже 200 000 рублей. Постараемся все...