Как можно закрыть сайт от индексации?

zakrit-sait-ot-indeksaciiДа, мой дорогой читатель, порой возникает необходимость закрыть сайт или его часть от индексации поисковых систем. Причины бывают разные: то сайт на реконструкции и модернизации, то нежелательно показывать какие-либо страницы, папки и документы поисковой машине.

Для начала нужно знать, от какого поисковика Вы хотите закрыть свой сайт. У каждой поисковой системы есть свой список поисковых роботов, к которым можно обращаться по имени в файле robots.txt. Как говорится, для более полной информации обращайтесь на страницы помощи вебмастерам, но некоторый список основных поисковых роботов мы приведем:

  • Yandex — поисковый робот Яндекса.
  • Googlebot — поисковый робот Google.
  • Slurp — поисковый робот Yahoo!.
  • MSNBot — поисковый робот от MSN (поисковая система Bing).
  • SputnikBot — имя робота российского поисковика Спутник от Ростелекома.

Способов закрыть сайт от индексации хватает. Самый первый из них — отредактировать robots.txt.

User-agent: *
Disallow: /

Добавив такой текст, Вы запрещаете индексировать Ваш сайт  любым поисковым системам.

User-agent: Yandex
Disallow: /

Сейчас запрет коснулся только Яндекса.

User-agent: Googlebot
Disallow: /

А в данном примере — только Google.

Закрыть папку, отдельный файл или же группу файлов очень просто. Так закрывается файл:

User-agent: Yandex
Disallow: /folder/file.php

Так закрываются все файлы с разрешением .jpg.

User-Agent: *
Disallow: *.jpg

А вот так закрывается доступ к папке:

User-agent: *
Disallow: /folder/

Можно и комбинировать: закрыть от индексации папку, но разрешить индексировать какой-либо файл в этой папке:

User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Есть и более простой способ — воспользоваться метатегами. Это особенно актуально, если Вы хотите закрыть  как отдельную страницу сайта, так и весь сайт целиком.

<meta name=»robots» content=»noindex, nofollow»/>

либо

<meta name=»robots» content=»none»/>

Как и в случае с robots.txt, с помощью метатегов можно закрыть сайт от конкретной поисковой системы:

Для Google:
<meta name=»googlebot» content=»noindex, nofollow»/>
Для Яндекса:
<meta name=»yandex» content=»none»/>

Иногда в meta name=»robots» добавляют еще и «noarchive», запрещающий поисковым системам сохранять сайт в своем кэше (то есть запрещает делать сохраненные копии на серверах Google, Яндекс и других ПС).

Читайте также

Как Минусинск отразится на биржах ссылок?... Минусинск уже наделал много информационного шума. Главный вопрос поисковых оптимизаторов: "Снимать покупные ссылки или нет?" Споры не прекращаются до сих пор. Заявления Яндекса посеяли панику в мире SEO. Однако владельцы бирж ссылок вполне могут зада...
Google больше не поисковик? Европейский Союз окончательно решил, чем точно не является Google, а заодно и  Bing, Yahoo! и другие поисковые системы. Вердикт прост и неожидан. Google не является поисковой системой. Согласно финальной трактовке Европейского суда под поисковой сис...
Яндекс против перенаправления пользователей на платный контент... Яндекс опять в центре внимания. "Минусинск" уже в строю, а в мае ждем еще одно обновление алгоритмов. Яндекс снизит в поисковой выдаче сайты, которые перенаправляют пользователя на платные контент-подписки вместо отображения нужной ему информации. Со...
Итоги в SEO-индустрии за 2015 год Год 2015-ый уже канул в прошлое, оставив свой след на всей SEO-индустрии. Оглядываясь в прошлое, можно увидеть будущее. Наш краткий обзор самых значимых событий в SEO в 2015 году читайте дальше. Кризис к нам приходит, кризис к нам приходит В общем,...
Контент для социальных сетей Контент для социальных сетей всегда играл значительную роль. Привлечь и заинтересовать пользователя, а затем удержать его можно лишь посредством интересного контента. Но вот вопрос: что же публиковать на разных площадках? Контент - это не только т...
Google раскрыл важнейшие факторы ранжирования... Корпорация Добра раскрыла некоторые свои секреты, известив о трех самых главных факторах, влияющих на положение сайта в результатах поиска Google. Ими оказались контент, внешние ссылки и RankBrain. Раскрыл секрет представитель поисковой системы Андр...
9 признаков качественных ссылок 1. Ссылка размещена на странице сразу при её публикации и индексации и ни в коем случае не добавлена позже Если ссылка на странице появилась через некоторое время, после ее индексации поисковиком, то это начинает выглядеть подозрительно. Особенно,...
Как выбрать компанию для продвижения сайта?... Привлечь новых клиентов, увеличить выручку, поднять доходы - это лишь немногие из тех задач, которые ставят многие компании, создавая себе сайты. Тем не менее, создание сайта (пусть даже и самого функционального и технологически "новороченного" не ре...