06.07.2009 | 23:14
Pубрика: Google, Продвижение сайтов, Ссылочное ранжирование, Технологии SEO
Не знаю, в принципе тема X-Robots-Header и Тега noodp настолько тривиальна, что навряд ли есть смысл посвящать ей целую статью. Но подумав, я всё-же решила, что новое - это хорошо забытое старое и принялась за работу.
Вчера я получила е-мейл, в котором мой коллега уверял меня, что Google практически игнорирует указание « noodp» в X-Robots ТЕГ Robots Exclusion Protocol.
Обычно, если веб-мастер не хочет, что-бы Google показывал сниппет (англ. Snippet) сгенерированный в DMOZ, в голове документа прописывается МЕТА- ТЕГ
<meta name=”ROBOTS” content=”NOODP”> (для всех поисковиков)
Но эти указания в МЕТА-ТЕГЕ не работают на 100 процентов. Так например я видела, что почти у трети сайтов (в зависимости от запроса!!!) Google показывает сниппет с описанием сделанным редактором DMOZ, а не те тексты, которые внесенны в веб-документ.
Поэтому, когда Google стал поддерживать HTTP заголовок X-Robots (англ. X-Robots-Header), мы попробовали прописывать это указание там. Но увы, это тоже не всегда работает. Причём такие указания, как «noindex», работают прекрасно :).
Начиная с середины 2007 года Google, как и Yahoo поддерживает метатеги в HTTP заголовке X-Robots. Смысл заключается в том, что указания для поисковых роботов, которые прописываются в голове веб-документа теперь можно прописать внутри HTTP-Headers
HTTP заголовок отличатся в принципе от МЕТА-указаний тем, что они не видны обычному пользователю. То есть если Вы захотите посмотреть источник документа в браузере (Ctrl + U для Firefox), то вы не увидите это указания. Для просмотра HTTP заголовка необходимы дополнительные плагины (Plugins) или внешние инструменты ( Tools).
Указания для роботов в META позволяют контролировать доступ поискового робота к отдельным веб-документам. Но работают они только для стандартных HTML страниц.
С помощью HTTP заголовков X-Robots можно контролировать не только индексацию отдельных веб-страниц, но и доступ к другим типам документов, таким как Adobe PDF файлы, видео-и аудио-файлы и другие типы документов.
Не забывайте, «X-Robots-Tag» Robots Exclusion Protoco соответствуют нормальным «meta robots tags»!
<meta name=”googlebot” content=”index,archive,follow,noodp”>
<meta name=”robots” content=”all,index,follow”>
<meta name=”msnbot” content=”all,index,follow”>
Где (небольшой экскурс в НТМЛ для полноты картины )
Теперь посмотрим, как всё это мы вносим на нашу страницу
Сначала просто стандартный пример
<?php
header(’X-Robots-Tag: noarchive, nosnippet, noindex, follow’, false);
header(’X-Robots-Tag: unavailable_after: 1 Feb 2008 00:00:00 GMT’, false);
?>
<!DOCTYPE HTML PUBLIC “-//W3C//DTD HTML 4.01 Transitional//EN”>
<html>
<head>
<title>X-Robots-Tag Пример</title>
</head>
<body>
….
</body>
Выглядит примерно так:
X-Robots-Header и noodp ТЕГ
Включить и архивировать (кэш) все PDF, Word документы, а также Flash файлы для результатов поиска:
# index and archive specified file types
<IfModule mod_headers.c>
<FilesMatch “\.(doc|pdf|swf)$”>
Header set X-Robots-Tag “index,archive”
</Files>
</IfModule>
Не индексировать PDF и Word документы, а также Flash файлы для результатов поиска:
# do not index specified file types
<IfModule mod_headers.c>
<FilesMatch “\.(doc|pdf|swf)$”>
Header set X-Robots-Tag “noindex”
</Files>
</IfModule>
или
# do not index pdf file types
<FilesMatch “\.pdf$”>
Header set X-Robots-Tag “noindex”
</Files>
Индексировать PDF и Word документы, а также Flash файлы для результатов поиска, но не кешировать и не показывать сниппет. Удалить из индекса после 4 Июля 2110 года
# expiration date with no cache and no snippet
<IfModule mod_headers.c>
<FilesMatch “\.(doc|pdf|swf)$”>
Header set X-Robots-Tag “unavailable_after: 4 Jul 2110 15:15:15 GMT”
Header set X-Robots-Tag “noarchive, nosnippet”
</Files>
</IfModule>
Как мы видим с помощью HTTP заголовка X-Robots открывается широкое поле деятельности для особо умного веб-мастера.
Можно совсем незаметно закрыть страницу для индексации поисковыми системами и начать привольную жизнь фермера 
. Даже не используя .htaccess
Header - http://www.seo-konkret.ru/x-robots-header
Как вы видите, я не использую HTTP заголовка X-Robots
А для тех, кто хочет побольше узнать:
Читайте также
Понравилась статья?
Подписаться на RSS фид »
Подписаться на обновления по e-mail »
1
seobag | 08.07.2009 | 16:34 | Ответитьстыдно признаться, но я раньше не знал, что заголовки X-Robots можно задавать через .htaccess
3
webcat | 27.01.2010 | 17:57 | ОтветитьРечь идёт сниппетe, который генерируется в DMOZ - то есть он может отличаться от того, что написал вебмастер
RSS комментариев к этому посту | Trackback URI
С вводом нового принципа живого поиска Google коренным образом изменит поведение пользователей, что непосредственно затронет, как и оптимизацию сайтов, так и рекламные кампании в Google Adwords. Мир будет ещё более несправедлив, а SEM намного дороже
Читать дальше »Уважаемые друзья, случайно удалила все комментарии за июль. Приношу извинения
© 2009, SEO-Konkret.ru - SEO оптимизация, Интернет маркетинг, контекстная реклама, интернет реклама и бизнес Контакты
Спасибо WordPress.com :)
Вы читаете статью: «X-Robots-Header и noodp ТЕГ в Google»
2
seoновичек | 26.01.2010 | 20:29 | Ответитьа почему вебмастеру не хотеть, что-бы Google показывал сниппет?
это же описание сайта дополнительное…