Блокировка поисковых роботов скриптом
Материал из 1GbWiki.
(Различия между версиями)
| Версия 12:02, 7 сентября 2007 (править) Dmach (Обсуждение | вклад) (Новая: Если вы хотите закрыть доступ к какому либо скрипту для поискового робота, вам нужно в начало скрипта ...) ← К предыдущему изменению |
Версия 22:37, 29 марта 2008 (править) (отменить) NovaCxarmulo (Обсуждение | вклад) (→См. также) К следующему изменению → |
||
| Строка 33: | Строка 33: | ||
| *[[Простой скрипт блокировки скачивания всего сайта]] | *[[Простой скрипт блокировки скачивания всего сайта]] | ||
| *[http://www.1gb.ru/default.aspx?ti=6&hti=105 Перегрузка поисковыми машинами] | *[http://www.1gb.ru/default.aspx?ti=6&hti=105 Перегрузка поисковыми машинами] | ||
| + | *[[Ограничение процессорной нагрузки]] | ||
| + | |||
| + | [[Категория:Серверная нагрузка]] | ||
Версия 22:37, 29 марта 2008
Если вы хотите закрыть доступ к какому либо скрипту для поискового робота, вам нужно в начало скрипта вписать следующий код:
<?php
// Crawler definitions
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (substr_count($userAgent, 'crawler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'yandex') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'webalta') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'mail.ru') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'googlebot') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'aport') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'rambler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'yahoo') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'stackrambler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'search') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'indexer') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'cuill.com') > 0) $isCrawler = 1;
if ($isCrawler)
{
header("HTTP/1.0 403 Hello, Crawler!");
exit;
}
?>
