Блокировка поисковых роботов скриптом
Материал из 1GbWiki.
(Различия между версиями)
| Версия 22:37, 29 марта 2008 (править) NovaCxarmulo (Обсуждение | вклад) (→См. также) ← К предыдущему изменению |
Текущая версия (16:13, 28 января 2013) (править) (отменить) Chapay (Обсуждение | вклад) |
||
| (1 промежуточная версия не показана) | |||
| Строка 32: | Строка 32: | ||
| *[[Проблема блокировки по IP-адресу]] | *[[Проблема блокировки по IP-адресу]] | ||
| *[[Простой скрипт блокировки скачивания всего сайта]] | *[[Простой скрипт блокировки скачивания всего сайта]] | ||
| - | *[http://www.1gb. | + | *[http://www.1gb.ua/default.aspx?ti=6&hti=121 Перегрузка поисковыми машинами] |
| *[[Ограничение процессорной нагрузки]] | *[[Ограничение процессорной нагрузки]] | ||
| [[Категория:Серверная нагрузка]] | [[Категория:Серверная нагрузка]] | ||
| + | [[Категория:Программирование]] | ||
Текущая версия
Если вы хотите закрыть доступ к какому либо скрипту для поискового робота, вам нужно в начало скрипта вписать следующий код:
<?php
// Crawler definitions
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (substr_count($userAgent, 'crawler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'yandex') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'webalta') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'mail.ru') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'googlebot') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'aport') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'rambler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'yahoo') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'stackrambler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'search') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'indexer') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'cuill.com') > 0) $isCrawler = 1;
if ($isCrawler)
{
header("HTTP/1.0 403 Hello, Crawler!");
exit;
}
?>
