Блокировка поисковых роботов скриптом
Материал из 1GbWiki.
Если вы хотите закрыть доступ к какому либо скрипту для поискового робота, вам нужно в начало скрипта вписать следующий код:
<?php
// Crawler definitions
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (substr_count($userAgent, 'crawler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'yandex') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'webalta') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'mail.ru') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'googlebot') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'aport') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'rambler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'yahoo') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'stackrambler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'search') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'indexer') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'cuill.com') > 0) $isCrawler = 1;
if ($isCrawler)
{
header("HTTP/1.0 403 Hello, Crawler!");
exit;
}
?>
