Как правильно отфильтровать ботов?
Модератор: Begemot
Доброго всем дня!
Я через Сутру пропускаю 404 траф.. и возник вопрос, как проще и правильней отфильтровать ботов.. Насколько я понимаю, путем выставления первым правилом js-redirect, но каким?
Спасибо.
Я через Сутру пропускаю 404 траф.. и возник вопрос, как проще и правильней отфильтровать ботов.. Насколько я понимаю, путем выставления первым правилом js-redirect, но каким?
Спасибо.
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |
(фильтр ботов, botfilter.html)
создай в каталоге сутры файл files/mybotfilter.html с таким содержимым:
замени соответственно урлы на свои.
В схеме распределения вместо урла перенаправления пропиши:
mybotfilter.html
Всё.
Как это работает - in.cgi будет читать содержимое файла mybotfilter.html и отображать его вместо перенаправления.
Сам код работает просто -
боты не смогут исполнить яваскрипт и не уйдут на "http://www.google.com/search?q=horoshiy_traf" при любом раскладе,
на него уйдут только серферы с включенным яваскриптом.
Боты, если они не совсем глупые, уйдут на http://www.google.com/search?q=polohoi_traf
так как им больше ничего не остается.
СМОТРИТЕ ТАКЖЕ СПОСОБ АВТОМАТИЗАЦИИ ГЕНЕРАЦИИ АНТИБОТ-КОДА
создай в каталоге сутры файл files/mybotfilter.html с таким содержимым:
Код: Выделить всё
<html>
<head>
<meta http-equiv="REFRESH" content="1;URL='http://www.google.com/polohoi_traf'">
<script LANGUAGE="JavaScript">
function url_de(s)
{
return s.split("").reverse().join("");
}
window.location=url_de("fart_yihsoroh=q?hcraes/moc.elgoog.www//:ptth");
</script>
</head>
<body>
<a href="http://www.google.com/search?q=polohoi_traf">plohoi traf</a>
</body>
</html>
В схеме распределения вместо урла перенаправления пропиши:
mybotfilter.html
Всё.
Как это работает - in.cgi будет читать содержимое файла mybotfilter.html и отображать его вместо перенаправления.
Сам код работает просто -
боты не смогут исполнить яваскрипт и не уйдут на "http://www.google.com/search?q=horoshiy_traf" при любом раскладе,
на него уйдут только серферы с включенным яваскриптом.
Боты, если они не совсем глупые, уйдут на http://www.google.com/search?q=polohoi_traf
так как им больше ничего не остается.
СМОТРИТЕ ТАКЖЕ СПОСОБ АВТОМАТИЗАЦИИ ГЕНЕРАЦИИ АНТИБОТ-КОДА
Последний раз редактировалось Begemot Сб янв 24, 2009 8:43 pm, всего редактировалось 2 раза.
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |
другой вариант - лить трафик на mybotfilter.html,
а уже с него перенаправлять на сутру для дальнейшего распределения,
У этого варианта по сравнению с предыдущим есть плюсы:
в сутре будет сразу известно кто бот а кто не бот
и минусы:
нужно два перенаправления вместо одного.
а уже с него перенаправлять на сутру для дальнейшего распределения,
У этого варианта по сравнению с предыдущим есть плюсы:
в сутре будет сразу известно кто бот а кто не бот
и минусы:
нужно два перенаправления вместо одного.
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |
боты бегают по яве, соответсвенно могут попадать на фид
вот так можно закрыть?
header:HTTP_USER_AGENT:
msnbot Googlebot Slurp
вот так можно закрыть?
header:HTTP_USER_AGENT:
msnbot Googlebot Slurp
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |
Применив фаил files/mybotfilter.html как сделать так ,что-бы сутра еще и посчитала (in) именно серферов с включенным яваскриптом а не всех входящих.
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |
зашифруй код каунтера на фришнике, аналогично написанному выше, он уже на яваскрипте, так что труда не составит.dipsi писал(а):Применив фаил files/mybotfilter.html как сделать так ,что-бы сутра еще и посчитала (in) именно серферов с включенным яваскриптом а не всех входящих.
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |
Если каунтер стоит на фрихе он сможет засеч откуда пришел серфер если он сначала попадает на mybotfilter.html а потом на фриху? Или каунтер ставить прямо в mybotfilter.html но тогда gif не успеет загрузиться?Как лучше сделать?
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |
лучше ничего не трогать а смотреть ботов по зеленым цифрам (уникам)
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |
Выше был описан способ фильтрации ботов яваскриптом.
В нём есть один недостаток - для каждого нового урла нужно создавать новый .html файл.
Здесь я опишу как сделать так, чтобы это делалось автоматически.
Для этого нужно написать небольшой модуль на php и встроить его в сутру (подробное описание смотрите в доке сутры в методах передаправлений)
Итак:
1) создайте файл files/antibot.php с таким содержимым:
curl://сутра/files/antibot.php?bots_url=http://boti.com/&url=http://goodtraf.com/
где bots_url - урл для слива ботов (урл нужно квотить = зменять & и ? на коды), а url - урл для слива трафика без ботов (урл нужно квотить)
Всё.
Код работает аналогично примеру на html.
В нём есть один недостаток - для каждого нового урла нужно создавать новый .html файл.
Здесь я опишу как сделать так, чтобы это делалось автоматически.
Для этого нужно написать небольшой модуль на php и встроить его в сутру (подробное описание смотрите в доке сутры в методах передаправлений)
Итак:
1) создайте файл files/antibot.php с таким содержимым:
2) В схеме распределения вместо урла перенаправления теперь нужно писать:<?
$bots_url = $_GET[bots_url];
$url = $_GET[url];
$url_r = strrev($url);
?>
<html>
<head>
<meta http-equiv="REFRESH" content="1;URL='<? print $bots_url; ?>'">
<script LANGUAGE="JavaScript">
function url_de(s)
{
return s.split("").reverse().join("");
}
window.location=url_de("<? print $url_r; ?>");
</script>
</head>
<body>
<a href="<? print $bots_url; ?>">plohoi traf</a>
</body>
</html>
curl://сутра/files/antibot.php?bots_url=http://boti.com/&url=http://goodtraf.com/
где bots_url - урл для слива ботов (урл нужно квотить = зменять & и ? на коды), а url - урл для слива трафика без ботов (урл нужно квотить)
Всё.
Код работает аналогично примеру на html.
Ссылка: | |
BBcode: | |
HTML: | |
Скрыть ссылки на пост |