Sutra TDS. Документация.

Демо версия (ничего не изменяйте там, так как каждую минуту все изменения затираются стандартными настройками).
Возможности и приобретение.
Форум.
FAQ - часто задаваемые вопросы.

Оглавление:

Прежде чем начать работать с Sutra TDS

Если вы только что приобрели Sutra TDS и не знаете с чего начать, вот вам небольшой список рекомендаций:
  1. Зайдите в раздел Settings и для каждой схемы пропишите Default URL
    Default URL это урл на который сливается трафик если ему больше некуда сливаться. Желательно чтобы Default URL указывал не на схему sutra, а на ваш внешний сайт. Так как если он указывает на sutra, то есть возможность (в случае если вы где-то ошиблись) что трафик "зациклится".

  2. Посмотрите примеры из первых 6-ти разделов, в них находится базовая информация о работе сутры:
  3. Если вы работаете с топами, то для вас есть дополнительная инструкция:
    Дополнительная инструкция для веб-мастеров работающих с топами

  4. Теперь вам известно 50% функционала сутры. Если того что вы уже узнали вам не хватает, или у вас специфическая задача (например работа с дорвеями), тогда переходите к чтению соответствующего раздела из оглавления (см. выше)

  5. После того как у вас всё получилось, советую ознакомиться с остальными разделами этой доки, а также почитать топики на форуме.

Описание элементов административной панели

Заходим в административную панель схемы "1" (страница откроется в нижнем фрейме).
Сверху видим панель навигации по схемам: 20ть квадратиков - 20ть схем И справа 3 ссылки навигации по разделам:

  • Schema - это ссылка на раздел с таблицей распределения, сама схема распределения,
  • Statistics - это ссылка на раздел статистики выбранной схемы,

    Теперь исследуем по отдельности каждый раздел схемы "1" (ее квадратик выделен серым цветом):

  • Схема управления трафиком "1"
    Этот раздел состоит из панели навигации по схемам, URL'а для входящего трафика "http:///in.cgi?1" и таблицы распределения по урлам.
    URL для входящего трафика - это именно та ссылка, на которую нужно слать трафик для того, чтобы он распределился этой схемой распределения. Формат этой ссылки такой:

    http://домен_и_путь/in.cgi?имя_схемы&параметры

    В нашем случае:
    http:///in.cgi?1

    ВАЖНО:
    В новых версиях Sutra TDS (3.6+) можно слать на ссылку вида:
    http://домен_и_путь/[любой_текст].cgi?имя_схемы&параметры
    Например: http:///abcdefg1234.cgi?10 , это предпочтительней, так как стандартный "in.cgi" всё чаще режется фильтрами баннеров и антивирусами.

    Снизу, под таблицей урлов, находятся кнопки управления, текст на кнопках говорит сам за себя.

    переходим к статистике схемы ...

  • Statistics схемы "1"

    Сверху, под панелью навигации, видим таблицу со статистикой распределения по урлам,
    Снизу видим таблицу с общей статистикой по схеме, по дням.
    Дата - ссылка на подробную статистику дня. Там содержится статистика по странам, операционным системам, браузерам, статистика за каждый час и др.

    Ещё ниже видим данные генерации статистики И ссылку на Внешнюю страницу статистики схемы:

    Use this link to show summary statistics to non-authorized persons
    при продаже трафика это та самая ссылка которую вы даете покупателю вашего трафика, если он хочет посмотреть свою статистику.

    переходим к разделу форсов ...

  • Forces схемы "1"

    Этот раздел пустой, так как схема "1" не содержит ни одного форса. Подробнее изучим его чуть позже.


    Равномерное распределение

    Равномерное распределение это самый простой вид распределения трафика. Применяется для равномерного разделения трафика по нескольким урлам. Трафик распределяется независимо от своей природы.
    Пример такого распределения представлен в первой "1" схеме. В нашем примере клики по урлу "http:///in.cgi?1" будут с равной вероятностью уходить на один из трех урлов:

  • http://www.google.com/
  • http://www.msn.com/
  • http://www.yahoo.com/

    можете покликать по ссылке "http:///in.cgi?1" в админке схемы и удостовериться. Посмотрите статистику для подтверждения.
    В схеме распределения Weight это вес урла, чем он больше, тем больше вероятность ухода клика на урл. В нашем случае вес у всех трех урлов равный, соответственно вероятность распределения по урлам (%) тоже равная и равна ~33.3%

    Неравномерное распределение

    Для еще большего понимания веса урла смотрим схему "2", в которой вес урла http://www.google.com/ увеличен до 300.

    Видим что вероятность % ухода клика на урл http://www.google.com/ увеличилась до 60%, а у остальных уменьшилась до 20%.
    Кликая по ссылке схемы http:///in.cgi?2 можете сами удостовериться в том, что на http://www.google.com/ вы будете уходить чаще чем на http://www.msn.com/ и http://www.yahoo.com/ вместе взятые.
    Это подтверждает и статистика распределения схемы "2".

    На практике значения Weight должны быть в пределах от 0 до 10000 (1000000 для версий 3+). Если Weight=0, то урл считается отключенным и трафик на него не шлется.

    Если бы в нашем примере веса урлов были не 300,100,100 а 3,1,1 или 12,4,4 то вероятности распределения все равно были бы равны 60%,20%,20% соответственно.

    Весовое распределение уников

    Смотрим схему "3", В этой схеме рядом с каждым из трех уже знакомых нам урлов появился значок U, кроме того появился новый урл http://www.default.com/ выделенный цветом и Weight=O.
    Значок U - это фильтр уников урла, зеленый цвет означает "выборка", то есть пропускание на урл Только уников.

    В нашем примере первый клик с равной вероятностью уйдет на один из трех урлов. Предположим что он ушел на http://www.msn.com/.
    Когда он придёт снова, то уже не будет уником для http://www.msn.com/ и будет распределяться по двум оставшимся урлам - http://www.google.com/ и http://www.yahoo.com/ (веса: 100,100, равновероятно 50%/50%), например он ушел на http://www.yahoo.com/.
    Когда он придёт в третий раз он будет уником только для одного оставшегося урла - http://www.google.com/ и уйдет на него.
    На четвертый и более раз он будет неуником для всех урлов и уйдет на http://www.default.com/.
    Именно для этих целей существует самый последний урл называемый "урл по умолчанию" - на него уходит все то что не смогло распределиться по обычным урлам. Этот урл задается в настройках - Settings, там же задается длительность уника (в часах или долях часа: 24, 1, 0.5).
    Кликая по ссылке схемы http:///in.cgi?4 можно удостовериться в правильности работы этой схемы распределения. Смотрите также статистику распределения схемы "3".

    Хочу обратить внимание на то, что в этом примере клики распределяются равномерно, то есть первый клик, являющийся уником для всех урлов, с равной вероятностью может уйти как на первый, так и на второй или третий урл. Аналогично примеру "Неравномерное распределение" можно расставить разные веса и распределять уников неравномерно.

    Пример последовательного распределения уников рассмотрен далее.

    Распределение по позиции. Последовательное распределение уников.

    Лучше всего знакомиться с "последовательным распределением" на примере распределения по уникальности.

    Смотрим схему "4". В этой схеме, в отличие от предыдущего примера, весовая система распределения заменена последовательной - "Weight и %" заменились на "Place и move" (тип схемы весовая/последовательная настраивается в SETTINGS).
    Place - задает последовательность прохода клика по урлам, move - навигация.

    В последовательной системе распределения первый клик всегда уходит на первый урл, второй клик тоже направляется на первый урл, но, так как он будет неуником для первого урла, то продолжит свое движение на второй урл и так далее. Кликая по ссылке схемы http:///in.cgi?4 удостоверьтесь в том, что клики распределяются по урлам в правильной последовательности:

  • http://www.google.com/
  • http://www.yahoo.com/
  • http://www.msn.com/
  • http://www.default.com/
    и далее все время на http://www.default.com/

    Использование "последовательного распределение" не ограничивается распределением уников, часто его удобно применять для фильтрации трафика по каким-то особым признакам. Например с его помощью удобно фильтровать ключевые слова и отсылать их на заданные урлы, или тоже самое делать для стран.

    Распределение по странам

    Распределение по странам используется чуть ли не каждым веб-мастером - для слива на разные страницы сайта в зависимости от страны (например партнёрская программа friendfinder.com), или для фильтрации китайцев/азии в целом и еще для решения целой кучи разных задач.

    Реализация фильтра:
    Существует два вида схем - "весовые" и "последовательные".
    Для распределения по странам лучше использовать схему с последовательным распределением, так как при этом все урлы расположены по-порядку, не нужно устанавливать вес урлов, да и такой способ более правильный для фильтрации трафика по особому признаку (страна).
    Весовую схему также можно использовать для распределение по странам, но там меньше гибкости и меньше наглядности.

    Смотрим схему "seven". Видно фильтры, видно страны. Клик, попав в такую схему, начинает свой путь с первого урла, если он устраивает всем фильтрам первого урла, то он уходит на него. Если нет - то он продолжает свой путь на второй урл с теми-же действиями, пока не найдет урл который его пропустит.
    Если же ни один урл не сможет его принять, то клик он уйдёт на Default Url.
    В схеме seven Default Url не задан, так как перед ним стоит урл http://other.com без фильтров,
    на этот урл будут уходить все клики вместо Default Url. Этот пример лучше всего показывает преимущество последовательной схемы над весовой для задачи распределения по странам.

    Группы и Схемы

    Группа, Group - это дополнительное разбиение схемы на части, они позволяют обойти ограничение по количеству схем.
    Итак, смотрим пример: схема "7".
    Эта схема состоит из семи урлов разбитых на две группы: odin и dva, и одного урла без группы - http://www.search.com/.

    Для посылки трафика в определенную группу нужно добавить параметр group в ссылку схемы, например:

    http:///in.cgi?7&group=odin
    трафик посланный на эту ссылку будет распределяться по урлам группы "odin" схемы "7"

    http:///in.cgi?7&group=dva
    а этот по урлам группы "dva" схемы "7"

    Если слать трафик на стандартную ссылку схемы http:///in.cgi?7 без указания группы, то:

    • В версиях до 3.7 включительно разбиение на группы не окажет никакого влияния. Хит сможет уйти на урл любой группы.
    • В версиях 3.8+ трафик уйдёт только на урлы без группы

    А вот для того, чтобы на урл уходил весь трафик независимо от группы, укажите в качестве группы звездочку - *.

    Чтобы просмотреть в схеме урлы только определенной группы, существует селект-бокс справа сверху над панелью схем. Он полезен, например, когда групп и урлов в схеме много, и не хочется загружать всю страницу. Либо когда нужна суммарная статистика по отдельной группе. Этот выбор влияет как на схемы, так и на статистику и форсы.

    PRE-Rule - предварительное правило-фильтр для всей схемы.

    PRE-Rule - это предварительное правило-фильтр для всей схемы. Оно может использоваться только в весовых схемах.
    Все клики поступающие на схему сперва будут попадать на это правило, и уходить на него сразу если оно срабатывает.
    PRE-правил может быть несколько, например вы хотите разные правила для каждой группы - нет проблем.
    У PRE-правила всегда нулевой вес, он не меняется.
    В версиях 3+ появилась возможность установить несколько Pre-rule задав их последовательность в свойствах (position).
    Во всем остальном PRE-Rule это обычный урл, такой-же как и все остальные.

    Распределение трафика с поисковиков. Дорвеи и работа с PPC SE.

    Предположим у вас есть много страниц-дорвеев. Слить трафик с этих страниц можно разными способами: яваскриптом, обычным редиректом, фреймом и тд. Слить можно напрямую на спонсора/PPC SE. Эта схема (без Sutra) работает прекрасно до тех пор, пока все спонсоры/PPC SE живы и пока вас устраивают их условия. Но при смерти какого-нибудь спонсора или при переходе на другого спонсора вам придётся изменять ссылки на всех соответствующих дорвеях .. а это не так-то просто.

    Для решения этого вопроса, а также вопроса "синонимов ключевых слов" трафик нужно сливать в единый центр и уже оттуда распределять. Sutra отлично исполняет роль такого центра. Кроме того Sutra ведет статистику по заходам, реферам и ключевым словам.

    Как это работает:

    Для того, чтобы организовать цепочку:

    (дорвеи)->(Sutra)->(PPCSE или спонсор)

    все дорвеи должны сливать трафик не на спонсора/PPCSE, а в схему Sutra. При этом урл для слива должен иметь вид:

    http://sutra/in.cgi?схема&parameter=play%20poker

    Далее можно забыть о дорвеях и управлять трафиком с них из админки Sutra. Для этого используются несколько инструментов. Но прежде чем рассказать о них, хотелось бы заметить, что для управления трафиком с дорвеев можно использовать любые инструменты Sutra. Поэтому всем серьезным веб-мастерам я рекомендую читать всю документацию или как минимум раздел фильтров (можно пропустить разделы с топами).

    Первый инструмент работы с поисковиками - это фильтр по параметру.

    С помощью этого фильтра можно избирать группы ключевых слов или отдельные слова, а также заменять ключевые слова на другие. Для этого нужно создать схему с фильтрами по параметру как это сделано на примере схемы 10. Таким образом на заданные урлы будут уходить посетители пришедшие по заданным ключевым словам. Продвинутые веб-мастера могут использовать регулярные выражения для этого фильтра ( подробнее о регулярных выражениях и о фильтре вообще читайте в разделе Фильтры). Этот фильтр также можно использовать для преобразования синонимов/мисспелов/вариаций ключевого слова в одно ключевое слово с высоким бидом (при работе с PPC SE). В версии 2.5 этот фильтр был значительно улучшен, полное описание фильтра смотрите в списке фильтров и на форуме. Знание этого фильтра крайне рекомендуется для успешной работы с PPCSE партнёрскими программами.

    Второй инструмент для работы с поисковиками это "метод передачи параметров". Суть этого метода в том, что ключевое слово с дорвея (переданное в параметре parameter=) автоматически вставляется в урл перенаправления (чаще всего на PPC SE), для этого урл перенаправления должен иметь специальный синтаксис:

    http://umaxsearch.com/?q=$parameter

    Пример можно посмотреть в схеме 9. Кликая по ссылкам:

    http:///in.cgi?9&parameter=play%20poker
    http:///in.cgi?9&parameter=casino

    посетитель автоматически перенаправляется на фид PPCSE с нужным ключевым словом в параметрах.

    Комбинируя фильтр по параметру и "метод передачи параметров" можно заданные слова/группы слов перенаправлять на разные PPCSE или спонсоры.

    Третий инструмент при работе с дорвеями - статистика

    Sutra поддерживает расширенную статистику по ключевым словам, дорвеям и поисковикам, статистика хранится 7 последних дней. Для того чтобы включить ее, необходимо в разделе SETTINGS поставить галочку YES напротив схемы, в которой вы хотите видеть эту статистику. После этого статистика появится в разделе Statistics соответствующей схемы.
    Кроме того начиная с версии 2.5 можно посмотреть статистику ключевых слов / дорвеев для каждого урла! (в схеме у каждого урла появляется кнопочки K и R), что значительно упрощает настройку фильтров ключевых слов.
    Начиная с версии 2.6 ведется статистика по связке: se+дорвей+ключевое_слово. Таким образом доступна полная статистика по трафику, например не составит труда увидеть с каких дорвеев и сколько переходов по слову phentermine, или по каким словам переходят на заданный дорвей и с каких поисковиков, и много других комбинаций которые вытекают из статистики по связям. Подробнее смотрите в описании статистики.
    Здесь же кратко опишу как нужно слать трафик в Sutra чтобы иметь полную статистику и весь список возможностей по управлению дорвейным трафиком:

    in.cgi?10&parameter=play+poker&se=google&ur=1&HTTP_REFERER=goorway.com

    Это позволит видеть всю статистику, а также фильтровать по любому из указанных параметров. Вы можете добавить свои параметры и использовать их для фильтрации, подробнее смотрите в разделе фильтров и Manual фильтров.

    Перенаправление с дорвея, различные способы и html коды. Автоматический парсер поисковых фраз.

    Несколько вариантов Javascript кодов есть в топике на форуме, но они устарели. Начиная с версии 2.6 Sutra сама умеет парсить рефер и выдирать из него поисковое слово и поисковик!

    На данный момент одним из самых безопасных способов "редиректа" с дорвея является iframe. Вместо редиректа с дорвея на спонсора, страница спонсора отображается сразу на дорвее, внутри iframe, без перенаправления.

    Iframe код для дорвея (фрейм на весь экран)

    <script>
    document.write('<iframe width="100%" height="1000" src="http://www.com/in.cgi?10&seoref='+encodeURIComponent(document.referrer)+'&parameter=$keyword&se=$se&ur=1&HTTP_REFERER='+encodeURIComponent(document.URL)+'&default_keyword=кейпоумолчанию">');
    </script>

    Замечание:Жирным шрифтом выделены участки которые вы должны отредактировать под себя - номер схемы и "кейпоумолчанию" ключевое слово которое будет использоваться по умолчанию (когда не удалось выдрать из рефера). ОСТАЛЬНОЕ НЕ МЕНЯЙТЕ И НИЧЕГО НЕ УДАЛЯЙТЕ.

    Размещайте этот код на дорвее сразу после body тэга, или сделайте слоями так, чтобы он был поверх содержимого самого дорвея.
    Представленный код автоматически парсит рефер на дорвее, выдирает из него искомую поисковую фразу и поисковик и рисует на странице форвея iframe с нужным урлом направленным на схему сутры. Что отобразится внутри iframe зависит от настроек схемы (в данном примере схема 10, но может быть и любая другая)

    При этом ключевое слово передается в параметре "parameter", поисковик в параметре "se", а урл дорвея в параметре "HTTP_REFERER". Подробнее о том, как ведется статистика по этим параметрам читайте в разделе расширенной статистики. Не забудьте её включить в настройках (раздел Settings сверху).

    Код обычного location редиректа с дорвея на схему сутры (код для размещения на дорвее или в сопутствующем .js файле):

    <script>
    window.location=("http://www.com/in.cgi?18&seoref="+encodeURIComponent(document.referrer)+ "&parameter=$keyword&se=$se&ur=1&HTTP_REFERER="+encodeURIComponent(document.URL)+"&default_keyword=кейпоумолчанию");
    </script>



    Код для редиректа с дорвея с помощью .htaccess'а:

    Существует несколько способов:

    1. Первый способ подробно описан в этом топике на форуме.
    2. Второй способ:
      Нужно слать на ссылку "http://www.com/in.cgi?18&seoref=direct&parameter=$keyword&se=$se&default_keyword=кейпоумолчанию".
      При этом seoref=direct, на самом деле скриптом seoref берётся из HTTP_REFERER.
      Должен заметить, что за такое поисковики могут быстро забанить дорвей если он используется без хорошего клоакера.



    Код кнопки для дорвея:

    <script>
    document.write('<form method=POST action="http://www.com/in.cgi?10&seoref='+encodeURIComponent(document.referrer)+'&parameter=$keyword&se=$se&ur=1&HTTP_REFERER='+encodeURIComponent(document.URL)+'&default_keyword=кейпоумолчанию"><input type=submit name=submit value="CLICK HERE"><\/form>');
    </script>

    Замечание:надпись "CLICK HERE" отредактируйте под себя так, чтобы она подходила к содержанию страницы, от этого сильно зависит кликабельность кнопки.


    Код ссылки для дорвея:

    <script>
    document.write('<a href="http://www.com/in.cgi?10&seoref='+encodeURIComponent(document.referrer)+'&parameter=$keyword&se=$se&ur=1&HTTP_REFERER='+encodeURIComponent(document.URL)+'&default_keyword=кейпоумолчанию">CLICK HERE<\/a>');
    </script>

    Замечание:надпись "CLICK HERE" отредактируйте под себя так, чтобы она подходила к содержанию страницы, от этого сильно зависит кликабельность ссылки.

    Покупка/продажа трафика.

    Вкратце хочу сразу уточнить, что в идеале для покупки/продажи трафика нужно использовать Sutra совместно с TS - системой покупки/продажи трафика которая умеет считать деньги, создавать юзеров, автоматически их отключать и много чего еще. Но если TS вам не доступна, то можно обойтись и сутрой, она не так удобна как TS но имеет достаточную для этого статистику.

    Для тех кто читает эту документацию впервые - Sutra способна распределять трафик множеством способов и идеально подходит для продажи трафика. Скрипт является центром в который сливается трафик из разных мест (можно с трекером) и в последствии распределяется. Скрипт позволяет вам "задать URL покупателя, скорость и количество продаваемых хитов" нажать SAVE и уйти спать. Все остальное скрипт сделает автоматически. Как только нужное количество трафика уйдет к покупателю, его урл деактивируется и далее ваш трафик сливается на указанный вами default URL. Для каждого входящего источника трафика можно указать свой default URL.

    Для того чтобы из сутры предоставить покупателю статистику по слитому на него трафику, нужно трафик для него лить на отдельную схему и получать данные о трафике из общей статистики схемы (в разделе статистики схемы есть ссылка, которая позволяет показывать статистику не предоставляя доступа к админке сутры). В самой же этой схеме прописать урл сайта покупателя.

    Способы и функционал для продажи трафика сильно упростились с появлением SUTRA v2.0. Вот список функций, которые можно использовать для продажи трафика:

    • Ограничение количества хитов отсылаемых на урл. Для этого задайте значение поля Maximum number of Hits в свойствах урла. Как только на урл уйдет заданное количество хитов, статус урла изменится на disabled (он отключится). Этот трафик сливается разово (а не каждые сутки).
    • Указание скорости отсылаемого на урл трафика. Для этого задайте значение поля Speed (хиты в час) в свойствах урла. Начиная с версии 3.0 эта функция работает и для весовых и для последовательных схем.
    • Если нужно слать трафик в заданное время, например только по будням И/ИЛИ днём, то это можно сделать с помощью форсов которые описаны в одном из разделов этой доки.
    • Возможность задать свою длительность уникальности сессии уника (уникального посетителя) для каждой схемы (задаётся в Settings).
    • Антибот фильтр, о котором подробно описано на форуме сутры.
    • Полная статистика по слитому/купленному трафику - хиты / уники / прокси / реферы / страны по дням и часам.
    Если покупатель трафика хочет видеть подробную статистику по купленному трафику, то можно дать ему скрытую ссылку на статистику схемы. Эта ссылка находится в разделе статистики.

    Если же у вас есть система покупки трафика TS, то вы можете создать в TS аккаунт покупателя, выставить стоимость трафика, количество денег на счету и дать покупателю доступ к его аккаунту. После этого можно лить трафик из Sutra в этот аккаунт внутренним перенаправлением указав вместо урла в сутре вот так: "ts:имя_покупателя" (подробнее о способах перенаправления читайте в разделе "Способы перенаправления").

    Uptime Bot - проверяльщик доступности урлов

    UPTIME BOT - это отдельный модуль подключаемый к Sutra, его цель - следить за доступностью URL'ов.
    Если страница на которую ссылается URL недоступна (если сервер не отвечает или код ответа сервера 4xx или 5xx) то UPTIME BOT автоматически блокирует этот URL (чтобы не терять трафик) до тех пор пока URL не станет доступным.
    Начиная с версии 2.9 для урла можно указать альтернативные урлы. В этом случае недоступный урл будет заменяться на первый доступный урл из альтернативного списка.
    Начиная с версии 3.4 умеет проверять и отключать урлы с malware/вирусами.

    Очень удобно использовать MASS-EDIT для включения/выключения Uptime Bot'а или malware фильтра сразу для нескольких урлов схемы (версия 3.4+).

    • Content filter - фильтр по содержанию страницы на которую ссылается URL.
      Если страница на которую ссылается URL не содержит определенного текста, то UPTIME BOT блокирует этот URL до тех пор пока текст на странице не появится снова. Текст этого фильтра задается в свойствах URL'а. При этом альтернативные урлы работают аналогично - после отключения оригинального урла, альтернативные урлы не проверяются на наличие фильтра по содержанию.
    • Alternative URLs - альтернативные урлы. При отключении основного урла он будет заменяться на первый доступный урл из альтернативного списка. Альтернативные урлы тоже проверяются на доступность.
    • Check URL - "урл проверки" - если этот урл задан, то он будет использоваться uptime bot'ом вместо главного урла для всех проверок.
    • Malware filter - фильтр позволяющий отключать урл, если на странице обнаружен код с malware / вирусами. Для того, чтобы он работал, нужно заполнить GOOGLE API KEY в разделе Settings (ключ можно получить здесь). Внимание: этот фильтр начинает полноценно работать через 2 дня после включения. Это связано с большим размером базы (~150Mb) и с постепенным её обновлением (файл data/google-v2.db).
    В разделе Uptime Bot можно можно увидеть статистику недоступности урлов. Полная статистика ведется для 500 последних записей.

    Период проверки всех урлов задается в разделе SETTINGS. Обращаю ваше внимание на то, что для более 100 урлов одной минуты сканирования может быть недостаточно (UPTIME BOT использует параллельное сканирование 100 URL'ов, если URL не ответил в течение 1 минуты он считается недоступным). Минимальный период сканирования для UPTIME BOT можно рассчитать по формуле:

    период = 1+ (количество URL'ов в UPTIME BOT'е)/100

    Если вы не знаете сколько у вас урлов или не хотите их считать, тогда смело ставьте 10 (минут).

    Начиная с версии 2.5 появилась возможность для каждого урла в UB задать Check-Url.
    Check-Url - это урл который будет использоваться для проверки работоспособности урла, к которому он относится. Если он не указан то используется основной урл.

    Это было сделано для предотвращения накрутки ботом при обращении к оригинальным урлам. Например Uptime Bot можно использовать для проверки работоспособности страницы-фида, но если использовать в качестве проверки оригинальный урл фида (с айдишником в параметре), то бот будет накручивать поиски на фиде. В этом случае для Вашего урла-фида можно задать Check-Url который не содержит ваш айдишник и соответственно накрутки не будет.

    Фильтры

    Фильтры назначаются урлу в панели редактирования урла.

    У фильтра есть правило и объект.

      Правила:
    • SELECT - избирать, слать только то, что задано в объекте, отображается зеленым цветом: OBJECT
    • BLOCK - блокировать, не пропускать то, что задано в объекте, отображается красным цветом: OBJECT
    Объектами могут быть HTTP_REFERER, страна, уникальность или еще что-то.

    Внимание: если у урла не указаны фильтры, то на него может уйти любой трафик. Поэтому если у вас в весовой схеме два урла - первый с фильтром "избирать US" а второй без фильтров, то это вовсе не значит что вся америка будет уходить только на первый урл. (всё потому, что в весовых схемах нет "первых" и "вторых")


    Полный список всех существующих фильтров SUTRA (на момент написания документации) с примерами:
    • Фильтр уников

      У него только одно правило: SELECT, то есть он позволяет избирать уники.
      SUTRA поддерживает 4 вида уников:

      1. cookie - по кукам (локально для урла), в схеме отображается как u (прописная u)
        Посетителю выдается кука, и скрипт следит за посетителем только по куке;
      2. real ip - по IP (локально для урла), в схеме отображается как U (заглавная U)
        это очень сложный в реализации фильтр, следящий за посетителем по его IP и позволяющий фильтровать их в режиме реального времени без особой нагрузки на сервер. Один из самых надежных античит-фильтров. В версиях 3.7+ учитывается также и кука.
      3. real ip (schema) - по IP локально по схеме, в схеме отображается как sU
        посетитель считается таким уником, если он еще ни разу не был на текущей схеме.
      4. real ip (global) - по IP глобально по всем схемам, в схеме отображается как gU
        Посетитель считается таким уником, если он еще ни разу не был ни на одной из схем сутры.

      Как работает фильтр уников:
      Рассмотрим на примере уников локальных для урла.
      Предположим в URL1 установлен фильтр уников real ip. Предположим пришел уникальный посетитель. SUTRA его еще не знает, и поэтому считает уником для URL1, предположим он ушел на этот URL1 и SUTRA его запомнила.
      Если этот посетитель придёт в схему в течение 24 часов, то SUTRA не позволит ему уходить на URL1 и направит куда-нибудь в другое место. Периодически SUTRA забывает всех кого не было в течение N часов (по умолчанию 24 часа, можно изменить в Настройках) и это происходит для каждого посетителя отдельно, а не для всех сразу.
      Обращаю внимание на то, что Уник для урла - это тот кто не посещал этот Урл в течение заданного промежутка времени.

      Уники для схемы и глобальные уники это совсем другие уники и работают аналогичным образом.

    • Фильтр proxy

      Этот фильтр позволяет избирать (P) или блокировать (P) посетителей с прокси серверов.

    • Фильтр "blank referer"

      Этот фильтр позволяет избирать (BR) или блокировать (BR) посетителей с пустым HTTP_REFERER.

    • Фильтр "Cookies filter"

      Этот фильтр позволяет избирать (C) или блокировать (C) посетителей с включенной/отключенной поддержкой cookies.
      Если вы хотите фильтровать по содержимому определённых кук, тогда используйте Универсальные фильтры (ниже).

    • Фильтр Countries

      Этот фильтр позволяет избирать или блокировать посетителей из определенных стран. Страны определяются по IP при помощи библиотеки GeoIP встроенной в SUTRA. В качестве объекта этого фильтра можно задать несколько стран разделив их пробелами. Страны задаются в двухбуквенном формате. Варианты можно посмотреть в разделе стран: GeoIP.
      Пример: "CA US GB"
      Все неопределённые страны пишутся в статистику как "N/A".
      "Страной" для неопределённых стран является "--", поэтому фильтровать по неопределённым странам можно используя фильтр по стране "--"
      Существует возможность обновить базу по странам - подробнее смотрите здесь.

    • Фильтр Cities (по городам)

      В 3.4+ версиях можно работать с базой городов напрямую. Для этого:

      1. скачайте платную или бесплатрую базу GeoLite2-City.tar.gz с сайта maxmind.com
      2. разархивируйте её и залейте файл .mmdb в каталог data/ скрипта Sutra TDS, переименуйте его в geoip2city.mmdb
      3. включите "GeoIP City" в Settings для нужной схемы
      Для старых версий до 3.9.5 используюте другую базу:
      1. скачайте платную или бесплатную базу городов с сайта maxmind.com
      2. разархивируйте её и залейте файл GeoIPCity.dat в каталог data/ скрипта Sutra TDS, имя файла должно быть именно таким (соблюдайте регистр букв)

      После этого в фильтре можно задавать список городов через запятую.

      Пример:

      Moscow,Saint Petersburg,Odessa

      Имена городов стандартные, такие как на google maps.

      База по городам не активирована по-умолчанию так как она довольно медленная. Если у вас много трафика и вам нужно распределять по городам - настройте Sutra TDS в режиме FastCGI, это ускорит работу с базой на порядок.

      В версиях до 3.4, фильтровать по городам возможно про помощи внешней базы Geoip-city от maxmind.com с использованием Manual фильтров. Подробнее смотрите здесь.

    • Фильтр Locations (по географическим координатам)

      Фильтр требует наличия базы данных по городам (читайте выше).

      Фильтр задаётся в формате:

      latitude:longitude:radius
      широта:долгода:радиус

      Радиус задаётся в километрах. Список нескольких таких географических зон задаётся через пробел.

      Пример:

      55.7448:37.6199:100

      - вся Москва с пригородами в радиусе 100 километров.
      Для поиска географических координат на карте можно использовать этот сайт.

    • Фильтр PARAMETER

      Фильтр по параметру. Этот фильтр позволяет избирать или блокировать посетителей пришедших по ссылке с определенным значением параметра parameter.
      При работе с дорвеями в нём передается кейворд.

      Параметр задается в ссылке схемы вот так:

      http:///in.cgi?7&parameter=blabla

      Если ваш фильтр по параметру будет с объектом "blabla" или "blabl" или "bla", то он сработает для этого примера. Это значит что возможно частичное совпадение.
      Объектов фильтра PARAMETER может быть несколько, в этом случае их нужно разделять пробелом (аналогично фильтру по странам):

      poker casino

      Но таким образом нельзя задать фразу с пробелом, например black jack. Для этого нужно использовать regexp формат записи.

      REGEXP формат записи фильтра всегда имеет вид:

      /regexp-выражение/

      Например, для отбора всех фаз содержащих слово "play" в любом месте фразы:

      /play/

      Для отбора фаз содержащих "black jack" целиком в любом месте фразы:

      /black jack/

      Для отбора фаз содержащих "black jack", casino, poker целиком в любом месте фразы:

      /black jack|casino|poker/ или /(black jack|casino|poker)/

      Для отбора всего что начинается со слова "play":

      /^play/

      Для отбора исключительно слова "poker", нужно создать фильтр с таким содержимым:

      /^poker$/

      Для отбора всех фраз содержащих любое из трёх слов "poker" "gambling" и "play poker" в любом месте фразы:

      /(poker|gambling|play poker)/

      Для отбора исключительно трёх слов "poker" "gambling" и "play poker":

      /^(poker|gambling|play poker)$/

      И так далее, по аналогии. Работают расширенные регулярные выражения (POSIX), регистр игнорируется. Если вы не знаете как составить свой особый regexp для фильтра по параметру, тогда пишите вопрос на форуме - я или другие пользователи помогут.

      Начиная с версии 2.5 Sutra поддерживает новые форматы записи этого фильтра
      Вот они:

      Новый синтаксис для PARAMETER regex фильтра (везде в последующих примерах используется правило SELECT а не BLOCK), форматы:

      1. Несколько regex правил разделенных символом переноса строки (далее используется везде):

        /play poker/
        /play casino/

      2. НЕ правило:

        !/games/

        в этом примере запрещаются все фразы содержащие слово games.
        Символ "!" перед стандартной формой регулярного выражения включает механизм "НЕ".

        Рассмотрим примеры использования этого правила:

        /poker/
        !/online/

        в этом примере избираются все фразы содержащие слово poker, но при этом НЕ содержащие слово online.
        То есть фразы "play poker" "poker rules" "poker" избираются, а фразы "poker online" "online poker" "play poker online" не избираются.

      3. Правило-замещение ключевого слова на новое, формат:

        /что искать/на что заменить всю строку/

        Примеры:

        /casino/casino/
        - все фразы содержащие слово casino заменяются на слово casino.

        Опишу подробнее как это используется.
        Допустим вы послали в схему фразу "online casino", вот так:

        http://sutra/in.cgi?1&parameter=online+casino

        и в схеме для PARAMETER-фильтра стоит избирающее(select) правило-фильтр:

        /casino/casino/

        перенаправляющее трафик на:

        http://www.google.com/?q=$parameter

        Тогда, в нашем примере перенаправление осуществится на урл:

        http://www.google.com/?q=casino

        То есть в урле перенаправления значение $parameter заменяется на новое. (старое/не измененное фильтром значение хранится в переменной $old_parameter).

        Другой, более практичный пример:

        /(phentermine|phenternime|fentermine)/phentermine/

        В этом примере все фразы содержащие мисспеллы популярного ключевого слова phentermine заменяются на правильный вариант этого слова.

      4. Правило-замещение ключевого слова на паттерн поиска, пример:

        /play (poker|games|casino)/$1 online/

        В этом примере:
        фраза "play poker" заменяется на "poker online"
        фраза "play games" заменяется на "games online"
        фраза "play casino" заменяется на "casino online"
        а также:
        фраза "blabla play casino now" заменяется на "casino online"
        фраза "blabla play poker now" заменяется на "poker online"

        То есть это правило-замещение в котором $1 это то, что находится в скобках () в паттерне поиска.

        Другой пример:

        /(casino|poker|blackjack|gambling|roulette)/$1/
        В этом примере все фразы содержащие любое из слов casino poker blackjack gambling roulette, заменяются на само ключевое слово. То есть "play poker online" заменяется на "poker", "casino online" на "casino" и так далее.

      5. Сложное правило совмещающее все форматы записи:

        /play poker/
        /play casino/casino/
        !/games/
        /play (poker|games|casino)/$1 online/

        То есть разные правила можно использовать в одном фильтре.
        Правила работают последовательно: первым работает первое, вторым по счету - второе и так далее.
        Если это иметь ввиду, то можно увидеть, что в примере фраза "play poker" НЕ будет заменяться на "poker online", потому что правило "/play poker/" срабатывает раньше правила "/play (poker|games|casino)/$1 online/".

      Новые форматы замещения добавленные в версии 2.8:

      1. Однократное замещение паттерна поиска на строку-замещение (или паттерн поиска), пример:

        s/poker/casino/
        (появился символ s в начале выражения)

        В этом примере:
        фраза "play poker online" заменяется на "play casino online"
        фраза "play poker love poker" заменяется на "play casino love poker", то есть замена производится однократно.

      2. Глобальное (многократное) замещение паттерна поиска на строку-замещение (или паттерн поиска), пример:

        s/poker/casino/g
        (появился символ s в начале выражения и символ g в конце)

        В этом примере:
        фраза "play poker love poker" заменяется на "play casino love casino", то есть замена производится глобально.
        фраза "blabla poker blabla poker poker" заменяется на "blabla casino blabla casino casino"

        Практически это выражение удобно использовать для исправления опечаток. Рассмотрим на новом примере:

        s/(fentermine|phenternime|pentermine)/phentermine/g

        В этом примере все фразы содержащие мисспеллы популярного ключевого слова phentermine корректируются и вместо ошибочного слова вставляется исправленный вариант.

        То есть в этом примере:
        фраза "buy fentermine online" заменяется на "buy phentermine online",
        фраза "discount pentermine" заменяется на "discount phentermine".

      3. Также поддерживается синтаксис замены на паттерн поиска, пример:

        s/(.)(.)/$2$1/g

        В этом примере каждая пара букв поменяется местами, то есть "ababababa" заменится на "babababaa".

        Более практичный пример:

        s/(poker) (online)/$2 $1/g

        В этом примере во фразе слова poker и online поменяются местами:

        фраза "play poker online" заменяется на "play online poker", а так как используется глобальная замена (символ g), то
        фраза "poker online is poker online" заменится на "online poker is online poker".

      Примеры этих правил смотрите на форуме.

    • Фильтр Referers

      Этот фильтр позволяет избирать или блокировать посетителей с заданным HTTP_REFERER.
      Объектом этого фильтра может быть как рефер целиком, например: "http://www.google.com/search?q=sutra", так и его часть: "www.google.com", "google.com/search" или даже "q=sutra"
      В качестве объекта этого фильтра можно задать несколько реферов разделив их пробелами.

    • Фильтр Languages

      Этот фильтр аналогичен фильтру по стране с использованием языка браузера.
      Пример: "en en-us fr ch jp".

    • Фильтр Networks

      Фильтр IP адресов и сетей. Позволяет избирать или блокировать посетителей с определенными IP адресами.
      Можно задать несколько сетей разделив их пробелами.

      Пример 1: "195.23.42.100" или "195.23.42.100/32" - фильтр одного IP адреса 195.23.42.100

      Пример 2: "195.23.42.0/24" - фильтр всех IP адресов 195.23.42.*

      Пример 3: "195.23.0.0/16" - фильтр всех IP адресов 195.23.*.*

      Пример 4: "195.0.0.0/8" - фильтр всех IP адресов 195.*.*.*

      Пример 5: "195.23.1.100/32 19.23.1.100/24 15.23.1.100/24" - пример списка из одного ip и двух сетей

      Версии 3.7+:

      Пример 6: "195.100.200.0-195.100.200.255" - фильтр всех IP адресов 195.100.200.*

      Пример 7: "195.100.200.10-195.100.200.20" - фильтр всех IP адресов с 195.100.200.10 по 195.100.200.20

      Пример 8: "195.100.0.0-195.100.255.255" - фильтр всех IP адресов 195.100.*.*

    • Фильтр User-Agent

      Фильтр по типу браузера. О том как его использовать смотрите в разделе Manual-фильтров ниже.

    • Фильтр мобильного трафика

      Фильтр избирает или блокирует трафик с мобильных устройств. Работает также как этот детектор

    Manual filters. Универсальные фильтры

    Универсальные фильтры появились в Sutra 2.6

    Универсальный фильтр это фильтр для которого можно задать любой Объект. Объектом может быть как переменная в запросе (in.cgi?5&myvar=abcd) так и имя заголовка (HTTP_USER_AGENT,HTTP_REFERER..).

    Лучше всего понять их работу на примерах.
    Предположим есть трафик с дорвеев. Сливается таким образом:

    in.cgi?9&parameter=play+poker&se=google

    Фильтровать трафик по кейвордам можно "фильтром по параметру parameter" (стандартный фильтр из набора фильтров).
    Но как фильтровать по типу поисковика (параметр se) ?

    Ответ - используя универсальные фильтры.

    Для этого создаем новый фильтр с именем se и нужными правилами, все остальное сделает система. Вот так:

    Возможно у вас возникнет вопрос "А для чего же тогда нужен parameter-фильтр, ведь его можно заменить manual-фильтром с именем parameter?". Ответ - да, можно заменить. Причина простая - parameter-фильтр появился намного раньше manual-фильтров и сейчас он существует только для обратной совместимости с предыдущими версиями сутры.

    Теперь немного слов о теле фильтра. То есть какие форматы поддерживает сам фильтр. Ответ - Универсальный фильтр поддерживает все форматы PARAMETER фильтра, то есть списочный формат, регулярные выражения, замены и др.


    Кроме того, Универсальные фильтры могут работать с заголовками (HTTP заголовками которые можно увидеть скриптом getos.cgi). Рассмотрим это опять на примере.
    Есть трафик и есть желание фильтровать трафик по браузеру. Имя браузера передается в заголовке HTTP_USER_AGENT.
    Для этого создаем Универсальный фильтр с именем header:HTTP_USER_AGENT и устанавливаем ему нужные правило и тело фильтра:

    Аналогично можно создать фильтр для cookie, так как они тоже передаются в заголовках, вот так: header:HTTP_COOKIE.

    Аналогичным образом можно фильтровать по типу или версии браузера, создаем Универсальный фильтр с именем header:HTTP_USER_AGENT, а в теле фильтра:
    Internet explorer фильтруется так:
    /MSIE/
    
    Фильтр IE 6й версии:
    /MSIE 6/
    
    IE 7й версии:
    /MSIE 7/
    
    Фильтр Opera:
    /Opera/
    
    Фильтр Firefox:
    /Firefox/
    
    Фильтр Firefox и Opera:
    /(Firefox|Opera)/
    
    Для других браузеров можно посмотреть здесь.

    Аналогично по типу или версии Операционной Системы, создаем Универсальный фильтр с именем header:HTTP_USER_AGENT, а в теле фильтра:
    OS windows:
    /windows/
    
    Linux:
    /linux/
    
    Macintosh:
    /macintosh/
    
    Фильтр iPhone:
    /iPhone/
    
    С версией OS сложнее, например для разных версий windows значения будут разные, например:
    
    Фильтр Windows XP:
    /Windows NT 5/
    
    Фильтр Windows Vista:
    /Windows NT 6\.0/
    
    Фильтр Windows XP Service Pack 2 (SP2):
    / SV1/
    - именно так, с пробелом, здесь нет опечатки
    
    Для других OS можно посмотреть здесь.

    Фактически эти два типа Manual фильтров позволяют фильтровать трафик по любым мыслимым и не мыслимым параметрам.
    Повторюсь - Универсальные фильтры могут заменить любой существующий фильтр при правильном составлении тела фильтра, ну кроме конечно же фильтра по уникам, который является особым.

    Способы перенаправления

    Эти способы необходимо знать для эффективной работы с Sutra.
    Способ перенаправления - это то, что пишется в поле Url.
    Способописание
    http://domain/Это стандартный способ перенаправления.
    Дополнительно для него можно выбрать тип перенаправления:
    • Location - перенаправление с использованием заголовка с кодом 302 Location: http://domain/ , при этом HTTP_REFERER браузера не меняется при проходе через сутру. Используется по умолчанию и подходит для большинства случаев.
    • Javascript - вместо перенаправления отображается html страница с javascript перенаправлением на урл. При этом рефер становится пустым (только в IE).
    • Frame - вместо перенаправления отображается html страница с фреймом на весь экран указывающим на урл. При этом рефер становится равным урлу сутры.
    • Form submit - вместо перенаправления отображается html страница с кнопкой на которую кликает Javascript. При этом рефер становится равным урлу сутры.
    • Meta refresh - вместо перенаправления отображается html страница с meta заголовков REFRESH=url.
    sutra:имя_схемы
    sutra:имя_схемы&параметры
    виртуальный метод перенаправления, хит перенаправляется в схему "имя_схемы" виртуально, то есть без лишнего перенаправления, туда-же передаются "параметры" (любые, в том числе и контрольные типа group, parameter и тд.).
    Параметры из схемы в схему можно передавать аналогично прямому перенаправлению, пример:
    sutra:3&parameter=$parameter&se=$se&a=b
    ts:имя_пользователя
    ts:имя_пользователя&параметры
    виртуальный метод перенаправления, хит перенаправляется внутрь системы продажи трафика TS без лишнего перенаправления, туда-же передаются "параметры". Эта фишка позволяет продавать свой трафик через свою-же систему покупки трафика, с указанием цены трафика и всего остального присущего системе TS.
    http://domain/?q=$keyword&param=$blabla Стандартный "Метод передачи параметров"
    Особый синтаксис при помощи которого можно вставлять в URL-назначения параметры из запроса.
    Пример:

    Если URL'ом в схеме является строка:
    http://domain/?q=$keyword&param=$blabla

    то при клике на ссылку вида
    http://домен_sutra/in.cgi?схема&keyword=play+poker&blabla=casinotraf

    хит перенаправляется на
    http://domain/?q=play%20poker&param=casinotraf

    То есть параметры скрипта входа передаются в урлы перенаправления.
    Все передаваемые параметры энкодятся, то есть например пробел превращается в %20 !

    $myparam_ne
    http://domain/?q=$param_ne
    Не энкодящий "Метод передачи параметров".
    Для того чтобы передаваемые параметры не энкодились, нужно применять особый синтаксис.
    Напомню, что все параметры используемые в "методе передачи параметров" энкодятся.
    В некоторых случаях необходимо НЕ энкодить значение параметра.
    Для того чтобы значение параметра не энкодилось при подстановке в урл перенаправления, к нему в схеме нужно добавлять окончание "_ne", например "$myblabla_ne". При этом передавать параметры в схему нужно как и раньше - без указания окончания "_ne".

    Пример: предположим в схеме 2 в поле урла находится строка такого вида:
    $myurl_ne?a=b
    тогда трафик пришедший по ссылке
    in.cgi?2&myurl=http://www.google.com/
    будет перенаправляется на урл
    http://www.google.com/?a=b
    Системные параметры В Sutra 3.1 появились системные параметры которые можно использовать как и любое другие:

    $ip - ip адрес сёрфера
    $cc - код страны сёрфера (например US)
    $geocity - город сёрфера (например Moscow), работает только если подключена база GeoIPCity.
    $referer - рефер сёрфера (урл страницы с которой сёрфер пришел на сутру)
    $referer_domain - домен рефера
    $tsuser - текущий юзер TS
    $scheme - текущая схема Sutra
    $uagent - браузер сёрфера (3.4+)
    $header:заголовок - универсальный способ вставить любой заголовок, например $header:HTTP_USER_AGENT эквивалентен $uagent (3.4+)
    $input_parameters - все входящие параметры (кроме номера схемы и некоторых других системных), используйте чтобы не писать a=$a&b=$b для всех входящих параметров (3.9.1+)

    Пример:
    Если в схемы сутры в качестве урла перенаправления прописать:
    http://test.com/?country=$cc&ip_address=$ip
    То при перенаправлении в урл вставятся соответствующие значения: код страны и ip посетителя, то есть перенаправление будет происходить например на урл:
    http://test.com/?country=US&ip_address=11.12.13.14
    weight=$vesЭто не метод перенаправления, а способ задать вес в урле входа, аналогично методу передачи параметров.
    file.htmlиз каталога "files/" считывается содержимое файла "file.html" и возвращается браузеру клиента (практически это может быть любая html страница) (без лишнего перенаправления)
    file.html?x=12345
    file.html?a=1&b=2&url=http://aaa.com/a.php?q=test&a=b
    Метод аналогичный предыдущему, но позволяющий передать параметры в темплейт file.html
    Из каталога "files/" считывается содержимое файла "file.html" в нём переменные вида %%переменная%% заменяются на их значения переданные в урле. Результат возвращается браузеру клиента.
    Важно: значение специального параметра "&url=" энкодить не нужно. Если он используется, то он всегда должен быть последним. Все остальные параметры нужно энкодить (заменять символы "&" на "%26", а "?" на "%3F").
    file.jsиз каталога "files/" считывается содержимое файла "file.js" и возвращается браузеру клиента используя в качестве "Content-Type" javascript'овый заголовок. file.js должен содержать чистый javascript код (без <script> тэгов). Практически используется для вызова javascript кода на какую-то страницу, пример: <script type="javascript" src="http://www.sutra/in.cgi?1">
    file.js?a=b&c=dТемплейтный метод аналогичный file.html?a=1&b=2
    script.cgiлюбой CGI скрипт "script.cgi" находящийся в каталоге "files/" исполняется в переменных окружения скрипта входа in.cgi, контент сгенерированный script.cgi возвращается браузеру клиента. Скрипту можно передать параметры по умолчанию, в этом случае метод записывается так: "script.cgi?p1=asdasd&p2=blabla". (без лишнего перенаправления)
    gotourl.cgi?default=default_url стандартный скрипт из каталога "files/". Называется "скрипт метаперенаправления". Скрипт устарел, так как сейчас его заменяет "метод передачи параметров" и существует только как пример использования ".cgi" скриптов в files.
    Работает так: при клике на ссылку вида "http://домен_на_котором_стоит_sutra/in.cgi?five&url=http://www.yahoo.com/", хит проходит по всем фильтрам потока "five" и, в случае перенаправления методом "gotourl.cgi", перенаправляется на "http://www.yahoo.com/" (параметр "url"), если же параметр "url" не задан, то хит перенаправляется на "default_url" (параметр "default")
    curl://domain/метод при котором in.cgi сам запрашивает (скачивает, делает http:// запрос) страницу и возвращает ее содержимое клиенту (все заголовки обрабатываются корректно)
    curl://domain/myscript.php?a=b&c=d
    curl://domain/myscript.cgi?c=d
    Этот метод позволяет писать свои модули к сутре и совмещать сутру и свои скрипты.
    Конечно же для этих целей можно использовать обычный curl:// метод, но у него есть недостаток - внешний скрипт при этом не может передать управление назад в сутру внутренним (виртуальным) перенаправлением.
    В версии 2.8 с появлением DeTypo появился способ исполнить внешний php скрипт так, чтобы этот скрипт сделал внутренний редирект в какую-либо схему сутры БЕЗ лишнего перенаправления.
    То есть:
    sutra->внешний.php->sutra без внешних перенаправлений.
    Для того чтобы это работало, нужно чтобы внешний скрипт выдавал "Location: " заголовок в особом формате:
    Location: sutra:16&a=b&c=d
    То есть в стандартном формате сутры.
    При этом Sutra подхватит этот метод и сделает внутреннее перенаправление в схему 16 с заданными вашим скриптом параметрами.
    Аналогично можно перенаправить в систему TS:
    Location: ts:user
    remote://site.com/Способ перенаправления на урл указанный удалённым сайтом. (версии 3.5+)

    Сайт http://site.com/ в качестве ответа должен возвращать текст с урлом в стандартном формате http://redirect/. HTML тэги недопустимы. (если ответ не содержит правильного урла, то редирект осуществляться не будет и текущее правило будет игнорироваться). Запрос к удалённому сайту и обновление базы удалённых урлов осуществляется по крону (по умолчанию каждые 10 минут и зависит от периодичности обновления статистики).

    В качестве удалённого сайта site.com может быть и локальный сайт. Это даёт возможность использовать его в качестве альтернативы способу "curl://" для создания своих модулей сутры.

    Статистика. Расширенная статистика.

    По умолчанию ведется такая статистика:

    1. подробная по всей схеме(по датам, уникам/неуникам, proxy, реферам, странам, браузерам)
    2. по количеству перенаправлений (равов и уников) для каждого урла ( + по инам при наличии счетчика )
      Зелёные цифры в статистике по урлам это количество уников ушедших на урл. Черные цифры это всё что ушло на урл. Включить / отключить отображение уников можно кликнув по ссылке "show/hide uniques".
    3. подробная по всем схемам(по датам, уникам/неуникам, proxy, реферам, странам) - доступна в разделе "Global statistics"

    Статистика обновляется с периодичностью заданной в Settings (Statistics refresh period).
    Существует также расширенная статистика, которая включается в настройках (раздел Global Settings) - Extended statistics. Она не включена по умолчанию, так как кушает довольно много ресурсов и не всем нужна.

    При включении расширенной статистики появляются такие возможности:

    1. Статистика по параметру parameter

      То есть по значениям поля parameter:

      in.cgi?10&parameter=play+poker+online
      in.cgi?10&parameter=buy+phentermine

      Эта статистика используется в основном для кейвордов при работе с трафиком с поисковиков.

      Статистика ведется как для всей схемы вцелом (таблица в разделе Statistics схемы),
      так и для каждого урла (рядом с урлом появляется кнопка K - keywords )

    2. Статистика по параметру se

      То есть по значениям поля se:

      in.cgi?10&parameter=play+poker&se=google
      in.cgi?10&parameter=play+poker&se=yahoo
      in.cgi?10&parameter=play+poker&se=msn

      Эта статистика используется в основном для Search Engines при работе с трафиком с поисковиков.

      Статистика ведется как для схемы вцелом (таблица в разделе Statistics схемы),
      так и для каждого урла.

    3. Статистика по HTTP_REFERER

      Эта статистика может использоваться для разных целей. При работе с трафиком с поисковиков в качестве HTTP_REFERER является урл дорвея, что позволяет видеть статистику по дорвеям (смотрите ниже).

      Статистика ведется как для схемы вцелом (таблица в разделе Statistics схемы),
      так и для каждого урла (рядом с урлом появляется кнопка R -referer )

    4. Совместная статистика по связям parameter + se + HTTP_REFERER

      Эту статистику можно использовать для кучи разных целей. При работе с трафиком с поисковиков это таблица связей дорвей+поисковое_слово+поисковик. Неоценимая штука для анализа своего трафика.
      Позволяет видеть с каких дорвеев приходили по определенному ключевику; с каких поисковиков приходили на заданный дорвей; с каких поисковиков идет трафик по ключевику; какие ключевики идут с дорвея и др.
    Замечу, что все эти виды статистик можно использовать для любых целей.
    Например в качестве parameter может быть какой-то ваш собственный Трекер трафика, статистику по которому вы хотите видеть. Аналогично для se-статистики. Значением se может быть не только поисковик, а например тип посилыемого трафика "casino" например.

    Антибот

    Антибот предназначен для отфильтровывания некачественного трафика.
    По умолчанию антибот отключен для всех схем. Он включается локально для каждой схемы в разделе Settings.
    При включении антибота, в панели редактирования урла появляются новые фильтры.
    На данный момент антибот поддерживает следующие фильтры:
    • iframe traffic - трафик пришедший на сутру через iframe или frame любого размера (читайте также про "bad traffic" ниже)
    • bad traffic - "плохой трафик", это трафик присланный в окне размером меньше 300x200. Обычно это означает, что трафик прислали popup'ом, фреймом или iframe маленького размера. Очевидно, что для обычных нужд такой трафик бесполезен, поэтому и называется плохим трафиком.
    • trash traffic - "ботовый трафик", обычно с таким трафиком практически ничего нельзя сделать
    Если вы хотите иметь более-менее качественный трафик, то советую установить все эти фильтры в статус Block.

    Для того чтобы не прописывать эти фильтры для каждого урла, вы можете сделать следующим образом:
    • Для последовательной схемы - создайте в схеме на первых местах три новых урла, на них будет сливаться весь плохой трафик:

      1. в первом урле пропишите фильтр select trash traffic, остальное allow. На него сразу уйдёт трафик с ботами и на остальные урлы схемы не попадёт
      2. во втором урле пропишите фильтр select bad traffic, остальное allow. На него сразу уйдёт плохой трафик
      3. в третьем урле пропишите фильтр select iframe traffic, остальное allow. На него сразу уйдёт iframe трафик

      Неправильно было бы создавать один урл с правилом select сразу для всех трёх типов трафика, потому что правила используют логику "И", и это будет значить "послать iframe и bad и trash" на урл, которое никогда не сработает, так как trash trafic не помечается как iframe.
    • Для весовой схемы делается также как и для последовательной схемы с одним отличием - правила записываются в PRE RULE.
    Недостатки использования Антибота:
    • Недостатком антибота является то, что для его работы используется промежуточная страница. Это приводит к сбрасыванию рефера, то есть большая часть трафика прошедшего через антибот будет иметь пустой рефер. На статистику сутры это не влияет - в сутре для такого трафика будет правильный рефер.
    • Второй недостаток в том, что антибот не любят антивирусы, по понятным причинам. Поэтому из-за него ваш домен может попасть в блок лист антивирусов. Справиться с этой проблемой невозможно кроме как сделав уникальным код антибота под себя (отредактировав файл html/antibot.default.html так, чтобы он стал неузнаваемым)
    • Третий недостаток в том, что простейший ботовый трафик получив страницу антибота не пойдёт по ссылкам на этой странице, и, соответственно, не прийдёт снова на in.cgi и не будет засчитан в статистике. Практически это приводит только к несовпадению количества трафика слитого (например с биржи) трафика и учтённого в Sutra TDS.

    Уники и неуники

    Важный момент который многие пропускают - в sutra есть 3 уровня разделения уников:
    1. Уники для всей системы, для всех схем; если человек однажды посетил Sutra, то он уже не уник; именно эти уники отображаются в "GLOBAL STATS" - глобальной статистике. Фильтровать по ним можно используя фильтр по уникам с флагом ip(global)
    2. Уники для отдельно взятой схемы; если человек однажды посетил схему, то он уже не уник для этой схемы; именно эти уники отображаются в статистике схемы
    3. Уники для отдельно взятого урла; если человек однажды посетил урл - он уже не уник для этого урла
    имеется ввиду "однажды в течение заданного промежутка времени", по умолчанию за 24 часа, задаётся в Settings.

    Global variables. Глобальные переменные.

    Глобавльные переменные редактируются в разделе глобальных переменных (ссылка верхнего меню).
    Глобальные переменные были созданы для упрощения хранения и редактирования длинных фильтров.
    Например, если вы во всех схемах используете одинаковый фильтр для отбора Китая/Кореи/Японии И периодически обновляете этот фильтр в связи с новыми данными о трафике который вам не нужен (например захотели добавить в фильтр Индию), тогда проще будет создать новую глобальную переменную с именем aziya и с вашей строкой-фильтром в качестве содержания, вот так:



    После этого прописываете в нужных схемах вместо длинной строки-фильтра имя переменной в фигурных скобках, вот так:

    {aziya}

    Вот как это будет выглядеть при использовании двух переменных с именами {aziya} и {evropa}:

    Обязательно разделяйте их пробелом, так как (обычно) он не является частью переменной.

    После этого для изменения этого фильтра достаточно отредактировать его в одном месте - разделе глобальных переменных,
    но будьте крайне внимательны! любая ошибка в синтаксисе переменной приведет к сбою работы всех схем использующих эту переменную, поэтому после любого изменения содержания переменной рекомендую заходить в урл использующий её и жать "SAVE", при этом система проверит содержимое переменной и сообщит о возможных ошибках.

    Передача HTTP_REFERER

    В некоторых случаях, таких как перенаправление с дорвеев при помощи javascript, значение HTTP_REFERER не передаётся браузером. В таких случаях есть возможность задать рефер вручную. Делается это так:

    in.cgi?10&ur=1&HTTP_REFERER=referer.com

    Наличие ur=1 обязательно.
    Как и во всех случаях передаваемое значение нужно квотить, то есть преобразовывать символы "/:?&" в код.
    Замечу, что используя указанный способ, значение рефера передаваемое браузером не меняется, то есть браузер как не передавал рефер так и не передает вне зависимости используете ли вы этот способ или нет.
    Этот способ только даёт знать Sutra какой рефер отображать в статистике и использовать в фильтрах, не более.
    О том как заменить рефер браузера читайте на форуме.

    Экспорт и импорт настроек схем. Быстрое редактирование настроек.

    Ссылки на экспорт и импорт данных находятся в резделе схемы в левом нижнем углу.
    Поддерживаются два формата данных:

    1. Упрощенный:

      Для импорта в схему сразу нескольких уролов достаточно перечислить урлы разделив их переносом строки, вот так:

      http://url1.com/
      http://url2.com/
      http://url3.com/

    2. Расширенный:
      Самый простой способ работы с Расширенным форматом это создать один урл в схеме с нужными вам данными, после этого экспортировать его. Импорт можно осуществлять по аналогии с этим форматом. Дополнительно этот формат рассмотрен на форуме.
    Export и Import поддерживают групповое разделение схем, то есть можно экспортировать и импортировать в заданную группу.

    Экспорт и импорт удобно использовать для быстрого редактирование настроек схемы. Например вам нужно срочно заменить во всех ссылках один домен на другой. Если таких ссылок много, то вручную это делать очень неудобно. Гораздо проще сделать Export, заменить в полученном тексте старый домен на новый и сделать Import изменённого текста.

    Настройка ограничений отсылаемого трафика: количество, скорость, расписание.

    Эти настройки позволяют ограничить количество, скорость и время отсылки трафика на урл.
    • Maximum number of Hits - количество хитов которые следует послать на урл, разово. Временем не ограничивается. Как только на урл будет слито заданное количество хитов, урл отключится - статус станет disabled. Трафик отсылается РАЗОВО, а не каждые сутки.
    • Speed limit - скорость отсылки трафика на урл, задаётся в хитах/час. Например значение 1000 означает сливать 1000 хитов каждый час. При этом трафик сливается равномерно, растягиваясь на весь час.
    • Schedule - расписание для сливаемого трафика. Задаёт время и дни недели когда сливать трафик (если поле не пустое).
      Поддерживается несколько форматов, которые позволяют задать практически любое расписание:

      10:00-18:00сливать трафик с 10:00 до 18:00 ежедневно
      10:00-12:00,18:00-00:00сливать трафик с 10:00 до 12:00 и с 18:00 до полуночи (писать время 24:00 нельзя )
      Mo,FrСливать только по понедельникам и пятницам (Mo-Monday,Fr-Friday).

      Список всех сокращений:
      Mo Tu We Th Fr Sa Su - соответственно дни недели с понедельника по воскресенье

      Mo-Frслать с понедельника по пятницу включительно
      10:00-18:00 Mo-Frслать с понедельника по пятницу включительно, с 10:00 до 18:00. Время и дни недели разделены пробелом.
      10:30-12:30,18:00-00:30 Mo-We,Th,Saсмешанный формат, списки разделяются запятыми, время от дней недели пробелом, время можно задавать с точностью до минут.
      Внимание: включение и выключение этого фильтра ограничено временем запуска крона. Если крон у вас запускается каждые 5 минут, то время срабатывания (в минутах) этого фильтра не будет точнее 5ти минут.

    Поиск

    Поиск осуществляется по всем схемам и ссылкам, по всем параметрам урлов. Можно осуществить поиск как по части урла, так и по содержимому какого-либо фильтра. Можно даже найти все урлы с включенным фильтром по уникам.
    Выделив нужные урлы чекбоксом, можно их массово отредактировать нажав на кнопку "Mass Edit" функционал которой описан ниже.

    Массовое редактирование урлов. Mass Edit.

    Mass Edit появился в sutra версии 3.0. Он позволяет редактировать сразу несколько урлов так, что один и тот-же заданный вами параметр (например фильтр по странам) изменяется сразу у всех выделенных урлов, в то время как остальные параметры остаются неизменными (даже если они у всех урлов разные).
    Работает это так: в панели редактирования "Mass Edit" чекбоксом выделяете параметр/параметры которые вы хотите изменить у всех редактируемых урлов и задаёте значения этих параметров. Не выделенные чекбоксом параметры не изменятся.
    Чтобы сбросить значение параметра у всех урлов (например очистить фильтр по уникам) нужно выделить чекбоксом параметр и оставить пустым его значение. Естественно после этого нужно жать на кнопку "SAVE".

    Дополнительная информация

    Comments - комментарии для урлов были созданы для удобства. Их видно как в схеме, так и статистике. Кроме того, что немаловажно, комментарии могут быть цветными и с разным размером шрифта! Например попробуйте в качестве комментария задать строку:

    <font color=red size=5>большой комментарий - хороший комментарий!</font>
    
    и посмотрите результат :)

    Global Statistics - это суммарная статистика по всем схемам. В нее входят данные исключительно по "внешнему" трафику. Внутренние перенаправления (sutra:..) в этой статистике не учитываются.

    Settings - настройки системы. Для указания времени заполните либо сдвиг по времени относительно времени сервера (shift), либо укажите точное время заполнив все поля времени.

    Statistics refresh period - время обновления статистики в минутах. На виртуалах желательно указывать 10 минут.