ВВОДНАЯ: В начале года я работал по нескольким вертикалям (крипта, фарма, дейтинг) на траст площадке http://web.archive.org. Особенностью данного траста было то, что странички залетали в топ10 по конкурентным нишам и гео, но загнать в индекс было трудно, нужны были хорошие объёмы бота. Поэтому по крипте я работал в паре с своим знакомым. В какой-то момент мы заметили, что хоть общий принцип наших бото-ферм был идентичным, но моя ферма ставила в индекс, а его почти нет. Тогда мы пытались на скорую руку понять в чем дело, но так и не дожали этот вопрос. Именно этот момент подтолкнул меня к тому, что нужно изучить гугл бота, ведь бот боту рознь и эффективность от него разная не только в способности загнать в индекс, но и в том какой будет эффект от этого индекса.

ТЕХНИЧКА: Выделив на тесты пару килобаксов я приступил к тестам и анализам бота. Это было мне так необходимо в тот момент, чтобы отвлечься от ежедневной рутины в виде покупки дропов и генерации доров. Для анализа я использовал:
- Скрипт анализа логов на сервере
- ELK stack
- PerimeterX
- данные по базам CrawlerDetect и myip_ms

ГУГЛ БОТ БЫВАЕТ РАЗНЫЙ: да это очень важно, кроме технических данных по боту, которые можно извлечь с логов (client IP, path, status code, referer, UA), я тестировал так же вводные данные по донорам бота (гео, тематики, наличие ручника, других фильтров, чистой ссылочной, спама, индекса, доменных зон, донор после доров/сдл/дропа, наличие в серпе по ключам, наличие остаточного поискового трафика, способы редиректа и еще около 10 факторов). Кстати немаловажно обратить внимание на ЮА ботов так как версия Chrome (96 или 112 или .... ) имеют тоже не последнее значение. В конечном итоге я собрал около 50 параметров по которым проводил тесты, но в конечном итоге для себя оставил 20 параметров, которые посчитал наиболее важными. Но сразу замечу, всё это мои личные наблюдения и не могут восприниматься как MUST HAVE истинной.

ЧТО ИЗ ЭТОГО ВЫШЛО: за 2 месяца тестов и 2 месяца неторопливой разработки был создан комбайн для индексации. Почему комбайн? Дело в том что это не простая ботоферма. Тут есть много интересных режимов работы. Пока реализовано 3 режима, но до конца лета добавлю вернее всего еще 1. Что это за режимы:
1) Простой (как настроите работу фермы так она и будет работать)
2) Обучение (ферма сама обучается на ботах в зависимости от того, какие добавлены доноры и за пару дней выстраивает наиболее эффективную работу)
3) Сложный (ну он не такой сложный, как сложно найти к нему применение. Дело в том что Я смог получить такую комбинацию когда гугл ботом за 1-2 дня можно загнать в индекс почти любой ресурс, но есть момент - после такого загона очень быстро приходит БАН. Пока я с этим режимом еще работаю и ищу ему применение)

ДЛЯ ЧЕГО ЭТО ВСЁ? Зачем спустил бабки и потратил не понятно на что 4 месяца? Ответ простой - оно того стоило. Я не думаю о том что у меня мало бота и он может уйти с фермы - плодится сам по себе. КПД загона в индекс по сравнению со всеми известными мне сервисами в том числе Google Indexing Api - больше во много раз. Сейчас загоняю в индекс то, что не мог ранее + выросла скорость. При успользовании умного режима индексации - доры не ловят фильтр на траф в первую неделю. Живут по месяцу, но потом приходит ручник, видимо на него никак уже не повлиять. При правильных настройках фермы - загнанные в индекс страницы получают ссылочный буст и становятся выше в выдаче. Благодаря этой работе я смог отказаться от примитивной работы на гусинный трафик с тир3 и вернулся к более интересным вертикалям. Пример - предыдущий пост, где я сетку финансов под ЮСУ разгонял только через новый комбайн.

П.С.: Ферма не продается, в аренду не сдаётся. Данный пост не реклама продукта.