Введение: Почему прятать PBN — это must-have для черных SEO?

Если ты хоть раз строил свою сетку PBN (Private Blog Network) для дорвеев, дропа или под любые blackhat SEO-штуки, то знаешь: не спалиться — задача номер один. Боты поисковиков, антиспам-сервисы, агрегаторы, всякие Ahrefs и Majestic — все они только и ждут, чтобы спалить твои сайты, собрать их в одну кучу и передать привет твоим проектам. В итоге: фильтры, бан, потеря трафика и бабок. Так что грамотная маскировка PBN — это не паранойя, а нормальный рабочий процесс для любого, кто не хочет вылететь из игры после первой же ручной проверки.

В этой статье расскажу, как реально скрывать PBN от ботов, какие методы работают, какие — уже устарели, приведу примеры, кейсы и дам лайфхаки, которые пригодятся даже тем, кто уже не первый год в теме. Всё простым языком, но по делу — как для своих.

Что такое PBN и почему их палят?

Коротко для новичков: PBN — это сеть сайтов (обычно на дропах или дешевых доменах), которые используются для наращивания ссылочной массы на основной проект. Проблема в том, что поисковики давно научились палить такие сетки по паттернам:

• Одинаковый IP и хостинг
• Похожие шаблоны, плагины, CMS
• Одинаковые контакты, футеры, даже favicons
• Схожая структура ссылок (например, все ссылаются только на один твой сайт)
• Одинаковые Google Analytics, Яндекс.Метрика, Adsense, Search Console
• Слишком быстрый рост ссылок или подозрительная динамика

И, конечно, палят через ботов — как поисковые (Googlebot, Bingbot), так и коммерческие (AhrefsBot, Majestic, SEMrushBot и др.).

Как боты находят ваши PBN?

• По реферерам (если ссылки открыты для индексации)
• По открытым whois-данным
• Через анализ хостинга и IP-диапазонов
• По скриптам и счетчикам
• Через публичные сервисы проверки ссылок
• Путем сканирования robots.txt и sitemap.xml

Основные методы скрытия PBN от ботов

1. Блокировка ботов через robots.txt — миф или реальность?

Самое первое, что делают новички — прописывают в robots.txt:


User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /


И думают, что теперь всё ок. На деле — это не работает, потому что:

• Большинство коммерческих ботов игнорируют robots.txt
• Googlebot и Bingbot — да, послушные, но нам-то надо прятаться не только от них
• Боты легко могут менять User-Agent

Вывод: robots.txt — это просто декларация, а не реальная защита.

2. Блокировка по User-Agent через .htaccess (или nginx)

Более рабочий вариант — блокировать подозрительных юзеров по User-Agent на уровне сервера. Для Apache:


RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SemrushBot|MJ12bot|DotBot|BLEXBot|MegaIndex|spbot) [NC]
RewriteRule .* - [F,L]


Для nginx:


if ($http_user_agent ~* (AhrefsBot|SemrushBot|MJ12bot|DotBot|BLEXBot|MegaIndex|spbot)) {
return 403;
}


Плюсы:

• Быстро и просто
• Работает против большинства коммерческих сканеров

Минусы:

• Боты могут менять User-Agent на что-то нейтральное (например, Chrome)
• Не защищает от ручных проверок

Реальный кейс: у меня после внедрения такого списка посещаемость от Ahrefs и Majestic упала почти до нуля, но через пару месяцев появились заходы с User-Agent типа “Mozilla/5.0 Chrome/…” и странными IP — это уже ручной обход или прокси.

3. Блокировка по IP (черные списки)

Есть готовые базы IP-адресов для популярных ботов:

• nginx-ultimate-bad-bot-blocker
• apache-ultimate-bad-bot-blocker

Можно подключать такие базы к firewall или .htaccess/nginx и блочить по IP. Но:

• IP-адреса часто меняются
• Боты используют прокси и VPN
• Можно случайно заблокировать реальных пользователей

Плюс к этому, если ты используешь Cloudflare, то можно настроить Bot Fight Mode — он автоматически режет подозрительных ботов.

4. Cloaking — показывай разное контент разным посетителям

Если хочешь совсем по-взрослому, делай клоакинг: показывай для ботов одну версию сайта (например, пустую страницу или фейковый контент), а для людей — нормальную. Для этого можно использовать:

• Проверку User-Agent
• Проверку IP по базе
• Проверку гео
• Проверку наличия JS/Cookies (большинство ботов их не поддерживают)

Пример на PHP:


$user_agent = $_SERVER['HTTP_USER_AGENT'];
if (preg_match('/(AhrefsBot|SemrushBot|MJ12bot|DotBot)/i', $user_agent)) {
// Показываем фейковый контент
echo "Hello, bot!";
exit;
}
// Дальше обычный контент


Минусы:

• Если переборщить, можно получить бан за агрессивный клоакинг от Google
• Ручные модераторы могут попасть на фейковую версию — это подозрительно

5. Использование антибот-сервисов

• Cloudflare — бесплатный уровень уже неплохо режет мусорных ботов
• Imperva Incapsula — платный, но мощный
• Distil Networks — для крупных проектов

Плюсы:

• Много автоматизации, не надо вручную обновлять списки
• Защита от DDoS и других атак

Минусы:

• Cloudflare палится по IP, если кто-то захочет вычислить твои PBN-сайты по совпадению CDN
• Некоторые боты уже умеют обходить Cloudflare

6. Не светить ссылки на свой money site

• Закрывать все исходящие ссылки в noindex/nofollow (но это снижает эффект PBN)
• Делать редиректы через промежуточные страницы
• Использовать JS-редиректы или ссылки через скрипты

Это не защита от ботов, но снижает шанс, что кто-то быстро определит связь между сайтами.

7. Использование разных CMS, шаблонов, счетчиков

• Разные движки (WP, Joomla, статические генераторы, самописные)
• Разные шаблоны и плагины
• Не использовать Google Analytics/AdSense/Яндекс.Метрику на всех PBN
• Разные контактные данные, email, телефоны

Это не про ботов, а про ручные проверки, но всё равно важно.

Позитивные и негативные кейсы

Позитивный кейс:

Дорвейщик с опытом: 50+ PBN на разных хостингах, разные CMS, блокировка по User-Agent и IP, Cloudflare, клоакинг для подозрительных юзеров. Итог — сетка живет 2+ года, фильтров нет, трафик стабильно льется.

Негативный кейс:

Новичок: 20 PBN на одном хостинге, одинаковый шаблон WP, robots.txt с Disallow для ботов, открытые ссылки на money site, один счетчик аналитики. Итог — вся сетка выпала из индекса за 3 месяца, основной сайт под фильтром.

Плюсы и минусы подходов

• Блокировка по User-Agent: + быстро, – легко обойти
• Блокировка по IP: + мощно, – IP часто меняются
• Cloaking: + топ-маскировка, – риск бана
• Cloudflare: + автоматизация, – палится по CDN
• Разные CMS и шаблоны: + сложнее спалить, – сложнее администрировать

Бонус: ошибки новичков, советы, мифы

Частые ошибки:

• Думать, что robots.txt реально защищает от ботов
• Использовать одинаковые шаблоны/плагины/счетчики
• Делать ссылки только на один money site
• Не обновлять черные списки IP
• Ставить одинаковые contact info и email

Советы:

• Регулярно мониторь заходы на PBN через логи или аналитику (ищи подозрительные User-Agent и IP)
• Используй разные регистраторы и хостинги
• Не экономь время на настройке — сетка должна выглядеть как набор реальных сайтов
• Не светись в пабликах и не показывай свои PBN даже друзьям

Мифы:

• Cloudflare спасет от всех ботов — нет, только от самых простых
• Если сайт не в индексе Ahrefs — его не найдут — найдут, если он палится по другим признакам
• Если сайт на дропе — его нельзя спалить — можно, если не замаскировать признаки

Заключение: что выбрать и почему?

Скрывать PBN от ботов — это не разовая задача, а постоянный процесс. Рабочий сетап на сегодня — это комбинация блокировки по User-Agent, IP, использование Cloudflare (или аналога), клоакинг для подозрительных визитов, разные CMS, шаблоны, счетчики, хостинги и регистраторы. Не забывай мониторить логи и обновлять черные списки. Не надейся на robots.txt — это только для галочки.

Главное — не лениться и не экономить на деталях. Чем сложнее твоя сетка для анализа, тем дольше она проживет и тем больше денег ты с нее выжмешь. Удачи в маскировке и жирных тебе позиций!

Если есть вопросы или новые фишки — пиши в комменты, обсудим!

---

В этой статье собрана информация и материалы из различных интернет-источников. Мы признаем и ценим работу всех оригинальных авторов, издателей и веб-сайтов. Несмотря на то, что были приложены все усилия для надлежащего указания исходного материала, любая непреднамеренная оплошность или упущение не являются нарушением авторских прав. Все упомянутые товарные знаки, логотипы и изображения являются собственностью соответствующих владельцев. Если вы считаете, что какой-либо контент, использованный в этой статье, нарушает ваши авторские права, немедленно свяжитесь с нами для рассмотрения и принятия оперативных мер.

Данная статья предназначена исключительно для ознакомительных и образовательных целей и не ущемляет права правообладателей. Если какой-либо материал, защищенный авторским правом, был использован без должного упоминания или с нарушением законов об авторском праве, это непреднамеренно, и мы исправим это незамедлительно после уведомления. Обратите внимание, что переиздание, распространение или воспроизведение части или всего содержимого в любой форме запрещено без письменного разрешения автора и владельца веб-сайта. Для получения разрешений или дополнительных запросов, пожалуйста, свяжитесь с нами.