جلوگیری از اسکن موتورهای جستجو غیر نیاز

3/30/2019 MVC
262

سایتی آماده کرده بودم برای یکی از موسسات کارهای سایت تمام شد و داخل سایت نزدیک به 700 خبر بارگذاری شده بود و نزدیک به 2000 صفحه دیگر که جزئیات را توضیح میداد، خوب امکان استفاده از  google analytics ,برای همین یک شمارنده به سایت اضافه کردم در صبح روز دوم بدون هیچ دلیلی 200 تا 300 بازدید کننده در شمارنده ثبت شد ... 

پس از اینکه دیدن امار بازدید کننده های سایت بدون هیچ دلیلی بالا رفته اند  اطلاعاتی که با استفاده از HttpContext  میشد را دریافت و به بانک اطلاعاتی اضافه کردم با تعجب دیدم که بیشترین بازدید از سوی متور جستجویی به نام  https://ahrefs.com/robot هست.

توی بررسی هایی که انجام دادم به این نتیجه رسیدم  تقریبا علاوه بر موتور های جستجو گوگل و یا هو و یا بینگ سه موتور جستجوی دیگر هستند که عموما سایت شما را برای مقاصد تجاری خود جستجو میکنند این جستجو تاثیری در ارتقاء رتبه سایت و یا بهبود جستجو ندارد در حال جستجو به موارد جالی بر خوردم 

  1. این موتور جستجو اطلاعات سایت را بررسی و سپس به شرکتهایی مانند فیسبوک و یا شبکه های اجتماعی دیگر میفروشد تا آن شرکتها بتوانند بر اساس این اطلاعات بر نامه های خود را بهبود دهند (-)
  2. این موتور جستجو اطلاعات را جستجو در با اسکن زیاد و پشت سر هم سایت باعث کندی سایت میشود چرا که پهنای باند اینترنت مربوط به سرور را استفاده میکند(-)
  3. این موتور  جستجو ها اطلعات سایتهایی که اصلا هیچ جایی در صفحات اول جستجو گوگل و یا بینگ و یا یاهو ندارند را اسکن و باعث دیده شدن آنها میشود -کجا نمیدانم -(+)

تصمیم گرفتم که از این دسترسی این رباط رو به سایت ببندم 

یکی از راههایی که در سایت خودش هم پیشنهاد داده و اعلام کرده که به آن احترام میگذاره استفاده از فایل robot.txt هست 

من این فایل رو به این صورت اماده کردم 

User-agent: AhrefsBot

Disallow:/

متاسفانه جواب نداد 

کار بعدی استفاده از فایل .htaccess.  بود که ابتدا باید این فایل بی نام رو ساخت و با استفاده از Notepad  به این صورت در آن نوشت 

deny from 173.199.64.0 - 173.199.127.255

 و در سایتی خواندم که این متن رو هم برا یاطمینان بیشتر به ان اضافه کنم 

RewriteEngine On

RewriteCond %{REQUEST_URI} !/robots.txt$

RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]

RewriteRule ^.*.*

متسفانه باز هم جواب نداد

کاری که انجام دادم این بود که ای پی هایی که از طریق آنها سایت رو اسکن میکرد در فایل htaccess. قرار دهم این کار جواب داد اما زمان بر بود و متاسفنه استفاده از الگویی مانند 

deny from 54.36.150.*
deny from 54.36.149.*
deny from 54.36.148.*

هم کار امد نبود و باید تک تک ای پی ها را دستی وارد میکردم 

deny from 173.199.64.0 - 173.199.127.255
deny from 54.36.150.*
deny from 54.36.149.*
deny from 54.36.148.*
deny from 54.36.148.118
deny from 54.36.148.22
deny from 54.36.150.74
deny from 54.36.150.158
deny from 54.36.148.8
deny from 54.36.148.28
deny from 54.36.149.78
deny from 54.36.149.30
deny from 54.36.150.156
deny from 54.36.150.160
deny from 54.36.148.215
deny from 54.36.148.148
deny from 54.36.148.165
deny from 54.36.150.99
deny from 54.36.149.40
deny from 54.36.148.240
deny from 54.36.150.182
deny from 54.36.149.82
deny from 54.36.149.71
deny from 54.36.150.107
deny from 54.36.150.157
deny from 54.36.149.57
deny from 54.36.148.249
deny from 54.36.150.142
deny from 54.36.148.143
deny from 54.36.148.249
deny from 54.36.148.66
deny from 54.36.148.92
deny from 54.36.150.21
deny from 54.36.150.188
deny from 54.36.150.38
deny from 54.36.148.241
deny from 54.36.150.60
deny from 54.36.148.67
deny from 54.36.150.172
deny from 54.36.148.79
deny from 54.36.148.234
deny from 54.36.149.20
deny from 54.36.150.130
deny from 54.36.149.5
deny from 54.36.148.126
deny from 54.36.148.177
deny from 54.36.148.141
deny from 54.36.150.10
deny from 54.36.150.70
deny from 54.36.148.132
deny from 54.36.148.162
deny from 54.36.148.105
deny from 54.36.148.249
deny from 54.36.149.48
deny from 54.36.148.132
deny from 54.36.149.6
deny from 54.36.148.90
deny from 54.36.148.178
deny from 54.36.150.34
deny from 51.255.65.46
deny from 54.36.149.16
deny from 54.36.149.61
deny from 54.36.150.61
deny from 54.36.148.139
deny from 54.36.148.41
deny from 54.36.150.70


RewriteEngine On

RewriteCond %{REQUEST_URI} !/robots.txt$

RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]

RewriteRule ^.*.*