سایتی آماده کرده بودم برای یکی از موسسات کارهای سایت تمام شد و داخل سایت نزدیک به 700 خبر بارگذاری شده بود و نزدیک به 2000 صفحه دیگر که جزئیات را توضیح میداد، خوب امکان استفاده از google analytics ,برای همین یک شمارنده به سایت اضافه کردم در صبح روز دوم بدون هیچ دلیلی 200 تا 300 بازدید کننده در شمارنده ثبت شد ...
پس از اینکه دیدن امار بازدید کننده های سایت بدون هیچ دلیلی بالا رفته اند اطلاعاتی که با استفاده از HttpContext میشد را دریافت و به بانک اطلاعاتی اضافه کردم با تعجب دیدم که بیشترین بازدید از سوی متور جستجویی به نام https://ahrefs.com/robot هست.
توی بررسی هایی که انجام دادم به این نتیجه رسیدم تقریبا علاوه بر موتور های جستجو گوگل و یا هو و یا بینگ سه موتور جستجوی دیگر هستند که عموما سایت شما را برای مقاصد تجاری خود جستجو میکنند این جستجو تاثیری در ارتقاء رتبه سایت و یا بهبود جستجو ندارد در حال جستجو به موارد جالی بر خوردم
- این موتور جستجو اطلاعات سایت را بررسی و سپس به شرکتهایی مانند فیسبوک و یا شبکه های اجتماعی دیگر میفروشد تا آن شرکتها بتوانند بر اساس این اطلاعات بر نامه های خود را بهبود دهند (-)
- این موتور جستجو اطلاعات را جستجو در با اسکن زیاد و پشت سر هم سایت باعث کندی سایت میشود چرا که پهنای باند اینترنت مربوط به سرور را استفاده میکند(-)
- این موتور جستجو ها اطلعات سایتهایی که اصلا هیچ جایی در صفحات اول جستجو گوگل و یا بینگ و یا یاهو ندارند را اسکن و باعث دیده شدن آنها میشود -کجا نمیدانم -(+)
تصمیم گرفتم که از این دسترسی این رباط رو به سایت ببندم
یکی از راههایی که در سایت خودش هم پیشنهاد داده و اعلام کرده که به آن احترام میگذاره استفاده از فایل robot.txt هست
من این فایل رو به این صورت اماده کردم
User-agent: AhrefsBot
Disallow:/متاسفانه جواب نداد
کار بعدی استفاده از فایل .htaccess. بود که ابتدا باید این فایل بی نام رو ساخت و با استفاده از Notepad به این صورت در آن نوشت
deny from 173.199.64.0 - 173.199.127.255و در سایتی خواندم که این متن رو هم برا یاطمینان بیشتر به ان اضافه کنم
RewriteEngine On
RewriteCond %{REQUEST_URI} !/robots.txt$
RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteRule ^.*.*متسفانه باز هم جواب نداد
کاری که انجام دادم این بود که ای پی هایی که از طریق آنها سایت رو اسکن میکرد در فایل htaccess. قرار دهم این کار جواب داد اما زمان بر بود و متاسفنه استفاده از الگویی مانند
deny from 54.36.150.*
deny from 54.36.149.*
deny from 54.36.148.*هم کار امد نبود و باید تک تک ای پی ها را دستی وارد میکردم
deny from 173.199.64.0 - 173.199.127.255
deny from 54.36.150.*
deny from 54.36.149.*
deny from 54.36.148.*
deny from 54.36.148.118
deny from 54.36.148.22
deny from 54.36.150.74
deny from 54.36.150.158
deny from 54.36.148.8
deny from 54.36.148.28
deny from 54.36.149.78
deny from 54.36.149.30
deny from 54.36.150.156
deny from 54.36.150.160
deny from 54.36.148.215
deny from 54.36.148.148
deny from 54.36.148.165
deny from 54.36.150.99
deny from 54.36.149.40
deny from 54.36.148.240
deny from 54.36.150.182
deny from 54.36.149.82
deny from 54.36.149.71
deny from 54.36.150.107
deny from 54.36.150.157
deny from 54.36.149.57
deny from 54.36.148.249
deny from 54.36.150.142
deny from 54.36.148.143
deny from 54.36.148.249
deny from 54.36.148.66
deny from 54.36.148.92
deny from 54.36.150.21
deny from 54.36.150.188
deny from 54.36.150.38
deny from 54.36.148.241
deny from 54.36.150.60
deny from 54.36.148.67
deny from 54.36.150.172
deny from 54.36.148.79
deny from 54.36.148.234
deny from 54.36.149.20
deny from 54.36.150.130
deny from 54.36.149.5
deny from 54.36.148.126
deny from 54.36.148.177
deny from 54.36.148.141
deny from 54.36.150.10
deny from 54.36.150.70
deny from 54.36.148.132
deny from 54.36.148.162
deny from 54.36.148.105
deny from 54.36.148.249
deny from 54.36.149.48
deny from 54.36.148.132
deny from 54.36.149.6
deny from 54.36.148.90
deny from 54.36.148.178
deny from 54.36.150.34
deny from 51.255.65.46
deny from 54.36.149.16
deny from 54.36.149.61
deny from 54.36.150.61
deny from 54.36.148.139
deny from 54.36.148.41
deny from 54.36.150.70
RewriteEngine On
RewriteCond %{REQUEST_URI} !/robots.txt$
RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteRule ^.*.*