رفع بلاکی ربات میزفا تولز

هنگام خزش وب‌سایت در ابزار خزش سایت میزفا تولز، ممکن است با خطاهایی روبه‌رو شوی که نشان می‌دهند سرور، شرکت هاستینگ یا CDN وب‌سایت مانع از دسترسی ربات خزشگر شده و آی‌پی‌های آن را مسدود (بلاک) کرده‌اند. مهم‌ترین این خطاها عبارتند از:

• 403 Forbidden: دسترسی ربات به صفحات توسط فایروال یا وب‌سرور قطع شده است.
• 429 Too Many Requests: تعداد درخواست‌های ارسالی از سمت سرور در یک بازه زمانی محدود تشخیص داده شده است.
• 406 Not Acceptable: هدرها یا درخواست‌های ارسالی با قوانین امنیتی وب‌سرور مطابقت داده نشده‌اند.
• خطای سراسری در بخش صفحات: وضعیتی که در جدول خزش، تمام یا اکثر صفحات به وضعیت خطا خورده‌اند.

نخستین و ساده‌ترین اقدام، کاهش نرخ ارسال درخواست‌ها است. هاست‌های اشتراکی در صورت دریافت تعداد زیادی درخواست در هر ثانیه، آی‌پی ارسال‌کننده را به عنوان حمله تشخیص داده و موقتاً مسدود می‌کنند:

۱. وارد تب خزش جدید شو.
۲. در بخش تنظیمات پیشرفته، گزینه سرعت خزش (درخواست در ثانیه) را کاهش بده (برای مثال روی مقادیر زیر ۱۰ یا ۵ تنظیم کن).
۳. اگر آی‌پی سرور به تازگی مسدود شده است، پیشنهاد می‌شود حداقل ۲۴ ساعت صبر کنی تا محدودیت موقت هاست منقضی شود، سپس خزش را با سرعت پایین‌تر آغاز کنی.

اگر کاهش سرعت خزش کارساز نبود، بهترین راهکار این است که به شرکت هاستینگ خود تیکت بزنی تا آی‌پی سرورهای میزفا تولز را در لیست سفید (Whitelist) فایروال سرور قرار دهند. می‌تونی از متن آماده زیر در تیکت استفاده کنی:

نکته: در صورتی که شرکت هاستینگ به هر دلیلی از افزودن آی‌پی‌ها به لیست سفید خودداری کرد، از آن‌ها بخواه حداقل آی‌پی‌های بالا را از لیست سیاه (Blacklist) فعلی فایروال خارج کنند تا امکان خزش دوباره برقرار شود.

اگر وب‌سایت وردپرسی داری یا هاست از وب‌سرور آپاچی یا لایت‌اسپید (LiteSpeed) استفاده می‌کند، می‌تونی به کنترل‌پنل هاست (مانند cPanel یا DirectAdmin) مراجعه کرده و در پوشه اصلی سایت (public_html)، فایل htaccess. را ویرایش کنی. کدهای زیر را در انتهای این فایل درج کن:

Allow from 195.211.44.156
Allow from 78.110.122.2

نکته فنی: اگر با درج این کد مشکل حل نشد، به این دلیل است که فایروال اصلی شبکه هاستینگ در لایه‌ای بالاتر از سطح دسترسی کاربر تنظیم شده و اجازه بازنویسی قوانین را از طریق فایل htaccess نمی‌دهد؛ در این شرایط باید طبق روش ۲ با پشتیبانی هاست مکاتبه کنی.

اگر از شبکه‌های توزیع محتوا (CDN) مانند کلودفلر یا ابر آروان استفاده می‌کنی، حتماً باید آی‌پی‌های میزفا تولز را در تنظیمات فایروال CDN مجاز کنی:

۱. وارد پنل مدیریت دامنه در کلودفلر شو.
۲. به مسیر زیر برو:

Security -> WAF -> Custom Rules (یا Firewall Rules) -> Create Rule

۳. یک قانون جدید تعریف کن و در فیلد IP، نشانی‌های آی‌پی میزفا تولز را تعریف کرده و عمل (Action) را روی Skip یا Allow بگذار:

۱. وارد پنل کاربری ابر آروان شده و بخش CDN را انتخاب کن.
۲. به تب تنظیمات فایروال برو.
۳. روی دکمه افزودن قانون جدید کلیک کرده و آی‌پی‌های خزشگر میزفا تولز را با وضعیت مجاز ثبت کن:

بسیاری از سیستم‌های امنیتی هاست (مانند ModSecurity یا cPHulk) در صورت مشاهده درخواست‌های پیاپی، آی‌پی را در یک بازه زمانی محدود (از ۱۵ دقیقه تا ۲۴ ساعت) مسدود می‌کنند. هاستینگ‌های حرفه‌ای معمولاً مسدودسازی‌های خودکار را ظرف کمتر از یک ساعت آزاد می‌کنند. با این حال، اگر سرعت خزش را کاهش ندهی یا آی‌پی را در لیست سفید نگذاری، احتمال مسدود شدن مجدد بسیار بالا خواهد بود.

اگر هاستینگی محدودیت‌های غیرمتعارف و شدید روی درخواست‌های ورودی اعمال کند و حتی پس از تیکت نیز همکاری لازم را به عمل نیاورد، طبیعی است که علاوه بر میزفا تولز، سایر ربات‌های مفید سطح وب (مانند ربات‌های ارزیاب، موتورهای جستجوی جانبی، یا ربات‌های چت AI) و حتی کاربران واقعی با اینترنت‌های خاص نیز با خطای عدم دسترسی مواجه شوند. در چنین شرایطی، پیشنهاد می‌شود به فکر انتقال سایت به یک شرکت میزبانی وب پایدار و حرفه‌ای‌تر باشی.