Crawl stats در سرچ کنسول چیست؟

آمار خزیدن ربات های گوگل در سایت، با گزارش Crawl stats در سرچ کنسول در دسترسه. این گزارش اطلاعات کاملی از نحوه خزش ربات ها، هدف خزیدن، نوع فایل های خزیده شده و... رو در نمودارها و جدول های مختلف ارائه می کنه. در این بخش از آموزش سرچ کنسول قراره راهنمای کامل استفاده از گزارش Crawl stats رو داشته باشیم. پس همراه تیم میزفا تولز باشید تا به همه سوالات‌تون درباره این گزارش پاسخ بدیم.

گزارش Crawl stats در سرچ کنسول چیست؟

Crawl stats به معنای آمار کراول یا خزیدن هست. گزارش آمار خزیدن اطلاعاتی کاملی از کراول ربات های گوگل رو در اختیار ما قرار میده. این گزارش برخلاف سایر گزارش های سرچ کنسول در منوی این ابزار در دسترس نیست و برای بررسی اون باید وارد بخش Settings در سرچ کنسول بشید. 

در تنظیمات سرچ کنسول بخشی با عنوان Crawling وجود داره که گزارش Crawl stats در این بخش قرار گرفته. کافیه روی گزینه Open Report کلیک کنید تا وارد گزارش مربوطه بشید.

نکته: تمام داده هایی که در این گزارش می بینید مربوط به خزش ربات های گوگل در 90 روز گذشته است. 

این گزارش رو فقط میشه برای پراپرتی های سطح دامنه مشاهده کرد. اگه پراپرتی رو با روش Domain ثبت کرده باشید که مشکلی وجود نداره؛ اما برای مشاهده گزارش مربوط پراپرتی با روش URL-Prefix، باید آدرس در سطح دامنه باشه.

خود گوگل پیشنهاد میده اگه سایت شما بیشتر از 1000 صفحه داره به سراغ گزارش Crawl stats در سرچ کنسول برید و سایت های کوچیک معمولا لازم نیست وسواس خاصی نسبت به این گزارش داشته باشن. 😉

نمای کلی گزارش و 3 متریک در گزارش Crawl stats سرچ کنسول

در صفحه مربوط به گزارش آمار خزیدن با یک نمودار، مشابه نمودارهایی که در بقیه گزارش های سرچ کنسول دیدیم، مواجه میشیم. این نمودار برای بازه زمانی 90 روز یا سه ماه گذشته تنظیم شده و 3 متریک یا سنجه مهم در اون وجود داره که با کلیک روی هر کدوم، می تونید اونها رو فعال یا غیر فعال کنید:

🔸 total crawl requests - تعداد کل Request یا درخواست بات های گوگل (هم ریکوئست های موفق و هم ناموفق)

🔸 total download size (Bytes) – حجم کل دانلودها در زمان کراول بات های گوگل

🔸 Average response time (ms) – میانگین زمان پاسخ به درخواست یا ریکوئست ها

با حرکت موس روی نمودار، می تونید آمار مربوط به هر روز رو به صورت یک پنجره پاپ آپ ببینید. 

در پایین نمودار یک باکس با عنوان Host status وجود داره. این بخش مربوط به وضعیت هاست، کدهای پاسخ هاست و موارد دیگه‌ست که در ادامه توضیح میدیم.

بعد از نمودار و بخش مربوط به هاست، 4 جدول مختلف داده های مربوط به خزیدن بات های گوگل رو بر اساس پارامترهای مختلفی دسته بندی کردن. این 4 جدول شامل داده های مربوط به نوع پاسخ، نوع فایل خزیده شده، نوع بات گوگل و هدف خزیدن هست.

نکات مهم برای بررسی گزارش آمار خزیدن یا Crawl stats سرچ کنسول

حالا که تقریبا متوجه شدیم گزارش Crawl stats در سرچ کنسول چیست، قبل از اینکه به صورت عمیق تر هر کدوم از بخش ها رو توضیح بدیم لازمه نکاتی رو درباره این گزارش بدونید. در واقع برای اینکه بتونید از داده های این گزارش به بهترین شکل استفاده کنید، اول باید بدونید که چطور کار می کنه. 🤓

◀ این گزارش بیشتر درخواست های کراول (نه همه درخواست ها) رو نشون میده

همه ریکوئست یا درخواست های خزیدن از سمت بات های گوگل در گزارش Crawl stats نشون داده نمیشه؛ این گزارش شامل اکثر ریکوئست ها هست و به همین خاطر ممکنه بین داده های این گزارش و لاگ سرور تفاوت ببینید. 

◀ آدرس های اینترنتی در این گزارش به صورت نمونه جمع آوری شدن

وقتی روی یکی از ردیف های جدول گزارش کلیک می کنید، URLهایی با اون پاسخ نشون داده میشه. باید حواستون باشه که همه URLها برای یک نوع پاسخ جمع آوری نمیشن و در بالای لیست URLها هم عبارت Examples رو میشه دید. یعنی تعدادی از URLها با یک پاسخ مشخص به عنوان نمونه جمع آوری شدن.

◀ آدرس های اینترنتی این گزارش URLهای واقعی هستن، نه فقط URLهای کانونیکال

همه آدرس های اینترنتی که در گزارش Crawl stats هستن از نوع URLهای واقعی محسوب میشن؛ یعنی هر URL که وجود داشته و بات های گوگل درخواست کراول کردن. پس در بین این URLها هم انواع کانونیکال وجود داره و هم آدرس های دیگه. 

نکته مهم اینه که URLهای کانونیکال با برچسب یا بخش خاصی مشخص نمیشن و نمی تونید گزارش مربوط به این نوع آدرس ها رو به صورت جدا ببینید. 

این موضوع در رابطه با URLهایی که ریدایرکت شدن هم صادقه. به عنوان مثال اگه صفحه 1 به صفحه 2 ریدایرکت شده باشه و صفحه 2 به صفحه 3 تغییر مسیر بده، ریکوئست های مربوط به صفحه 1، صفحه 2 و صفحه 3 به صورت جداگانه ثبت میشه. پس ممکنه چندین ریکوئست وجود داشته باشه که در نهایت به یک URL کانونیکال (صفحه 3) می رسه. 

◀ این گزارش درخواست منابع خارجی رو نشون نمیده

تمامی داده ها در این گزارش مربوط به دامنه فعلی یا پراپرتی انتخاب شده در سرچ کنسول هست. اگه سایت شما دارای منابع خارجی باشه، آمار خزیدن مربوط به اونها رو نمی بینید. مثلا اگه تصاویر یا ویدیوهایی که در صفحات سایت قرار دادید، از یک منبع خارجی باشن، داده های اونها جمع آوری نمیشه. 

این قانون برای دامنه های خواهر و برادری هم صدق می کنه. یعنی اگه پراپرتی en.example.com رو انتخاب کرده باشید، اطلاعات مربوط به منابع de.exampl.com رو نمی بینید.

◀ در گزارش Crawl stats داده های مربوط به زیردامنه در دسترسه

در گزارش مربوط به دامنه والد، میشه ریکوئست های کراول دامنه های فرزند رو هم مشاهده کرد. یعنی اگه پراپرتی example.com رو انتخاب کنیم، می تونیم همه درخواست ها به example.com، en.example، de.example.com و هر دامنه فرزند دیگه ای رو ببینیم. 

◀ گزارش Crawl stats سرچ کنسول شامل داده های هر دو پروتکل HTTP و HTTPS میشه

Crawl stats مربوط به هر دامنه، هم داده های مربوط به پروتکل http و هم https رو نشون میده. اگه پراپرتی رو با روش Domain ثبت کرده باشید که مشکلی ندارید. 

در مورد دامنه هایی که با روش URL-Prefix ثبت شدن باید بگیم که داده های مربوط به هر دو پروتکل جمع آوری میشن؛ اما توی قسمت URLهای نمونه، فقط URLهای منطبق با پروتکل پراپرتی نشون داده میشه. (یعنی یا http، یا https)

کاربرد گزارش Crawl stats در سرچ کنسول چیست؟

حالا که فهمیدیم گوگل با چه قوانینی و چطور داده ها رو برای گزارش Crawl stats جمع آوری می کنه، می رسیم به کاربرد این گزارش؛ توی این بخش قراره دونه دونه بخش های مختلف گزارش رو به صورت عمیق بررسی کنیم تا ببینیم داده های این گزارش به چه کاری میان. 🧐

1- نگاهی کلی به نمودار Crawl stats سرچ کنسول برای بررسی نحوه خزش گوگل بات ها

بعد از باز کردن گزارش، به صورت کلی و در یک نگاه اجمالی به نمودار، می تونید بفهمید وضعیت کراول یا خزش صفحات سایت به چه صورته. بهتره نمودارهای مربوط به 3 متریک مهم این گزارش رو به صورت جدا جدا بررسی کنید. 

🔸 Total crawl requests یا مجموع درخواست های خزیدن

با فعال کردن این متریک در نمودار، تعداد کل ریکوئست های ارسال شده از سمت بات های گوگل به سایت رو مشاهده می کنید. این ریکوئست ها شامل همه ریکوئست های موفق و ناموفق میشه.

ریکوئست تکراری برای یک URL مشخص، به عنوان ریکوئست جدا ثبت میشه. 

درخواست های ناموفق ممکنه به یکی از دلایل زیر اتفاق بیفته:

👈 مسدود بودن URL از طریق فایل robots.txt (پاسخ های مشکل اتصال مثل HTTP 429/5XX برمی گرده)

👈 منابع دارای DNS رزولوشن یا مشکلات سروری

👈 تغییر مسیرهای پی در پی و چرخه ای (لوپ)

🔸 Total download size (kB) یا حجم کل دانلود (کیلو بایت)

حجم کل فایل ها و منابعی که توی 90 روز گذشته در زمان کراول بات های گوگل دانلود شده. منابعی که قبلا ذخیره شدن (اگر Cache برای منابع فعال باشه) دوباره محاسبه نمیشن و فقط در اولین ریکوئست، حجم اونها محاسبه میشه. این متریک مقدار دانلود از منابع HTML، تصاویر، اسکریپت ها و CSS رو نشون میده.

🔸 Average response time (ms) یا میانگین زمان پاسخ (میلی ثانیه)

زمان مورد نیاز برای یک ریکوئست خزیدن با این متریک نشون داده میشه. از اونجایی که واکشی یا fetch منابع و محتوای صفحات مختلف، زمان متفاوتی داره، این متریک به صورت میانگین محاسبه میشه. 

این زمان شامل زمان مورد نیاز برای بازیابی منابع صفحه (اسکریپت ها، تصاویر و غیره) یا زمان رندر نمی شه.

2- بررسی سلامت هاست به کمک گزارش Crawl stats سرچ کنسول - Host status 

یکی از بخش های مهم در گزارش آمار خزیدن، اطلاعاتیه که سرچ کنسول در رابطه با هاست در اختیارتون قرار میده. دقیقا پایین نمودار این گزارش، یک گزینه با عنوان Host status قرار داره که اگه مشکلی در 90 روز گذشته ثبت نشده باشه، یک تیک سبز رنگ توپر در کنارش می بینید. 

در کنار باکس یا گزینه Host status ممکنه 3 آیکن مختلف رو ببینید:

✅ تیک سبز – یعنی هیچ مشکلی برای هاست در 90 روز گذشته ثبت نشده و همه چی عالیه.

✔ تیک سفید – این آیکن وقتی که حداقل یک مشکل در زمان خزیدن ربات ها در 90 روز گذشته دیده شده باشه، ظاهر میشه. البته این مشکل مربوط به 7 روز قبل نیست و ممکنه تا الان برطرف شده باشه یا مشکل موقتی بوده باشه.

❗ علامت تعجب قرمز – این آیکن خبر بدی برای مدیر سایته؛ چون نشون میده توی 7 روز گذشته حداقل یک مشکل جدی در زمان کراول گوگل بات ها ثبت شده.

اگه روی باکس Host status کلیک کنید به گزارش عمیق تری می رسیم. توی این گزارش آمار خزیدن دامنه والد، برای همه دامنه های فرزند هم نمایش داده میشه. در گزارش Host status یا «وضعیت هاست در زمان کراول ربات های گوگل»، 3 پارامتر مهم بررسی میشه. در حالت ایده آل، هر 3 پارامتری که در این صفحه هست باید با تیک سبز رنگ ظاهر بشن. 

🔸 robots.txt fetch

این پارامتر نشون میده که آیا گوگل بات ها موقع خزیدن سایت در زمان درخواست فایل robots.txt با مشکلی مواجه شدن یا نه. اگه در زمان واکشی یا فراخواندن فایل robots.txt، پاسخ 200 (خوب) یا 404 (فایل وجود ندارد) برگرده، از نظر ربات های گوگل مشکلی وجود نداره. به جز این دو کد، هر کد دیگه ای خطا محسوب میشه.❌

توی نمودار این پارامتر، باید خط نمودار به صفر نزدیک باشه. هرچی که خط نمودار به خط نقطه چین نزدیک بشه یعنی خطاها بیشتره و واکشی فایل robots.txt توی تاریخ های مختلف با مشکل مواجه شده.

نکته مهم: robots.txt fetch فقط واکشی یا فراخواندن این فایل رو در نظر می گیره. یعنی تا زمانی که فایل وضعیت 200 رو برگردونه، از نظر ربات های گوگل مشکلی وجود نداره؛ اما ممکنه فایل robots.txt خالی باشه یا به شکل معتبر نوشته نشده باشه. 

🔸 DNS resolution

DNS resolution یا وضوح DNS به زبان خیلی ساده میشه فرآیندهایی که آدرس های IP رو به نام دامنه ترجمه می کنن. این پارامتر برای شناسایی خطاهای DNS در گزارش Crawl stats طراحی شده.

مشکل DNS وقتی اتفاق میفته که:

👈 سرور DNS نام هاست (hostname) رو تشخیص نمیده.

👈 سرور DNS پاسخ نمیده.

اینجا هم نمودار خطای DNS در بهترین حالت باید روی خط صفر باشه و اگه به سمت نقطه چین حرکت کنه خبر از مشکلات سرور DNS میده.

🔸 Server connectivity

این پارامتر برای بررسی متصل بودن سرور طراحی شده و نشون میده آیا ربات های گوگل در زمان خزیدن سایت با مشکل اتصال مواجه شدن یا نه. 

اگه سرور پاسخگو نباشه یا پاسخ کاملی برنگردونه، نمودار این پارامتر از خط صفر به سمت نقطه چین حرکت می کنه. اگه قله هایی که به سمت نقطه چین نمودار میرن در تاریخ های مختلف تکرار میشه، بهتره با خدمات هاست خودتون صحبت کنید یا اگه لازمه سرویس پایدارتری رو جایگزین کنید.

3- تحلیل پاسخ سرور نسبت به درخواست های کراول - By response

یکی از جدول های گزارش Crawl stats در سرچ کنسول مربوط به پاسخ یا وضعیتیه که سایت در زمان کراول ربات ها برگردونده. این جدول می تونه اطلاعات مهمی رو در اختیار شما بذاره که بر اساس این اطلاعات از وضعیت کلی سایت باخبر بشید. 

داده های این جدول بر اساس نوع پاسخ، گروه بندی شده و روی هر ردیف از جدول که کلیک کنید، یک سری URL به عنوان نمونه که اون پاسخ رو برگردوندن، نمایش داده میشه.

هرچی درصد پاسخ اوکی یا 200 بیشتر باشه، طبعا سایت وضعیت بهتری داره. از بین پاسخ های خوب یا وضعیت Ok میشه به کدهای زیر اشاره کرد که یعنی هیچ مشکلی در خزیدن ربات ها وجود نداشته:

✅ 200 (OK)

✅ 301 (انتقال دائمی صفحه)

✅ 302 (انتقال موقت صفحه)

✅ 300 (انتقال داده شده)

✅ 304

پاسخ های 404 (پیدا نشد) و Blocked by robots.txt در صورتی که خودتون برای صفحاتی تنظیم کرده باشید هم جزو پاسخ های خوب محسوب میشه. در مقابل پاسخ های بد برای سایت می تونه گزینه های زیر باشه:

❗ Robots.txt not available 

❗ 401/407 (unauthorized)

❗ 5XX (server error)

❗ 4XX (client error other than 404)

❗ DNS unresponsive

❗ Fetch error

❗ Page could not be reached

❗ Page timeout

خطاهای مربوط به Robots.txt و خطاهای سرور می تونه روی بودجه خزش سایت تاثیر منفی زیادی بذاره. پس بهتره اول از همه به سراغ این خطاها برید. توی مقاله مربوط به خطاهای گزارش Crawl stats نحوه رفع خطاها رو گفتیم.

4- بررسی انواع فایل های خزیده شده در گزارش Crawl stats - By file type 

در جدول By file type در گزارش آمار خزیدن، می تونید ببینید ریکوئست ربات های گوگل برای فایل های مختلفی که دارید چطور بوده. توی این جدول داده ها با توجه به نوع فایل گروه بندی میشن و می تونید درصد کراول فایل های مختلف سایت خودتون رو مقایسه کنید.

از پایین جدول می تونید تعداد ردیف های بیشتری رو برای نمایش انتخاب کنید و زمانی که روی هر ردیف کلیک کنید، اطلاعات مربوط به اون نوع فایل رو می بینید. مثلا ما روی فایل های تصویر یا Image کلیک کردیم. توی صفحه جدید می تونیم تعدادی از URLهای نمونه رو مشاهده کنیم و ببینیم این URLها در زمان خزیدن چه وضعیتی رو برگردوندن. 

نمودار مربوط به کراول گوگل بات ها هم به صورت انحصاری برای این نوع فایل ها در بالای جدول URLها قرار داره.

انوع فایل هایی که گوگل بات ها تشخیص میدن شامل موارد زیر میشه:

◀ HTML

◀ فایل های تصویری (Image)

◀ ویدیو

◀ جاوا اسکریپت

◀ JSON

◀ XML

◀ PDF

◀ CSS

◀ RSS

◀ صدا

◀ KML

با تحلیل داده های این بخش از گزارش Crawl stats می تونید تا حد زیادی متوجه مشکلات خزیدن بشید. اول از همه باید ببینید ربات ها بیشتر کدوم نوع فایل رو در سایت کراول می کنن. اگه نمی خواید یک سری از فایل ها کراول بشه حتما از فایل robots.txt استفاده کنید. ⛔

میانگین نرخ پاسخ فایل های مختلف رو بررسی کنید و حجم دانلود منابع رو هم در نظر داشته باشید. این داده ها برای بهینه سازی بودجه خزش اهمیت زیادی دارن.

5- بررسی هدف کراول ربات ها از خزیدن - By purpose

یکی از بخش های جالب گزارش آمار خزیدن، جدول By purpose هست که هدف از خزیدن ربات های گوگل رو نشون میده. هدف گوگل بات ها یکی از دو مورد زیر هست:

👈 Refresh یا بازخوانی اطلاعات (خزیدن دوباره یک صفحه از سایت که قبلا توسط ربات ها پیدا شده) 🔄

👈 Discovery یا کشف (خزیدن ربات ها در صفحات جدید سایت که قبلا بهش برنخورده بودن) 🔎

روی هر کدوم از این ردیف ها که کلیک کنید، نمودار Crawl stats با همون 3 متریک که بالا توضیح دادیم به علاوه آدرس صفحات نمونه رو می بینید. 

نکته مهم داده های این جدول برای سایت های خبریه. اگه سایت خبری دارید که روزانه محتواهای جدید منتشر می کنید، باید مطمئن بشید که ربات های گوگل بیشتر به سراغ کشف URLهای جدید میرن، برای این کار داشتن نقشه سایت به روز خیلی مهمه.

6- تحلیل گزارش آمار خزیدن برای بررسی انواع گوگل‌بات - By Googlebot type

آخرین جدولی که در گزارش آمار خزیدن سرچ کنسول داریم، جدولیه که دادها رو بر اساس Google user agents یا عوامل کاربر گوگل گروه بندی می کنه. توی این جدول با توجه به این که چه نوع رباتی برای کراول صفحات اقدام کرده باشه، داده های مختلفی رو خواهیم داشت.

روی هر کدوم از گوگل بات های جدول که کلیک کنید، داده های بیشتری در رابطه با همون ربات در اختیارتون قرار می گیره. از بین انواع ربات های رایج گوگل می تونیم به گزینه های زیر اشاره کنیم: 

◼ smartphone یا عامل کاربر موبایل

◼ desktop (عامل کاربر رایانه)

◼ image 

◼ video

◼ Page resource load

◼ AdsBot

◼ StoreBot

◼ Other agent type (عامل کاربری که موارد بالایی نیست)

از این آمار می تونید خزنده اصلی سایت خودتون رو بررسی کنید که در بیشتر موارد بات های موبایلی هست. 

AdsBot طبق اسناد گوگل هر دو هفته یک بار سایت ها رو می خزه و Page resource load رباتی هست که در واکشی یا فراخوانی ثانویه کاربرد داره. یعنی اول منابع مهم صفحه مثل CSS یا تصاویر برای نمایش واکشی میشن و هر منبعی از صفحه که باقی موند، مثلا تصاویر یا ویدیوها، با عامل کاربر Page resource load فراخوانی یا fetch میشن.

7- تحلیل قله ها و دره ها در نمودار گزارش Crawl stats در سرچ کنسول

توی نمودار Crawl stats سرچ کنسول اولین چیزی که توجه رو جلب می کنه فراز و فرودها یا قله ها و دره هاییه که تو نمودار دیده میشه. اگه فقط گزینه total crawl requests نمودار رو فعال کرده باشیم، قله ها تاریخی رو نشون میدن که بیشترین خزش سایت انجام شده و دره ها هم مربوط به روزهایی هستن که ربات های گوگل کمتر از روال عادی برای کراول به سایت سر زدن.

👈 اگه سرعت خزیدن سایت شما کمه یا دره های زیادی دارید نکات زیر رو در نظر داشته باشید:

🔸 سایت های تازه تاسیس به اندازه سایت های دیگه کراول نمیشن و این یک موضوع طبیعیه. چون این سایت ها هنوز بک لینک های زیادی ندارن. اما بهتره حتما sitemap یا نقشه سایت رو در سرچ کنسول ارسال کرده باشید و به تولید محتوای باکیفیت ادامه بدید. 

🔸 راهی برای درخواست از ربات های گوگل وجود نداره که بهشون بگیم سایت ما رو بیشتر بخزن و باید برای این کار به سراغ روش های بهینه سازی بودجه خزش بریم.

🔸 فایل robots.txt و دستورالعمل هایی که برای مسدودسازی URLها تهیه کردید رو هر چند وقت یک بار بررسی کنید. گاهی ممکنه کاهش خزش به خاطر مشکلات این فایل باشه.

🔸 کیفیت محتوا برای ربات های گوگل اهمیت زیادی داره. اگه طبق دستورالعمل های گوگل، محتواهای شما کیفیت نداشته باشه به زودی میزان کراول ربات ها کم میشه.

👈 اگه سرعت خزیدن سایت شما زیاده نکات زیر رو در نظر داشته باشید:

🔸 حتما لاگ سرور رو بررسی کنید و نوع گوگل بات هایی که سایت رو کراول می کنن تحلیل کنید تا ببینید کدوم ربات بیشتر سایت رو می خزه. 

🔸 نرخ خزش بالا در صورتی که باعث مرگ سایت نشه، چیز بدی نیست. در صورتی که فایل robots.txt و صفحات سایت رو به درستی تنظیم کرده باشید، لازم نیست نگران نرخ خزش بالا باشید. اما در شرایط اضطراری می تونید از طریق این لینک، نرخ خزش ربات های گوگل رو تنظیم کنید. (به مدت 90 روز)

از گزارش Crawl stats در سرچ کنسول برای چه کاری استفاده نکنیم؟!

حالا که دقیقا متوجه شدیم گزارش Crawl stats در سرچ کنسول چیست، لازمه یک سری نکات رو هم یادآوری کنیم که اشتباهی به سراغ این گزارش نرید. 😉

❌ پیدا کردن لینک های شکسته یا خطای 404 ❌

Crawl stats هیچ کاربردی در پیدا کردن لینک های شکسته نداره؛ چون فقط یک سری از URLهایی که کد 404 رو برگردوندن به عنوان نمونه در اختیار شما قرار میده. اگه می خواید لینک های شکسته رو به کمک سرچ کنسول پیدا کنید، مقاله ای که در این باره نوشتیم رو بخونید. 

❌ بررسی درستی ریدایرکت های 301، 302 و ... ❌

درست مثل نکته ای که بالا گفتیم، نمی تونید از گزارش آمار خزیدن برای پیدا کردن انتقال مسیرها استفاده کنید. برای پیدا کردن وضعیت URLها باید کل سایت خزیده بشه؛ این کار رو ابزارهای سئو مثل میزفا تولز انجام میدن. 

اگه دنبال پیدا کردن خطاهای سئو سایت یا وضعیت صفحات مختلف در زمان کراول هستید، از میزفا تولز استفاده کنید. ابزار خزش سایت میزفا تولز، سایت شما رو به طور کامل می خزه و هر خطا، هشدار یا اطلاعیه ای لازم باشه در اختیارتون قرار میده.

❌ تجزیه و تحلیل سرعت سایت ❌

حواستون باشه که متریک Average response time یا میانگین زمان پاسخگویی در گزارش Crawl stats، ربطی به سرعت بارگیری صفحات سایت نداره. این مدت زمان نشون دهنده زمان مورد نیاز برای پاسخگویی به گوگل بات ها هست. برای اینکه تحلیل درستی از سرعت بارگیری سایت داشته باشید، بهتره به ابزارهای حرفه ای سر بزنید. 

برای بررسی سرعت سایت، ابزار واکاوی صفحه میزفا تولز رو برای شما طراحی کردیم. این ابزار 100 فاکتور مربوط به سرعت سایت رو بررسی می کنه و خطاهای سرعت رو جامع تر از Gtmetrix در اختیارتون قرار میده. در ضمن، این ابزار در داشبورد مخصوص به خودتون در میزفا تولز رایگانه. 😊

❌ بررسی یا تشخیص رندر جاوا اسکریپت ❌

در جدول By type file در گزارش، ردیفی به JavaScript اختصاص داده شده؛ اما باید حواستون باشه که حتی اگه URLهای مربوط به جاوا اسکریپت در جدول گزارش، وضعیت 200 رو برگردونن، دلیل نمیشه رندر جاوا اسکریپت در سایت بدون مشکل باشه. برای بررسی رندر جاوا اسکرپیت از تست موبایل پسند بودن (mobile-friendly) استفاده کنید. 

❌ مقایسه کاربران دسکتاپی و موبایلی ❌

در جدول By Googlebot type گزارش، دو گزینه Smartphone و Desktop وجود داره که هیچ ربطی به کاربران موبایلی و دسکتاپی سایت نداره. توی این جدول نوع ربات گوگل که سایت رو خزیده نشون داده میشه و نباید از داده های این جدول برای بررسی درصد کاربران موبایلی و دسکتاپی استفاده کنید.

❌ استفاده از گزارش Crawl stats در سرچ کنسول به جای لاگ سرور ❌

گزارش آمار خزیدن در سرچ کنسول، همه کراول ریکوئست ها (درخواست های خزش) سایت رو نشون نمیده و فقط درخواست های گوگل بات ها رو شامل میشه. در حالی که در گزارش لاگ سرور، همه ریکوئست ها، از گوگل بات ها گرفته تا انواع بات های دیگه و موتورهای جستجو ثبت میشه. به همین خاطر بین این دو گزارش تفاوت زیادی هست و نباید به جای تحلیل لاگ سرور در مواقعی که نیازه، به اشتباه به سراغ Crawl stats بیاید. ⛔

❌ استفاده از گزارش به جای ابزارهای بازرسی و خزش سئو (SEO audit) ❌

داده هایی که در گزارش Crawl stats می بینید، خیلی شبیه به داده هایی هست که ابزارهای سئو، مثلا اسکریمینگ فراگ (Screaming Frog)، بعد از خزیدن سایت در اختیارتون قرار میدن. اما باید حواستون باشه که گزارش Crawl stats رو نمیشه به جای استفاده از ابزارهای سئو تحلیل کرد؛ چون این گزارش مربوط به کل URLهای سایت نیست. اما می تونید در کنار تحلیل گزارش های ابزار سئو، نگاهی هم به گزارش Crawl stats بندازید.

برای اینکه خطاهای سئو و مشکلات احتمالی سایت رو پیدا کنید، اصلا نباید به Crawl stats سرچ کنسول اکتفا کنید.