علت خطای Crawled – currently not indexed در سرچ کنسول و راه رفع آن

خطای Crawled – currently not indexed در سرچ کنسول در گزارش Pages دیده میشه. این خطا مربوط به صفحاتی هست که در وضعیت Not indexed قرار دارن. صفحاتی که با این خطا مشخص میشن توسط ربات های گوگل کراول شده اما ایندکس نشدن. در این بخش از آموزش سرچ کنسول بهتون میگیم دلیل ایندکس نشدن این صفحات چیه و برای حل مشکل Crawled Currently Not Indexed باید چکار کنیم.

علت خطای Crawled – currently not indexed در سرچ کنسول چیست؟

این خطا که جزو رایج ترین خطاهای در لیست ارور سرچ کنسول هست رو تقریبا روی همه سایت ها میشه دید. برای این که دلیل خطای «کراول شده اما ایندکس نشده» رو متوجه بشیم باید بدونیم ربات های گوگل برای ایندکس کردن URLها دقیقا چکار می کنن. ربات ها یا عنکبوت های گوگل، URLها رو در 3 مرحله بررسی می کنن:

1. مرحله اول: کشف یا Discovering
2. مرحله دوم: خزیدن یا Crawling
3. مرحله سوم: نمایه کردن یا Indexing

قبل از این که ربات ها URL رو بخزن باید کشف یا پیداشون کنن. این کار رو معمولا با دنبال کردن لینک ها در صفحات دیگر دنیای وب (چه داخل سایت و چه خارج از سایت) انجام میدن. بعد از اینکه URLها پیدا شدن میرن تو صف وایمیسن تا نوبت کراول یا خزیدن برسه. 🧐

در مرحله خزیدن، اطلاعات موجود در صفحات بارگیری یا دانلود میشه و بعد میره تو صف ایندکس. در مرحله نمایه سازی یا فهرست کردن (ایندکس)، گوگل سعی می کنه اطلاعاتی که از URLها دریافت کرده رو معنا کنه و ارتباطش رو با کوئری ها پیدا کنه. در نهایت صفحه شما ممکنه در نتایج جستجو یا همون SERP ظاهر بشه.

حالا خطای Crawled – currently not indexed در سرچ کنسول داره میگه ربات ها مرحله اول یعنی کشف کردن رو رد کردن، مرحله دوم یعنی خزیدن رو هم رد کردن، اما مرحله سوم که نمایه سازی هست تکمیل نشده. خیلی اوقات دیدن این پیغام کاملا طبیعیه و خود به خود بعد از اینکه URLها مرحله ایندکس رو رد کنن برطرف میشه. اما دلایل زیر هم می تونه باعث این خطا در سرچ کنسول بشه:

• ساختار لینک سازی های داخلی سایت ضعیفه.
• کیفیت محتوا پایینه. 
• صفحه داپلیکیت یا تکراریه. 
• اعتبار دامنه سایت خیلی پایینه. 

راه رفع ارور سرچ کنسول گوگل Crawled - Currently Not Indexed چیست؟

برای رفع ارور Crawled - Currently not indexed در سرچ کنسول اول باید ببینیم صفحاتی که با این پیغام دسته بندی شدن نیاز به اقدام خاصی دارن یا نه. 

برای اینکه این صفحات رو سریع تر پیدا کنیم، در نمودار گزارش Pages فقط وضعیت Not indexed رو فعال می کنیم و در جدول گزارش، فیلتر Reason رو تعیین می کنیم. با نوشتن اولین حروف واژه Crawled، این اخطار در جدول نمایش داده میشه. حالا با کلیک روی ردیف این اخطار به لیست صفحاتی می رسیم که کراول شده اما ایندکس نشده.

نکته: قبل از اینکه کاری انجام بدید بررسی کنید ببینید چه صفحاتی این اخطار رو گرفتن. سرچ کنسول نقشه سایت (سایت مپ)، robots.txt و URLهای صفحه بندی رو هم با این خطا نشون میده که برای رفع اون نیازی نیست کاری کنید. ممکنه یکسری از URLها انتهاشون /feed وجود داشته باشه. این صفحات RSS Feed هستن که ایندکس شدنشون تجربه کاربری سایت رو پایین میاره. پس برای این URLها هم کاری نکنید. 😉

اگه توی لیست صفحاتی که خزیده شدن اما ایندکس نشدن URLهای مهمی رو پیدا کردید، با راهکارهای زیر می تونید این مشکل رو برطرف کنید:

🔸 برای اینکه تمام صفحات سایت بدون مشکل ایندکس بشن باید ساختار لینک سازی داخلی رو بهینه طراحی کنید. برای صفحات مهم سایت، حتما از صفحات بالاتر لینک ایجاد کنید تا ربات ها مسیرشون رو در زمان ایندکس گم نکنن. 

🔸 کیفیت محتوایی که در صفحه قرار داره رو بررسی کنید. ببینید آیا رقبا برای صفحه مشابه در سایت خودشون محتوای بهتری ایجاد کردن؟ آیا می تونید ارزش افزوده خاصی به محتوا اضافه کنید؟! 🙄

🔸 صفحاتی که تکراری یا نسخه کنونیکال سایر صفحات سایت باشن هم ممکنه خطای Crawled – currently not indexed در سرچ کنسول رو بگیرن. در این شرایط ربات های گوگل صفحه دیگه ای رو به عنوان نسخه کنونیکال ایندکس کردن. 

🔸 اگه خطای کراول شده اما ایندکس نشده مربوط به موارد بالا نبود، ممکنه اعتبار دامنه (Domain Authority) مانع ایندکس شده باشه. معمولا سایت هایی که بیش از اندازه محتوا منتشر می کنن و بک لینک های خوبی دریافت نکردن ممکنه با این خطا مواجه بشن. بهتره یه برنامه ریزی برای بک لینک گرفتن روی صفحات مهم سایت داشته باشید تا اعتبار دامنه سایت بیشتر بشه. 

چطور موانع ایندکس صفحه رو پیدا کنم؟!

خیلی از اوقات سرچ کنسول یک سری اطلاعات به ما میده، اما این اطلاعات ناقصه و نمیشه باهاش کاری کرد. مثل همین خطایی که توی این بخش بررسی کردیم. الان ما فقط می دونیم صفحات ایندکس نشده، اما سرچ کنسول نمیگه مانع ایندکس چی بوده! 😣

توی این شرایط باید برای استفاده از داده های سرچ کنسول و رفع خطاها دست به دامن ابزارهای دیگه بشیم، یعنی ابزارهای سئو. 

در ابزار سئو میزفا تولز براتون یه بخشی رو طراحی کردیم تا بتونید صفحات کانونیکال رو پیدا کنید و اگه لازمه لینک سازی داخلی رو بهبود بدید. برای اینکه خطای Crawled – currently not indexed رو رفع کنید، اول باید ببینید مشکل از کجاست. ابزار خزش سایت میزفا تولز با خزیدن تمام صفحات، این مشکلات رو براتون پیدا می کنه و در قالب یک گزارش کامل در اختیارتون قرار میده.

به جز ابزار خزش سایت، می تونید از میزفا تولز برای بهبود محتواهای سایت هم استفاده کنید. 2 ابزار ردیاب کلمات و تحقیق کلمات در میزفا تولز بهتون کمک می کنن روی بهترین کلمات سرمایه گذاری کنید و همیشه SERP رو دنبال کنید. برای آشنایی با این ابزارهای کافیه توی سایت ثبت نام کنید و تا 7 روز به صورت رایگان از تمام بخش های میزفا تولز نهایت بهره رو ببرید. 😉