علت خطای Discovered – currently not indexed در سرچ کنسول و رفع آن

خطای Discovered – currently not indexed در سرچ کنسول و در گزارش Pages مربوط به صفحاتی میشه که ربات های گوگل پیداشون کردن، اما اونها رو کراول نکردن و به مرحله ایندکس نرسیدن. این پیغام در نسخه قبلی سرچ کنسول برای URLهای با وضعیت Excluded (مستثنی شده) دیده میشد؛ در نسخه جدید سرچ کنسول این پیغام رو می تونیم برای صفحاتی که به هر دلیلی ایندکس نشدن و با وضعیت Not Indexed مشخص شدن، ببینیم. در این بخش از آموزش های ابزار سرچ کنسول قراره بهتون بگیم چه عواملی مانع از خزیدن ربات های گوگل و ایندکس صفحات میشه و چطور باید این مشکل رو برطرف کنیم. 😎

علت خطای Discovered currently not indexed در سرچ کنسول چیست؟

قبل از اینکه علت خطای Discovered – currently not indexed در سرچ کنسول رو بررسی کنیم، باید بدونید هر URL در دنیای وب برای اینکه ایندکس بشه چه مراحلی رو باید پشت سر بذاره:

1. اول ربات های گوگل با دنبال کردن لینک های خارجی یک صفحه یا لینک سازی های داخلی سایت و یا سایت مپ، URLها رو پیدا یا کشف می کنن که به این مرحله Discovering گفته میشه. 

2. بعد از کشف صفحات، ربات ها در URLها می خزن و همه اطلاعات و داده های موجود در صفحه رو دانلود می کنن که به این مرحله میگیم Crawling.

3. در نهایت گوگل با توجه به محتواهایی که از صفحات استخراج کرده، کیفیت اونها رو بررسی و ارزیابی می کنه و اونها رو در کتابخونه بزرگ خودش ذخیره می کنه. صفحاتی که ایندکس بشن ممکنه در نتایج گوگل ظاهر بشن، اما تضمینی نیست که ایندکس شدن مساوی با رتبه گرفتن در نتایج باشه.

حالا وقتی این خطا رو که از مهم ترین خطاهای لیست ارور سرچ کنسول محسوب میشه می بینیم، یعنی ربات های گوگل فقط مرحله اول، یعنی کشف کردن URLها رو انجام دادن و یه چیزی مانع از کراول کردن صفحات شده. این موضوع می تونه به دلایل فنی مربوط باشه یا حتی کیفیت پایین محتوا، ربات های گوگل رو از خزیدن منصرف کرده باشه. 😕

به طور کلی دلیل خطای Discovered currently not indexed در سرچ کنسول یکی یا چندتا از موارد زیر می تونه باشه:

• بارگذاری بیش از حد از سمت سرور 
• اضافه کاری در تولید محتوا 
• ساختار ضعیف در لینک سازی های داخلی 
• کیفیت پایین محتوا
• ساختار ضعیف در طراحی سایت مپ
• مسائل مربوط به بودجه خزش سایت
• سایت های تازه راه اندازی شده

راه رفع ارور Discovered – currently not indexed در سرچ کنسول چیست؟

برای حل مشکل ایندکس URLها، اول باید بفهمیم کدوم یکی از دلایل بالا مانع خزیدن ربات های گوگل شدن. اما قبل از این که کاری انجام بدید، روی ردیف مربوط به پیغام Discovered – currently not indexed در سرچ کنسول در گزارش Pages کلیک کنید تا لیست صفحاتی که با این خطا مواجه شدن رو بررسی کنید. 

همیشه لازم نیست برای رفع این مشکل کاری انجام بدید؛ مثلا ممکنه صفحاتی که با این پیغام کنار گذاشته شدن مربوط به URLهای فیلتر شده یک سری از محصولات باشن. این URLها پارامترهای خاصی دارن و وقتی کاربر نتایج محصولات رو فیلتر می کنه، ظاهر میشن. 

از طرف دیگه وقتی تعداد صفحات دارای این پیغام کم هست و سایت شما تازه تاسیس شده، نیازی به نگرانی نیست. معمولا ربات های گوگل دوباره خودشون به صفحات سر می زنن و این پیغام خود به خود برطرف میشه. 😊

در ضمن اگه یک سری از URLها رو با تگ نو ایندکس یا از طریق فایل robots.txt مسدود کرده باشید، این صفحات هم ممکنه با این پیغام دسته بندی بشن.

اما با صفحات ارزشمند سایت چه کنیم که توی مرحله Discover گیر افتادن و وضعیتشون تغییر نمی کنه؟!

1. بررسی مشکلات مربوط به کیفیت محتوا 

ربات های گوگل طبق دستورالعمل های خاصی در صفحات وب می خزن و زمانی که کیفیت URLها به آستانه این دستورالعمل ها نزدیک نشده باشن، خیلی راحت اونها رو کنار می ذارن. 

جان مولر در یکی از صحبت‌هاش گفته خطای Discovered – currently not indexed در سرچ کنسول فقط محدود به صفحاتی که با این وضعیت علامت گذاری شدن نمیشه؛ ممکنه یک سری از صفحات سایت به عنوان نماینده ای از کل محتوای سایت این خطا رو دریافت کنن. پس ممکنه حتی به خاطر پایین بودن کیفیت کلی محتوای سایت هم این خطا رو ببینید. 😕

اول اینکه لازم نیست تمام صفحات سایت رو ایندکس کنید؛ مثلا مقالات خبری قدیمی، صفحات حاصل از جستجوی کاربر در سایت، صفحات حاصل از فعال کردن فیلترها، محتواهای تکراری، محتوای تولید شده توسط کاربرها مثل کامنت ها و... باید با فایل robots.txt مسدود بشن چون محتوای باکیفیتی محسوب نمیشن و بودجه خزش رو هدر میدن. 

بعد هم اینکه برای حل مشکل ایندکس در این شرایط باید محتوای صفحات رو به دقت بررسی کنید و ببینید آیا هدف کاربر از جستجو (search intent) رو برطرف می کنه یا نه.

برای اینکه بهترین محتواها رو با توجه به صفحات برتر SERP داشته باشید، می تونید از میزفا تولز کمک بگیرید. در ابزار ردیاب کلمات میزفا تولز می تونید کلمات کلیدی که صفحات سایت رو براشون سئو کردید اضافه کنید. بعد همه چیز رو بسپرید به میزفا تولز تا با توجه به رقبایی که وارد کردید، برترین های SERP رو بهتون نشون بده. 

در این ابزار 2 بخش مهم توی جدول هست. «ویژگی نتایج» بهتون میگه بهترین صفحات دنیای وب، از چه المان هایی استفاده کردن و با ضربه روی آیکن گوگل در بخش «عملیات»، برترین نتایج رو برای یک کلمه کلیدی در SERP می بینید. با بررسی محتواهای برتر، می تونید کیفیت محتوا رو بر اساس search intent بهبود بدید.

2. بررسی مشکلات مربوط به ساختار لینک سازی ها

ربات های گوگل لینک های داخلی رو دنبال می کنن تا URLهای مختلف رو کشف و کراول کنن و ارتباط بین اونها رو پیدا کنن. لینک سازی ها به ربات های گوگل سیگنال میدن که کدوم صفحه از سایت اهمیت زیادی داره و لازمه ایندکس بشه. 

اگه سایت شما هزارتا صفحه داشته باشه که همه رو در سایت مپ وارد کرده باشید اما در هیچ صفحه ای از لینک سازی استفاده نکرده باشید، ربات های گوگل نمی تونن بفهمن صفحات سایت چقدر اهمیت دارن و اصلا کدوم صفحات اولویت ایندکس دارن. 

برای رفع ارور Discovered – currently not indexed در سرچ کنسول باید ساختار لینک سازی ها رو بررسی کنید و ببینید آیا سلسله مراتب منطقی رو رعایت کردید و لینک سازی های داخلی با معماری سایت همخونی دارن یا نه. ⚠

3. مشکلات مربوط به بودجه خزش

معمولا علت خطای Discovered currently not indexed در وب سایت های بزرگ، بودجه خزش هست. ربات های گوگل با توجه به قابلیت های سایت شما، در مدت زمان مشخص، فقط تعداد مشخصی از URLها رو کراول می کنن. اگه بودجه خزش سایت رو هدر داده باشید، صفحات زیادی با این پیغام در سرچ کنسول لیست میشن. 

عواملی که باعث هدررفت بودجه خزش میشن زیادن که مهم ترین اونها رو در زیر آوردیم:

• محتوای بی کیفیت
• نداشتن سایت مپ تمیز
• ساختار ضعیف در لینک سازی (صفحات مهم سایت لینک داخلی ندارن)
• اشتباهات رایج در ریدایرکت صفحات
• صفحات 404 
• مشکل از سمت سرور (خطاهای کد 5xx) یا آپتایم پایین سرور
• سایت هایی با فایل های جاوا اسکریپت و CSS سنگین 
• ایندکس URLهای غیر ضروری سایت

4. حل مشکل ایندکس سایت های جدید 

پیغام Discovered currently not indexed در سرچ کنسول برای سایت هایی که جدیدا تاسیس شدن یه کابوس تموم نشدنیه! به خصوص اگه سایت تازه تاسیس شما محتوای زیادی داشته باشه، باید بیشتر صبر کنید تا ربات های گوگل به سایت اعتماد کنن. 😐

معمولا راه حل سریعی وجود نداره که ربات های گوگل رو مجبور به ایندکس صفحات کنید؛ اما مواردی که بالاتر گفتیم (به خصوص ساختار درست لینک سازی های داخلی و محتوای باکیفیت) می تونه زمان صبر شما رو کوتاه تر کنه. 

حواستون باشه اگه سایت تازه تاسیسی دارید، صفحات رو بدون محتوا منتشر نکنید. مثلا اگه قراره محصولی رو بعدا اضافه کنید و الان هیچ اطلاعاتی ازش ندارید، ساخت صفحه برای این نوع محصولات شما رو به دردسر میندازه. 

علاوه بر این در ماه های اولیه تاسیس سایت، بیش از اندازه محتوا تولید نکنید، چون ممکنه ربات های گوگل تصور کنن محتوای شما ارزش خزیدن نداره و شما باید ثابت کنید که شایسته رتبه گرفتن هستید. 😥