علت خطای Submitted URL seems to be a Soft 404 در سرچ کنسول و راه رفع آن

خطای Submitted URL seems to be a Soft 404 در سرچ کنسول و گزارش Pages، یکی از خطاهای گیج کننده و عجیب و غریب محسوب میشه و خیلی ها نمی دونن اصلا 404 نرم چی هست و چرا سرچ کنسول این خطا رو موقع خزش بعضی از URLها میده. توی این بخش از آموزش سرچ کنسول اول از همه با معنی Soft 404 آشنا میشیم؛ بعد میریم سراغ دلایل ایجاد این ارور و راه رفع اون. پس همراه ما باشید.

خطای Soft 404 یا 404 نرم چیست؟

اول از همه باید بدونید که Soft 404 کدی نیست که از سمت سرور برگشته باشه؛ همچین کدی توی کدهایی که از سمت HTTP برمی گردن، وجود نداره. خطای نرم 404 در واقع برچسب یا لیبلی هست که خود گوگل روی بعضی از صفحات می زنه. 

چرا این برچسب رو می زنه؟! 🤨

ربات های گوگل شروع به خزیدن URLهایی می کنن که از نظرشون معتبر نیست؛ توقع دارن به جای کد HTTP 200 که نشون دهنده سلامت صفحه هست، یکی از کدهای 404 یا 401 رو دریافت کنن. اما سرور دقیقا کد 200 رو بر می گردونه. اینجا جاییه که گوگل با خودش میگه این صفحه یه جاش می لنگه و بوی 404 میده؛ پس بهش میگیم Soft 404 تا مدیر سایت مشکل رو برطرف کنه. 😁

پس هر وقت از نظر ربات های گوگل وضعیت صفحه 404 باشه، اما سرور وضعیت سلامت (کد 200) رو برگردونه، برچسب Soft 404 روی اون URL می خوره. 

اما چرا این خطا اتفاق می افته؟! در ادامه بررسی می کنیم. 

علت خطای Submitted URL seems to be a Soft 404 در سرچ کنسول چیست؟

ارور Soft 404 در سرچ کنسول می تونه دلایل مختلفی داشته باشه. این خطا یکی از رایج ترین خطاها در لیست ارور سرچ کنسول هست و معمولا پیدا کردن دلیل و منشا این ارور ساده نیست. در ادامه دلایل احتمالی که باعث شده خطای Soft 404 رو در جدول بخش Pages سرچ کنسول ببینید با هم یکی یک بررسی می کنیم.

1. یک صفحه 404 به اشتباه کد 200 بر می گردونه

گاهی اوقات ممکنه مشکل از پیکربندی سرور باشه و شما خودتون یک صفحه رو حذف کرده باشید؛ اما سرور همچنان کد 200 رو به عنوان وضعیت OK برگردونه.

2. صفحه به یک صفحه دیگه هدایت میشه (ریدایرکت) اما صفحه دوم به اندازه کافی مرتبط نیست

صفحه ای که این خطا رو گرفته به یک صفحه غیر مرتبط ریدایرکت یا هدایت شده. معمولا توی سایت های فروشگاهی وقتی تولید محصولی متوقف شده اما URL اون محصول رو روی صفحه اصلی یا صفحه دسته بندی محصولات ریدایرکت کرده باشید، این خطا رو می بینید. 

3. صفحه بدون محتواست یا محتوای کمی داره

رایج ترین علت خطای Soft 404 در سرچ کنسول اینه که صفحه محتوایی نداره یا محتوای خیلی کمی داره؛ به همین دلیل ربات های گوگل انتظار دارن کد 404 برگرده.

مثلا صفحات خالی نتایج در سایت، صفحات خالی دسته بندی ها یا جزئیات محصول، صفحات خالی دسته بندی بلاگ و موارد مشابه ممکنه چون محتوای کمی دارن، به عنوان صفحه نرم 404 شناسایی بشن. 😕

4. محتوای صفحه عبارتی شبیه به صفحات کد 404 داره

گاهی اوقات حتی صفحاتی که عبارات مشابه پیغام صفحات 404 دارن، به عنوان Soft 404 دسته بندی میشن. مثلا اگه گوگل به صفحه ای برسه که عبارات زیر رو برای اونها استفاده کردید، تصور می کنه به یک صفحه 404 رسیده:

• دیگر در انبار موجود نیست. 
• در حال حاضر در دسترس نیست. 
• محصول وجود ندارد. 

5. ممکنه به طور تصادفی دسترسی ربات های گوگل رو بسته باشید

ارور Soft 404 ممکنه به این خاطر هم ایجاد شده باشه که شما به صورت تصادفی دسترسی ربات های گوگل به فایل های CSS و JavaScript رو مسدود کردید و وقتی ربات ها به URL می رسن تصور می کنن صفحه خالیه. 

6. ممکنه یک مشکل موقت از ربات های گوگل باشه

در نهایت اینم باید بدونید که ارور Submitted URL seems to be a Soft 404 همیشه هم درست نیست؛ گاهی ممکنه ربات های گوگل به URL شما رسیده باشن اما به یه دلیلی نتونسته باشن منابع صفحه (یعنی فایل های CSS و JS) رو دانلود کنن. در نتیجه به اشتباه در اون زمان خاص که خزش انجام شده، صفحه رو به عنوان Soft 404 برچسب می زنن. 😑

راه رفع خطای Soft 404 در سرچ کنسول چیست؟

حالا که با دلایل احتمالی این خطا آشنا شدیم، وقت برطرف کردن اونه. برای این که مشکل رو رفع کنیم، اول باید ببینیم کدوم یکی از دلایل بالا باعث ایجاد خطا شده. بعد که فهمیدید به سراغ راهکارهای زیر برید. 

1. تنظیمات وب سرور رو بررسی کنید

اگه صفحه ای رو حذف کردید و سرور همچنان کد 200 رو بر می گردونه اول مطمئن بشید که URL، دیگه در فایل سایت مپ نیست. اگه همچنان این مشکل وجود داشته باشه به خاطر مشکل در پیکربندی سروره که باید با خدمات مربوط به سرور سایت تماس بگیرید و بخواید این مشکل رو برطرف کنن. 

2. تغییر مسیر و ریدایرکت ها رو بررسی کنید

تمام تغییر مسیرهای مربوط به URLهایی که این خطا رو گرفتن بررسی کنید و اگه لازمه اونها رو به روز رسانی کنید. صفحات باید به URLهای معتبر و مرتبط هدایت شده باشن. اگه لازمه با استفاده از کد 301، صفحه دارای خطا رو به یک صفحه معتبر دیگه ریدایرکت کنید. 

برای ایجاد ریدایرکت هم می تونید به صورت دستی این کار رو با استفاده از فایل htaccess در هاست انجام بدید؛ هم اینکه از افزونه های سئو مثل یوآست یا رنک مث استفاده کنید. ✅

3. صفحات خالی رو noindex کنید

یکسری از صفحات هستن که ارزش چندانی برای ایندکس شدن ندارن. مثلا آرشیوهای مربوط به بلاگ یا صفحاتی که با یک تگ برچسب گذاری شدن یا حتی صفحات خالی مربوط به برچسب ها. معمولا این صفحات چون محتوای کمی دارن از نظر ربات های گوگل Soft 404 هستن. 

برای رفع خطای Submitted URL seems to be a Soft 404 در سرچ کنسول در این شرایط اول اینکه این صفحات رو در نقشه سایت خودتون ارسال نکنید. در وهله دوم این صفحات رو با تگ نو ایندکس منتشر کنید تا این خطا برطرف بشه. 

برای اضافه کردن تگ noindex که جلوی خزش ربات های گوگل رو می گیره، می تونید از افزونه های سئو مثل یوآست یا رنک مث استفاده کنید. علاوه بر این با اضافه کردن کد زیر به صورت دستی در هدر صفحه هم از خزش ربات ها جلوگیری می کنید:

<meta name="robots" content="noindex,follow"/>

4. صفحاتی که محتوای کمی دارن رو بهینه کنید

خیلی اوقات صفحاتی که محتوای کمی دارن به عنوان Soft 404 شناسایی میشن. اگه صفحه شما هم به این دلیل این خطا رو دریافت کرده باید محتوای صفحه رو بهبود بدید و سعی کنید حداقل چند صد کلمه در صفحه وجود داشته باشه. 

علاوه بر این حواستون باشه عباراتی که توی صفحه به خصوص صفحه محصول به کار می برید، شبیه به پیغام کد 404 نباشه تا گوگل این صفحات رو با صفحات 404 اشتباه نگیره.

بعد از اینکه محتوا رو بهینه کردید، از طریق ابزار URL Inspection درخواست ایندکس مجدد (Request Indexing) بدید تا خطا برطرف بشه.

5. دسترسی ربات های گوگل به صفحه رو بررسی کنید

گاهی اوقات ممکنه به دلیل مسدود کردن دسترسی ربات های گوگل به URL هم این خطا رو ببینید. پس حتما فایل robots.txt رو هم چک کنید تا مطمئن بشید به اشتباه دسترسی ربات های گوگل بسته نشده. 

6. ببینید اصلا خطای Soft 404 گوگل واقعیه یا نه!

اگه یادتون باشه گفتیم ممکنه خطای Submitted URL seems to be a Soft 404 در سرچ کنسول به اشتباه برای صفحات اعلام بشه. مثلا توی یک زمان خاصی که ربات های گوگل به صفحه رسیدن نتونستن منابع صفحه رو دانلود کنن و الکی اعلام کردن که هیچی توی صفحه نبوده و خطای نرم 404 داره! 😒

اگه هیچ کدوم از دلایل بالا باعث ایجاد این خطا نشده بود، روی عبارت Soft 404 در جدول گزارش Pages سرچ کنسول کلیک کنید تا صفحاتی که این خطا رو دارن ببینید. صفحات رو که چک کردید و دیدید مشکلی نیست، روی دکمه طوسی رنگ Validate Fix کلیک کنید تا ربات های گوگل دوباره URL رو بخزن و کد وضعیت تغییر کنه. 

تغییر این خطا در گزارش سرچ کنسول ممکنه چند روز زمان ببره؛ اما نتیجه از طریق ایمیلی که باهاش در سرچ کنسول ثبت نام کردید بهتون اطلاع داده میشه. 😊

خطاهای واقعی Soft 404 رو پیدا کن!

توی این بخش که ارور Soft 404 سرچ کنسول رو شناختیم، فهمیدیم پیدا کردن دلیل اصلی این خطا در سرچ کنسول ساده نیست، چون احتمالات زیادی می تونه منجر به این خطا بشه. از طرفی ابزار URL Inspection هم برای صفحاتی که این خطا رو گرفتن کمک زیادی بهمون نمی کنه. برای اینکه این خطا رو رفع کنیم باید دقیقا ببینیم سایت چه مشکلی پیدا کرده. پس باید از ابزارهای کمکی یعنی ابزارهای سئو استفاده کنیم. 😎

در میزفا تولز ابزار سئو ایرانی، ابزار خزش سایت رو براتون طراحی کردیم. ابزار خزش سایت میزفا تولز می تونه تمام صفحات سایت رو بخزه و مشکلات رو پیدا کنه. این ابزار چندتا خطای سئو که می تونه دلیل Soft 404 باشه رو شناسایی می کنه:

• خطاهای 4xx
• فایل CSS و JS با حجم بالا 
• تصاویر با حجم بالا 
• ریدایرکت 3xx
• صفحه با منابع بالا

میزفا تولز 8 ابزار جامع سئو داره که همگی در قالب یک ابزار کلی در اختیارتون قرار می گیره. پس به جز پیدا کردن خطاهای سئو، می تونید کلی کار دیگه هم با میزفا تولز انجام بدید. چه کاری؟! 🤔 توی سایت ثبت نام کنید و در فرصت 7 روز استفاده رایگان، با تمام بخش های میزفا تولز آشنا بشید. 😉