علت خطای Submitted URL marked noindex در سرچ کنسول و راه رفع آن

در گزارش Pages سرچ کنسول که می تونید وضعیت ایندکس شدن صفحات رو ببینید، یکی از پیغام ها خطای Submitted URL marked noindex در سرچ کنسول هست. توی این بخش از آموزش سرچ کنسول می خوایم ببینیم چرا این پیغام ایجاد میشه و برای رفعش باید چیکار کنیم. 

علت خطای Submitted URL marked noindex در سرچ کنسول چیست؟

این پیغام که یکی از مشکلات از لیست خطاهای Pages در سرچ کنسول هست داره میگه شما یک URL رو سابمیت کردید، یعنی از طریق نقشه سایت (Sitemap) برای ایندکس شدن ارسال کردید، اما ربات های گوگل نتونستن اون رو ایندکس شدن، چون URL تگ نو ایندکس داشته. 😔 پس گوگل نمی تونه این صفحات رو ایندکس کنه. 

تگ نو ایندکس noindex ممکنه در متا تگ ها یا هد HTTP استفاده شده باشه و وقتی ربات ها به این تگ می رسن، می فهمن که نباید این صفحه رو ایندکس کنن. 

اما این پیغام همیشه به این معنی نیست که تگ نو ایندکس در کدهای HTML صفحه وجود داشته. پس بیاید ببینیم چرا این خطا به وجود اومده و چیکار باید کنیم. 

راه حل رفع خطای Submitted URL marked noindex در سرچ کنسول چیست؟

اول از همه برای اینکه مطمئن بشید تگ نو ایندکس در کدهای صفحه وجود نداره 2 تا کار رو انجام بدید:

1. مطمئن بشید که URL صفحه رو ز طریق سایت مپ ارسال کردید. 

2. URL رو باز کنید و کش سایت رو پاک کنید یا به صورت ناشناس یا Incognito (زدن 3 کلید Ctrl+Shift+N زمانی که مرورگر کروم بازه) وارد URL بشید. 

بعد کلیک راست کنید و گزینه Inspect رو بزنید و از طریق فیلتر جستجو، تگ noindex رو سرچ کنید تا مطمئن بشید در صفحه به کار نرفته. 

<meta name="robots" content="noindex">

نکته اول: به جای این کار می تونید از ابزار URL Inspection و تست Live URL هم استفاده کنید و بعد از تست با زدن گزینه View Tested Page، کدهای HTML رو بررسی کنید. در ضمن حتما اطلاعاتی که در بخش Page indexing تست آورده میشه رو چک کنید و ببینید Crawl allowed (اجازه خزش) و Indexing allowed (اجازه ایندکس) چه وضعیتی دارن. 

نکته دوم: اگه سایت وردپرسی دارید، حتما از منوی پیشخوان وارد بخش تنظیمات و سپس «خواندن» بشید و مطمئن شید که گزینه زیر تیک نخورده و سایت به موتورهای جستجو نشون داده میشه. 

نکته سوم: افزونه های سئو مثل Yoast (یوآست) و Rank Math (رنک مث) خودشون به صورت اتوماتیک صفحاتی که قابل ایندکس شدن نباشن رو از نقشه سایت حذف می کنن؛ پس ببینید شاید این خطا آشی باشه که این افزونه ها براتون پختن! 😒

معمولا توی تنظیمات افزونه های یوست و رنک مث می تونید تنظیمات مربوط به ایندکس رو پیدا کنید. مثلا در رنک مث، توی بخش عنوان ها و متا می تونید تنظیمات نمایه سازی یا همون ایندکس رو پیدا کنید. 

وقتی همه این موارد رو بررسی کردید 2 حالت داره:

👈 خودتون نمی خواستید صفحه ایندکس بشه و تگ noindex رو اضافه کردید، اما حواستون نبوده و به اشتباه صفحه رو از طریق نقشه سایت ارسال کردید. در این شرایط کافیه اون URL رو از نقشه سایت حذف کنید. 

👈 صفحه به اشتباه تگ نو ایندکس گرفته در حالی که شما برای ایندکس شدن در سایت مپ ارسالش کرده بودید. در این شرایط باید تگ نو ایندکس رو حذف کنید و نقشه سایت رو به روز کنید تا مشکل ایندکس رفع شه. 

اگه هیچ کدوم از اینا نبود چی؟!

گاهی ممکنه علت خطای Submitted URL marked noindex در سرچ کنسول چیزی به جز تگ نو ایندکس در متا تگ باشه. حواستون باشه که این تگ ممکنه در سطح HTTP Header هم تعریف بشه که در سطح وب سرور مدیریت میشه. 

اگه تگ نو ایندکس رو با روش های بالا پیدا نکردید به سراغ هاست و فایل های موجود در روت (ریشه) برید. ممکنه در یکی از فایل های .htaccess یا httpd.conf تگ نو ایندکس موجود در سطح هد HTTP رو پیدا کنید. این تگ معمولا به شکل «X-Robots-Tag: noindex» در این فایل ها وجود داره. 

اگه مشکلات بالا وجود نداشت و باز هم URL رو تست کردید و هنوز ارور Submitted URL marked noindex در سرچ کنسول وجود داشت، موارد زیر رو هم بررسی کنید:

🔸 مطمئن بشید سرور مشکلی نداره.

🔸 آخرین تاریخ خزش صفحه رو بررسی کنید؛ اگه خیلی از تاریخ گذشته احتمالا هنوز ربات های گوگل برای ثبت تغییرات به صفحه سر نزدن. می تونید درخواست ایندکس رو از ابزار URL Inspection ثبت کنید. 

🔸 مطمئن بشید که صفحه برای خزیدن نیاز به رمز نداره و فقط مربوط به کاربران سایت نیست. 

چطور همه صفحات با تگ نو ایندکس رو پیدا کنیم؟!

برای اینکه بتونید این خطا رو رفع کنید، باید بدونید تگ نو ایندکس در چه صفحاتی از سایت به صورت ناخواسته قرار گرفته. وقتی روی ردیف مربوط به این خطا در جدول بخش Pages سرچ کنسول کلیک کنیم، یک سری از صفحات سایت که این خطا رو دارن در اختیارمون قرار می گیره.

اما حواستون باشه این صفحات به عنوان نمونه یا Example هستن و همه صفحاتی که تگ no index دارن در سرچ کنسول جمع آوری نمیشه. 😒

از طرف دیگه برای اینکه این خطا رو رفع و با کلیک روی دکمه Validate Fix خطا، روند اعتبارسنجی رفع خطا شروع بشه، لازمه تمام صفحاتی که این مشکل رو دارن پیدا کنیم و تصحیح کنیم. حالا چجوری همه صفحاتی که ناخواسته تگ no index دارن رو پیدا کنیم؟! 🤔

خوب باید گفت توی این مرحله نباید از سرچ کنسول انتظار داشته باشید؛ پس باید بریم سراغ ابزارهای سئو.

در میزفا تولز ابزار سئو ایرانی، بخشی رو براتون طراحی کردیم که بتونید همه خطاهای سئو سایت رو شناسایی کنید. ابزار خزش سایت میزفا تولز می تونه صفحاتی که تگ نو ایندکس دارن رو براتون پیدا کنه. در ضمن همه صفحاتی که این تگ رو داشته باشن شناسایی و براتون لیست میشه. حالا می تونید راحت تر این خطا رو رفع کنید. 😎

برای آشنایی با ابزار خزش سایت و 7 ابزار دیگه که همگی در قالب یک ابزار جامع در میزفا تولز در اختیارتون هستن کافیه توی سایت ثبت نام کنید. براتون یک فرصت استفاده رایگان 7 روزه در نظر گرفتیم تا به خوبی با بخش های مختلف میزفا تولز آشنا بشید و متناسب با نیازتون، بهترین طرح رو تهیه کنید. 😉