موتور جستجو چگونه کار می کنند؟

موتورهای جستجو چگونه کار می کنند؟

واقعا موتورهای جستجو چطور کار میکنن؟🤔

میلیاردها وب‌سایت‌ با محتوای زیادی در اینترنت وجود دارن که موتورهای جستجو باید از قانون و فاکتورهایی (الگوریتم) استفاده کنن تا از این طریق بتونن میلیون ها، گاهی اوقات میلیاردها  صفحه بررسی (کراول) کنن و محتوای نوشته شده در سایت ها رو کشف، درک و سازماندهی کنن و جواب مورد نظر کاربر رو در اختیارش قرار بدن.

مثل دکتر داروخونه ای که وقتی نسخه ای بیمار بهش میده با اطلاعاتی که از داروها و مکان داروها در قفسه‌ها داره خیلی سریع بهترین دارو رو به بیمار تحویل میده. این دکتر داروساز با بررسی و دقتی که از قبل داشته به همه چیز آگاهی پیدا کرد جای داروها رو هم میدونه و در کمترین زمان نسخه بیمار رو آماده میکنه. حالا اینجا دکتر داروخونه مثل گوگل کار میکنه.

اغراق نیست اگر بگم ما به نقطه ای رسیدیم، تقریبا برای هر کاری به موتورهای جستجو وابسته هستیم. و دلیلش اینه موتورهای جستجو برای همه سوالهای ما جواب دارن.

وقتی سوالی در موتور جستجو تایپ  و روی جستجو کلیک میکنیم چه اتفاقی میافته؟موتورهای جستجو چطور کار میکنن و چطور تصمیم می گیرن چه چیزی را به چه ترتیبی در نتیجه سوال نشون بدن ؟

بله موتور جستجو برای اینکه در کمترین زمان ممکن جواب مناسب با سوال رو پیدا کنه باید یه سری اطلاعات در کتابخونش داشته باشه برای همین باید از 3 مرحله بگذره تا بتونه صفحه های که مرتبط با جواب سوال هستن رو نشون بده.

شما این مقاله رو دارید از سایت میزفا تولز میخونید. میزفا تولز یک ابزار سئو هست که به شما کمک میکنه تا بتونید از نتایج گوگل سایت خودتون رو به رتبه‌های بالاتر هدایت کنید.

3 مرحله از عملکرد اصلی موتورهای جستجو

• کروال کردن(Crawling): جستجوی لینک ها و سایت ها توسط ربات های خزنده
• ایندکس کردن (Indexing): ذخیره و سازماندهی اطلاعاتی که توسط ربات ها در صفحات کروال میشن.
• رتبه بندی کردن(Ranking): نشان دادن بهترین و مرتبط ترین نتیجه ی جستجو در رتبه بالاتر صفحه اول موتورجستجو

Crawling کراولینگ موتور جستجو چیست؟

کراول کردن یه فرآیندی هست که موتورهای جستجو (معروف به خزنده یا عنکبوت) رو از صفحه ای به صفحه دیگه برای پیداکردن محتواهای جدید (عکس ، ویدئو، صوت ، فایل pdf و ...) صورت میگیره

کراول کننده ها هر اطلاعی که در سایت خاص در هر زمانی دریافت کنن به طور سیستماتیک و دوره ای آن صفحات وب رو مرور میکنن تا بدونن هر صفحه وب سایت در مورد چیه و همیشه اطلاعات به روزی از صفحات داشته باشن. یعنی اگه محتوای سایتی تغییر کنه اون تغییرات هم امکان جستجو پیدا میکنن.

آیا خزنده ها همیشه سایت رو کراول میکنند؟

تقریبا بله مگر مشکلاتی پیش میاد (به مشکلات سئو معروف هست). اصولا مشکلات کراول کردن به سایت مربوط میشه تا ربات خزنده موتورهای جستجو. مشکلات زیر میتونه باعث از کار افتادن کار خزنده ها بشه:

• صاحب سایت، ایندکس کردن و یا کراول کردن با استفاده از فایل robots.txt را رد میکنه.
• صفحه سایت ممکنه با دستعورالعمل هایی که با کد تعریف میکنه اجازه کرال کردن رو ندن. این دستورالعمل‌ها تگ‌های متا هستن که به خزنده میگه چطور اجازه تعامل با سایت رو داره.
• صاحب سایت آدرس IP خزنده خاص یا «عامل کاربر» را مسدود کرده ست. البته این روش ها معمولا در صرفه جویی پهنای باند برای صاحب وب سایت یا جلوگیری از دسترسی فرآیندهای خزنده مخرب به محتوا استفاده میشه.

برخی از صاحبان سایت به سادگی نمیخوان محتوای آنها قابل جستجو باشه. به عنوان مثال، اگر سایتی برای مخاطبان عمومی در نظر گرفته نشده باشه و یک سایت شخصی باشه شخص این کار را انجام میده.

کراولینگ وب چطور کار میکند؟ (Crawling)

الگوریتم های موتور جستجو دائما در حال تغییر و گسترش هستن از آنجا که تعداد کل صفحات وب نیز به طور دقیق مشخص نیست و در حال افزایشه، کرالینگ وب با لیستی از URL های شناخته شده شروع میشه و با کرال کردن صفحات سایت، لینک ها یا urlهای جدیدی که پیدا میکنن ادامه داره.

آنها را به لیست صفحات وب اضافه تا در مرحله بعدی که محتوای جدیدی وارد سایت میشه سایت رو کرال کنن. با توجه به تعداد زیادی از صفحات وب در اینترنت که برای جستجو فهرست میشن این روند تقریبا به طور نامحدود ادامه داره.🙄

کرال شدن عکس ها و محتوای غیرمتنی

موتورهای جستجو با خواندن کد ایجاد شده با HTML، ASP، PHP و سایر کدها، وب سایتها را کرال میکنن و از انجاییکه ربات های خزنده نمیتونن تصاویر را پردازش و آنها را به محتوا ترجمه کنند. صفحه‌ای که عمدتا از تصاویر تشکیل شده ست برای موتور جستجو خالی نمایش داده میشه. این مشکل مشابه برای صدا نیز وجود دارد.
برای مثال، سایت های گالری تصاویر که میخوان تصاویر خود را به نمایش بزارن این تصاویر و عکسها در موتور جستجو خونده نمیشه، باید به فکر اضافه کردن چند سطر متن توصیفی باشید. این محتوا باعث میشه که موتورهای جستجو بتونن سایت شما را پیدا و کرال کنن و به سایت تصاویر شما رتبه بدن.

ایندکس(index) کردن موتور جستجو چیست ؟

ایندکس شدن صفحه یعنی موتورهای جستجوگر اطلاعاتی که از قبل توسط ربات های خزنده در وبسایتها کرال شدن را تجزیه و تحلیل و سازماندهی میکنه تا در صورت سرچ کاربر پاسخ های مربوط و سریع به جستجوگر بده. این فرایند شبیه ایجاد یک فهرست کارت کتابخانه برای اینترنته به طوری که یک موتور جستجو میدونه در کجای اینترنت اطلاعاتی که من جستجو میکنم برام بیاره.🙂

چرا ممکن است یک صفحه ایندکس نشود؟

صفحاتی که توسط موتور جستجو کرال و ایندکس نشن نمیتونن رتبه بندی بشن. اگر صفحات شما ایندکس نمیشه یا کم ایندکس میشه بدلیل اینه:
• گوگل فکر میکنه صفحات وب سایت شما بی ربط هستن.
• صفحات وب سایت شما به دلیل درخواست غیرمجاز مسدود شدن.
• url های سایت شما توسط robots.txt مسدود شده ست و گوگل نمیتونه صفحات شما را کرال و ایندکس کنه.

7 نکته برای بهبود کرال کردن و ایندکس وبسایت

1. نقشه سایت برای موتور جستجو ارسال کنید

نقشه سایت به موتورهای جستجو لیستی از تمام صفحات سایت شما و همچنین جزئیات بیشتری در مورد سایت، مانند آخرین زمان اصلاح محتوا میده و اینکار باعث توجه دقت بیشتر crswling به این صفحه ها میشه. نقشه سایت را می توان از طریق ابزار وب مستر بینگ به بینگ و همچنین از طریق سرچ کنسول به گوگل ارسال کرد.

2- درخواست ایندکس با سرچ کنسول گوگل

برای ارسال درخواست ایندکس در گوگل اولین مرحله ورود به حساب کاربری سرچ کنسول سایته و افزودن URL صفحات انتخابی در بخش "بازرسی URL" ست. پس از چند ثانیه انتظار Search Consol داده‌های ایندکس را مشخص میکنه و وضعیت  فعلی صفحات موردنظر را نشان می‌دهد. در سمت راست همان صفحه، با کلیک بر روی بخش“درخواست ایندکس”یک درخواست فهرست بندی برای URL های مرتبط ارسال میشه.

3- محتوا را به طور منظم به روز کنید

4- محتوای تکراری را حذف کنید

5- وبلاگ بنویسید

داشتن وبلاگ نه تنها اطلاعاتی را در اختیار کاربران شما قرار میده بلکه محتوایی ایجاد میکنه که میتونه رتبه سئو را افزایش بده داده ها نشان می دهد سایت های دارای وبلاگ به طور متوسط 434٪ صفحات ایندکس شده بیشتری نسبت به سایت های بدون وبلاگ دارند. آنها همچنین 97٪ لینک های فهرست شده بیشتری دریافت میکنن.😳

6- استفاده از تگ های نوفالو( nofollow)

ربات ها به دنبال این هستن تا از طریق لینک های داخل صفحه شما به صفحات دیگر برن و آنها را نیز کرال کنن و شما با اضافه کردن این ویژگی (rel="nofollow") به ربات ها میگین که این لینک ها رو دنبال نکنه و موتور جستجو با دیدن دستور نوفالو(نوفالو یعنی این سایت اسمشو شنیدم ولی خب تایید نمیکنم سایت خوبی باشه یا نه) این لینک را نادیده میگیرن و صفحه شمارو سریعتر کرال و ایندکس میکنه.

7- افزایش سرعت لود شدن صفحه 

اگر سایت شما در بازه زمانی مشخص شده لود نشه ربات ها سایت شما را ترک میکنن بنابراین ایده خوبیه که به طور منظم سرعت صفحه سایت رو ارزیابی کنین و هر کجا که میتونین بهشون بهبود ببخشین. اگر سایت شما کند ست میتونین با ارتقاء سرور یا پلت فرم میزبانی، فعال کردن فشرده سازی، کوچک کردن CSS، جاوا اسکریپت و HTML، حذف یا کاهش تغییر مسیرها سرعت لود را بهبود بدین.

رتبه بندی(رنکینگ Ranking)موتور جستجو چیست ؟

رتبه بندی موتور جستجوی یک وب سایت به صفحه نتیجه موتور جستجو اشاره داره.ممکنه بسته به چیزی که سرچ میشه صفحه های زیادی از نتیجه را نشان بده صفحات وبی که رتبه خوبی دارن به عنوان یکی از چند نتیجه اول در صفحه اول در بالا ظاهر میشن.

صفحات وب مرتبطی که رتبه بندی خوبی ندارند در پایین صفحه اول یا در یکی از صفحات بعدی نتایج جستجو نشان داده میشن. یک نمونه ابزاری که به شما میگه سایتتون چه رتبه ای در موتور جستجو داره ابزار مقیاس در میزفا تولز ست.

الگوریتم موتور جستجو چیست؟

الگوریتم موتور جستجو رعایت مجموعه ای از فرمول هاست تا مرتبط ترین و باکیفیت ترین محتوا را برای کاربر انتخاب کنه. گوگل هر ساله صدها بار این فرمول ها را تغییر میده تا افراد با انجام غیرقانونی این فرمول ها یا سئو کلاه سیاه نتایج نامرتبط با نیاز کاربر را ایندکس و رتبه بندی نکنن. امیدوارم بدونید که سئو چی هست ولی اگر نمیدونید حتما مقاله سئو چیست رو بخونید.

هدف الگوریتم موتور جستجو چیست؟

هدف الگوریتم موتور جستجو ارائه مجموعه جواب های با کیفیت و مربوط به سوالیه که توسط کاربر جستجو میشه تا در سریع ترین زمان ممکن بهترین نتیجه را برای کاربر نشون بده. 
الگوریتم هایی که برای رتبه بندی به جواب سوال کاربر در موتورهای جستجو استفاده میشه متفاوته. به عنوان مثال، صفحه‌ای که برای یک عبارت جستجو در گوگل رتبه بالایی دارد ممکن است برای همان پرس و جو در Bing رتبه بالایی نداشته باشه.

وقتی جستجو انجام میدهید چه اتفاقی می افتد؟

تا حالا به این فکر کردین وقتی چیزیو تو گوگل سرچ میکنین چه اتفاقی میافته ؟ 🤔

من یه پسرخاله 3ساله دارم که فکر میکنه درهای اتوماتیک ماشین جادویی هستن حتی وقتی سقف ماشین به طور اتوماتیک باز میشه شوکه میشه اما چطور میتونیم چیزی مثل درهای اتوماتیک را برای یه بچه 3ساله توضیح بدیم؟ مهم نیست که چطور توضیح میدیم اون خودش فکر میکنه این جادوئه و قراره هر بار اتفاق بیافته.

چیزی که در مورد این موضوع خنده داره اینه که ما بزرگسالام در مورد موتورهای جستجو اینطور فکر میکنیم وقتی چیزی را جستجو می کنیم، هر بار انتظار نتایج عالی رو داریم بدون اینکه در نظر بگیریم که موتورهای جستجو چه تکنولوژی فوق العاده ای هستن.(مثل جادو)😉

نحوه عملکرد موتور جستجو در پشت صحنه جالبه و همه چیز با وارد کردن یک عبارت جستجو در فیلد متنی Google و کلیک کردن بر روی جستجوی Google شروع میشه فرض کنین گوگل به تازگی میلیاردها صفحه وب را فهرست و در پایگاه داده ذخیره کرده شما هربار عبارتی رو جستجو میکنین اتفاقی که میافته اینه:

گوگل عبارتی را که شما وارد کردین میگیره و به پایگاه داده خودش میره و فهرستی از صفحاتی که فکر میکنه مرتبط ترین صفحات به سوال هستن را به صفحه ی جستجوی شما برمیگردونه و این حداقل کار شگفت انگیزی که انجام میده ست.

موتور جستجو چگونه می‌داند چه صفحاتی مرتبط‌تر هستند؟ 

لیستی کوتاه از بعضی عواملی که Google وقتی داره ارتباط صفحات فهرست شده خودشو با جستجوی شما در نظر می گیره بهش توجه میکنه:

• محتوا: گوگل کلمات را دوست داره. هنگامی که صفحه ای را فهرست میکنه، به کلمات موجود در صفحه نگاه و موضوع صفحه را تعیین می کنه.

• تگ عنوان: تگ عنوان محتواییه که در بالای مرورگر خود در برگه مشاهده می کنین. گوگل همچنین به دنبال اینه که ببینه آیا کلمات کلیدی در تگ عنوان شما با کلمات کلیدی جستجوی شده مطابقت داره یا خیر.

• توضیحات: توضیحات بخشی از پاراگراف است که گوگل توجه میکنه آیا کلمات کلیدی مشابهی نیز درتوضیحات وجود دارد یا خیر.

• URL: این آدرس وب صفحه شماست که گوگل به کلمات کلیدی استفاده شده در اینجا نیز نگاه میکند.

• بک لینک ها: بک لینک ها سایر صفحات وب خارج از سایت شما هستن که به صفحه شما لینک میدن. با بک لینک دادن، گوگل به عوامل زیادی مانند: ارتباط لینک با صفحه، میزان محبوبیت آن صفحه.

بک لینک چیه و چه اهمیتی داره ؟

به لینک یک وب سایت در صفحه ی وب سایت دیگر بک لینک گفته میشه و به عنوان لینک های داخلی ، لینک  ورودی یا لینک های یک طرفه نیز شناخته میشن. صفحاتی که تعداد بک لینک بالایی دارند معمولا رتبه بالایی در موتورهای جستجوی پیدا میکنن.
بک لینک یک فاکتور اصلی برای رتبه بندی در موتور جستجوست و مثل رای هایی هستن که از سایر وب سایت های دیگه گرفته میشه. هر یک از این رای ها به موتورهای جستجو میگه: "این محتوا ارزشمند، معتبر و مفید است". بنابراین هرچه تعداد این رای ها بیشتر باشه سایت شما در گوگل و سایر موتورهای جستجو رتبه بالاتری خواهد داشت.

PageRank چیست؟

پیچ رنک یک الگوریتم گوگل است که به نام یکی از بنیانگذاران گوگل، لری پیج نامگذاری شده است و یکی از سیگنال های متعددی که در الگوریتم رتبه بندی بزرگ گوگل استفاده می شود.

پیچ رنک با شمارش تعداد لینک های اشاره شده به یک صفحه ،ارزش نسبی صفحه را محاسبه میکنه. یعنی موتور جستجو برای هر سایت نمره بین اعداد ۰ تا ۱۰ در نظر می‌گیره.

هرچقدر این عدد به 10 نزدیکتر باشه نشان میده که این سایت لینک‌های ورودی زیادی داره و سایت‌های زیادی به این سایت لینک دادن. تنها در کل دنیا چند وب‌سایت با رنک ۱۰ وجود دارن که گوگل، ویکی‌پدیا، فیسبوک از نمونه ای محدود از این وب سایت ها هستن.

سخن اخر

 موتورهای جستجو برنامه های کامپیوتری بسیار پیچیده ای هستن که نحوه کار و تصمیم گیری ساده ای ندارن. ممنون که تا اخر مقاله با ما همراه بودین. امیدواریم این مقاله برای شما مفید بوده باشه🙂