آشنایی با نحوه کار موتورهای جست و جو

جست و جو در گوگل برای افراد زیادی برابر است با استفاده از اینترنت. بیشتر کاربران از موتورهای جست و جو برای یافتن وب سایت های مورد نظر خود استفاده می کنند. شاید بدون استفاده از موتورهای جست و جو دستیابی به محتوای موجود در اینترنت بسیار دشوار یا حتی در بعضی از موارد غیر ممکن شود.
اگرچه افراد بسیاری همه روزه از موتورهای جست و جو استفاده می کنند، اما شاید کمتر کسی از خود در مورد چگونگی کارکرد این ابزار سؤال کرده باشد. در این نوشته قصد داریم در مورد نحوه ی چگونگی کارکرد موتورهای جست و جو توضیح مختصری ارائه دهیم.

گویا آی تی – هر موتور جست و جو در حقیقت سه عملکرد اصلی دارد که عبارتند از: خزش یا حرکت آهسته برای کشف محتوا، ساختن نمایه جهت ردیابی و ذخیره ی محتوا و در نهایت بازیابی برای بارگیری محتوای مورد نظر در موقع استفاده از موتورهای جست و جو.

 

خزش یا حرکت آهسته برای کشف محتوا

این مرحله در حقیقت آغاز کار موتورهای جست و جو است. در این مرحله اطلاعات در مورد یک وب سایت توسط موتور جست و جو کسب می شود. برای این کار موتور جست و جو سایت ها را اسکن نموده و اطلاعاتی مانند کلمات کلیدی، عناوین، تصاویر، صفحات مرتبط و … را گردآوری می کند. هر خزنده ممکن است جزئیات متفاوتی را مورد اسکن و جست و جو قرار دهد. به عنوان مثال توجه به محل قرارگیری آگهی ها، طرح بندی صفحه ها و … .

اما پویش شدن یک وب سایت به چه صورت انجام می گیرد؟

پویش یک وب سایت با استفاده از رباتی خودکار که با عنوان عنکبوت شناخته می شود صورت می گیرد. این ربات از طریق لینک صفحات تمام آن ها را یک به یک مورد بازدید قرار می دهد. ربات عنکبوت حتی در اولین روزها می تواند در یک ثانیه صدها صفحه را بازدید کند. زمانی که خزنده ی وب صفحه ای را بازدید می کند با ذخیره کردن لینک آن صفحه، آن را در لیستی که در دفعات بعد باید مرور کند، قرار می دهد. پس از آن که یک صفحه مطابق با لیست مورد پویش قرار گرفت، صفحه های بعد نیز به همین ترتیب پویش می شوند و لینک آن ها برای بازدید در لیست قرار می گیرد.
علاوه بر این خزنده های وب صفحات گذشته را نیز مورد بررسی قرار می دهند تا ببینند که آیا این صفحات تغییری داشته اند یا خیر.
هر سایتی که دارای لینکی از یک سایت نمایه شده باشد، در نهایت توسط ربات موتور جست و جو پویش می شود. تعداد دفعات پویش در مورد بعضی از سایت ها بیشتر است. این در حالی است که در مورد برخی از دیگر سایت ها به سبب پیچیدگی هایی که دارند، سرعت پویش پایین تر است و حتی ممکن است پیچیدگی بسیار آن سایت باعث شود تا پویش خزنده متوقف گردد.
در صورتی که تجربه ی برنامه نویسی دارید، می توانید با ساختن یک خزنده ی وب بهتر دریابید که چگونه کار می کند.

 

نمایه سازی جهت ردیابی و ذخیره محتوا

زمانی که داده ها پردازش شدند و در یک پایگاه داده جای گرفتند، نمایه سازی آغاز می شود. برای درک بهتر نمایه سازی تصور کنید که فهرستی از همه ی کتاب های خود، به تفکیک نویسندگان، ناشران، دسته بندی موضوعی، تعداد صفحات و …، تهیه کرده اید. گوگل نیز همین کار را انجام می دهد و تمامی داده ها را در پایگاه های داده ذخیره سازی می نماید. در مورد کتاب ها هر پویش، زمانی اتفاق می افتد که شما یک کتاب را در حالی که نمایه سازی کرده اید، به فهرست خود اضافه می کنید.

 

بازیابی و رتبه بندی

هنگامی که موتور جست و جو موضوع مورد نظر شما را مورد پردازش قرار می دهد و صفحات مرتبط با آن موضوع را باز می کند، بازیابی صورت گرفته است. موتورهای جست و جو هر یک روش های بازیابی متفاوتی دارند. هر یک از آن ها معیارهای خاص خود را در انتخاب بهترین صفحه ها در ارتباط با موضوع جست و جو شده، دارند. به همین سبب است که پس از جست و جوی یک موضوع واحد نتایج موتور جست و جوی گوگل با نتایج موتور جست و جوی بینگ تفاوت دارد.
موتورهای جست و جو معمولاً الگوریتم های رتبه بندی خود را مخفی نگاه می دارند. آن ها نمی خواهند که دارندگان صفحات وب ناعادلانه به رتبه های بالا در جست و جوها راه پیدا کنند.
در واقع موتورهای جست و جو بر اساس تعداد کلمات کلیدی مناسب، رتبه بندی خود را انجام می دهند.
در گذشته موتورهای جست و جو فرض می کردند که لینک های مرتبط دلیلی بر محبوبیت یک وب سایت است و در نتیجه سایت ها را با توجه به تعداد لینک های ورودی رتبه بندی می کردند. اما این رویکرد باعث شد در سراسر وب هرزنامه ها به صورت لینک درآیند. در حال حاضر موتورهای جست و جو قدرت لینک را در ارتباط با پیوندهای سایت فرض می کنند. این در حالی است که موتورهای جست و جو برای لینک های سازمان های دولتی ارزش بیشتری نسبت به لینک های دایرکتوری قائل می باشند.
امروزه کیفیت بالای محتوای وب سایت و تجربه های کاربران اساس رتبه بندی موتورهای جست و جو را تشکیل می دهد و به همین سبب سئوی سایت نقشی اساسی در رتبه بندی آن در موتورهای جست و جو دارد.

موتورهای جست و جوی آینده

یکی از موضوعات مطرح در حال حاضر در مورد وب سایت ها و موتورهای جست و جوگر آن ها مفهوم معناشناسی یا معنای محتوای صفحه است. در حال حاضر جست و جوی یک عبارت می تواند نتایج گوناگونی را در اختیار شما قرار دهد که هر یک شاید از نظر معنایی دچار نقص باشند. در آینده جست و جوهای موتورهای جست و جو دقیق تر و جزئی نگرانه تر می شوند. به عنوان مثال زمانی که شما به دنبال دستور پخت کلوچه ی بدون گلوتن هستید، می توانید علاوه بر انتخاب برخی موارد خاص مانند آجیل، آرد و …، جست و جو را به دستورالعمل هایی محدود سازید که به عنوان مثال زمان پختی کمتر از ۳۰ دقیقه دارند.