نحوه کار موتورهای جستجو

يک موتور جستجو به ترتيب عمليات زير را انجام می دهد:

1. Web crawling
2. Indexing
3. Searching

مجموعه هماهنگی از برنامه ها عمليات فوق را روی اينترنت عهده دار هستند.

Crawler يا Spider که يک مرورگر خودکار وب است لينک های درون سايت های وب را دنبال می کند. ابتدا به نماينده صفحه روی وب سايت هائی که می خواهند قابل جستجو باشند می رود و آنها را می خواند، با استفاده از لينک های روی صفحه صفحات ديگر آن سايت را کشف و دنبال می کند.

اطلاعات بازيابی شده درباره صفحات وب در يک پايگاه داده ايندکسی برای استفاده در پرس و جوهای آتی ذخيره می شود. برنامه ای که Catalog ناميده می شود ايندکس بزرگی از صفحاتی که خوانده شده را می سازد. هدف ايندکس سرعت بخشيدن در عمليات جستجوی اطلاعات تا حد ممکن است.

وقتی کاربر درخواست جستجوی خود را، معمولا توسط کلمات کليدی، در يک موتور جستجو وارد می کند ايندکس بررسی شده ليستی از صفحات وب که بهترين تطبيق را دارند همراه با خلاصه ای شامل عنوان مستند و بخش هائی از متن تهيه و عرضه می شود.

سودمندی موتور جستجو بستگی به مرتبط بودن مجموعه نتايجی است که می دهد. ميليون ها صفحه وب که شامل عبارت مورد نظر شماست در وب وجود دارد، بعضی ممکن است مرتبط تر و محبوب تر و قابل اطمينان تر از بقيه باشند. اکثر موتورهای جستجو از جمله گوگل روش رتبه بندی نتايج را برای پيدا کردن بهترين تطبيق استفاده می کنند. رتبه صفحه (page rank) در اصل امتيازی است که گوگل برای هر صفحه وب قائل مي شود. بنابراين سايت هايي که رتبه بالاتری می گيرند در رده‌های بالاتر ليست نتايج مي‌آيند. در ساده ترين حالت رتبه صفحه بر اساس تعداد تکرار کلملات جستجو در صفحه وب محاسبه می شود.