الزحف Crawling عند محركات البحث

في هذه المحاضرة، سأشرح لكم عملية الزحف أو الـ "Crawling" لمحركات البحث. تعتبر الزحف الخطوة الأولى لمحرك جوجل في البحث عن صفحات الويب وفهرستها. ونظراً لعدم وجود سجل مركزي لجميع صفحات الويب، يتعين على جوجل البحث باستمرار عن صفحات جديدة ومحدثة وإضافتها إلى قائمة الصفحات المعروفة لديه. يشار إلى هذه العملية بـ "URL discovery". يتم اكتشاف بعض الصفحات لأن جوجل قد زارها بالفعل. وتتم اكتشاف صفحات أخرى عندما يتبع جوجل رابطًا من صفحة معروفة إلى صفحة جديدة، على سبيل المثال، صفحة مركزية، مثل صفحة الفئة، تربط بمنشور جديد في المدونة. ويتم اكتشاف صفحات أخرى عندما تُرسَل قائمة بالصفحات (خريطة الموقع) لجوجل للزحف. بمجرد اكتشاف جوجل لرابط صفحة، يمكنه زيارتها لمعرفة محتواها. يستخدم جوجل مجموعة كبيرة من الحواسيب لزيارة مليارات الصفحات على الويب. البرنامج الذي يقوم بجلب المحتوى هو ما يسمى بـ Googlebot (ويُعرف أيضًا باسم crawler أو robot أو bot أو spider). يستخدم Googlebot عملية خوارزمية لتحديد المواقع التي يجب زيارتها وكم مرة وعدد الصفحات التي يجب جلبها من كل موقع. كما تم برمجة زواحف جوجل بحيث يحاولون عدم زحف الموقع بسرعة كبيرة لتجنب تحميله بشكل زائد. ويعتمد هذا الآلية على ردود الفعل من الموقع. كما توجد إعدادات في وحدة التحكم في البحث تؤثر على عملية الزحف. ومع ذلك، لا يزحف Googlebot جميع الصفحات التي يكتشفها. فقد تمنع مالك الموقع زحف بعض الصفحات، كما قد لا يكون بعض الصفحات متاحة إلا بعد تسجيل الدخول إلى الموقع. أثناء الزحف، يقوم جوجل بتقديم الصفحة وتشغيل أي جافا سكريبت يجدها باستخدام إصدار حديث من متصفح كروم، على غرار كيفية عرض الصفحات التي تزورها. ويعتبر التقديم أمرًا هامًا لأن المواقع غالبًا ما تعتمد على جافا سكريبت لإضافة محتوى إلى الصفحة، ودون التقديم، قد لا يرى جوجل هذا المحتوى. تعتمد عملية الزحف على ما إذا كانت زواحف جوجل يمكنها الوصول إلى الموقع. وتشمل المشاكل الشائعة التي يواجهها Googlebot عند الوصول إلى المواقع: مشاكل في التعامل مع خادم الموقع. مشاكل في الشبكة. قواعد robots.txt تمنع Googlebot من الوصول إلى الصفحة. لا تتردد في مشاهدة هذه المحاضرة الشيقة والمفيدة حول عملية الزحف والتي ستفتح أبواب المعرفة لك حول كيفية عمل محركات البحث.