خدمات البحث الرئيسية
على الرغم من أنه من نافلة القول أن معظم المواقع سترغب في التأكد من أن محركات البحث الرئيسية تزحف إلى موقع الويب الخاص بك بشكل فعال، إلا أن الروبوتات المزيفة التي تنتحل شخصية محركات البحث الرئيسية شائعة جدًا. لماذا؟ يعرف مجرمو الإنترنت أنك لن ترغب في حظر محركات البحث الرئيسية، ولن تكلف نفسك عناء التحقق من الروبوت للتأكد من شرعيته. والأسوأ من ذلك، أنك تضع في القائمة البيضاء روبوتًا خبيثًا ينتحل شخصية. غالبًا ما تزحف برامج زحف البحث إلى موقعك بالكامل. لدى Bing على وجه الخصوص بصمة ثقيلة جدًا أثناء الزحف. تعتبر مشاهدة الزحف على نطاق واسع سلوكًا «طبيعيًا» من محركات البحث. ومع ذلك، بمجرد إدراجه في القائمة البيضاء، يمكن للروبوت الضار الاختباء في حركة مرور الروبوت المشروعة هذه واستنساخ موقعك بالكامل وإعداد طعم متطور وتبديل هجوم بيانات الاعتماد على قاعدة عملائك. يمكنك الزحف إلى المحتوى أو عنوان IP أو الصور أو الأسعار أو غيرها من البيانات الحساسة تجاريًا وسرقتها مجانًا. التحقق من روبوتات البحث بعيد أيضًا عن البساطة. ينشر Bing بشكل مفيد قائمة عناوين IP التي يمكن استخدامها لمصادقة أصولها. يجب تحديث هذه القائمة باستمرار مع تغير النطاقات بمرور الوقت. في الآونة الأخيرة، قمنا أيضًا بتتبع عناوين IP غير المدرجة في القائمة، والتي تعتبر مع ذلك شرعية. من المحبط جدًا أن Bing لا يستطيع فرز أساسيات التحقق من صحته. يقوم VerifiedVisitors بمصادقة جميع روبوتات محرك البحث الرئيسية، ويضمن أن الروبوت صالح. نحن ننظر إلى المصدر الرقمي، وكذلك إلى سلوك الروبوت الفعلي للتأكد من أن روبوتات محرك البحث التي تم التحقق منها والتي تريدها هي فقط التي تزحف إلى موقعك. يحتوي كل محرك من محركات البحث على أدلة محددة حول كيفية التحقق من وكيل المستخدم وإنشاء الروبوت. على الرغم من أن Bing هو الوحيد الذي فشل حتى الآن في التحقق الخاص به، إلا أن بيانات التحقق تتغير بشكل متكرر، ومن السهل جدًا إدراج ما يشبه الروبوت الشرعي في القائمة البيضاء باستخدام أدوات التزاوج التلقائي للتحقق من كل زاحف لك والتحقق منه. يمنحك استخدام VerifiedVisitors أيضًا معلومات مفصلة عن كل محرك بحث ونشاط الزحف. يمكنك استخدام لوحة محرك البحث للاطلاع على آخر التواريخ التي تم الزحف إليها والطلبات التي تم إجراؤها وحجم الزحف، مما قد يكون مفيدًا لمعرفة عدد مرات فهرسة موقعك.
المورّد
خدمة البوت
توصية
وصف
ياهو
ياهو! سلورب
يوصى به
لا ينصح به
Slurp هو روبوت Yahoo Search للزحف إلى معلومات صفحة الويب وفهرستها لبحث Yahoo، ولكنه يُستخدم أيضًا عبر نتائج Yahoo Mobile Search. بالإضافة إلى ذلك، يقوم Slurp بما يلي: يجمع المحتوى من مواقع الشركاء لإدراجه في مواقع مثل Yahoo News و Yahoo Finance و Yahoo Sports. يصل Slurp إلى صفحات من مواقع عبر الويب لتأكيد الدقة وتحسين محتوى Yahoo المخصص لمستخدمي Yahoo. تم تصميم Slurp لتقديم طلبات معقولة لا تثقل كاهل مواقع الويب، ومع ذلك، يمكن لمشرفي المواقع استخدام أدوات مشرفي المواقع في Yahoo لتقييد الصفحات التي يزحف إليها Slurp من خلال عدم السماح بالزحف إلى أدلة فرعية معينة، أو عن طريق إبطاء معدل زحف Slurp باستخدام تأخير الزحف.
بنج
إم إس إن بوت
يوصى به
لا ينصح به
Bingbot هو زاحف Bing القياسي ويتعامل مع معظم احتياجات الزحف للخدمة. يستخدم Bingbot سلسلتين مختلفتين من وكلاء المستخدم، وهذه السلسلة عبارة عن زاحف قديم شهد VerifiedWhitelist مواقع نشطة وزائرة.
جوجل
جوجلبوت
يوصى به
لا ينصح به
بالنسبة لمعظم المواقع، يجب ألا يصل Googlebot إلى موقعك أكثر من مرة كل بضع ثوانٍ في المتوسط. ومع ذلك، بسبب التأخير، من الممكن أن يبدو السعر أعلى قليلاً خلال فترات قصيرة. تم تصميم Googlebot ليتم تشغيله في وقت واحد عبر آلاف الأجهزة من أجل قابلية التوسع. أيضًا، لتقليل استخدام النطاق الترددي، تقوم Google بتشغيل العديد من برامج الزحف على الأجهزة الموجودة بالقرب من المواقع التي قد تزحف إليها. لذلك، قد تعرض سجلاتك زيارات من عدة أجهزة على google.com، وكل ذلك باستخدام وكيل المستخدم Googlebot. يستخدم VerifiedVisitors المصادقة متعددة العوامل للتأكد من أن وكلاء Googlebot الحقيقيين فقط يزحفون إلى موقعك.
جوجل
غوغل ستوريبوت
يوصى به
لا ينصح به
هذا هو وكيل الجوّال لزاحف Google Shopping. إذا كنت تبيع منتجات عبر الإنترنت، فستحتاج إلى السماح بهذا الزاحف
جوجل
أداة فحص جوجل
يوصى به
لا ينصح به
هذا هو إصدار سطح المكتب من Google-InspectionTool الذي تستخدمه أدوات اختبار البحث مثل اختبار النتائج المنسّقة وفحص عنوان URL في Search Console. وبصرف النظر عن وكيل المستخدم والرمز المميز لوكيل المستخدم، فإنه يحاكي Googlebot. توفر أداة فحص عنوان URL معلومات حول النسخة المفهرسة من Google لصفحة معينة، وتسمح لك أيضًا باختبار ما إذا كان عنوان URL قابلاً للفهرسة. تتضمن المعلومات تفاصيل حول البيانات المنظَّمة والفيديو وAMP المرتبط والفهرسة/قابلية الفهرسة.
جوجل
فافيكون
يوصى به
لا ينصح به
يقوم هذا الروبوت من Google بإنشاء رمز اختصارات لخدمات Google المختلفة.
بنج
معاينة بنج
يوصى به
لا ينصح به
يتم استخدام بوت BingPreview لإنشاء لقطات الصفحة. لاحظ أن BingPreview يحتوي على متغيرات «سطح المكتب» و «الهاتف المحمول».
بنج
بينغبوت
يوصى به
لا ينصح به
Bingbot هو برنامج الزحف القياسي الخاص بهم ويتعامل مع معظم احتياجات الزحف كل يوم. يستخدم Bingbot سلسلتين مختلفتين من وكلاء المستخدم والتي تتضمن العديد من متغيرات الأجهزة المحمولة التي يمكن من خلالها الزحف إلى الويب للجوال.
تفاحة
أبليبوت
يوصى به
لا ينصح به
Apple Bot هو زاحف الويب الذي تستخدمه منتجات Apple مثل اقتراحات Siri و Spotlight. يحترم ملف robots.txt
