الموت إلى Robots.txt

ولدت Robots.txt في 3 يوليو 1994 في حياة الخدمة المتفانية، خلال فترة من التغيير الاجتماعي الهائل على الإنترنت.

أدرك والد Robots.txts، مارتين كوستر، في عام 1994 أن الروبوتات ليست جيدة أو سيئة - فهي ببساطة لن تختفي. احتاجت الإنترنت إلى طريقة لإدارتها لتجنب المشاكل التشغيلية والحزن لمشرفي المواقع حيث غمرت الروبوتات الطلبات إلى خوادم الويب وتسببت في تعطلها.

في عام 1994، كانت Robots.txt طريقة بسيطة لكنها قوية لإدارة برامج الزحف، ومع ذلك فقد استغل المتسللون البيانات الموجودة في robots.txt نفسها منذ فترة طويلة للعثور على نقاط الضعف وتجاوز الأمان. يستخدم المخترقون ملف robots.txt كخريطة سهلة الاستخدام لموقع الويب الخاص بك لاكتشاف المسارات الرئيسية التي تريد حمايتها بنشاط، ومنحهم البيانات لانتحال شخصية الروبوتات الشرعية التي تسمح بها، ثم الزحف بشكل منهجي إلى موقع الويب الخاص بك بالكامل.

ولكن في عام 2023 هناك طريقة أفضل.

يسمح VerifiedVisitors لمشرفي المواقع بإدارة جميع زيارات الروبوتات تلقائيًا من خلال خدمتنا القائمة على التعلم الآلي. نقرأ ونفرض بالفعل القواعد التي وضعتها في robots.txt والتي تتجاهلها الروبوتات التي يحتمل أن تكون ضارة. كل ذلك مؤتمت باستخدام مسح CISO الافتراضي الخاص بنا.

اكتشف المزيد من خلال موقعنا نسخة تجريبية مجانية هنا.