مصفوفة دقة اكتشاف البوت
كيف يتحقق VerifiedVisitors من عدم الثقة على حافة الشبكة؟ كيف نضمن أننا نتابع التقدم باستمرار إلى مستوى انعدام الثقة؟
يستخدم VerifiedVisitors التعلم الآلي للتحقق من صحة حركة المرور الواردة. في التعلم الآلي، مقياس التحقق الأكثر استخدامًا للتحقق من نتائج النموذج بمرور الوقت هو مصفوفة الارتباك.
مرتبك؟ دعونا نفهم هذا في الرسم التخطيطي البسيط أدناه الذي يوضح كيفية عمل المصفوفة:
لنأخذ نسخة من العملة. نتوقع الرؤوس أو الذيول. تنبؤنا إما صحيح أو خاطئ. لذلك هناك أربعة احتمالات فقط لكل من توقعاتنا مقابل ما حدث بالفعل.
نحن نسمي الرؤوس. والنتيجة هي الرؤوس. إنها إيجابية حقيقية. نسمي الرؤوس، والنتيجة هي ذيول. إنها نتيجة إيجابية كاذبة.
من الواضح أن لدينا بعد ذلك المعكوس الدقيق.
نسمي ذيول، والنتيجة هي ذيول. إنها سلبية حقيقية. نسمي الذيول، إنها الرؤوس. إنها سلبية كاذبة.
إذن، لقد فهمنا الآن مصفوفة الارتباك، كيف ينطبق ذلك على الروبوتات؟
عندما نتوقع النتائج الصحيحة للبشر والروبوتات كما تظهر في السهم الأخضر، فنحن في مكان رائع. بدلاً من إجبار جميع المستخدمين على إجراء عملية مصادقة صارمة، يمر المستخدمون الشرعيون بسلاسة، ونحصل على قوة جذب أفضل، ويكون المستخدمون أكثر سعادة ويتم إيقاف جميع الروبوتات.
دعونا نلقي نظرة على ما يحدث عندما تسوء الأمور، باتباع النتائج الخاطئة بالسهم الأحمر كما هو موضح أعلاه.
النتيجة الإيجابية الكاذبة هي عندما نتوقع أنه روبوت، لكنه في الواقع يثبت أنه إنسان. في هذه الحالة، نحن بالتأكيد نخلق مشكلة لزوارنا من البشر. نحن نتهم عميلًا محتملًا بأنه ليس إنسانًا، وقد نطلب منه إكمال عملية تحقق ثانوية، أو حتى اختبار CAPTCHA.
تتمثل إحدى مشكلات استخدام CAPTCHA كحلقة تغذية مرتدة بالطبع في أن الروبوتات تحل اختبار captcha. أصبحت مزارع CAPTCHA البشرية الآن شائعة جدًا، وقد تم دمجها في عروض «الروبوتات كخدمة».
ومع ذلك، فإن المعدل الإيجابي الكاذب المنخفض جدًا ليس شيئًا تريد التباهي به لسبب رئيسي آخر. إنها تخبرك فقط بنصف القصة، وفي هذه الحالة إنها حقًا قصة بائخة. لماذا؟
إذا نظرنا مرة أخرى إلى مصفوفة الارتباك الخاصة بنا، فإنها السلبيات الكاذبة التي تسبب الضرر الحقيقي. في هذه الحالة، يقول نظامنا أن الزائر إنسان. نحن نثق في هذا الزائر، لكنه حقًا روبوت.
الغالبية العظمى من كشف البوت لا يمتلك البائعون نموذجًا قويًا لمصفوفة الارتباك، لأنهم لا يستخدمون التعلم الآلي في قلب نموذج الكشف الخاص بهم. إنهم لا ينظرون إلى الصورة الكاملة.
عندما نطور نماذجنا، نريد إعطاء الأولوية للكشف عن السلبيات الكاذبة على الإيجابيات الكاذبة. لماذا؟ السبب بسيط، إذا تحدينا نسبة إضافية صغيرة من البشر فإننا لا نخرق ثقتنا الصفرية. عندما نسمي الروبوت على أنه إنسان وننشئ السلبية الكاذبة، نحتاج إلى تجنب ذلك بأي ثمن. تخلق السلبيات الكاذبة المشكلة الحقيقية، حيث أننا انتهكنا مبادئ عدم الثقة، وسمحنا للروبوت بالوصول إلى مساحتنا المحمية.
لنأخذ مثالاً من العالم الحقيقي حتى يكون هذا واضحًا. نتذكر جميعًا اختبارات PCR المخيفة. ما نريد تجنبه هو إخبار الإنسان بأن الاختبار يثبت أنه ليس مصابًا بـ COVID عندما يفعل ذلك. مسلحين بالمعرفة الخاطئة، يمكنهم بالطبع نشر المرض في المجتمع.
النتيجة الإيجابية الكاذبة - عندما يفشلون في اختبار PCR ولكن ليس لديهم COVID تكون آمنة على الأقل للمجتمع، حيث نأمل أن يرغب الأشخاص المسؤولون في العزل والتعافي في المنزل.
كيف ترتبط المعدلات الإيجابية الكاذبة والسلبية الكاذبة؟ لا يوجد نموذج مثالي، وفي الواقع إذا حصلنا على نتيجة مثالية، فعادةً ما تكون علامة على خطأ في ملاءمة النموذج.
ومع ذلك، عادة ما يكون الأمر كذلك إذا أعطيت الأولوية للدقة في منطقة واحدة من المصفوفة، على سبيل المثال الإيجابيات الخاطئة، فسيؤثر ذلك على الدقة في منطقة أخرى. هذه ليست عملية خطية، فهي تختلف تمامًا بين نموذج لآخر ومجموعات البيانات، وهناك الكثير من الأمثلة عندما يكون هذا التعميم غير صحيح. تظل الحقيقة أن التركيز على خفض المعدل الإيجابي الكاذب يعني تسهيل مرور البشر، ولكن هذا بدوره يسهل على الروبوتات. يجب على الروبوتات محاكاة السلوك البشري.
ما هو واضح هو أنه كلما زاد عدد البشر الذين نتحدىهم، كلما حصلنا على المزيد من التصنيفات الصحيحة، كلما تحسن نموذجنا.
عندما نسمي الروبوت على أنه إنسان، لا يخبرنا الروبوت.
يستمر في كونه روبوتًا، ويختبئ في مجموعة البيانات، وقد تم تصنيفه بشكل غير صحيح على أنه إنسان. لدى الزوار الذين تم التحقق منهم نعطي الأولوية للسلبيات الكاذبة، باستخدام فريقنا الأحمر ومعلومات التهديدات لمحاولة كسر نماذجنا باستمرار.
إذن كيف يمكن لعملائنا أن يثقوا بنا؟ هل لدينا أفضل معدل إيجابي كاذب؟ هل لدينا أفضل معدل سلبي كاذب؟
ردنا بسيط للغاية. من فضلك لا تثق بنا.
لدينا نموذج انعدام الثقة لسبب ما.
تتيح ميزات «التشغيل» لعملائنا معرفة الزوار الذين تم حظرهم بالضبط ولماذا، حتى يتمكنوا من التحقق من صحة المعلومات والتحقق منها بشكل مستقل في SOC، أو استخدام SIEM أو أدوات التحليل الأخرى التي قد تكون لديهم.
الأرقام الرئيسية مثل المعدلات الفعالة بنسبة 99.99٪، أو معدلات الإيجابيات الكاذبة بنسبة 0.01٪، لا تعني شيئًا حقًا. فقط لأننا فعالون بنسبة 99.99٪ للجميع كشف البوت عبر جميع العملاء لا معنى له. قد يكون هذا 0.01٪ هو الروبوت الذي يصل حاليًا إلى موقع الويب الخاص بك.
اعتماد نموذج انعدام الثقة، يعني أننا نقدم لعملائنا طريقة منهجية القياس والتحقق حركة البوت. نعرض كلاً من النسب الإيجابية الكاذبة والسلبية الكاذبة في تقاريرنا التي يمكن دمجها في مؤشرات الأداء الرئيسية والتقارير الخاصة بهم.
صورة بواسطة ماركوس سبيسك في أونسبلاش
