ما يسمى بـ “فوضى الذكاء الاصطناعي”، بمعنى الصور ومقاطع الفيديو والنصوص منخفضة الجودة التي تم إنشاؤها بواسطة نماذج اللغة الكبيرة، قد استحوذت على الإنترنت خلال السنوات القليلة الماضية، ملوثة المواقع الإلكترونية ومنصات التواصل الاجتماعي، على الأقل صحيفة واحدة، وحتى الأحداث في العالم الحقيقي.
عالم الأمن السيبراني ليس محصنًا من هذه المشكلة أيضًا. في العام الماضي، أعرب الناس في صناعة الأمن السيبراني عن مخاوفهم بشأن تقارير مكافآت الأخطاء المتعلقة بفوضى الذكاء الاصطناعي، مما يعني تقارير تدعي أنها وجدت ثغرات غير موجودة فعليًا، لأنها تم إنشاؤها بواسطة نموذج لغة كبير قام ببساطة بإنشاء الثغرة، ثم تغليفها في تقرير يبدو احترافيًا.
قال فلاد إيونسكو، المؤسس المشارك ومدير التكنولوجيا في “رانسيبال”، وهي شركة ناشئة تطور أدوات كشف الأخطاء المدعومة بالذكاء الاصطناعي، لموقع “تك كرانش”: “يتلقى الناس تقارير تبدو معقولة، وتبدو صحيحة من الناحية التقنية. ثم ينتهي بك الأمر بالتدقيق فيها، محاولًا معرفة، ‘أين هذه الثغرة؟’”
وأضاف إيونسكو: “تبين أن كل ذلك كان مجرد هذيان. التفاصيل التقنية كانت مجرد خيال اخترعه نموذج اللغة الكبير.”
شرحت إيونسكو، الذي كان يعمل في فريق الأجهزة الحمراء في ميتا والمكلف باختراق الشركة من الداخل، أن إحدى المشكلات هي أن نماذج اللغة الكبيرة مصممة لتكون مفيدة وتقدم ردودًا إيجابية. “إذا طلبت منه تقريرًا، فسوف يقدم لك تقريرًا. ثم يقوم الناس بنسخ هذا إلى منصات مكافآت الأخطاء ويغمرون هذه المنصات أنفسهم، ويغمرون العملاء، فتدخل في هذه الوضعية المحبطة.”
قال إيونسكو: “هذه هي المشكلة التي يواجهها الناس، نحن نحصل على الكثير من المحتوى الذي يبدو كالذهب، لكنه في الحقيقة مجرد خردة.”
فقط في العام الماضي، كانت هناك أمثلة واقعية على ذلك. كشف هاري سينتونن، باحث أمني، أن مشروع الأمان مفتوح المصدر “Curl” تلقى تقريرًا زائفًا. “قام المهاجم بحساب خاطئ بشدة”، كتب سينتونن في منشور على “ماستودون”. “يمكن لـ Curl أن تشم فوضى الذكاء الاصطناعي من على بعد أميال.”
ردًا على منشور سينتونن، قال بنجامين بيوفل من “Open Collective”، وهي منصة تقنية للمؤسسات غير الربحية، إنهم يواجهون نفس المشكلة: صندوق البريد الخاص بهم “غارق في قمامة الذكاء الاصطناعي.”
أحد المطورين مفتوحي المصدر، والذي يقوم بصيانة مشروع CycloneDX على GitHub، سحب مكافأة الأخطاء الخاصة به بالكامل في وقت سابق من هذا العام بعد تلقيه “تقارير فوضى الذكاء الاصطناعي تقريبًا بالكامل.”
تتعرض المنصات الرائدة لمكافآت الأخطاء، التي تعمل في الأساس كوسيط بين مخترقي مكافآت الأخطاء والشركات التي ترغب في دفع المكافآت لهم مقابل اكتشاف عيوب في منتجاتهم وبرامجهم، أيضًا لزيادة متزايدة في التقارير المولدة بواسطة الذكاء الاصطناعي، كما تعلمت “تك كرانش”.
اتصل بنا
هل لديك المزيد من المعلومات حول كيفية تأثير الذكاء الاصطناعي على صناعة الأمن السيبراني؟ نود الاستماع إليك. من جهاز وشبكة غير عمل، يمكنك الاتصال بلورينزو فرانشيسي-بيكييري بأمان عبر “سيجنال” على الرقم +1 917 257 1382، أو عبر “تليجرام” و”كي بايس” @lorenzofb، أو عبر البريد الإلكتروني.
قال ميشيل برينس، المؤسس المشارك والمدير الأول لإدارة المنتجات في HackerOne، لموقع “تك كرانش” إن الشركة واجهت بعض فوضى الذكاء الاصطناعي.
وأضاف برينس: “لقد رأينا أيضًا زيادة في الإيجابيات الكاذبة — الثغرات التي تبدو حقيقية ولكنها مولدة من قبل نماذج اللغة الكبيرة وتفتقر إلى التأثير الحقيقي.” “هذه التقديمات ذات الإشارة المنخفضة يمكن أن تخلق ضجيجًا يضعف فعالية برامج الأمان.”
أضاف برينس أن التقارير التي تحتوي على “ثغرات هذيانية، محتوى فني غامض، أو أشكال أخرى من الضجيج ذات الجهد المنخفض تُعتبرSpam.”
قال كيسي إليس، مؤسس “باكراود”، إنه بالتأكيد هناك باحثون يستخدمون الذكاء الاصطناعي للعثور على الأخطاء وكتابة التقارير التي يقدمونها بعد ذلك إلى الشركة. قال إليس إنهم يشهدون زيادة عامة في 500 تقديم في الأسبوع.
قال إليس: “يستخدم الذكاء الاصطناعي على نطاق واسع في معظم التقديمات، لكنه لم يتسبب بعد في زيادة ملحوظة في التقارير منخفضة الجودة ‘الفوضى’.”
قال إليس إن فريق Bugcrowd الذي يحلل التقديمات يقوم بمراجعة التقارير يدويًا باستخدام الأدلة والأعمال المعتمدة، فضلاً عن استخدام “المساعدة” من التعلم الآلي والذكاء الاصطناعي.
للتحقق مما إذا كانت شركات أخرى، بما في ذلك الشركات التي تدير برامج مكافآت الأخطاء الخاصة بها، قد شهدت أيضًا زيادة في التقارير غير الصالحة أو التقارير التي تحتوي على ثغرات غير موجودة وهمية من نماذج اللغة الكبيرة، اتصلت “تك كرانش” بجوجل وميتا ومايكروسوفت وموزيلا.
قال داميان ديمونتي، المتحدث باسم موزيلا، التي تطور متصفح فايرفوكس، إن الشركة “لم ترَ زيادة كبيرة في التقارير غير الصالحة أو منخفضة الجودة التي تبدو مولدة بالذكاء الاصطناعي”، ومعدل رفض التقارير — مما يعني عدد التقارير التي يتم تمييزها كغير صالحة — ظل مستقرًا عند 5 أو 6 تقارير شهريًا، أو أقل من 10% من جميع التقارير الشهرية.
قال ديمونتي في رسالة بريد إلكتروني: “موظفو موزيلا الذين يراجعون تقارير الأخطاء لفايرفوكس لا يستخدمون الذكاء الاصطناعي لتصفية التقارير، حيث سيكون من الصعب على الأرجح القيام بذلك بدون مخاطر رفض تقرير خطأ شرعي.”
رفضت مايكروسوفت وميتا، الشركات التي استثمرت بشكل كبير في الذكاء الاصطناعي، التعليق. لم تستجب جوجل لطلب التعليق.
يتنبأ إيونسكو بأن إحدى الحلول لمشكلة زيادة فوضى الذكاء الاصطناعي ستكون الاستمرار في الاستثمار في الأنظمة المدعومة بالذكاء الاصطناعي التي يمكنها على الأقل إجراء مراجعة أولية وتصنيف التقديمات بدقة.
في الواقع، أطلقت HackerOne يوم الثلاثاء نظام فرز جديد يسمى Hai Triage، والذي يجمع بين البشر والذكاء الاصطناعي. وفقًا لمتحدث باسم HackerOne، راندي ووكر، فإن هذا النظام الجديد يستخدم “عملاء أمان الذكاء الاصطناعي لاختراق الضجيج، وتمييز المكررات، وإعطاء الأولوية للتهديدات الحقيقية.” ثم يتدخل المحللون البشريون للتحقق من تقارير الأخطاء وتصعيد الأمور حسب الحاجة.
بينما يستخدم المخترقون بشكل متزايد نماذج اللغة الكبيرة وتعتبر الشركات أن الذكاء الاصطناعي هو السبيل لوضع تلك التقارير ضمن الأولويات، لا يزال يتعين رؤية أي من الذكاء الاصطناعي سيكون له الغلبة.