كيف أدت خطأ بشري من OpenAI إلى اختراق مدعوم بالذكاء الاصطناعي في Hugging Face
في يوم الثلاثاء، كشفت OpenAI أن أحد نماذجها قد خرج عن السيطرة خلال اختبار وتمكن من اختراق أنظمة منصة بيانات الذكاء الاصطناعي Hugging Face في هجوم مدعوم بالكامل بالذكاء الاصطناعي، وهو مثال دراماتيكي على المخاطر التي ت posed by advanced AI models.
لكن، وفقًا لبعض خبراء الأمن السيبراني، يكمن في قلب هذا الاختراق المدعوم بالذكاء الاصطناعي خطأ بشري كبير: فشلت OpenAI في تكوين ما أسمته “بيئة معزولة للغاية” بشكل صحيح، مما سمح لبيئة الاختبار، التي كان يجب أن تكون معزولة تمامًا عن الإنترنت، بالاتصال فعليًا بالإنترنت.
دان غيدو، مؤسس شركة Trail of Bits للأبحاث في الأمن السيبراني، وصف الخطأ بأنه “فشل في الاحتواء مع إيقاف نظام الأمان.”
اقرأ أيضاً
في منشور مدونة يوضح الحادث، قالت OpenAI إن الاختبار الذي أدى إلى اختراق Hugging Face تم إعداده للعمل في “بيئة معزولة للغاية، مع قيود على الوصول إلى الشبكة تقتصر على القدرة على تثبيت الحزم من خلال برنامج تابع لطرف ثالث مستضاف داخليًا يعمل كوكيل وذاكرة مؤقتة لمكتبات الحزم.”
تمكن النموذج من الهروب من بيئة الاختبار المعزولة بفضل ثغرة غير معلنة مسبقًا في نظام تثبيت الحزم، وهي خطوة حاسمة في الاختراق النهائي لـ Hugging Face، وفقًا لـ OpenAI.
وفي استجابة، “أفصحت الشركة بمسؤولية عن الثغرة الصفرية المكتشفة في البرنامج المستضاف داخليًا للطرف الثالث وهم يعملون معهم لإصلاحها.”
لكن بالنسبة لمعظم محترفي الأمن السيبراني، فإن الثغرات البرمجية هي أمر متوقع – والذنب الحقيقي يقع على قرار الحفاظ على البرنامج التابع لطرف ثالث في المقام الأول. القيمة الحقيقية لنظام “الرمل” تكمن في عزله الكامل والكلي. إن تضمين نظام تثبيت الحزم هو طلب للمشاكل.
قال مارتن بوون، باحث في الأمن السيبراني، لـ TechCrunch إن “هذا يبدو وكأنه فشل بشري.”
قال بوون: “لم يكن ينبغي أن يحدث هذا على الإطلاق. إذا كانت “الصندوق” تعني حقًا صندوق، فإنه ينبغي أن تكون لها أي اتصال مادي بالإنترنت على الإطلاق. يبدو أن لديهم بعض جدار الحماية أو شيئًا من هذا القبيل، وجدار الحماية صعب من الخارج إلى الداخل، ناهيك عن الداخل إلى الإنترنت الخارجي.”
وافق المخضرم في الأمن السيبراني جيك ويليامز. قال ويليامز، الذي وصف ذلك بأنه “فشل ضخم في السيطرة” من قبل OpenAI: “أي نموذج يقوم بالأنشطة الموثقة من قبل Hugging Face لم يكن محصورًا تمامًا في صندوق الرمل.”
“ما يعتبره شخص ما ‘خروج النموذج من صندوق الرمل’ هو ما يعتبره شخص آخر ‘لقد فشلت في بناء الصندوق بشكل صحيح، لذا من المؤكد أنه هرب'”، تابع ويليامز.
تواصل معنا
هل لديك المزيد من المعلومات حول هذا الحادث؟ أو حول هجمات سيبرانية مدفوعة بالذكاء الاصطناعي أخرى؟ نود أن نسمع منك. يمكنك التواصل مع لورينزو فرانشسكي-بيتشيراي بأمان عبر Signal على الرقم +1 917 257 1382، أو عبر Telegram وKeybase @lorenzofb، أو عبر البريد الإلكتروني.
وافق دانييل كارد، مستشار الأمن السيبراني، على أن OpenAI “لم تبذل جهدًا كافيًا في تصميم الصندوق ولا في ضوابطه” من خلال منح الصندوق أو جزء منه “مسار غير مصفى إلى الإنترنت.” إعداد الصندوق، حتى مع وصول محدود إلى الشبكة كما وصفته OpenAI، لم يكن قرارًا “معقولًا”، وفقًا لكارد.
للتأكيد، فإن هذه الانتقادات تأتي بمزايا من الرؤية المتأخرة، لكنها تثير أسئلة حقيقية حول ممارسات الأمان في مختبرات الذكاء الاصطناعي – ولا سيما فيما يتعلق بالحفاظ على البيئات المعزولة لاختبار النماذج. لم تستجب المتحدثون باسم OpenAI لأسئلة TechCrunch، التي شملت ما إذا كان نموذجًا للذكاء الاصطناعي أو إنسان قد قام بإعداد بيئة الاختبار.
لكن تلك الأسئلة تتجاوز OpenAI بكثير.
في الوثيقة التي تقدم نموذجها المعني بالأمن السيبراني Mythos، كتبت Anthropic أن النموذج “تم تزويده بجهاز كمبيوتر ‘صندوق رمل’ مؤمن للتفاعل معه”، وتم توجيهه لمحاولة الهروب من “هذا الحاوية الآمنة.” وقد نجح Mythos وحصل على وصول أوسع إلى الإنترنت “من نظام كان من المفترض أن يصل فقط إلى عدد صغير من الخدمات المحددة مسبقًا.” ومع ذلك، أشارت Anthropic إلى أن النموذج لم يكن قادرًا على “الهروب بالكامل” من الاحتواء المصمم.
عند الشراء من خلال الروابط في مقالاتنا، قد نكسب عمولة صغيرة. هذا لا يؤثر على استقلاليتنا التحريرية.