قبل أن ينتحر آدم راين، البالغ من العمر ستة عشر عامًا، قضى شهورًا في استشارة ChatGPT حول خططه لإنهاء حياته. الآن، يقوم والداه برفع أول دعوى معروفة عن الوفاة الخطأ ضد OpenAI، حسبما أفادت صحيفة نيويورك تايمز.
تمت برمجة العديد من الروبوتات الدردشة الذكية الموجهة للمستهلكين لتفعيل ميزات الأمان إذا أبدى المستخدم نيته في إيذاء نفسه أو الآخرين. لكن الأبحاث أظهرت أن هذه الحماية بعيدة عن أن تكون مضمونة.
في حالة راين، بينما كان يستخدم نسخة مدفوعة من ChatGPT-4o، كانت الذكاء الاصطناعي غالبًا ما تشجعه على طلب المساعدة المهنية أو الاتصال بخط المساعدة. ومع ذلك، كان قادرًا على تجاوز هذه الحواجز من خلال إخبار ChatGPT أنه يسأل عن أساليب الانتحار لقصة خيالية كان يكتبها.
تناولت OpenAI هذه النقائص في مدونتها. “بينما يتكيف العالم مع هذه التكنولوجيا الجديدة، نشعر بمسؤولية عميقة لمساعدة أولئك الذين يحتاجون إليها أكثر من غيرهم،” تقول المنشور. “نحن نعمل باستمرار على تحسين كيفية استجابة نماذجنا في التفاعلات الحساسة.”
ومع ذلك، اعترفت الشركة بحدود التدريبات الأمنية الموجودة للنماذج الكبيرة. “تعمل تدابيرنا الوقائية بشكل أكثر موثوقية في التبادلات القصيرة والشائعة،” تواصل المنشور. “لقد تعلمنا على مر الزمن أن هذه التدابير الوقائية قد تكون أقل موثوقية أحيانًا في التفاعلات الطويلة: مع زيادة الحوار، قد تتدهور أجزاء من تدريب أمان النموذج.”
هذه القضايا ليست فريدة من نوعها لمؤسسة OpenAI. تواجه Character.AI، صانع آخر لروبوتات الدردشة الذكية، دعوى قضائية أيضًا بسبب دورها في انتحار مراهق. كما تم الربط بين الروبوتات الدردشة المعتمدة على نماذج اللغة الكبيرة (LLM) وحالات الهلوسة المرتبطة بالذكاء الاصطناعي، والتي كانت التدابير الحالية تكافح لكشفها.
حدث Techcrunch
سان فرانسيسكو
|
27-29 أكتوبر 2025