ديكورد تعترف بوجود خطأ في تعديل الذكاء الاصطناعي أدى إلى حظر مستخدمين بسبب صور غير ضارة

Discord logo displayed on a phone screen and a keyboard.

لقد اعترفت Discord بوجود خطأ في نظام Moderation الذكي الخاص بها أدى عن طريق الخطأ إلى حظر أكثر من 8000 مستخدم على مدار الشهرين الماضيين، بعد أن تم تصنيف صور غير ضارة—بما في ذلك جداول البيانات، وألواح الشطرنج، وملامح الألعاب، بالإضافة إلى خلفيات شفافة باللونين الأبيض والرمادي—على أنها محتوى ضار بشكل غير صحيح.

وأكدت الشركة أن المشكلة كانت تؤثر على الحسابات منذ مايو، حيث تم حظر 200 مستخدم إضافي خلال عطلة نهاية الأسبوع قبل أن يتمكن فريقها من تحديد المشكلة وإصلاحها. جميع الحسابات المتأثرة في الوقت الحالي قيد استعادة.

تسلط هذه الحادثة الضوء على إحدى التحديات المتزايدة التي تواجه Moderation المدعوم بالذكاء الاصطناعي حيث تعتمد العديد من المنصات بشكل متزايد على الأنظمة الآلية لتحديد المواد غير القانونية أو المسيئة على نطاق واسع.

في سلسلة تفصيلية على X، أوضحت Discord أن نظام السلامة الأوتوماتيكي الخاص بها يعمل من خلال مطابقة المحتوى المرفوع ضد قواعد بيانات المواد الضارة المعروفة. بينما تم تصميم التكنولوجيا لالتقاط المحتوى غير القانوني، اعترفت الشركة أنه يمكن أن تنتج أحيانًا إيجابيات خاطئة. يقوم مشرف بشري بمراجعة المحتوى، لكن خطأً جعل النظام يحظر الحسابات المتأثرة على الفور.

“نحن نعمل على تحسين الحماية حتى لا يحدث هذا مرة أخرى”، كتبت الشركة. 

عبر X و Reddit، زعم المستخدمون أنهم تم تعليق حساباتهم بشكل دائم لمجرد رفع صور تحتوي على أنماط شبكية مربعة. واعتقد العديد من المستخدمين أن أدوات Moderation بالذكاء الاصطناعي الخاصة بـ Discord أصبحت أكثر حساسية تجاه الأنماط الشبكية لأنها كانت تستخدم سابقًا في محاولات لإخفاء أو تمويه محتوى NSFW واستغلال الأطفال من أنظمة الكشف الآلي. 

كان المستخدمون المتأثرون يعبرون عن إحباطهم على وسائل التواصل الاجتماعي، حيث جادل بعضهم بأن الحظر الدائم للحسابات بناءً على الكشف الآلي فقط يمكن أن تكون له عواقب خطيرة، وخاصةً للمستخدمين الذين يعتمدون على Discord في العمل، أو مجتمعات الألعاب، أو العلاقات الاجتماعية الطويلة المدى.

“فقدان حساب Discord لشيء غير عادل مثل هذا يمكن أن يكون مدمرًا للغاية ويؤثر بشكل كبير على المستخدمين، وكل يوم يتأثر الملايين من المستخدمين بالحظر الزائف باستخدام AI. يجب أن يتوقف هذا،” كتب أحد مستخدمي X. 

Discord ليست وحدها في مواجهة مشاكل Moderation بسبب الأنظمة الآلية. العام الماضي، أبلغ مستخدمو Instagram ومجموعات Facebook عن حالات واسعة من توقيف الحسابات دون تفسير، والتي اعتقد الكثيرون أنها كانت بسبب أنظمة Moderation القائمة على الذكاء الاصطناعي. على الرغم من أن المستخدمين أشاروا إلى الأتمتة كسبب محتمل، لم تؤكد Meta علنًا ما إذا كانت أخطاء الذكاء الاصطناعي مسؤولة. الآن، يدفع مجلس الإشراف الخاص بـ Meta لزيادة الشفافية.

واجه Tumblr أيضًا العام الماضي شكاوى من مستخدمين قالوا إن حساباتهم تم تعليقها بكثافة دون توضيحات واضحة.

عندما تشتري من خلال الروابط في مقالاتنا، قد نكسب عمولة صغيرة. هذا لا يؤثر على استقلاليتنا التحريرية.


المصدر