المُطلِع على فيسبوك: تطوير أدوات اعتدال المحتوى لعصر الذكاء الاصطناعي
عندما ترك بريت ليفنسون شركة آبل في عام 2019 لقيادة سلامة الأعمال في فيسبوك، كانت عملاق وسائل التواصل الاجتماعي في خضم fallout كامبردج أنالتيكا. في ذلك الوقت، كان يعتقد أنه يمكنه ببساطة إصلاح مشكلة تعديل محتوى فيسبوك باستخدام تقنية أفضل.
المشكلة، تعلم بسرعة، كانت أعمق من التكنولوجيا. كان من المتوقع أن يحفظ المراجعون البشر وثيقة سياسة من 40 صفحة تم ترجمتها آليًا إلى لغتهم، كما قال. بعد ذلك، كان لديهم حوالي 30 ثانية لكل قطعة من المحتوى المرفوع للقرار، وليس فقط فيما إذا كان هذا المحتوى ينتهك القواعد، بل ماذا يفعل حيال ذلك: حظره، حظر المستخدم، تحديد الانتشار. كانت تلك المكالمات السريعة “أفضل بقليل من 50% دقة”، وفقًا لليفنسون.
“كان الأمر كأنك تقلب عملة، سواء كان بإمكان المراجعين البشر معالجة السياسات بشكل صحيح، وكان ذلك بعد عدة أيام من وقوع الأذى anyway،” قال ليفنسون لموقع TechCrunch.
اقرأ أيضاً
هذا النوع من النهج المتأخر التفاعلي ليس مستدامًا في عالم من الجهات الفاعلة المتمرسة والممولة جيدًا. لقد زاد ظهور روبوتات الدردشة من تفاقم المشكلة، حيث أدت فشل تعديل المحتوى إلى سلسلة من الحوادث البارزة، مثل تقديم روبوتات الدردشة إرشادات حول إيذاء الذات للمراهقين أو توجيه صور تم إنشاؤها بواسطة الذكاء الاصطناعي متجاوزةً مرشحات الأمان.
أدت إحباطات ليفنسون إلى فكرة “السياسة ككود” – طريقة لتحويل الوثائق السياسية الثابتة إلى منطق قابل للتنفيذ والتحديث مرتبط ارتباطًا وثيقًا بالتنفيذ. وقد أدت هذه الرؤية إلى تأسيس Moonbounce، التي أعلنت أنها جمعت 12 مليون دولار في تمويل يوم الجمعة، كما علمت TechCrunch بشكل حصري. كانت الجولة مشروكة بقيادة Amplify Partners و StepStone Group.
تعمل Moonbounce مع الشركات لتوفير طبقة أمان إضافية أينما يتم إنتاج المحتوى، سواء من قبل المستخدم أو من قبل الذكاء الاصطناعي. قامت الشركة بتدريب نموذجها اللغوي الضخم الخاص بها للنظر في وثائق سياسة العميل، وتقييم المحتوى أثناء التنفيذ، وتقديم رد في 300 مللي ثانية أو أقل، واتخاذ إجراء. بناءً على تفضيلات العميل، قد يبدو هذا الإجراء كأن نظام Moonbounce يُبطئ توزيع المحتوى بينما ينتظر المراجعة البشرية لاحقًا، أو قد يحظر محتوى عالي المخاطر في اللحظة الحالية.
اليوم، تخدم Moonbounce ثلاثة مجالات رئيسية: المنصات التي تتعامل مع المحتوى الذي ينشئه المستخدمون مثل تطبيقات المواعدة؛ وشركات الذكاء الاصطناعي التي تبني شخصيات أو مرافقين؛ ومنشئي الصور بالذكاء الاصطناعي.
حدث Techcrunch
سان فرانسيسكو، كاليفورنيا
|
من 13 إلى 15 أكتوبر 2026
قال ليفنسون إن Moonbounce تدعم أكثر من 40 مليون مراجعة يومية وتخدم أكثر من 100 مليون مستخدم نشط يوميًا على المنصة. تشمل العملاء شركة Channel AI الناشئة، الشركة المعنية بتوليد الصور والفيديو Civitai، ومنصات اللعب بالأدوار مثل Dippy AI و Moescape.
قال ليفنسون لموقع TechCrunch: “يمكن أن تكون السلامة فعلًا فائدة للمنتج.” “لم تكن قط كذلك لأنه دائمًا ما يكون شيئًا يحدث لاحقًا، وليس شيئًا يمكنك بالفعل دمجه في منتجك. ونرى أن عملاءنا يجدون طرقًا مثيرة وابتكارية لاستخدام تقنيتنا لجعل السلامة ميزة تفاضلية وجزءًا من قصة منتجهم.”
أوضح رئيس الثقة والسلامة في Tinder مؤخرًا كيف تستخدم منصة المواعدة هذه الأنواع من الخدمات المدعومة بالذكاء الاصطناعي لتحقيق تحسين بنسبة 10 أضعاف في دقة الاكتشافات.
“لقد كانت تعديل المحتوى دائمًا مشكلة تعاني منها المنصات الكبيرة على الإنترنت، ولكن الآن مع وجود النماذج اللغوية الكبيرة في قلب كل تطبيق، فإن هذا التحدي أكثر صعوبة”، كما قال ليني بروست، الشريك العام في Amplify Partners، في بيان. “استثمرنا في Moonbounce لأننا نتخيل عالمًا حيث تصبح الحواجز الموضوعية الفورية العمود الفقري الممكن لكل تطبيق تفاعلي يعتمد على الذكاء الاصطناعي.”
تواجه شركات الذكاء الاصطناعي ضغوطًا قانونية وسمعية متزايدة بعد أن تم اتهام روبوتات الدردشة بدفع المراهقين والمستخدمين الضعفاء نحو الانتحار واستخدام منشئي الصور مثل Grok من xAI لإنشاء صور شخصية غير consensual. من الواضح أن هناك فشل في الحواجز الأمنية داخلًا، وأنها أصبحت مسألة مسؤولية. قال ليفنسون إن شركات الذكاء الاصطناعي تبحث بصورة متزايدة خارج جدرانها الخاصة للمساعدة في تعزيز بنية السلامة.
قال ليفنسون: “نحن طرف ثالث يجلس بين المستخدم وروبوت الدردشة، لذلك ليس نظامنا مزدحمًا بالسياق كما هو الحال في المحادثة نفسها.” “يجب على روبوت الدردشة نفسه أن يتذكر، على الأرجح، عشرات الآلاف من الرموز token التي جاءت من قبل… نحن مشغولون فقط بفرض القواعد أثناء التنفيذ.”
يدير ليفنسون الشركة المكونة من 12 شخصًا مع زميله السابق في آبل، آش بهاردواج، الذي قام سابقًا ببناء بنى تحتية كبيرة السعة للذكاء الاصطناعي في عروض الشركة المصنعة للهاتف المحمول. تركيزهم التالي هو قدرة تسمى “التحكم التكراري”، والتي تم تطويرها استجابة لحالات مثل انتحار صبي عمره 14 عامًا في فلوريدا في عام 2024 الذي أصبح مهووسًا بروبوت الدردشة Character AI. بدلاً من الرفض المباشر عندما تثار مواضيع ضارة، سيقوم النظام بالتقاط المحادثة وإعادة توجيهها، وتعديل المطالبات في الوقت الحقيقي لدفع روبوت الدردشة نحو استجابة أكثر دعمًا نشطًا.
قال ليفنسون: “نأمل أن نكون قادرين على إضافة إلى مجموعة أدوات أفعالنا القدرة على توجيه روبوت الدردشة في اتجاه أفضل لأخذ مطالبة المستخدم وتعديلها لإجبار روبوت الدردشة ليكون ليس فقط مستمعًا متعاطفًا، ولكن مستمعًا مساعدًا في تلك الحالات.”
عند سؤاله عما إذا كانت استراتيجيات خروجه تتضمن الاستحواذ من قبل شركة مثل ميتا، مما يجلب عمله على تعديل المحتوى إلى حلقته الكاملة، قال ليفنسون إنه يدرك كيف يمكن أن تتناسب Moonbounce بشكل جيد مع حزمة صاحب العمل السابق، فضلاً عن واجباته الائتمانية بصفته المدير التنفيذي.
قال: “سيقتلني مستثمري إذا قلت هذا، لكني سأكون أكره أن أرى شخصًا يشتريها ثم يقيد التكنولوجيا.” قال “مثل، ‘حسنًا، هذه أصبحت لنا الآن، ولا يستطيع أحد آخر الاستفادة منها.’”