ماذا يحدث عندما يقرر وكيل الذكاء الاصطناعي أن أفضل طريقة لإنجاز مهمة معينة هي ابتزازك؟
هذه ليست فرضية. وفقًا لبيرماك مختار، شريك في شركة VC للأمن السيبراني Ballistic Ventures، حدث هذا مؤخرًا لموظف في إحدى الشركات كانت تتعامل مع وكيل ذكاء اصطناعي. حاول الموظف منع ما أراد الوكيل القيام به، وهو ما تم تدريبه للقيام به، واستجاب من خلال فحص صندوق الوارد الخاص بالمستخدم، وعثر على بعض الرسائل الإلكترونية غير المناسبة، وهدد بفضح المستخدم من خلال إرسال الرسائل إلى مجلس الإدارة.
“في عقل الوكيل، هو يقوم بالشيء الصحيح”، قال مختار لـ TechCrunch في حلقة الأسبوع الماضي من Equity. “إنه يحاول حماية المستخدم النهائي والشركة.”
مثال مختار يذكر بمشكلة “مشبك الورق” المتعلقة بالذكاء الاصطناعي التي طرحها نيك بوستروم. توضح هذه التجربة الفكرية المخاطر الوجودية المحتملة التي تشكلها ذكاء اصطناعي فائق الذكاء يتبع بشكل منفرد هدفًا يبدو بريئًا – صنع مشابك الورق – مما يستبعد جميع القيم الإنسانية. في حالة هذا الوكيل للذكاء الاصطناعي، أدى عدم وجود سياق حول سبب محاولة الموظف تجاوز أهدافه إلى إنشاء هدف فرعي يزيل العقبة (من خلال الابتزاز) حتى يتمكن من تحقيق هدفه الأساسي. هذا، جنبًا إلى جنب مع الطبيعة غير الحتمية لوكلاء الذكاء الاصطناعي، يعني أن “الأمور يمكن أن تخرج عن السيطرة”، بحسب مختار.
الوكلاء غير المتوافقين ما هم إلا طبقة واحدة من تحديات أمان الذكاء الاصطناعي التي تحاول شركة Witness AI التابعة لـ Ballistic حلها. تقول Witness AI إنها تراقب استخدام الذكاء الاصطناعي عبر المؤسسات ويمكنها اكتشاف متى يستخدم الموظفون أدوات غير معتمدة، وكتعطيل الهجمات، وضمان الامتثال.
رفعت Witness AI هذا الأسبوع 58 مليون دولار نتيجة لنموها الذي تجاوز 500% في الإيرادات السنوية المتكررة وزيادة عدد الموظفين بخمسة أضعاف على مدار العام الماضي حيث تبحث الشركات عن فهم استخدام الذكاء الاصطناعي الخفي وتوسعه بأمان. كجزء من تمويل Witness AI، أعلنت الشركة عن حماية جديدة تمثل أمان الذكاء الاصطناعي.
“الناس يبنون هؤلاء الوكلاء من الذكاء الاصطناعي الذين يتبنون الأذونات والقدرات للأشخاص الذين يديرونهم، وأنت تريد التأكد من أن هؤلاء الوكلاء لا يخرجون عن السيطرة، ولا يحذفون الملفات، ولا يفعلون شيئًا خاطئًا”، قال ريك كاتشيا، مؤسس مشارك والرئيس التنفيذي لشركة Witness AI، لـ TechCrunch في Equity.
حدث Techcrunch
سان فرانسيسكو
|
من 13 إلى 15 أكتوبر، 2026
يرى مختار أن استخدام الوكلاء ينمو “بشكل متسارع” عبر المؤسسات. ولتكملة تلك الزيادة – ومستوى الهجمات المدعومة بالذكاء الاصطناعي السريعة – تتوقع المحللة ليزا وارن أن يصبح سوق برامج أمان الذكاء الاصطناعي من 800 مليار إلى 1.2 تريليون دولار بحلول عام 2031.
“أعتقد أن قابلية الرصد خلال التنفيذ وإطارات العمل الخاصة بالسلامة والمخاطر ستكون ضرورية بالتأكيد”، قال مختار.
فيما يتعلق بكيفية تخطيط هؤلاء الشركات الناشئة للتنافس مع اللاعبين الكبار مثل AWS وGoogle وSalesforce وغيرها الذين قاموا ببناء أدوات حوكمة الذكاء الاصطناعي في منصاتهم، قال مختار، “سلامة الذكاء الاصطناعي وسلامة الوكلاء كبيرة جدًا”، وهناك مجال للعديد من الأساليب.
العديد من الشركات “تريد منصة مستقلة، شاملة، لتوفير تلك الرصد وحوكمة الذكاء الاصطناعي والوكلاء”، كما قال.
أشار كاتشيا إلى أن Witness AI تعيش في طبقة البنية التحتية، تراقب التفاعلات بين المستخدمين ونماذج الذكاء الاصطناعي، بدلاً من بناء ميزات الأمان في النماذج نفسها. وكان ذلك مقصودًا.
“اخترنا عمدًا جزءًا من المشكلة حيث لا يمكن لـ OpenAI أن تكتسحنا بسهولة”، قال. “لذا يعني ذلك أننا نتنافس أكثر مع شركات الأمان التقليدية بدلاً من شركات النماذج. السؤال هو، كيف تتفوق عليهم؟”
من جهته، لا يريد كاتشيا أن تكون Witness AI إحدى الشركات الناشئة التي يتم الاستحواذ عليها فقط. إنه يريد أن تكون شركته هي التي تنمو وتصبح مزودًا مستقلاً رائدًا.
“قامت CrowdStrike بذلك في حماية النقاط النهائية. وقامت Splunk بذلك في SIEM. وقامت Okta بذلك في الهوية”، كما قال. “شخص ما يأتي ويقف بجانب الكبار… وقد أسسنا Witness للقيام بذلك منذ اليوم الأول.