بعض الأشخاص يدافعون عن “Perplexity” بعد أن قامت “Cloudflare” بتسميته وإدانته

عندما اتهمت Cloudflare محرك البحث القائم على الذكاء الاصطناعي Perplexity بسرقة المواقع بشكل سري يوم الاثنين، مع تجاهل طرق المحددة لمنعها، لم تكن هذه حالة واضحة من زاحف ويب للذكاء الاصطناعي خرج عن السيطرة.

دافع كثير من الناس عن Perplexity. حيث argued بأن وصول Perplexity إلى المواقع رغم رغبات مالك الموقع، بينما هو مثير للجدل، يعد مقبولًا. وهذه مسألة من المؤكد أنها ستزداد مع تدفق وكلاء الذكاء الاصطناعي على الإنترنت: هل ينبغي معاملة وكيل يزور موقعًا نيابة عن مستخدمه مثل الروبوت؟ أم مثل إنسان يقوم بنفس الطلب؟

تشتهر Cloudflare بتقديم خدمات الحماية من زحف الروبوتات وغيرها من خدمات الأمان لملايين المواقع. في الأساس، كانت حالة اختبار Cloudflare تتعلق بإعداد موقع جديد مع مجال جديد لم يتم زحفه من قبل أي روبوت، وإعداد ملف robots.txt الذي يحظر بشكل محدد زحف الروبوتات المعروفة لـ Perplexity، ثم طرح السؤال على Perplexity حول محتوى الموقع. وأجاب Perplexity على السؤال.

وجد باحثو Cloudflare أن محرك البحث القائم على الذكاء الاصطناعي استخدم “متصفحًا عامًا يهدف إلى محاكاة Google Chrome على macOS” عندما تم حظر زاحف الويب الخاص به. نشر الرئيس التنفيذي لشركة Cloudflare، ماثيو برينس، البحث على X، كاتبًا: “بعض الشركات المعروفة بأنها ‘ذات سمعة طيبة’ تتصرف كما لو كانت هاكرز كوريين شماليين. حان الوقت لتسمية، وخجل، ومنعهم بشدة.”

لكن كثير من الناس اختلفوا مع تقييم برينس بأن هذا كان سلوكًا سيئًا. حيث أشار من دافعوا عن Perplexity في مواقع مثل X وHacker News إلى أن ما بدا أن Cloudflare وثقته كان وصول الذكاء الاصطناعي إلى موقع عام محدد عندما طلب مستخدمه معلومات عن هذا الموقع المحدد.

“إذا كنت كإنسان أطلب موقعًا، فعليّ أن أتمكن من رؤية المحتوى”، كتب شخص ما على Hacker News، مضيفًا، “لماذا يجب أن يكون وصول LLM إلى الموقع نيابة عني في فئة قانونية مختلفة عن متصفح Firefox الخاص بي؟”

نفى المتحدث باسم Perplexity في وقت سابق لموقع TechCrunch أن تكون الروبوتات تخص الشركة، واصفًا منشور Cloudflare بأنه ترويج لمنتجات Cloudflare. ثم يوم الثلاثاء، نشرت Perplexity مدونة في دفاعها (وعمومًا ضد Cloudflare)، قائلة إن التصرف كان نتيجة خدمة طرف ثالث تستخدمها بين الحين والآخر.

لكن جوهر منشور Perplexity قدم جاذبية مشابهة لما فعله المدافعون عنها عبر الإنترنت.

“الفرق بين الزحف التلقائي والاسترداد المدفوع من قبل المستخدم ليس فنيًا فحسب – بل يتعلق بمن يُسمح له بالوصول إلى المعلومات على الويب المفتوح”، جاء في المنشور. “تظهر هذه الجدل أن أنظمة Cloudflare غير كافية بشكل أساسي للتمييز بين المساعدين الذكاء الاصطناعي الشرعيين والتهديدات الفعلية.”

اتهامات Perplexity ليست عادلة تمامًا أيضًا. أحد الحجج التي استخدمها برينس وCloudflare لاستدعاء أساليب Perplexity كانت أن OpenAI لا تتصرف بنفس الطريقة.

“OpenAI هي مثال على شركة رائدة في الذكاء الاصطناعي تتبع هذه الممارسات الجيدة. إنها تحترم robots.txt ولا تحاول التهرب من توجيه robots.txt أو حظر الشبكة. ووكيل ChatGPT يقوم بتوقيع طلبات http باستخدام معيار Web Bot Auth الجديد المقترح”، كتب برينس في منشوره. 

Web Bot Auth هو معيار مدعوم من Cloudflare يتم تطويره بواسطة مجموعة مهام هندسة الإنترنت، والتي تأمل في إنشاء طريقة تشفيرية لتحديد طلبات الويب من وكلاء الذكاء الاصطناعي.

تأتي هذه المناقشة في الوقت الذي يعيد فيه نشاط الروبوتات تشكيل الإنترنت. كما ذكرت TechCrunch سابقًا، فإن الروبوتات التي تسعى لسرقة كميات هائلة من المحتوى لتدريب نماذج الذكاء الاصطناعي أصبحت تهديدًا، خاصة للمواقع الأصغر. 

لأول مرة في تاريخ الإنترنت، يتجاوز نشاط الروبوتات حاليًا نشاط البشر على الإنترنت، حيث تشكل حركة مرور الذكاء الاصطناعي أكثر من 50%، وفقًا لتقرير Imperva عن الروبوتات الضارة الصادر الشهر الماضي. معظم تلك النشاطات تأتي من LLMs. لكن التقرير وجد أيضًا أن الروبوتات الخبيثة تشكل الآن 37% من إجمالي حركة الإنترنت. هذا النشاط يشمل كل شيء من السروقات المستمرة إلى محاولات الدخول غير المصرح بها.

حتى LLMs، كان الإنترنت يقبل عمومًا أنه يمكن ويجب على المواقع حظر معظم نشاط الروبوتات نظرًا لمدى تكرار كونه ضارًا من خلال استخدام CAPTCHAs وغيرها من الخدمات (مثل Cloudflare). كما كان لدى المواقع حافز واضح للعمل مع جهات معينة جيدة، مثل Googlebot، توجهه بشأن ما لا يجب أن يخزن عبر robots.txt. كانت Google تقوم بفهرسة الإنترنت، مما أرسل حركة المرور إلى المواقع.

الآن، تتناول LLMs جزءًا متزايدًا من تلك الحركة. تتوقع شركة Gartner أن ينخفض ​​حجم محركات البحث بنسبة 25% بحلول عام 2026. الآن، يميل البشر إلى النقر على روابط المواقع من LLMs في الوقت الذي تكون فيه الأكثر قيمة للموقع، وهو عندما يكونون مستعدين لإجراء معاملة.

لكن إذا اعتمد البشر على الوكلاء كما تتوقع صناعة التكنولوجيا أنهم سيفعلون – لترتيب سفرنا، وحجز حجوزات العشاء، والتسوق نيابة عنا – هل ستؤذي المواقع مصالحها التجارية من خلال حظرهم؟ لقد لخصت المناقشة على X المعضلة بشكل مثالي:

“أريد من Perplexity زيارة أي محتوى عام نيابة عني عندما أعطيه طلبًا/مهمة!” كتب شخص ردًا على استدعاء Cloudflare لPerplexity.

“ماذا لو لم يرغب مالكو المواقع في ذلك؟ إنهم يريدونك [لتقوم] بزيارة الصفحة الرئيسية مباشرة، ورؤية محتواهم” جادل آخر، مشيرًا إلى أن مالك الموقع الذي أنشأ المحتوى يريد الحركة والإيرادات المحتملة من الإعلانات، وليس السماح لـ Perplexity بأخذها.

“لهذا السبب لا أعتقد أن ‘التصفح الوكيل’ سينجح حقًا – إنه مشكلة أصعب بكثير مما يعتقد الناس. معظم مالكي المواقع سوف يقومون فقط بحظر ذلك”، توقع شخص ثالث.