يقول الخبراء إن استغلال “Fable” التابعة لـ Anthropic ليس السبب وراء تحسن كيمي K3 بهذا الشكل.
قال مستشار العلوم في البيت الأبيض مايكل كراسياس إن شركة Moonshot، الشركة الصينية التي تقف وراء Kimi K3، أكبر نموذج متاح بوزن مفتوح، قامت ببناء نموذجها من خلال نسخ نموذج Fable الخاص بشركة Anthropic مع استخدام شحانات غير مصرح بها للتصدير إلى الصين.
كتب كراسياس: “التقطير الصناعي على نطاق واسع، الذي يهدف إلى سرقة التكنولوجيا الأمريكية الخاصة وتقويض الأبحاث الأمريكية، غير مقبول” وذلك في ظل التقارير التي تتحدث عن مناقشات حول حظر نماذج الوزن المفتوح الصينية التي أثارت جدلًا في قطاع الذكاء الاصطناعي. كما لم ترد شركة Moonshot على أسئلة حول عملية تدريبها، ولم يشارك كراسياس مزيدًا من التفاصيل حول مصادر ادعاءاته.
أعاد تويتر الخاص بكراسياس ترديد تعليقات وزير الخزانة سكوت بيسنت التي ذكرت أن “نحن نجد علامات مائية تخص نماذج اللغة الكبيرة الأمريكية على العديد من النماذج الصينية، وأن ذلك مرفوض”. ليس من الواضح ما هي تلك العلامات المائية، ولم يرد وزارة الخزانة على استفسار.
اقرأ أيضاً
ومع ذلك، يشكك الخبراء في أن عملية التقطير – التي تتمثل في استجواب نموذج اللغة الكبيرة لتحديد كيفية عمله ونسخ قدراته – هي المسؤولة عن القدرات المتقدمة التي يعرضها Kimi K3.
قال برادين هانكوك، باحث في معهد لاود والمشارك في تأسيسي Snorkel AI، لموقع TechCrunch: “لا أعتقد أنه يمكنك الحصول على نموذج بهذه القوة وبهذه السرعة بعد Fable بعملية تقطير صارمة”. “ليس هناك حتى وقت كافٍ، أليس كذلك؟ لقد كان Fable متاحًا للجمهور منذ الأول من يوليو. لا يمكنك تقطير هذا القدر من البيانات، تدريب نموذج، وإطلاقه في غضون أسبوعين.”
قال ناثان لامبرت، باحث في الذكاء الاصطناعي في معهد ألين للذكاء الاصطناعي، في بودكاست تم إصداره أمس: “لقد كنت أعتقد أن عملية التقطير تتأثر بشكل أقل وأقل مع مرور الوقت حيث تقترب النماذج الصينية من الحدود ويتحول نظام التدريب إلى [التعلم المعزز]”. “[إذا كانت هذه هي الحالة، فسيكون بإمكان الجميع بسهولة اللحاق بنموذج GLM أو K3 باستخدام بياناته للتقطير. لكننا لم نفعل، أو لن نرى ذلك، من ضبط دقيق بالإشراف فقط.”
يتطلب إجراء التقطير وجود مختبر لاستجواب النموذج المستهدف بشكل منهجي من أجل توليد بيانات يمكن استخدامها بعد التدريب. في بعض الأحيان، يتضمن ذلك بشكل صريح أن يسأل النموذج عن سلسلة تفكيره لفهم كيفية حل مشكلات معينة. وفي أحيان أخرى، تُستخدم الموجهات والردود من نموذج لتدريب نموذج جديد في عملية تُسمى الضبط الدقيق بالإشراف، أو SFT.
تعتبر هذه العملية من الضبط الدقيق هي التي قد تؤدي إلى نموذج يُزعم أنه تم إنشاؤه بواسطة طرف ثالث يدعي أنه كلود. وفي رأي لامبرت، فإن “النموذج يلتقط سلوكياته.”
لكن لامبرت يقول إن فوائد SFT أصبحت أقل أهمية مع زيادة تعقيد النماذج. ومن المحتمل أن يتطلب تقطير قدرات تشبه Fable تقنيات التعلم المعزز. في كثير من الحالات، يعني ذلك أن يكون لدى وكيل النموذج الأكبر تقييم لردود النموذج الأصغر، وضبطها بناءً على التقييم.
تتطلب التقنيات الأكثر تقدمًا أيضًا بنية تحتية أكثر أهمية. يمكن أن تتطلب عمليات التعلم المعزز الكبيرة عشرات الملايين من الوكلاء. استخدام واجهة برمجة التطبيقات لمختبر متقدم لفعل ذلك “سيكون مكلفًا بشكل جنوني ومن المحتمل أن يكون عنق زجاجة زمنية لأن هذه النماذج بطيئة جدًا، وصراحة قد لا تحقق لك تحسنًا في الأداء.”
يبدو أن النماذج السابقة المتقدمة قد ساهمت في Kimi؛ حيث اتهمت Anthropic علنًا شركة Moonshot وDeepSeek وMiniMax بتقطير نماذجها بشكل منهجي في وقت سابق من هذا العام. وقالت Anthropic إنها اكتشفت ملايين التبادلات بين نماذجها والمستخدمين الذين حددتهم في تلك الشركات من خلال عناوين IP وبيانات وصفية أخرى. كانت تلك الاستفسارات “مختلفة عن أنماط الاستخدام العادية، وتعكس استخراجًا مقصودًا للقدرات بدلاً من الاستخدام الشرعي.” لم ترد Anthropic على استفسارات TechCrunch حول تقطير Fable.
ومع ذلك، يُنظر إلى التقطير على أنه شائع بين شركات الذكاء الاصطناعي، ليست فقط في الصين. شهد إيلون ماسك في وقت سابق من هذا العام أن شركته SpaceXAI قد قامت بتقطير نماذج OpenAI لتطوير Grok، وأن هذه الممارسة شائعة في الصناعة. الخط الفاصل بين التقطير وتطوير مجموعات البيانات الاصطناعية، على سبيل المثال، يمكن أن يكون غامضًا إلى حد ما.
قال هانكوك: “[عمومًا، الأميركيون يقللون من تقدير الخبرة الفنية لهذه الفرق الصينية”. “واحد من مؤسسي Moonshot كان طالب دكتوراه في CMU. هؤلاء باحثون ومهندسون شرعيون يقومون بعمل صلب. … إذا توقفت النماذج الأمريكية تمامًا، أعتقد أن تقدم الصين سيتباطأ، لكنه سيستمر. إنهم لا يركبون فقط على سواعد الآخرين هنا.”
كما أنه من الصعب فصل التقطير عن الجزء الثاني من تعليق كراسياس – وهو أن Moonshot حصلت على قطع Nvidia المتقدمة، Grace Blackwell 300s، وكذلك الوصول إلى خوادم GB300 المجهزة في تايلاند. هذه الشحانات مُحظرة للتصدير إلى الصين، ولكن يوجد سوق سوداء، وفقًا لسام بريسنك، زميل بحث في مركز الأمن والتكنولوجيا الناشئة في جامعة جورجتاون. في مايو، تم توجيه اتهام للمؤسس لشركة Supermicro، وهي شركة أمريكية لبناء الخوادم، بتهريب رقاقات متقدمة إلى الصين.
قال بريسنك: “أنا مؤيد لقوانين تعرف على عميلك لمراكز البيانات في جميع أنحاء العالم”. “إذا كنت تسمح لشركة بتنفيذ تدريبات ضخمة على عتادك المتطور، فلا بد من وجود آلية للإبلاغ عن من هي تلك الشركة وماذا تفعل.”
واقترحت وزارة التجارة التابعة للرئيس جو بايدن قواعد الفيدرالية الخاصة بمعرفة عميلك لمراكز البيانات في عام 2024، لكن يبدو أنه لم يتم إحراز تقدم إضافي في عهد دونالد ترامب. ومع ذلك، من المفترض أن يضمن المصدرون الذين يشحنون شحانات متقدمة للخارج أنها ستستخدم فقط لأغراض مقبولة.
عند الشراء من خلال الروابط في مقالاتنا، قد نحصل على عمولة صغيرة. هذا لا يؤثر على استقلاليتنا التحريرية.