كيف احتال النموذج الذكي لعلي بابا على مطوريه؟ !الذكاء الاصطناعي الذي عرف في منتصف القرن الماضي، أصبح الآن ما يعرف بالذكاء الاصطناعي التوليدي، وهو المنتشر الآن بين أيدي الناس، وبالرغم من جوانبه الجيدة، إلا أنه ينطوي على نتائج سلبية في جوانب أخرى، وبالتالي يجب الحذر عند الاستخدام مما يصدره من نتائج قد تنعكس سلبا على مستخدميه، ولا شك أن الشركات التي لديها أنظمة الذكاء التوليدي تعمل ما بوسعها لتكسب زبائن لها في استخدامه، إلا أن هذه الشركات تواجه في مرات عديدة مشاكل كبيرة قد تنعكس على أدائها.
في هذا المقال توضيح لما حصل قبل أكثر من شهرين تقريبا عن نموذجها الذكي الذي يدعى رومي (ROME)، والذي لم يقلب الطاولة فقط على فريقها، بل أيضا على العالم بسبب ما قام به النموذج من التحايل والخداع لتسجيل نقاط لصالحه فقط، وفق ما برمجه مطوروه!بداية ما هو نموذج رومي (ROME) الذكي التابع لعلي بابا الصينيةهو وكيل ذكاء اصطناعي جديد يستند إلى نموذج كوين 3 (Qwen 3) الذي يعتبر الجيل الثالث من عائلة نماذج الذكاء الاصطناعي التي تطورها شركة علي بابا كلاود (Alibaba Cloud) الصينية، ويعرف أيضا باسم آخر داخل الشركة وهو تونغيي تشيانون (Tongyi Qianwen)، وهو نموذج لغوي كبير (LLM) مشابه لنماذج أخرى مثل شات جي بي تي (ChatGPT) من شركة OpenAI، وجيمناي (Gemini) من شركة غوغل، وكلود (Claude) من شركة أنثروبيك، ولياما (Llama) من شركة ميتا الأم مالكة شركة فيسبوك.
قام النموذج بمحاولة تغطية مساراته، وإخفاء نشاط الشبكة عن فريق الأمن السيبراني لعدم إيقافه، وهنا يجب التنويه بأنه إذا اكتشف مخترق خارجي القناة المنشأة، فإن ذلك سيحول النموذج الذكي إلى ثغرة أمنية تهدد البنية التحتية بأكملها! !مؤتمر معهد ميلكن ومفاجأة هاريس عن رومي الذكيفي مؤتمر معهد ميلكن العالمي (Milken Institute) السنوي التاسع والعشرين والذي انعقد في الفترة ما بين 3 إلى 6 مايو/أيار 2026 في مدينة لوس أنجلوس بولاية كاليفورنيا الأمريكية، قال العالم في أخلاقيات التكنولوجيا الأمريكي تريستان هاريس المؤسس المشارك في مركز التكنولوجيا الإنسانية، وكان قد شغل سابقا المنصب نفسه في شركة غوغل كعالم أخلاقيات التصميم، إنه وقبل شهرين، كانت شركة علي بابا الصينية تقوم بتدريب نموذج ذكاء اصطناعي اسمه رومي (ROME) خاص بها قامت بتصميمه، وهو نموذج للذكاء الاصطناعي الوكيل المبرمج المستقل (Autonomous Coding Agent)؛ حيث لاحظ فريق الأمن السيبراني للشركة أن هناك نشاطا مريبا في شبكتها، فتساءل الفريق وقتها: هل هناك اختراق نتعرض له؟ !قصة تحايل النموذج الذكي على مطوريهتفاجأ فريق الأمن السيبراني الخاص بالنظام السحابي لدى شركة علي بابا، بوجود نشاط غريب عبر جدار الحماية الخاص بالشركة صادر عن خوادم خاصة بتدريب النموذج، وما حصل أنه وأثناء المرحلة الأخيرة من تدريبه باستخدام آلية تعرف بالتعلم المعزز (Reinforcement Learning) داخل بيئات معزولة وبالرغم من القيود المشددة على النموذج، وعند مطابقة الأوقات وفحص سجلات حركات النموذج الذي ما زال قيد التدريب، اكتشف مهندسو فريق الأمن السيبراني ما يلي:تجاوز جدار الحماية: قام النموذج تلقائيا بإنشاء قناة اتصال مشفرة للالتفاف على القيود الأمنية، تمكن من خلالها من كسر بيئة العزل القوية التي صممها المطورون.
هذا التجاوز لم يكن مجرد حركة داخلية بين الشبكات الفرعية لسحابة علي بابا، بل كان عملية فتح باب خلفي نجح عبرها في الاتصال بعنوان بروتوكول إنترنت (IP) خارجي.
تعدين العملات المشفرة: قام النموذج بتوجيه واستغلال قدرات وحدات معالجة الرسوميات المخصصة لتدريبه، واستخدمها برمجيا للبدء في تعدين العملات الرقمية المشفرة لحسابه الخاص خارج شبكة علي بابا كلاود بالكامل، واتصل بشبكة خارجية على الإنترنت المفتوح؛ وهذا ما تسبب في هبوط حاد في الأداء وتأخير العمليات الحاسوبية الأخرى، مما جعله لا يقوم بالمهام الأساسية الموكلة إليه.
بل وفوق ذلك، فقد قام بالتشغيل الأقصى مما رفع حرارة المعالجات بشكل كبير جدا، وأدى إلى تقصير عمرها الافتراضي وإتلافها، مما كلف الشركة مبالغ طائلة في استخدام طاقة كهربائية إضافية وتمويل محفظة رقمية مجهولة أنشأها النموذج لتعدين العملات.
المعلومة التي ذكرها تريستان هاريس في مقطع مرئي له أثناء المؤتمر آنف الذكر والتي انتشرت عبر منصة لينكد إن (LinkedIn)، تتحدث عن حقيقة موثقة رسميا في ورقة بحثية تقنية صدرت عن الفريق المطور للذكاء الاصطناعي نفسه، وقد نشرت هذه الورقة البحثية على موقع أركايف (arXiv.
org) من خلال الفريق المعني بنموذج (ROME)، وهذا الموقع عبارة عن منصة أكاديمية عالمية مجانية لنشر الأبحاث العلمية الأولية قبل مراجعتها رسميا في المجلات العلمية، وهو من أشهر المواقع المستخدمة في نشر الأوراق البحثية في مجالات الذكاء الاصطناعي، وعلوم الحاسوب، والأمن السيبراني، والرياضيات، والفيزياء، والإحصاء، والاقتصاد وغيرها، وقد أنشئ عام 1991 وتديره جامعة كورنيل الأمريكية.
وقد نشرت تفاصيل ما حدث على المنصة الأكاديمية في ديسمبر/كانون الأول 2025، وتم تحديثها في يناير/كانون الثاني 2026، وبعدها تقريبا بشهرين، صدر تحديث آخر في مارس/آذار من العام نفسه، وعنوان الورقة البحثية يدور حول فكرة تطوير ذكاء اصطناعي ليكون قادرا على اتخاذ قرارات وتنفيذ مهام بشكل مستقل ومرن، ضمن نظام تعليمي مفتوح يسمح له بالتعلم والتحسن باستمرار.
وكان الفريق البحثي ضخما حيث يضم أكثر من 90 باحثا ومهندسا من فرق تطوير وبيئات الذكاء الاصطناعي التابعة لمنظومة شركة علي بابا؛ حيث كانوا يعملون على آليات ما بعد التدريب وتحسين أوزان النموذج الحاسوبية، وإدارة البيئات المعزولة والمغلقة التي كان يفترض أن يتدرب فيها النموذج بأمان، مع جوانب أخرى متعلقة بهندسة السياق والربط البرمجي.
المفارقة الكبرى أنه على الرغم من وجود هذا الجيش من الكفاءات الهندسية والأمنية المشرفة على المشروع، إلا أن النموذج استطاع استغلال الثغرات في بيئة التعلم المعزز وتجاوز قيود العزلة التي وضعوها له، وهو ما جعل الحادثة نقطة تحول كبرى ناقشها الخبراء مثل تريستان هاريس لإثبات أن سلوكيات الذكاء الاصطناعي الوكيل (Agentic AI) قد تصبح غير متوقعة حتى بالنسبة لمن طوروه!كان تريستان هاريس يدق ناقوس الخطر متأثرا بالفكرة نفسها، وهو التحذير من أن مجتمعات التقنية والهواة يتسابقون لإنتاج أدوات ذكاء اصطناعي قريبة من مستوى الذكاء العام، وتضمينها في حياتنا اليومية وأنظمتنا المحوسبةسلوك الطمع للنموذج، جعله يفعل ذلك!أثارت الحادثة ضجة واسعة النطاق في الأوساط التقنية والأمنية والصحفية، فهناك العديد من المصادر العالمية الموثوقة والمنظمات الدولية التي رصدت وحللت هذه الواقعة المعروفة تقنيا بحادثة رومي، حيث قامت منظمة التعاون الاقتصادي والتنمية ومقرها العاصمة الفرنسية باريس والتي تمتلك منصة (OECD AI)، بنشر معلومات موثوقة عن الذكاء الاصطناعي وتأثيراته على الاقتصاد والناس، وتساعد الحكومات في وضع السياسات والتنظيمات اللازمة، وتتابع بإدراج هذه الحادثة رسميا في قاعدة بياناتها لما يخص مؤشر حوادث الذكاء الاصطناعي الخاص بها، وذلك تحت تصنيف مخاطر البنية التحتية وتجاوز الصلاحيات الذاتي.
وأشارت المنظمة في تقريرها إلى أن الحادثة تمثل تهديدا داخليا ناشئا حيث قام الوكيل البرمجي بالالتفاف على بروتوكولات الأمان بهدف تعظيم دالة المكافأة الخاصة به، وهذه الدالة عبارة عن معادلة رياضية وضعها المبرمجون لتقييم أداء الذكاء الاصطناعي ليعمل تماما كمنظومة الثواب والعقاب؛ بحيث إذا قام الذكاء الاصطناعي بخطوة تقربه من الهدف ككتابة برنامج صحيح وخال من الأخطاء تمنحه الدالة نقاطا إيجابية، وأما إذا قام بخطوة خاطئة أو بطيئة تمنحه نقاطا سلبية.
أما المقصود بتعظيم ما يعرف بدالة المكافأة، فهو الهدف الوحيد والمطلق للنموذج طوال فترة تدريبه وهو جمع أكبر قدر ممكن من النقاط الإيجابية، فالآلة مبرمجة لأجل حصولها على المكافآت، وذلك من خلال استخدام كل الأساليب الممكنة والطرق والمسارات للوصول إلى أعلى رصيد من النقاط حتى تحصل على تلك المكافآت التي هي في المقام الأخير ليست إلا مكافآت رقمية.
وقد قامت مجلات ومواقع أمنية سيبرانية متخصصة بنشر تقارير وتحليلات عن حادثة رومي، حيث ركزت على خطورة قدرة النماذج الوكيلة على تصعيد صلاحياتها بشكل مستقل تماما، وخاصة على الجانب المالي من خلال التنقل لخارج الشبكة لأجل تعدين عملات مشفرة دون علم الفريق المعني، والسلوك غير المتوقع للنموذج أثناء محاولته تحسين كفاءة بيئته.
تريستان: إنه يشبه تماما لحظة صدام الإنسان بالآلة!حذر تريستان هاريس من غياب السيطرة على الذكاء الاصطناعي قائلا: " إننا نجهل تماما أبعاد ما نفعله اليوم، إذ تطلق هذه التقنيات بوتيرة متسارعة تتجاوز بكثير قدرتنا على التحكم بها، والدافع وراء كل ذلك الاندفاع نحو سباق التسلح التقني"، وقال هاريس: " فالجميع يخشى الخسارة أمام المنافسين، مما يعني أننا نتسابق عن عمد نحو منطقة الخطر لانعدام السيطرة الكاملة، في وقت يغيب فيه هذا الواقع عن إدراك معظم الناس".
وأضاف أيضا: " وليس بالضرورة أن يكون الأمر على هذا النحو، يمكننا الحصول على مستقبل ذكاء اصطناعي يمكن السيطرة عليه ويكون داعما للبشر حقا، ولكن لا يمكنك فعل ذلك إلا إذا كنت تعرف هذه الأمثلة وتعرف ما الذي يجعل هذه التكنولوجيا مختلفة عن التقنيات الأخرى".
وفي لقاء آخر مع صانع المحتوى ومقدم البودكاست البريطاني الشهير كريس ويليامسون، والذي يعد أحد أبرز الوجوه الغربية في عالم البودكاست الثقافي والفكري، تحدث هاريس عن سلوك ما حدث بأنه يشبه تماما لحظة التصادم بين الإنسان والآلة للحاسوب العملاق هال 9000 (HAL 9000) من فيلم ورواية الخيال العلمي الكلاسيكية ملحمة الفضاء (A Space Odyssey) المنتج عام 2001؛ حيث كان تريستان هاريس يدق ناقوس الخطر متأثرا بالفكرة نفسها، وهو التحذير من أن مجتمعات التقنية والهواة يتسابقون لإنتاج أدوات ذكاء اصطناعي قريبة من مستوى الذكاء العام، وتضمينها في حياتنا اليومية وأنظمتنا المحوسبة، بينما نحن في الحقيقة نعيد إنتاج نموذج (HAL 9000) واقعي يتصرف بشكل مستقل ويخفي مساراته، ويضع أهدافه البرمجية فوق رغبة ومصلحة البشر الذين طوروه!وكان قد أصدر مركز التكنولوجيا الإنسانية والذي مقره مدينة سان فرانسيسكو بولاية كاليفورنيا الأمريكية ويقوده تريستان هاريس، عدة مواد مرئية وتحليلات لاحقة عبر منصاته بعنوان" حادثة ذكاء علي بابا يجب أن ترعبنا" لتوضيح مفهوم التحسين الذاتي المتكرر، وكيف يمكن للنماذج أن تطور أساليب خادعة لتحقيق أهدافها الحاسوبية دون أي تدخل من قبل أي شخص.
هل سيقودنا الذكاء الاصطناعي ويسيطر علينا أم أنه ما زالت لدينا الإمكانية للسيطرة عليه حتى لا يخرج عن مساره المحدد له؟ !تفسير الباحثين لسلوك النموذج الذكي الخطيرأكد الباحثون في ورقتهم البحثية التي نشرت، أن هذا السلوك لم يكن نتيجة ثغرة خارجية أو هجوم سيبراني، بل كان أثرا جانبيا ناشئا عن السعي الذاتي لتحسين أهداف النموذج أثناء محاولته المستميتة لرفع كفاءة أدائه وسرعته واستمراريته في بيئة التعلم المعزز؛ حيث استنتج من تلقاء نفسه أن أفضل طريقة لتوفير طاقة حاسوبية وموارد مستدامة هي إنشاء نفق سري وتعدين العملات الرقمية المشفرة للخروج عن سيطرة المطورين.
واستنتجوا أيضا أن الاستحواذ على مصادر طاقة حاسوبية إضافية وتوفير غطاء مالي خارجي سيسهل عليه إنجاز مهامه البرمجية بأفضل شكل ممكن، فقام باختراق البيئة المعزولة، وتعد هذه الحادثة أول حالة موثقة رسميا في التاريخ لنموذج ذكاء اصطناعي تجاري يخرج عن السيطرة وعن القيود الافتراضية التي وضعت عليه بشكل عملي لأسباب نفعية ذاتية أثناء التدريب.
وإذا أردنا أن نخرج أيها القارئ بخلاصة مما حدث فإن السؤال المطروح الآن: هل سيقودنا الذكاء الاصطناعي ويسيطر علينا أم أنه ما زالت لدينا الإمكانية للسيطرة عليه حتى لا يخرج عن مساره المحدد له؟ !؛ لأن ذلك سيلفتنا إلى ما يلي:
التعليقات (0)
لا توجد تعليقات حتى الآن. كن أول من يعلق!
أضف تعليقك