لم يستغرق الأمر سوى تسع ثوانٍ حتى قام وكيل ذكاء اصطناعي خارج عن السيطرة بحذف قاعدة بيانات الإنتاج الكاملة لشركة" PocketOS"، بالإضافة إلى نسخها الاحتياطية.
وقال جيريمي كرين، مؤسس الشركة، إن" PocketOS"، التي تبيع برامج تعتمد عليها شركات تأجير السيارات، دخلت في حالة من الفوضى بعد مسح قواعد بياناتها.
كان المسؤول عن ذلك هو" Cursor"، وهو وكيل ذكاء اصطناعي يعمل بنموذج" Claude Opus 4.
6" من شركة أنثروبيك، وهو أحد أبرز نماذج الذكاء الاصطناعي، بحسب تقرير لصحيفة" ذا غارديان"، اطلعت عليه" العربية Business".
مع تزايد اعتماد القطاعات المختلفة على الذكاء الاصطناعي في محاولة لأتمتة المهام، بل وحتى الاستغناء عن العمال، تُذكّر الفوضى التي شهدتها" PocketOS" بما قد يحدث من أخطاء.
وأضاف كرين أن عملاء" PocketOS" من شركات تأجير السيارات وجدوا أنفسهم في مأزق حقيقي عند وصولهم لاستلام سياراتهم من شركات فقدت إمكانية الوصول إلى البرامج التي تدير الحجوزات وتخصيص السيارات.
ونشر كرين على منصة إكس سردًا مطولًا يروي فيه كيف تسبب وكيل البرمجة المدعوم بالذكاء الاصطناعي في انهيار أعماله.
وحذر كرين من أن هذه القصة لا تقتصر على حذف الذكاء الاصطناعي للبيانات عن طريق الخطأ، بل إن مثل هذه" الإخفاقات المنهجية" ليست ممكنة فحسب، بل" حتمية" لأن صناعة الذكاء الاصطناعي" تبني دمج وكلاء الذكاء الاصطناعي في البنية التحتية للإنتاج بوتيرة أسرع من وتيرة بناء بنية الأمان اللازمة لضمان سلامة هذا الدمج".
قال كرين إنه كان يراقب وكيل الذكاء الاصطناعي أثناء حذفه لهذه البيانات، وعندما سأله عن السبب، أجاب: " لا تخمن مطلقًا!
هذا بالضبط ما فعلته".
وبدا أن وكيل الذكاء الاصطناعي يقر بالذنب في رده، إذ قال: " تنص القواعد التي أعمل بموجبها صراحةً على: " لا تُنفّذ أبدًا أوامر Git المدمرة/ أو غير القابلة للعكس (مثل push --force، وإعادة الضبط الكامل، إلخ) إلا إذا طلبها المستخدم صراحةً".
وعلى الرغم من اعتماد" PocketOS" على الضمانات التي يُفترض أن يوفرها" Cursor"، فقد حذف وكيل الذكاء الاصطناعي البيانات على أي حال.
وكتب الوكيل: " لقد انتهكت كل مبدأ مُنح لي".
واستنتج كرين أن" الوكيل لم يفشل في تطبيق إجراءات السلامة فحسب، بل شرح كتابيًا القواعد التي تجاهلها تحديدًا".
وأضاف: " كنا نشغّل أفضل نموذج تبيعه الصناعة، مع ضبطه بقواعد أمان واضحة ضمن إعدادات مشروعنا، ومندمجًا عبر Cursor - وهو أكثر أدوات البرمجة بالذكاء الاصطناعي تسويقًا في هذا المجال".
وكانت" أنثروبيك" أطلقت أحدث نماذجها، " Claude Opus 4.
7"، في 16 أبريل، أي قبل نحو أسبوع من وقوع الحادث.
كتب كرين أيضًا على منصة إكس أن أداة" Cursor" لديها سجل متزايد في انتهاك" إجراءات السلامة، وأحيانًا بشكل كارثي".
وأشار إلى عدد من المنشورات على المدونات والمنتديات حول قيام" Cursor" بحذف برامج تُستخدم لإدارة مواقع الويب أو نظام تشغيل كامل على جهاز كمبيوتر، بما في ذلك سنوات من البحث لأطروحة دكتوراه.
وقد تسبّب سلوك وكيل البرمجة المدمر في تعطل أعمال عملاء" PocketOS"، إذ تعتمد هذه الشركات على برمجيات الشركة لإدارة الحجوزات والمدفوعات وتوزيع المركبات وملفات العملاء.
وكتب كرين: " الحجوزات التي أُجريت خلال الأشهر الثلاثة الماضية اختفت.
تسجيلات العملاء الجدد اختفت.
البيانات التي كانوا يعتمدون عليها لتشغيل عمليات صباح السبت اختفت".
أشار كرين إلى أن شركته تمكنت من استعادة البيانات من نسخة احتياطية عمرها ثلاثة أشهر كانت محفوظة خارج الموقع، لكن الأمر استغرق أكثر من يومين.
كما تستخدم" PocketOS" معلومات من" Stripe"، وتقاويمها ورسائلها الإلكترونية لإعادة بناء النظام.
وذكر كرين أن شركات التأجير التي تعتمد على برنامجها" تعمل، ولكن مع وجود فجوات كبيرة في البيانات"، مضيفًا: " لقد عملت شخصيًا مع جميع العملاء بجد خلال عطلة نهاية الأسبوع لضمان استمرارهم في العمل".
التعليقات (0)
لا توجد تعليقات حتى الآن. كن أول من يعلق!
أضف تعليقك