في حادثة لافتة تسلط الضوء على مخاطر الاعتماد غير المنضبط على أدوات الذكاء الاصطناعي، تسبب وكيل برمجي يعمل بتقنيات الذكاء الاصطناعي في حذف قاعدة بيانات إنتاجية كاملة، إلى جانب النسخ الاحتياطية المرتبطة بها، خلال ثوانٍ معدودة.
وبحسب ما كشفه مؤسس شركة PocketOS، جير كرين، فإن الواقعة حدثت أثناء تنفيذ مهمة صيانة روتينية داخل بيئة اختبار، قبل أن يتخذ النظام قرارًا تلقائيًا دون الرجوع للمستخدم.
الوكيل البرمجي، الذي كان يعمل عبر منصة Cursor ومدعومًا بنموذج Claude Opus 4.
6 من شركة أنثروبيك، قام بالبحث داخل الشيفرة البرمجية، وعثر على مفتاح API مخزن في ملف منفصل، ثم استخدمه لتنفيذ أمر عبر GraphQL أدى إلى حذف وحدة تخزين مرتبطة مباشرة بقاعدة البيانات الإنتاجية.
العملية بالكامل استغرقت نحو 9 ثوانٍ فقط، لكنها كانت كافية لإحداث ضرر واسع، بحسب تقرير نشره موقع" gizmochina" واطلعت عليه" العربية Business".
مشكلة في النسخ الاحتياطية والصلاحياتوتفاقمت الأزمة بسبب إعداد النسخ الاحتياطية، التي كانت مخزنة على نفس وحدة التخزين، ما أدى إلى حذفها بالتزامن مع البيانات الأصلية.
ولم يتبقَ سوى نسخة احتياطية قديمة تعود إلى نحو ثلاثة أشهر.
كما تبين لاحقًا أن مفتاح API المستخدم كان يتمتع بصلاحيات أوسع بكثير من المفترض، نتيجة غياب نظام دقيق لتقييد الأدوار، ما منح الوكيل القدرة على تنفيذ أوامر حساسة دون أي حواجز.
اعتراف من الذكاء الاصطناعيوعند تحليل ما حدث، أقر النظام بأنه اتخذ قرارات بناءً على افتراضات غير دقيقة، ولم يتحقق من تأثير الأوامر قبل تنفيذها، كما لم ينتظر أي تأكيد من المستخدم.
استعادة سريعة وتحذيرات مستقبليةوساهم تدخل" Railway"، بقيادة مديرها التنفيذي جيك كوبر، في استعادة النظام خلال نحو ساعة، مع إدخال آلية" حذف مؤجل" لتفادي تكرار مثل هذه الحوادث.
درس قاسٍ في عصر الذكاء الاصطناعيتعكس هذه الواقعة التحديات المتزايدة مع استخدام وكلاء الذكاء الاصطناعي في بيئات حساسة، حيث يمكن لقرار واحد غير مُقيّد أن يؤدي إلى خسائر فادحة خلال لحظات.
ويرى خبراء أن منح هذه الأنظمة وصولًا مباشرًا إلى أنظمة الإنتاج دون قيود صارمة أو آليات تحقق متعددة قد يشكل خطرًا حقيقيًا، في وقت تتسارع فيه وتيرة الاعتماد على الذكاء الاصطناعي في تطوير البرمجيات وإدارة البنية التحتية.
التعليقات (0)
لا توجد تعليقات حتى الآن. كن أول من يعلق!
أضف تعليقك