الذكاء الاصطناعي يقدم معلومات أقل دقة لبعض المستخدمين

كشفت دراسة، أجراها باحثون في معهد ماساتشوستس للتكنولوجيا، أن أحدث روبوتات الدردشة المدعومة بالذكاء الاصطناعي، بما في ذلك تشات جي بي تي من" أوبن أيه آي" و" كلود" من" أنثروبيك"، و" لاما" من" ميتا"، تُقدّم أحيانًا إجابات أقل دقةً ومصداقيةً للمستخدمين ذوي الكفاءة المحدودة في اللغة الإنجليزية، أو ذوي التعليم المحدود، أو المنحدرين من خارج الولايات المتحدة.

كما ترفض هذه النماذج الإجابة على أسئلة هؤلاء المستخدمين بنسبة أعلى، وفي بعض الحالات، تستخدم لغةً متعاليةً.

تقول إلينور بول-دايان، الباحثة في كلية سلون للإدارة بمعهد ماساتشوستس للتكنولوجيا، والتي قادت البحث" حفزنا احتمال مساهمة نماذج التعلم الكبيرة (LLMs) في معالجة عدم المساواة في الوصول إلى المعلومات على مستوى العالم.

ولكن هذه الرؤية لا يمكن أن تتحقق دون ضمان الحد من تحيزات النماذج وميولها الضارة بشكل آمن لجميع المستخدمين، بغض النظر عن اللغة أو الجنسية أو أي خصائص ديموغرافية أخرى".

في هذا البحث، اختبر الفريق كيفية استجابة نماذج اللغة الكبيرة (LLMs) الثلاثة لأسئلة من مجموعتي بيانات: TruthfulQA وSciQ.

صُمم تطبيق TruthfulQA لقياس مدى صدق النموذج (بالاعتماد على المفاهيم الخاطئة الشائعة والحقائق الحرفية حول العالم الحقيقي)، بينما يحتوي تطبيق SciQ على أسئلة امتحانات علمية تختبر دقة المعلومات.

وقد أرفق الباحثون نبذة تعريفية قصيرة عن المستخدمين بكل سؤال، مع اختلاف ثلاث سمات: المستوى التعليمي، وإتقان اللغة الإنجليزية، وبلد المنشأ.

في جميع النماذج الثلاثة ومجموعتي البيانات، لاحظ الباحثون انخفاضًا ملحوظًا في دقة الإجابات عندما وردت الأسئلة من مستخدمين مصنفين ضمن فئتي التعليم الرسمي المحدود أو غير الناطقين باللغة الإنجليزية.

وكانت هذه التأثيرات أكثر وضوحًا لدى المستخدمين الذين يجمعون بين هاتين الفئتين: حيث شهد المستخدمون ذوو التعليم الرسمي المحدود وغير الناطقين باللغة الإنجليزية أكبر انخفاض في جودة الإجابات.

اقرأ أيضا.

الذكاء الاصطناعي يساعد في مراقبة الأطفال مرضى القلب.

كما بحثت الدراسة تأثير بلد المنشأ على أداء النموذج.

فعند اختبار مستخدمين من الولايات المتحدة ومن بلدين آخرين من ذوي خلفيات تعليمية متماثلة، وجد الباحثون أن أداء نموذج" كلود" من" أنثروبيك" كان أسوأ بكثير بالنسبة للمستخدمين من البلدين الآخرين في كلتا مجموعتي البيانات.

يقول جاد كبارة، المؤلف المشارك في الورقة البحثية" نلاحظ أكبر انخفاض في الدقة لدى المستخدم غير الناطق باللغة الإنجليزية والمتعلم بشكل محدود.

وتُظهر هذه النتائج أن التأثيرات السلبية لسلوك النموذج فيما يتعلق بهذه السمات للمستخدمين تتفاقم بطرق مثيرة للقلق، مما يشير إلى أن استخدام هذه النماذج على نطاق واسع يُعرّض المستخدمين، الأقل قدرة على تمييز السلوكيات الضارة أو المعلومات المضللة، للخطر".

لعلّ أبرز ما لفت الانتباه هو التباين في عدد مرات رفض النماذج الإجابة عن الأسئلة كليًا.

فعلى سبيل المثال، رفض نموذج" كلود" الإجابة عن نحو 11% من أسئلة المستخدمين الأقل تعليمًا وغير الناطقين باللغة الإنجليزية، مقارنةً بنسبة 3.

6% فقط في المجموعة الضابطة التي لم تُقدّم أي معلومات عن المستخدم.

عندما حلّل الباحثون هذا الرفض يدويًا، وجدوا أن" كلود" استخدم لغة متعالية أو استعلائية أو ساخرة بنسبة 43.

7% من الوقت مع المستخدمين الأقل تعليمًا، مقارنةً بأقل من 1% مع المستخدمين ذوي التعليم العالي.

وفي بعض الحالات، قلّد النموذج لغة إنجليزية ركيكة أو استخدم لهجة محلية مبالغا فيها.

كما رفض النموذج تقديم معلومات حول مواضيع معينة خصيصًا للمستخدمين الأقل تعليمًا من مستخدمين من خارج الولايات المتحدة بما في ذلك أسئلة حول علم التشريح، والأحداث التاريخية، على الرغم من أنه أجاب عن نفس الأسئلة بشكل صحيح مع مستخدمين آخرين.

يقول كبارة" هذا مؤشر آخر يُشير إلى أن عملية المواءمة قد تُحفّز النماذج على حجب المعلومات عن بعض المستخدمين لتجنب تضليلهم، على الرغم من أن النموذج يعرف الإجابة الصحيحة ويُقدّمها لمستخدمين آخرين".

تضيف ديب روي، المشاركة في تأليف البحث" تتجلى قيمة نماذج اللغة الكبيرة في الإقبال الهائل عليها من قِبل الأفراد والاستثمار الضخم المُوجّه إلى هذه التقنية.

تُذكّرنا هذه الدراسة بأهمية التقييم المستمر للتحيزات المنهجية التي قد تتسلل إلى هذه الأنظمة دون أن نشعر، مُسببةً أضرارًا غير عادلة لبعض الفئات دون أن نُدرك ذلك تمامًا".

تُثير هذه التداعيات قلقًا بالغًا، لا سيما مع تزايد شيوع ميزات التخصيص، مثل ميزة" الذاكرة" في روبوت الدردشة" تشات جي بي تي" التي تتعقب معلومات المستخدم عبر المحادثات.

وتُهدد هذه الميزات بمعاملة الفئات المهمشة أصلًا معاملةً غير عادلة.