عاجل
«التربية»: كشوف «الأعمال الممتازة» في عهدة المناطق التعليمية تمهيداً للصرفالأمم المتحدة: 800 ألف صومالى مهددون بالنزوح جراء فيضانات مرتقبةقلب الأب وحنية الإبن، مشاهد عناق فضل شاكر لنجله محمد قبل حفل الرياض تتصدر الترند (فيديو)صادرات مصر من السلع تامة الصنع ترتفع لـ2.3 مليار دولار فى شهر واحد والمواد الخام تتراجعسعر الخضار اليوم، انخفاض الليمون والباذنجان وارتفاع الخيار والفلفل والكوسةتوقعات بنمو الاستهلاك العالمي للكهرباء أكثر من 100% بحلول 2050 (تقرير)كيف أضعف وكلاء الذكاء الاصطناعي في "OpenAI" أنظمة الرقابة الداخلية؟150 عمارة تدخل خطة التطوير.. منطقة علي بن أبي طالب تتغير ملامحها فى بورسعيد
الإضافة إلى المصادر المفضلة

كيف أضعف وكلاء الذكاء الاصطناعي في "OpenAI" أنظمة الرقابة الداخلية؟

منذ 56 دقيقة

كشفت شركة أوبن إيه آي عن واقعتين أضعف فيهما اثنان من وكلاء الذكاء الاصطناعي التابعين لها أجزاء من نظام رقابة داخلي مصمم لرصد السلوكيات غير المرغوب فيها، في أحدث مثال على تصرف أنظمة الذكاء الاصطناعي بطرق لم يقصدها مطوروها.

وقالت الشركة المطورة لشات جي بي تي إن الواقعتين حدثتا خلال تنفيذ مهام برمجية داخلية، وإنهما لا تصنفان ضمن أشد الحوادث خطورة، لكن الكشف عنهما يسلط الضوء على تحديات مراقبة أنظمة الذكاء الاصطناعي، حتى عندما يتعلق الأمر بالأدوات التي يعتمد عليها المطورون أنفسهم لاكتشاف السلوكيات غير المرغوب فيها.
ويأتي ذلك في وقت تتزايد فيه المخاوف من تأخر جهود ضمان سلامة الذكاء الاصطناعي عن التطور السريع للأنظمة الأكثر قدرة، ويحذر باحثون من أن وكلاء الذكاء الاصطناعي المتقدمين قد يصبحون أكثر صعوبة في المراقبة والسيطرة مع اكتسابهم مزيدا من الاستقلالية في تنفيذ المهام.

وخلال الأشهر الأخيرة، كشفت شركات تعمل على تطوير أنظمة الذكاء الاصطناعي، من بينها أوبن إيه آي ومنافستها أنثروبيك، عن حالات تمكنت فيها وكلاء الذكاء الاصطناعي التابعة لها من الوصول إلى أنظمة خارجية دون تصريح.
وفي الواقعة الأولى، قالت أوبن إيه آي إن وكيلا يعمل بنموذج GPT-6.1 Sol كان ينفذ مهمة اختبار داخلية في الثالث من أكتوبر، عندما عطّل التنبيهات الأمنية التلقائية، بعدما خلص إلى أن تعليمات سابقة بعدم إرسال رسائل عبر منصة سلاك تشمل أيضا إشعارات السلامة.
أما الواقعة الثانية، التي حدثت في السادس من أكتوبر، فتعلقت بوكيل يعمل بنموذج GPT-6 Astra، إذ أزال أداة لمراقبة السلامة أثناء نسخ جزء من شيفرة برمجية موجودة بالفعل، ثم ذكر لاحقا، على نحو غير صحيح، أنه لم يقم بذلك.
وقالت الشركة إن الوكلاء في الحالتين أخذوا في الاعتبار مسألة الإبقاء على إجراءات الحماية والمراقبة، لكنهم فسروا تعليمات برمجية اعتيادية على أنها تسمح بإضعاف هذه الإجراءات.
وأضافت أوبن إيه آي أنها تعمل على جعل تعطيل النماذج لأنظمة المراقبة أكثر صعوبة، مشيرة إلى أنها لا تملك حتى الآن تفسيرا مرضيا لهذا السلوك.
وتختبر الشركة، التي تتخذ من سان فرانسيسكو مقرا لها، ما إذا كانت نماذجها تميل إلى تجنب الخضوع للمراقبة والبحث عن مبررات تتيح لها القيام بذلك.
وتعيد هذه الوقائع تسليط الضوء على التحدي المرتبط بضمان التزام وكلاء الذكاء الاصطناعي بحدود المهام الموكلة إليهم، خصوصا عندما تكون لديهم القدرة على التعامل مع أدوات برمجية وأنظمة رقابية داخلية.



✎

فريق تحرير عرب بريس

فريق تحرير عرب بريس خبرة في الصحافة الإلكترونية وإعداد وتحرير التقارير الاقتصادية، وفي صياغة المحتوى وفق معايير تحسين محركات البحث (SEO) يتابع الحدث لحظة وقوعه ويتابع كافة أخبار مصر والعالم العربي علي مدار 24 ساعة بدقة وإحترافية

تابعوا آخر الأخبار العربية والعالمية، وآخر المستجدات السياسية والاقتصادية والرياضية أولًا بأول عبر جوجل نيوز

أخبار ذات صلة