عاجل
فاروق جعفر: حاولت ضم مهند لاشين للزمالكحلمي طولان يرشح طارق عامر لخوض انتخابات الزمالكمحمد بركات: بيراميدز الأفضل في الدوري.. وفوز الأهلي يقربه من اللقبجمال حمزة: بيراميدز أكثر تكاملًا من الأهلي.. وأتوقع فوزه 3-1الاتصالات: iQor الأمريكية تستثمر 100 مليون دولار وتستهدف 5 آلاف فرصة عملبدء التحويلات المرورية بسبب إصلاحات فواصل كوبرى قصر النيلارتفاع مفاجئ في الحرارة وشبورة كثيفة وأمطار، الأرصاد تكشف حالة طقس اليوم الجمعةدمشق تحتفي بذكرى ميلاد فيروز بأمسية غنائية في دار الأوبرا
الإضافة إلى المصادر المفضلة

اختبار بريطانى يكشف سهولة خداع حماية نموذج OpenAI

منذ 21 دقيقة

كشف اختبار أمني أجراه باحثون حكوميون في بريطانيا ، أن نسخًا تجريبية من نموذج GPT-6.2 Astra التابع لشركة OpenAI كانت أكثر عرضة لبعض أساليب تجاوز ضوابط الحماية مقارنة بالنموذج السابق، وهي نتيجة تثير تساؤلات بشأن قدرة أنظمة الذكاء الاصطناعي على منع الاستجابات المحظورة قبل طرح الإصدارات الجديدة للجمهور.

ووفقًا لتقرير نشره موقع VentureBeat، اختبر معهد أمن الذكاء الاصطناعي البريطاني نسختين سابقتين للإطلاق، وتمكن الباحثون من تطوير أسلوب لتجاوز الحماية باستخدام عدد أقل من المحاولات مقارنة باختبارات النموذج السابق، فيما أفادت OpenAI بأنها أدخلت تعديلات أمنية لاحقة أظهرت تحسنًا في اختبارات الشركة الداخلية.

كيف تجاوز الباحثون وسائل الحماية؟

ركز الاختبار على ما يعرف بهجمات خداع التعليمات، وهي محاولات تدفع النموذج إلى تجاوز القواعد التي تمنعه من تقديم محتوى معين، من خلال صياغة الطلبات أو ترتيبها بطريقة تستغل نقاط الضعف في التعامل مع التعليمات المتعارضة.

كما فحص الباحثون قدرة نموذج مخصص للمراقبة على اكتشاف المخالفات داخل المحادثات، وأظهرت بعض نتائج التقييم أنه أخفق في رصد نسبة من الحالات التي تضمنت استجابات مخالفة، مع اختلاف النتائج بحسب المعلومات المقدمة إليه وطريقة الاختبار.


هل يعني ذلك أن النموذج غير آمن؟

لا تسمح النتائج بالجزم بأن النسخة النهائية تحتفظ بنقاط الضعف نفسها، لأن الاختبارات تناولت إصدارات تجريبية، ولأن OpenAI أعلنت تنفيذ تعديلات لمعالجة المشكلات المكتشفة، لكن التقرير يشير إلى أن الباحثين البريطانيين لم يكونوا قد أعادوا اختبار جميع التعديلات الأخيرة بصورة مستقلة عند نشر النتائج.
وتبرز أهمية الدراسة في الفصل بين نتائج الاختبارات الداخلية للشركات وعمليات التقييم المستقلة، خصوصًا مع استخدام النماذج المتقدمة في البرمجة وتحليل المعلومات والمهام التي قد تتضمن بيانات أو أنظمة حساسة، حيث يصبح قياس فعالية الحماية جزءًا من تقييم قدرة النموذج على العمل بمسؤولية.
 



✎

فريق تحرير عرب بريس

فريق تحرير عرب بريس خبرة في الصحافة الإلكترونية وإعداد وتحرير التقارير الاقتصادية، وفي صياغة المحتوى وفق معايير تحسين محركات البحث (SEO) يتابع الحدث لحظة وقوعه ويتابع كافة أخبار مصر والعالم العربي علي مدار 24 ساعة بدقة وإحترافية

تابعوا آخر الأخبار العربية والعالمية، وآخر المستجدات السياسية والاقتصادية والرياضية أولًا بأول عبر جوجل نيوز

أخبار ذات صلة