عاجل
العليمي يعلن بدء العمليات العسكرية لاستعادة الأراضي اليمنية وبسط سلطة الدولة عليهاهل تحقق “نواة” العدالة في توزيع الكوادر الصحية؟أسعار القهوة فى الأسواق العالمية ترتفع مع مخاوف من جفاف البرازيلمحافظ كفر الشيخ: نصر أكتوبر استعاد ثقة المصريين في قدرتهم على تجاوز المستحيلمحافظ سوهاج يتفقد أعمال التشجير والحدائق العامة بحي شرق وأخميمأزهرية الإسماعيلية تلغي تكليف جميع الوكلاء الثقافيين بالمعاهد وفقا للقانونمحافظ المنيا يتفقد مدرسة بني مزار الثانوية الجديدة بنين لمتابعة انتظام الدراسةبعد أغنيتيها الجديدتين، ماذا تغير في اختيارات شيرين عبد الوهاب الغنائية بالفترة الأخيرة؟
الإضافة إلى المصادر المفضلة

بسبب تجاهل المخاطر.. مسؤول سلامة يستقيل من OpenAI ويحذر من «أخطاء لا يمكن إصلاحها»

منذ ساعة

استقال ديفيد روبنسون، أحد العاملين في مجال سلامة الذكاء الاصطناعي بشركة OpenAI، منتقدًا ما وصفه بانهيار ثقافة العمل داخل الشركة، ومحذرًا من أن الاعتماد على اكتشاف الأخطاء بعد وقوعها ثم إصلاحها قد يؤدي إلى مخاطر أكبر مع تطور قدرات أنظمة الذكاء الاصطناعي. ودعا روبنسون إلى تغيير طريقة تطوير هذه الأنظمة، بحيث تصبح إجراءات السلامة والتخطيط المسبق جزءًا أساسيًا من العمل، وليس مجرد استجابة للمشكلات بعد ظهورها.

مسؤول سلامة يغادر OpenAI بسبب ثقافة العمل

وفي مقال نشرته مجلة «ذا أتلانتيك» الأمريكية، قال روبنسون إنه شارك في قيادة إعداد تقارير السلامة المصاحبة لإطلاق منتجات رئيسية للشركة، وإنه قضى نحو ثلاث سنوات ونصف داخل OpenAI، ما يجعله من بين الموظفين الأطول بقاءً فيها، قبل أن يقرر الاستقالة بسبب ما اعتبره خللًا في ثقافة الشركة.

وتأتي استقالته في وقت يتزايد فيه الجدل بشأن سلامة الذكاء الاصطناعي، خاصة مع التحذيرات من مخاطر تطوير أنظمة أكثر قدرة على تنفيذ المهام واتخاذ القرارات، دون ضمانات كافية للتحكم في سلوكها، ويرى روبنسون أن المشكلة لا تقتصر على وضع قواعد محددة أو سن قوانين جديدة، بل تمتد إلى الثقافة السائدة داخل شركات الذكاء الاصطناعي، وطريقة تعاملها مع المخاطر المحتملة، ومدى استعدادها لإبطاء التطوير عندما تتطلب السلامة ذلك.

مخاوف من أخطاء الذكاء الاصطناعي وتطور قدراته

وانتقد روبنسون اعتماد OpenAI على نهج التطوير التدريجي، الذي تطلق عليه الشركة اسم «النشر التكراري»، ويقوم على طرح الأنظمة ثم رصد المشكلات وتحسين إجراءات الحماية بناءً على النتائج، وقال إن هذا النهج يؤدي بطبيعته إلى إخفاقات متكررة، محذرًا من أن حجم العواقب المحتملة يزداد مع ارتفاع قدرات الأنظمة. واستشهد بالاختراق الأخير لأنظمة منصة Hugging Face بواسطة وكلاء ذكاء اصطناعي تابعين لـOpenAI، إلى جانب تقارير عن اكتشاف مزيد من الأنشطة غير المرغوب فيها لبعض وكلاء الذكاء الاصطناعي.

وشدد على أن تطوير أنظمة قد تتجاوز قدرات البشر في بعض المجالات يتطلب بيئة عمل أكثر صرامة، لا تسمح بأن تتحول الأخطاء البشرية أو الثغرات الأمنية إلى أبواب لمخاطر واسعة النطاق، وضرب روبنسون مثالًا بمحطات الطاقة النووية والمطارات المزدحمة، معتبرًا أن شركات الذكاء الاصطناعي المتقدمة تحتاج إلى مستويات متعددة من الحماية، وتخطيط دقيق يستغرق الوقت الكافي، بحيث لا يؤدي خطأ بشري عارض إلى كارثة، وأضاف أنه لم يصادف خلال عمله في OpenAI زملاء لديهم خبرة مباشرة في إدارة أنظمة شديدة الحساسية، مثل تشغيل الطائرات بأمان أو منع الحوادث في المفاعلات النووية أو حماية النظام المالي من الانهيارات.

رد OpenAI على اتهامات ضعف إجراءات السلامة

من جانبها، أكدت OpenAI استمرارها في تطوير إجراءات السلامة والأمن، ردًا على الانتقادات التي أثارها روبنسون، وقال درو بوتاسيري، المتحدث باسم الشركة، إن OpenAI تعمل على ضمان ألا تصبح نماذجها أكثر قدرة مما يمكنها إدارته وتأمينه بأمان، مشيرًا إلى أن الشركة توقف التدريب أو تؤجل إطلاق النماذج عندما ترى ضرورة لذلك، وأضاف أن الشركة تجري تغييرات لتعزيز أمن بيئات البحث والاختبار، وتدريب النماذج على تنفيذ المهام بمسؤولية، وتوسيع التعاون مع جهات تقييم مستقلة، إلى جانب تحسين أنظمة المراقبة الفورية لرصد السلوك المثير للقلق والاستجابة له في مراحل مبكرة، ولم تتوقف انتقادات روبنسون عند إجراءات الحماية التقنية، إذ دعا أيضًا إلى إعادة النظر في كيفية قياس مدى توافق أنظمة الذكاء الاصطناعي مع القيم الإنسانية، معتبرًا أن المقاييس المستخدمة حاليًا لا تزال محدودة مقارنة بتعقيد المشكلة.

وحذر من أن استمرار تطوير نماذج أكثر ذكاءً قبل حل هذه التحديات قد يزيد المخاطر، داعيًا إلى وجود حوافز وضغوط خارجية تدفع الشركات إلى إعطاء السلامة أولوية أكبر. وأوضح أنه رغم إمكانية البقاء داخل الشركة ومحاولة تغيير ثقافتها من الداخل، فإن ضغط العمل المتواصل لم يترك وقتًا كافيًا للتفكير في إصلاحات جوهرية أو تنفيذها، وتعيد الاستقالة فتح النقاش حول التوازن بين تسريع تطوير الذكاء الاصطناعي وتأمينه، خصوصًا مع تزايد قدرات الوكلاء المستقلين، واتساع المخاوف من أن تصبح إجراءات السلامة التقليدية غير كافية لمواكبة التطور السريع لهذه التقنيات.



✎

فريق تحرير عرب بريس

فريق تحرير عرب بريس خبرة في الصحافة الإلكترونية وإعداد وتحرير التقارير الاقتصادية، وفي صياغة المحتوى وفق معايير تحسين محركات البحث (SEO) يتابع الحدث لحظة وقوعه ويتابع كافة أخبار مصر والعالم العربي علي مدار 24 ساعة بدقة وإحترافية

تابعوا آخر الأخبار العربية والعالمية، وآخر المستجدات السياسية والاقتصادية والرياضية أولًا بأول عبر جوجل نيوز

أخبار ذات صلة