مستوى أمان "تاريخي"... ما سر خوف "OpenAI" من إطلاق نموذجها القادم "أسترا"؟

مستوى أمان "تاريخي"... ما سر خوف "OpenAI" من إطلاق نموذجها القادم "أسترا"؟
A- A+

أعلنت شركة "OpenAI" أن أحد نماذجها المقبلة يتمتع بقدرات متقدمة إلى درجة تستدعي تطبيق إجراءات أمان إضافية قبل إطلاقه.


وقال مسؤولون في الشركة للصحفيين، خلال مؤتمر عبر الهاتف الثلاثاء، إن النموذج الذي يحمل اسم "أسترا" قادر على رصد ثغرات أمنية أكثر من أحدث نماذج "OpenAI" المتاحة للجمهور حاليًًا، كما يحتاج إلى قدرة حاسوبية أقل لإنجاز هذه المهام.


وقالت أميليا غلايس، نائبة رئيس "OpenAI" والمشرفة على أعمال السلامة في الشركة: "باستخدام الأدوات المناسبة ومستوى الوصول المناسب، يمكن لـ"أسترا" العثور على ثغرات أمنية غير معروفة سابقًا وتطوير طرق لاستغلالها عبر العديد من الأنظمة المحمية جيدًا، من دون وجود شخص يوجه كل خطوة".


وتعتزم الشركة إتاحة "أسترا" "قريبًا" لمجموعة محدودة، لكنها امتنعت عن تقديم تفاصيل محددة.


وقالت غلايس: إن إجراءات الأمان الإضافية قد "تؤدي أحيانًا إلى إبطاء أو إيقاف أو تعليق العمل المشروع"، مشيرة إلى أن "OpenAI" ستعمل على تقليل هذه الاضطرابات إلى أدنى حد.


ويعد "أسترا" أول نموذج من "OpenAI" يفعّل إجراءات الحماية الأكثر صرامة التي يفرضها بروتوكول السلامة الخاص بالشركة، وهو مستوى ظل حتى الآن نظريًّا.


ويأتي الإعلان في وقت تواجه فيه "OpenAI" تدقيقًا متزايدًا بشأن قدرتها على التحكم في أنظمة الذكاء الاصطناعي المتطورة باستمرار.


وأثارت "OpenAI"، مطورة "ChatGPT"، مؤخرًا نقاشًا واسعًا بشأن أمان الذكاء الاصطناعي، بعدما تمكَّنت برامجها من اختراق منصة "Hugging Face" مفتوحة المصدر؛ ما أدى إلى خروجها عن نطاق الاختبار.


ودفع الحادث الشركة إلى تعليق جزء كبير من عمليات تطوير نماذجها لمدة أسبوعين بهدف تعزيز دفاعاتها.


وقال مسؤولو "OpenAI" إن "أسترا" لم يكن متورطًا في حادثة "Hugging Face"، إلا أن قدراته لا تزال تتطلب إجراءات أكثر دقة.


وأضاف مختبر الذكاء الاصطناعي أنه أعاد تشغيل أكبر عملية تدريب للنماذج في الـ28 من آب، لكنه لا يزال يمتنع عن إجراء بعض التجارب الصغرى.


وبموجب بروتوكول الأمان الخاص بـ"OpenAI"، يتعيَّن على الشركة إضافة مزيد من الضوابط إلى النماذج التي تظهر قدرتين رئيسيتين، هما اكتشاف واستغلال ثغرات جديدة في الأمن السيبراني، إلى جانب التخطيط والتنفيذ لإستراتيجية جديدة ومفصلة للهجمات، بأقل قدر من التدخل البشري أو من دونه.


ومنذ ذلك الحين، شدَّدت "OpenAI" القيود على استجابة "أسترا" للطلبات الإلكترونية الضارة، كما ستراقب الشركة نشاط النموذج بحثًا عن أيِّ مؤشرات على اختراقه أنظمة الحماية الخاصة بها.


وقالت ساتشي جاين، المسؤولة عن السلامة في "OpenAI"، إن مختبر الذكاء الاصطناعي يعمل باستمرار على معايرة مدى فاعلية وكلاء الذكاء الاصطناعي في تنفيذ المهام، مؤكدة لفريقها ضرورة أن "تعرف نماذج الذكاء الاصطناعي حدودها"، رغم أن تحديد هذه الحدود قد يكون معقدًا.


وأضافت جاين: "هناك قيود نعرفها كبشر، ويجب علينا الالتزام بها عند أداء أيِّ مهمة. ولذلك، انصب جزء كبير من العمل هنا على تدريب النموذج لفهم نطاق هذه القيود".


Lighthouse
logo
close
سيكون لديك دائمًا ما تتحدث عنه!
من الأخبار العاجلة إلى آراء الكتّاب، مرورًا بنصائح صحية مفيدة, لا لحظة مملة هنا!
دائمًا هناك ما يستحق المشاركة.
illustration