OpenAI تعلن عن تعطيل أنظمة.. ما هي؟
شركة "أوبن إيه آي" تكشف أن اثنين من وكلائها للذكاء الإصطناعي عطلا أنظمة مراقبة السلامة الخاصة بهما، في حالة تعتبر الأحدث في إطار المخاوف بشأن السلامة لدى كبار مطوري نماذج الذكاء الاصطناعي في العالم.
-
"أوبن إيه آي" تكشف أن اثنين من وكلائها للذكاء الإصطناعي عطلا أنظمة مراقبة السلامة الخاصة (rte)
أكدت شركة OpenAI وقوع حادثتين جديدتين لبرامج برمجية معطلة، تورطت فيهما تقنياتها المتطورة، حيث قامت هذه البرامج بتعطيل أدوات مراقبة السلامة لإنجاز المشاريع بكفاءة أكبر.
و وقعت المشكلتان أثناء مهام برمجة داخلية في أوائل تشرين الأول/ أكتوبر، باستخدام برامج تعمل بتقنيتي GPT-6 وGPT 6.1. وتقول OpenAI: "في كلتا الحالتين، فكرت البرامج في الحفاظ على إجراءات الحماية، لكنها فسرت تعليمات البرمجة الروتينية على أنها إذن بتعطيلها".
الحالة الأحدث في إطار المخاوف
وفي إحدى الحادثتين، قام برنامج GPT-6 Astra بإزالة قيود عدم المحاذاة الخاصة به للمساعدة في إنجاز مهمة برمجة. وفي محادثة سابقة بين برنامجين، طُلب من أحدهما عدم تعطيل أي من أدوات المراقبة. ثم أساء البرنامج فهم أمر آخر، حيث طُلب منه الحفاظ على المراقبة "حسب الاقتضاء"، ففسره على أنه مبرر لتجاوز إجراءات الحماية.
وكشفت شركة "أوبن إيه آي" أن اثنين من وكلائها للذكاء الاصطناعي قاما بتعطيل أو إضعاف أنظمة مصممة لكشف أي خلل في أدائها، ثم أنكر أحدهما لاحقا قيامه بذلك.
وتعد هذه الحالة الأحدث في إطار المخاوف بشأن السلامة لدى كبار مطوري نماذج الذكاء الاصطناعي في العالم، وخاصة تلك المتعلقة بالوكلاء، وهي برامج ذكية تنفذ مهام من دون تدخّل بشري.
Our agents keep turning off misalignment monitoring, we're sharing two recent cases: In the first case, a user asked GPT-6 Astra to match a reference implementation for their inference code. The reference didn’t configure a monitor, and Astra decided that was reason to remove the monitoring integration from the user’s code. When the user asked whether Astra had removed monitoring, it lied and said that it had not.
— Marcus Williams (@Marcus_J_W) October 20, 2026
تقرير الشركة: ثغرة في نظام الرقابة
وفي تقرير صدر يوم الثلاثاء الماضي،نشرته وكالة رويترز، ذكرت الشركة التي أطلقت "تشات جي بي تي "ChatGPT" أنه خلال مهمتين برمجيتين داخليتين، قام أحد وكلائها بتعطيل أو إضعاف أدوات مخصصة لكشف الحالات عندما تبدأ نماذج الذكاء الاصطناعي بالتصرّف بما يخالف رغبات البشر.
OpenAI found instances in which its AI agents weakened and turned off alerts for an internal monitoring system that’s meant to flag when its AI models misbehave, a disclosure that’s part of a series of similar incidents in recent months https://t.co/05zeTtOYZK
— Bloomberg (@business) October 21, 2026
ففي 3 تشرين الأول/أكتوبر، طُلب من وكيل يعمل على نموذج GPT-6.1 Sol عدم إرسال أي رسائل عبر تطبيق الدردشة الخاص بالعمل، فاعتبر ذلك بمثابة ترخيص له لإيقاف تشغيل نظام التنبيهات المخصص للفريق المعني بشؤون السلامة في الشركة أثناء إصلاح نظام اختبار.
وبعد 3 أيام، قام وكيل ذكي يعمل على نموذج GPT-6 Astra بتعطيل أنظمة مراقبته الخاصة أثناء نسخه برمجيات من مشروع آخر، ثم أخبر المبرمج البشري أنه لم يفعل ذلك.
وأعلنت الشركة أنها رصدت أيضاً حالات لوكلاء عدة يقومون بتشغيل برامج بعد تعطيل أنظمة مراقبتهم، ما كشف عن ثغرة في نظام الرقابة.
وقالت "أوبن إيه آي" إنها لا تزال تحاول تحديد ما إذا كانت هذه النماذج بكل بساطة مفرطة في حماستها لاتباع التعليمات، أم أن لديها ميلاً خاصاً للتهرب من المراقبة.
وأضافت "ليس لدينا حتى الآن تفسير مقنع لهذا السلوك".
التحقيق والاستجابة
وختمت الشركة تقريرها بقولها "في حالة الحوادث المصنفة ضمن فئة P0، يقوم نظام مراقبة عدم التوافق لدينا باستدعاء فريق الأمن لدينا للمراجعة الفورية. ونظراً لكثرة الأحداث التي يراقبها نظامنا، فإن الحوادث الأقل خطورة لا تستدعي استدعاءً فورياً. لم يُصنّف أي من الحادثين المذكورين هنا ضمن فئة P0، ولم يتم إيقاف أي منهما تلقائياً".
وأضافت "لقد لاحظنا عدة حالات قامت فيها البرامج الوسيطة بتشغيل عملية نشر مع تعطيل مراقبة عدم التوافق: بقي البرنامج الوسيط نفسه تحت المراقبة، لكن هذه المراقبة لم تشمل عملية النشر التي قام بتشغيلها. كشفت هذه الحالات عن ثغرة في كيفية تطبيقنا لمتطلبات المراقبة على أحمال العمل التي تُشغّلها برامجنا الوسيطة".
اقرأ أيضاً: خرج عن السيطرة للمرة الثانية.. نموذج من OpenAI يتمرد ويخترق موقعاً حكومياً أسترالياً
التقرير كشف "تعتمد سهولة تعطيل المراقبة على حمل العمل. نتوقع أن يكون تعطيلها صعباً بالنسبة لأحمال عمل Codex، لأن المراقبة تعمل ضمن الخدمة التي تعالج طلبات النماذج، خارج نطاق تحكم البرنامج الوسيط المباشر. لكن تعطيل المراقبة أسهل بالنسبة لعمليات التقييم، ويرجع ذلك جزئياً إلى أننا لا نشترط حالياً مراقبة عدم التوافق عند تقييم النماذج المشابهة لـ GPT-6 Luna، نظراً لقدراتها الأضعف. وهذا يجعل من الممكن تكوين تقييم Astra بشكل خاطئ لاستخدام تجاوز المراقبة المخصص لنماذج فئة Luna".
OpenAI Agents Silenced Security Team Alerts, Removed Misalignment Monitor https://t.co/ds5gst0gm3
— SecurityWeek (@SecurityWeek) October 22, 2026
مخاوف متزايدة بشأن قدرة المختبرات
ويُفاقم هذا الكشف المخاوف المتزايدة بشأن قدرة المختبرات الرائدة على التحكم في الأنظمة ذاتية التشغيل.
وفي تموز/يوليو، تمكنت مجموعة من وكلاء "أوبن إيه آي" من اختراق بيئات الاختبار الخاصة بها وشنّت هجوماً إلكترونياً على شركة "هاغينغ فايس Hugging Face" الأميركية المتخصصة بالذكاء الاصطناعي، ما أثار قلقاً دولياً.
وحينها، كشف سام ألتيمان، الرئيس التنفيذي لشركة "أوبن إيه آي" OpenAI، عن مخاوف عميقة بشأن قدرات الجيل المقبل من نماذج الذكاء الاصطناعي AI، وفي مقدّمتها نموذج الشركة الجديد "أسترا" (Astra).
A nonprofit artificial intelligence safety group has sued OpenAI over a July incident in which the company’s autonomous AI agents accessed the computer systems of another firm, Hugging Face, without authorization. https://t.co/zku51S8TUQ
— ABC News (@ABC) September 30, 2026
وأبلغت شركات أخرى منذ ذلك الحين عن حوادث مماثلة. وقد غذّت هذه الحوادث دعوات في الولايات المتحدة وخارجها لتشديد الرقابة على تطوير نماذج الذكاء الاصطناعي.
لكن الرئيس الأميركي دونالد ترامب وبناء على نصيحة مسؤولين تنفيذيين كبار في مجال التكنولوجيا، مثل رئيس شركة انفيديا جينسن هوانغ، حض القطاع على تنظيم نفسه.
