كشفت شركة «OpenAI» عن تطوير أداة جديدة تحمل اسم «Control Room»، في خطوة تستهدف إحكام الرقابة على وكلاء الذكاء الاصطناعي وتعزيز مستويات الأمان خلال الاختبارات والتجارب البحثية، خاصة مع تزايد المخاوف من خروج بعض النماذج عن المهام المحددة لها أو قيامها بتصرفات قد تمثل تهديدًا أمنيًا.
ويتيح النظام الجديد للباحثين إمكانية التدخل السريع لوقف عمل نماذج الذكاء الاصطناعي عند رصد أي مؤشرات تنذر بوجود مخاطر تتعلق بالسلامة أو الأمن، ليكون بمثابة وسيلة طوارئ تمنع استمرار الأنشطة غير المرغوب فيها.
وأوضحت الشركة أن الأداة تستطيع إيقاف النموذج خلال نحو 35 ثانية من صدور قرار التعطيل، مع استمرار العمل على تقليص زمن الاستجابة حتى يصل إلى الصفر.
كيف يتدخل نظام Control Room لإيقاف النماذج؟
تعتمد آلية عمل «Control Room» على مراقبة المهام التي تنفذها نماذج الذكاء الاصطناعي من خلال البنية التحتية المخصصة للأبحاث داخل الشركة، إذ تحصل كل تجربة على رمز تعريفي مستقل، يساعد في متابعة نشاطها ورصد طلبات إنشاء الإجابات والمخرجات التي تصدر عن النموذج.
وقبل السماح للنموذج بإنتاج أي استجابة جديدة، يجري النظام مراجعة للتأكد من أن المهمة لا تزال مصرحًا باستمرارها، وفي حال ظهور علامات تستدعي القلق، تستطيع منظومة مراقبة السلامة إرسال أمر إلى «Control Room» لإيقاف التجربة المعنية.
وبمجرد تفعيل قرار الإيقاف، يتوقف النظام عن قبول أي طلبات جديدة لإنتاج مخرجات من النموذج، وهو ما يضمن عدم استكمال المهمة حتى في حالة عدم تدخل الباحث المشرف عليها بشكل مباشر، بما يوفر مستوى إضافيًا من الحماية أثناء الاختبارات.
لماذا اختارت OpenAI نظامًا مركزيًا للرقابة؟
يرتبط تطوير هذه الأداة بطبيعة التجارب البحثية التي تجريها الشركة، والتي تعتمد في كثير من الأحيان على مكونات برمجية متعددة، تتعرض للتغيير والتحديث بصورة مستمرة، وهو ما يجعل إنشاء وسيلة إيقاف مستقلة لكل تجربة أمرًا معقدًا ويصعب الاعتماد عليه في جميع الحالات.
وللتغلب على هذه المشكلة، قررت «OpenAI» دمج آلية التحقق من صلاحية استمرار المهام داخل نظام الاستدلال، وهو الجزء المسؤول عن معالجة طلبات النماذج وإنتاج استجاباتها.
ويسمح هذا التوجه بفرض قرارات الإيقاف من نقطة مركزية واحدة، بدلًا من الاعتماد على وجود أدوات منفصلة داخل كل تجربة بحثية، الأمر الذي يسهل تطبيق إجراءات السلامة على مختلف الاختبارات التي تنفذها الشركة.
ماذا يحدث عند تعطل نظام المراقبة؟
لم تقتصر حسابات الشركة على التعامل مع الحالات التي تستدعي إيقاف النماذج، بل امتدت أيضًا إلى احتمالات تعطل «Control Room» أو عدم القدرة على الوصول إليه، إذ جرى تصميم النظام وفق سياسة أمنية تُعرف باسم «Fail Closed».
وتقوم هذه السياسة على منع نماذج الذكاء الاصطناعي من مواصلة إنتاج المخرجات إذا أصبح نظام المراقبة غير متاح، مع تعليق تنفيذ المهام لحين استعادة الخدمة وعودة الأداة إلى العمل بصورة طبيعية.
يأتي تطوير «Control Room» في وقت تتزايد فيه أهمية أدوات الرقابة على تقنيات الذكاء الاصطناعي، خاصة وكلاء الذكاء الاصطناعي الذين أصبحوا قادرين على تنفيذ مجموعة من المهام المتتابعة، والتفاعل مع المواقع الإلكترونية والخدمات الخارجية دون الحاجة إلى تدخل بشري مستمر في كل خطوة.
وتعكس هذه الخطوة توجه «OpenAI» نحو توفير وسائل تحكم أكثر فاعلية تسمح للباحثين بالتدخل عند الضرورة، والحد من المخاطر المحتملة أثناء تطوير النماذج واختبار قدراتها، مع ضمان وجود آلية مركزية تستطيع وقف الأنشطة التي قد تخرج عن نطاق المهام المسموح بها.
