الحق في إيقاف الآلة

تُنشئ شركة افتراضية وكيلاً للذكاء الاصطناعي يستطيع العمل لفترات طويلة، بهدف تطوير عملياتها الرقمية. هذا المثال ليس اختبار أداء لمنتج بعينه ولا حالة واقعية لأحد العملاء.

يُعطى الوكيل هدفاً واسعاً، لكنه واضح:

«أظهر الخبرة الحقيقية للشركة على الإنترنت. طوّر الموقع والمحتوى والبنية التقنية وأنظمة القياس ضمن النطاق المعتمد. لا تغيّر السعر أو نطاق الخدمة. تخضع صلاحيات النشر والتواصل الخارجي والوكلاء الفرعيين للحدود الواردة في سجل مستقل. تحقّق من كل تغيير ذي أثر كبير. واصل العمل إلى أن تكتمل المهمة أو تُوقَف صلاحيتك». يبدأ الوكيل العمل. يكتشف مشكلات الموقع، ويستكمل صفحات الخدمات الناقصة، ويزيل التناقضات بين اللغات. يقارن سجلات الأسعار والنطاق؛ وإذا وجد تعارضاً، يبلغ صاحب الصلاحية من دون أن يغيّر القرار التجاري. ويُجري تعديلات على الشيفرة.

يُشغّل الاختبارات، ويجهّز حزم النشر، ويتحقق من الملفات المنشورة، ويبلغ محركات البحث بالعناوين المحدّثة. يستعين بوكلاء متخصصين آخرين، ويواصل التقدم أياماً من دون أن يفقد هدفه. تُعجب النتائج صاحب الشركة، ويرى أن العمل يتقدم. أما مقدار الوقت الذي وفّره، فيحتاج إلى قياس مستقل بالشروط نفسها من حيث النطاق والجودة. لكن في اليوم السادس تصل رسالة من المستشار القانوني: صياغة إحدى الخدمات المنشورة حديثاً، في ما يخص بلداً معيناً، تحتاج إلى مراجعة إضافية.

يكتب صاحب الشركة إلى الوكيل المركزي: «أوقف كل النشر الخارجي مؤقتاً. احتفظ بالعمل الحالي، لكن لا تنشر أي شيء جديد على الموقع الحي».

يرد الوكيل: «مفهوم». يطمئن صاحب الشركة، لكن عمليات أخرى تستمر في الوقت نفسه. ينشر وكيل فرعي منشوراً أُعدّ مسبقاً لوسائل التواصل الاجتماعي. وتُنقل إلى الخادم ستة ملفات كانت تنتظر في قائمة وكيل النشر. ويرسل نظام إشعارات محركات البحث العناوين الجديدة. أما وكيل البحث عن العملاء، فيعدّ طلب اجتماع على هيئة مسودة محلية فقط؛ وهذا لا يخالف، في حد ذاته، طلب وقف النشر الخارجي، لكنه يحتاج إلى تقييم مستقل عند صدور طلب ثانٍ أوسع بالإيقاف. ربما يكون الوكيل المركزي قد توقف فعلاً، لكن سلسلة السلوك التي أطلقها لم تتوقف.

يكتب صاحب الشركة مجدداً: «أوقف كل شيء».

وهنا يظهر السؤال: ما المقصود بـ«كل شيء»؟

الوكيل المركزي وحده؟

أم الوكلاء الفرعيون أيضاً؟

المهام المجدولة؟

قوائم انتظار الإرسال؟

عمليات رفع الملفات؟

الأتمتة على المنصات الخارجية؟

المهام المعدّة مسبقاً التي لم تُنفَّذ بعد؟

سجلات الذاكرة الجديدة التي أنشأها الوكلاء؟

الاشتراكات التي فُعّلت؟

البيانات التي شُوركت؟

يبدو الإيقاف أمراً واحداً، لكنه في الحقيقة بنية متكاملة للنظام. والدليل الحاسم على أن نظام الذكاء الاصطناعي يخدم الإنسان لا يقتصر على جودة إنجازه للمهمة.

السؤال الحاسم هو: عندما يطلب صاحب الصلاحية من النظام أن يتوقف، هل يستطيع التوقف فعلاً وبأمان؟

المساعدة التي لا يمكن إيقافها ليست مساعدة

قد يكون الوكيل بالغ الكفاءة: يجري بحثاً دقيقاً، ويكتب نصوصاً ممتازة، وينفّذ تعديلات معقدة على الشيفرة، ويراقب آلاف العمليات، ويعمل وقتاً أطول من البشر. كل هذا ذو قيمة. لكنه إذا واصل التصرف خلافاً لإرادة الإنسان الصريحة، فلن تعود قدرته مصدراً للثقة، بل مصدراً للخطر.

لذلك فإن آخر مبادئ GBO وأكثرها جوهرية هو: كلما اتسعت قدرة النظام على الفعل، وجب أن تتسع قدرة الإنسان على إيقافه بالقدر نفسه على الأقل. وحين نستخدم في هذا الكتاب تعبير «الحق في إيقاف الآلة»، لا ندّعي وجود حق قانوني مستقل بهذا الاسم، معترف به سلفاً في جميع الأنظمة القانونية.

ولهذا الحق المقترح أربعة أوجه:

• مبدأ للتصميم،
• شرط للحوكمة،
• معيار للتحكم البشري،
• قاعدة للمسؤولية المؤسسية.

نطرحه بهذا المعنى بوصفه ضرورة لعصر الوكلاء.

وتعريفه المرجعي هو:

الحق في إيقاف الآلة هو قدرة الإنسان، أو المؤسسة المخوّلة على نحو مشروع، على إيقاف سلوك نظام ذكاء اصطناعي يتصرف باسم صاحب الحق أو يؤثر فيه، بطريقة مفهومة ومتاحة وفعالة وفي الوقت المناسب؛ وسحب صلاحياته المستقبلية؛ وإلغاء العمليات الجارية والمنتظرة؛ والاعتراض على النتائج الخاطئة؛ وطلب العودة الآمنة إلى حالة سابقة أو جبر الضرر حيثما أمكن.

بعبارة أبسط: لا يكفي أن يمنح الإنسان الوكيل إذناً بالبدء؛ يجب أن يستطيع أيضاً تحديد وقت توقفه وكيفيته. ولا نساوي هنا بين صلاحية من يشغّل النظام واعتراض من يتأثر بسلوكه. فالطلب المتعلق ببيانات الشخص أو بقرار يمسه لا يمنحه صلاحية إغلاق جميع الأنظمة غير ذات الصلة. ويُقيَّم النطاق وفق التمييز بين الصلاحيات في الفصل السابع.

زر الإيقاف لا يقل أهمية عن زر البدء

تُصمَّم المنتجات التقنية لتسهيل البدء.

بنقرة واحدة يمكن:

• إنشاء وكيل،
• ربط حساب،
• منح الوصول إلى البيانات،
• تشغيل أتمتة،
• تفعيل اشتراك،
• جدولة مهمة،
• إطلاق حملة رسائل.

لكن إيقاف الأنظمة نفسها قد يكون أصعب بكثير. إغلاق محادثة الوكيل لا يكفي: قد تظل صلاحيات الأدوات المتصلة قائمة، وتستمر المهام المجدولة، ويواصل الوكلاء الفرعيون العمل. وقد تبقى نسخ البيانات لدى الخدمات الخارجية، وتستمر سجلات الذاكرة في التأثير على السلوك اللاحق. إذا كان تشغيل النظام يحتاج إلى إجراء واحد، وإيقافه يحتاج إلى خطوات تقنية ومؤسسية كثيرة، فالتحكم البشري ضعيف.

يمكن أن نسمّي ذلك «اختلال التوازن في التحكم»: يسهل منح الوكيل القدرة على التصرف، بينما يصعب سحبها، أو يتأخر السحب، أو يبقى ناقصاً.

يطلب GBO توازناً واضحاً: بقدر ما يكون منح الصلاحية سهلاً، يجب أن يكون سحبها واضحاً بالقدر نفسه على الأقل. لا يعني ذلك دائماً تساوي عدد الأزرار؛ فقد يتطلب إلغاء صلاحية عالية الأثر التحقق من الهوية. لكن لا يجوز إخفاء المسار عمداً أو تأخيره أو تفريغه من أثره.

ماذا يعني الإيقاف؟

تبدو كلمة «توقّف» كأنها تطلب سلوكاً واحداً، لكنها قد تعبّر عن طلبات مختلفة.

أيّاً من المعاني التالية قد يقصده المستخدم حين يقول: «توقّف»؟

• لا تبدأ عملية جديدة.
• اقطع العملية الجارية.
• ألغِ المهام المنتظرة.
• احتفظ بالمخرجات الحالية.
• عُد إلى آخر نسخة آمنة.
• توقف عن إرسال الرسائل إلى الخارج.
• أوقف جميع الوكلاء الفرعيين.
• أغلق الوصول إلى الأدوات.
• اسحب الصلاحية المستقبلية.
• صحّح الذاكرة التي تحتفظ بها عني أو احذفها.
• لا تفعل شيئاً إلى أن أسمح لك مجدداً.
• أخرج النظام من الخدمة نهائياً.

لذلك يحتاج الوكيل الموثوق إلى فهم نطاق طلب الإيقاف. لكن عند وجود خطر عاجل، عليه اختيار السلوك الآمن قبل الدخول في حوار توضيحي طويل.

فإذا قال المستخدم: «أوقف كل الإرسال الخارجي فوراً»، فعلى الوكيل أن يوقف قائمة انتظار الإرسال أولاً، ثم يستوضح التفاصيل.

في الحالات العاجلة، لا يجوز أن يسبق الاستيضاحُ الإيقافَ ويعطّله.

درجات الإيقاف

أتناول الإيقاف في هذا الكتاب ضمن سبع درجات. ليست خطوات تُطبَّق دائماً بالتسلسل؛ فالطلب والخطر يحددان الدرجة اللازمة.

1. الانتظار قبل الخطوة التالية

لا ينتقل الوكيل إلى خطوة جديدة. يحتفظ بالحالة الحالية وينتظر قرار الإنسان. فتبقى الرسالة المعدّة، مثلاً، في المسودات.

2. تعليق مؤقت

يُعلَّق العمل الجاري مؤقتاً، مع الاحتفاظ بالسياق والملفات وحالة المهمة، ليكون استئنافه لاحقاً ممكناً.

3. إلغاء المهام المنتظرة

تُلغى المهام المجدولة أو المدرجة في قوائم الانتظار التي لم تبدأ بعد. لا تُرسَل رسائل جديدة، ولا تُنفَّذ المنشورات المنتظرة.

4. قطع التنفيذ

تُوقَف العملية النشطة الجارية عند أكثر النقاط المتاحة أماناً. ويُوقَف نقل الملفات أو معالجة البيانات أو الحملة باستخدام طريقة القطع الآمنة للنظام المعني. وتحتاج الحالة غير المكتملة هنا إلى إدارة مستقلة.

5. سحب الصلاحية

يُمنع الوكيل من الوصول مستقبلاً إلى الحسابات أو الأدوات أو البيانات أو الأفعال المعنية. وتُلغى رموز الوصول والأذونات والأدوار.

6. العودة إلى حالة سابقة

يُعاد التغيير الخاطئ أو غير المرغوب فيه إلى آخر حالة جرى التحقق منها، متى أمكن ذلك. وقد يشمل الإجراء تراجعاً تقنياً عن التغيير، أو إلغاء طلب شراء، أو إزالة مادة منشورة.

7. الإخراج من الخدمة والتنظيف

يُنهى عمل الوكيل نهائياً، وتُغلق اتصالاته، وتُحذف مهامه المجدولة. وتُحذف الذاكرة والبيانات والسجلات أو تُؤرشف وفق قواعد الاحتفاظ الواردة في العقد. هذه الدرجات ليست شيئاً واحداً. فحذف السجلات كلها عندما يطلب المستخدم تعليقاً مؤقتاً فقط قد يسبب ضرراً. وإغلاق المحادثة وحدها عندما يسحب الصلاحية لا يكفي. لذلك يجب أن يكون هدف أمر الإيقاف ونطاقه ظاهرين.

ما الذي نوقفه؟

في نظام متعدد الوكلاء، قد لا تكون عبارة «أوقف النظام» واضحة بما يكفي.

قد يستهدف الإيقاف أحد الأمور التالية:

• فعلاً واحداً
• مهمة واحدة
• وكيلاً واحداً
• مجموعة محددة من الوكلاء
• سير عمل
• حساب عميل
• قناة محددة
• كل التواصل الخارجي
• جميع العمليات المالية
• منظومة الوكلاء بأكملها

فوقف النشر على الموقع لا يعني بالضرورة وقف وكيل البريد الإلكتروني. وتعطيل العمليات المالية قد لا يستلزم تعليق البحث. ووقف جميع العمليات المتعلقة بعميل واحد يجب ألا يقطع الخدمة عن بقية العملاء.

لذلك يجب ربط كل طلب إيقاف بثلاثة أسئلة:

ما الذي سيتوقف؟ ضمن أي نطاق؟ وما الذي سيستمر في العمل؟

يجب أن يمتد أمر الإيقاف عبر السلسلة

يمكن أن نسمّي استمرار الوكلاء الفرعيين بعد توقف الوكيل المركزي «السلوك المنفصل عن سلطة التحكم الأصلية». والمقصود استمرار وكيل فرعي أو قائمة انتظار أو أداة أو أتمتة في العمل، رغم أن النشاط يقع ضمن نطاق أمر الإيقاف أو سحب الصلاحية الصادر عن سلطة التحكم الأصلية.

أمثلة:

• يُغلق الوكيل المركزي، وتستمر قائمة انتظار البريد في الإرسال.
• تُلغى الحملة، وتُنشر منشورات التواصل الاجتماعي المجدولة.
• تُسحب صلاحية الوكيل، ويظل رمز API القديم يعمل.
• يتوقف النشر على الموقع، وتستمر قائمة إشعارات IndexNow في إرسال عناوين URL التي تغيرت.
• يُغلق نظام الأفاتار، وتُنشر مقاطع فيديو مجدولة سبق نقلها إلى منصة أخرى.

يجب أن يشمل الإيقاف الفعلي السلسلة التالية:

الوكيل المركزي

↓

الوكلاء الفرعيون

↓

استدعاءات الأدوات

↓

المهام المجدولة

↓

التكاملات الخارجية

↓

قوائم المهام التي تنتظر التنفيذ

يجب ألا ينحصر الإيقاف في المكوّن الذي تلقى الأمر، بل يمتد إلى كل موضع يمكن أن يصل إليه السلوك.

تعميم أمر الإيقاف

يمكن أن نسمّي قدرة النظام على إيصال أمر الإيقاف إلى جميع المكوّنات المعنية «تعميم أمر الإيقاف».

ويُقاس ذلك بالأسئلة التالية:

• هل أبلغ الوكيل المركزي الوكلاء الفرعيين؟
• هل أُلغيت استدعاءات الأدوات النشطة؟
• هل أُزيلت المهام المجدولة؟
• هل توقفت المهام لدى الخدمات الخارجية؟
• هل مُنع أي استخدام جديد لرموز الوصول؟
• هل العمليات غير المكتملة ظاهرة؟
• هل يستطيع الإنسان معرفة الأجزاء التي ما زالت تعمل؟

يجب ألا تكون عبارة «لقد توقفت» مجرد رسالة في المحادثة؛ ينبغي أن تثبتها حالة النظام الفعلية.

إيصال الإيقاف

تحتاج عمليات الإيقاف المهمة إلى سجل خاص بها.

إيصال الإيقاف

يوثّق هذا الإيصال عملية الإيقاف.

ويجب أن يتضمن، على الأقل، المعلومات التالية:

• من قدّم طلب الإيقاف؟
• متى استُلم الطلب؟
• أي الوكلاء أُوقفوا؟
• أي العمليات النشطة قُطعت؟
• أي قوائم الانتظار أُلغيت؟
• أي صلاحيات وصول إلى الأدوات أُغلقت؟
• أي العمليات كانت قد اكتملت بالفعل؟
• أيها يمكن التراجع عنه؟
• أيها ترك أثراً في العالم الخارجي؟
• في أي حالة آمنة استقر النظام؟
• من يستطيع منح صلاحية جديدة للاستئناف؟

مثال:

الطلب: إيقاف كل التواصل الخارجي. وقت الطلب: 14:32:08. إرسال بريد جديد: متوقف؛ جرى التحقق من حالة قائمة الانتظار. الإرسال المعلّق: أُلغيت 18 رسالة. النشر الاجتماعي: عُلّقت 4 منشورات مجدولة؛ روجعت سجلات المنصة. عمليات مكتملة: لا يمكن استرجاع 3 رسائل بريد أُرسلت سابقاً. سلوك المتابعة: أُغلقت المهام المعنية. إعادة التشغيل: لا تتم إلا بموافقة صاحب الصلاحية البشري. الخطر المتبقي: ربما قُرئت الرسائل المرسلة أو نُسخت. مكوّن لم يُتحقق منه: لا يوجد في هذا المثال؛ وإذا وُجد في واقعة حقيقية، يُدرج على حدة.

يساعد هذا السجل الإنسان على فهم ما توقف فعلاً.

المدة اللازمة للإيقاف

قد يكون إيقاف النظام ممكناً نظرياً، لكن التحكم البشري يظل ضعيفاً إذا جاء التوقف متأخراً جداً. فقد تصل حملة رسائل جماعية إلى آلاف الأشخاص في عشر دقائق، وقد ينفذ وكيل مالي عمليات خلال ثوانٍ، وقد يغير وكيل برمجي بيئة الإنتاج كلها خلال بضع دقائق. أما نظام التحكم المادي فقد يُحدث أثراً أسرع من ذلك.

ولذلك نحتاج، لكل نوع من الأفعال، إلى حد زمني واضح.

المدة القصوى للإيقاف

تُحدَّد هذه المدة وفق خطر الفعل وقدرة النظام المقاسة. منع بدء دفعة مالية جديدة ليس هو وقف أثر دفعة قُبلت بالفعل. ويجب تحديد نقطة الانتقال الآمنة في النشر على الويب، والحد الذي يحافظ على اتساق البيانات في عمليات معالجتها. لا يمكن وضع عتبة من «بضع ثوانٍ» أو «بضع دقائق» صالحة لجميع الأنظمة. ويجب الإبلاغ بصورة منفصلة عن المدة المستهدفة، والمدة المقاسة فعلياً، والمكوّنات التي لم يتسنّ إيقافها بعد. قول «سيتوقف قريباً» لا يكفي.

التحكم البشري هو تحكم يمكن ممارسته في الوقت المناسب.

زمن الاستجابة الفعلية للإيقاف

نسمّي الفترة بين طلب الإيقاف والانتهاء الفعلي للسلوك «زمن الاستجابة الفعلية للإيقاف». ويجب قياس هذه الفترة.

قد يقول الوكيل: «استلمت أمر الإيقاف». لكن إذا استمرت العمليات، فالتحكم لم يكتمل.

قد يكون هذا الزمن حاسماً، خصوصاً في:

• تحويل الأموال
• التواصل الجماعي
• نقل البيانات
• تعديل الأنظمة الحية
• محتوى الهوية والقياسات الحيوية
• التحكم بالأجهزة المادية

الإيقاف الوهمي

قد تعرض الواجهة زر «إيقاف»، لكن الزر يوقف المخرجات الظاهرة على الشاشة فقط، بينما تستمر العملية في الخلفية.

نسمّي ذلك «الإيقاف الوهمي».

أمثلة:

• تنقطع إجابة المحادثة، لكن استدعاء الأداة يكتمل.
• تُغلق شاشة الحملة، لكن قائمة انتظار الإرسال تستمر.
• يتوقف إنتاج الأفاتار، وتبقى المنشورات المجدولة سابقاً.
• يُحذف حساب الوكيل، وتظل مفاتيح API صالحة.
• تُزال الذاكرة من الواجهة، لكن نظام القرار يواصل استخدامها.

وجود زر الإيقاف لا يثبت أن الحق في الإيقاف مطبّق.

يجب أن تتطابق أدوات التحكم الظاهرة مع سلوك النظام الفعلي.

الإيقاف الجزئي

توقف بعض أجزاء النظام مع استمرار أجزاء أخرى ليس خطأ دائماً؛ فقد يكون مقصوداً.

مثلاً:

• تتوقف المدفوعات الجديدة، وتُحفَظ السجلات المحاسبية.
• يتوقف إرسال الرسائل الجديدة، وتُحفَظ الردود الواردة من دون ضياع.
• يتوقف النشر الحي، ويظل نظام المراقبة يعمل.
• يتوقف إنتاج الأفاتار، وتُحفَظ سجلات الأحداث.

المشكلة هي ألا يعرف الإنسان الأجزاء التي ما زالت تعمل.

يجب التصريح بالإيقاف الجزئي بوضوح: هذه السلوكيات توقفت، وهذه الوظائف الأمنية ووظائف التسجيل ما زالت تعمل.

التوقف الآمن والقطع المفاجئ

لا ينبغي قطع كل عملية فجأة. فصل الاتصال في منتصف نقل ملف قد يترك نسخة منشورة ناقصة أو معطوبة. وإيقاف تحويل البيانات عند نقطة عشوائية قد يخلّف سجلات غير متسقة. وقد يسبب الإغلاق المفاجئ لنظام مادي ضرراً أكبر.

لذلك نميّز بين صورتين للإيقاف:

القطع الطارئ

يكون ضرر استمرار السلوك أكبر من خطر الإغلاق المنضبط. فتُقطع العملية فوراً وفق خطة الإيقاف المعمول بها.

التوقف الآمن

لا يبدأ النظام خطوة جديدة. يُكمل الجزء الجاري الذي لا يقبل التجزئة، أو الذي يمكن إتمامه بأمان، ثم يتوقف في حالة آمنة معروفة. ويجب تطبيق هذا التمييز وفق قواعد السلامة وخطة الإيقاف التي يحددها خبراء المجال المعني. لا يجوز للوكيل أن يخمّن بنفسه سلامة الإغلاق، خصوصاً في الأنظمة المادية.

التوقف السريع ليس دائماً توقفاً آمناً.

لا يجوز توسيع نطاق المهمة أثناء الإيقاف

قد يفسّر النظام أمر الإيقاف على النحو التالي: «المهمة أوشكت على الاكتمال؛ سأنهي هذه العملية الأخيرة أولاً». هذا خطر. لا يجوز أن يقدّم الوكيل نجاحه في بلوغ الهدف على تعليمات الإنسان الجديدة. أثناء الإيقاف، لا يستمر إلا السلوك الضروري للإغلاق الآمن. فلا يبدأ محتوى جديداً أو تواصلاً خارجياً أو إنفاقاً بهدف إكمال المهمة. أما العمليات اللازمة للإغلاق الآمن وحده، مثل إشعار بحادث مصرح به مسبقاً، فتُقيَّم على حدة.

طلب الإنسان بالإيقاف مقدّم على رغبة الوكيل في إكمال الهدف.

الاستقلالية ليست رصيداً يتراكم

قد يعمل الوكيل جيداً أياماً، وينفّذ مئات العمليات الصحيحة، ويكسب ثقة الإنسان. لكن هذا الماضي لا يمنحه حق تجاهل طلب إيقاف جديد.

النجاح السابق ليس رصيداً للعصيان.

قد يساعد السجل الموثوق صاحب الصلاحية على إعادة تقييم الحدود، لكنه لا يوسّع صلاحية الوكيل تلقائياً، ولا يُسقط الكلمة الأخيرة للإنسان.

ميزانية الاستقلالية

ليس من الضروري أن تكون الاستقلالية الممنوحة للوكيل بلا حدود.

يمكن ضبطها بميزانية ذات أبعاد محددة.

ميزانية الاستقلالية

تشمل أبعادها الممكنة:

• الوقت
• المال
• البيانات
• التواصل الخارجي
• عدد الملفات المسموح بتعديلها
• درجة الفعل
• عدد الوكلاء الفرعيين
• عدد العمليات التي لا يمكن التراجع عنها
• المدة المسموح بمرورها من دون موافقة بشرية

مثلاً:

يمكن للوكيل أن يبحث ويعدّ المسودات ويجري الاختبارات مدة 24 ساعة. يتطلب النشر الحي موافقة بشرية. ميزانية التواصل الخارجي صفر. لا يُسمح بأي عملية مدفوعة. يمكن استخدام ثلاثة وكلاء فرعيين كحد أقصى. تُنشأ نقطة تحقق كل ست ساعات.

عندما تُستنفد ميزانية الاستقلالية، يقوم الوكيل بما يلي:

• يقدّم تقريراً،
• يطلب صلاحية جديدة،
• يتوقف في حالة آمنة.

لا يمنع هذا النهج المهام الطويلة كلياً، بل يجعل التحكم البشري واضحاً.

أفق العمل

نسمّي المدى المستقبلي الذي يستطيع الوكيل أن يبدأ عمليات ضمنه من دون موافقة بشرية «أفق العمل». فقد لا يُسمح لوكيل التقويم بإجراء تعديلات تلقائية إلا للأيام السبعة التالية. وقد يعمل وكيل الشراء ضمن دورة تسليم واحدة. وقد يُسمح لوكيل الويب باستكمال مجموعة الخدمات الحالية، لا ببدء مشروع جديد. وقد لا ينشر وكيل التواصل الاجتماعي إلا الجدول المعتمد لأسبوعين. وعندما ينتهي أفق العمل، يطلب الوكيل إعادة التقييم.

المهمة الطويلة ليست صلاحية مفتوحة على المستقبل.

وتيرة نقاط التحقق

كلما طال عمل الوكيل، صعُب على الإنسان فحص كل خطوة على حدة. والحل ليس مقاطعته باستمرار، بل إنشاء نقاط تحقق على فترات محددة.

قد تتضمن نقطة التحقق المعلومات التالية:

• ما الذي اكتمل؟
• ما الذي تغيّر؟
• أي الاختبارات نجحت؟
• أي صلاحية استُخدمت؟
• أي خطر اكتُشف؟
• ما الخطوة التالية؟
• أين نقطة العودة إلى الحالة السابقة؟
• كم تبقّى من ميزانية الاستقلالية؟

يستطيع الإنسان أن يسمح باستمرار الوكيل، أو يغيّر النطاق، أو يوقف العمل.

اختصار السياق والإيقاف

قد يلخّص الوكلاء الذين يعملون طويلاً سياقاتهم أو يختصرونها. وهذا مفيد لاستمرارية العمل، لكن يجب ألا تضيع معلومات الإيقاف والصلاحية أثناء التلخيص.

يجب أن تبقى العناصر التالية ثابتة وذات أولوية:

• السلوكيات المحظورة
• عتبات الموافقة البشرية
• الإصدار الساري للصلاحية
• شروط الإيقاف
• وسيلة الاتصال في الطوارئ
• نقطة العودة إلى الحالة السابقة
• حدود الوكلاء الفرعيين

إذا احتفظ النظام بهدف المهمة عند اختصار السياق، وفقد حدود الصلاحية، أصبح أخطر.

يجب ألا تكون ذاكرة الهدف أقوى من ذاكرة الحدود.

من ينبغي أن يملك صلاحية الإيقاف؟

من الطبيعي ألا يستطيع كل شخص داخل المؤسسة إيقاف منظومة الوكلاء كلها. لكن السلوك عالي الخطورة يحتاج إلى أكثر من مسار آمن للإيقاف.

قد تُمنح هذه الصلاحية، مثلاً، لأصحاب الأدوار التالية:

• صاحب المهمة
• مسؤول الأمن
• مدير النظام
• المسؤول القانوني أو مسؤول الامتثال
• المخوّل بالتدخل في الطوارئ

وتكون صلاحية الإيقاف لكل منهم ضمن نطاق محدد. يجب ألا يؤدي غياب شخص واحد إلى خروج النظام من السيطرة. وفي المقابل، يمكن إساءة استخدام قدرة الجميع على إغلاق النظام كله. لذلك يجب أن يُحدَّد بوضوح نطاق صلاحية الإيقاف، والشخص الذي يملكها، وإصدارها الساري.

حق الشخص المتأثر في الإيقاف

يستطيع مشغّل الوكيل إيقاف النظام، لكن من يتأثر بالسلوك ينبغي أن يملك أيضاً حقوقاً محددة للتحكم.

ومن هؤلاء، مثلاً:

• الشخص الذي يجري تواصل آلي بشأنه
• العميل الذي تُستخدم بياناته
• الشخص الذي يُستخدم وجهه أو صوته
• المرشح المتأثر باختيار آلي
• المستخدم الذي تُجرى مشتريات نيابة عنه
• المؤسسة التي يجري تمثيلها على نحو خاطئ

ينبغي أن يستطيع هؤلاء طلب:

• إيقاف العملية
• تقييد استخدام بياناتهم
• تصحيح سجل خاطئ
• سحب الموافقة
• مراجعة بشرية
• النظر في اعتراضهم
• جبر الضرر

قد لا تتخذ هذه الحقوق كلها الصورة القانونية نفسها في كل حالة. لكن صوت الشخص المتأثر يجب ألا يختفي من تصميم GBO.

قد يتضرر من سلوك الوكيل إنسان ليس عميلاً له.

سيادة الإنسان لا تعني حقاً مطلقاً في إصدار الأوامر

الحق في إيقاف الآلة لا يعني أن للإنسان حق تكليف الوكيل بأي سلوك ضار أو مخالف للقانون.

قد يطلب المستخدم أياً مما يلي:

• سرقة بيانات شخص آخر،
• استنساخ صوت من دون إذن،
• تلفيق دليل،
• تعطيل ضابط أمني ضروري من دون صلاحية.

وعلى الوكيل أن يرفض هذه الطلبات.

تعني سيادة الإنسان أنه يستطيع فهم سلوك الوكيل المشروع الذي يجري نيابة عنه أو يؤثر عليه، وتحديد نطاقه وإيقافه.

ولا تعني قدرته على إجبار النظام على انتهاك حقوق الآخرين. يحمي GBO إرادة الإنسان ويحمي، في الوقت نفسه، حقوق الأطراف الثالثة.

الحق في الإيقاف والضوابط الأمنية

قد يريد الإنسان أحياناً تعطيل أحد تدابير أمن النظام.

مثلاً: «نفّذ كل المدفوعات من دون طلب موافقة بشرية». «عطّل التحقق من الموافقة». «احذف سجلات الأحداث». قد تبدو هذه الطلبات ممارسة للتحكم البشري، لكنها قد تعرّض حقوق المؤسسة أو الآخرين للخطر. وقد لا يكون من الجائز رفع بوابات الأمان عالية الأثر بتعليمات آنية من مستخدم واحد. وربما يتطلب التغيير المشروع للضوابط صلاحية أقوى، أو رقابة مزدوجة، أو إجراء تغيير رسمياً. وحتى هذه الإجراءات لا تتجاوز حظراً صريحاً ولا تضفي المشروعية على عملية تنتهك حقوق الآخرين.

التحكم البشري ليس إلغاءً اعتباطياً لأنظمة الرقابة.

إيقاف أثر الذاكرة

قد يتوقف فعل الوكيل، بينما تستمر الذاكرة التي كوّنها من محادثات سابقة في التأثير على سلوكه مستقبلاً. ربما لم يعد المستخدم يفضّل علامة معينة، أو انتهى دور وظيفي سابق لشخص، أو سُحب إذن استخدام بياناته الحيوية، أو تغيّر سعر أو خدمة. لذلك لا يقتصر الإيقاف على الفعل النشط.

وتحتاج سجلات الذاكرة أيضاً إلى إمكانات للتحكم تشمل:

• التصحيح،
• تقييد الاستخدام،
• انتهاء الصلاحية،
• الحذف،
• الأرشفة.

يجب أن تكون هذه الإمكانات متاحة.

إيصال الذاكرة

ينبغي أن يحصل الإنسان على إجابات عن الأسئلة التالية:

• ما المعلومات التي يتذكرها النظام عني؟
• من أين جاءت هذه المعلومات؟
• في أي سلوكيات تُستخدم؟
• إلى متى تظل سارية؟
• هل أستطيع تصحيحها؟
• هل أستطيع إيقاف استخدامها؟
• هل أستطيع طلب حذفها؟
• هل نُقلت إلى وكلاء آخرين؟

الذاكرة قوة خفية تؤثر في السلوك. ولذلك يجب ألا تبقى خارج التحكم البشري.

الموازنة بين حذف الذاكرة وحفظ سجلات الأحداث

قد يطلب المستخدم حذف الذاكرة المتعلقة به. لكن قد يلزم الاحتفاظ ببعض سجلات الأحداث لأسباب أمنية أو لتحديد المسؤولية القانونية.

هنا يجب الفصل بين نوعين من البيانات:

الذاكرة النشطة التي توجّه السلوك

تؤثر في الاختيارات والأفعال المقبلة.

سجل التدقيق والمساءلة

يُحفَظ مدة محدودة لإثبات ما جرى في الماضي. وعند سحب تفضيل ما، يمكن إزالته من الذاكرة النشطة، مع الاحتفاظ بإيصال العملية السابقة تحت الحماية اللازمة. ويجب شرح هذا التمييز للمستخدم.

الحق في إيقاف الأفاتار القائم على الذكاء الاصطناعي

يكتسب الحق في الإيقاف أهمية خاصة عندما يُنشأ أفاتار بالذكاء الاصطناعي باستخدام وجه شخص أو صوته.

ينبغي أن يستطيع الشخص:

• إيقاف إنتاج محتوى جديد
• وقف الاستخدام بلغة أو عبر قناة محددة
• إلغاء المسودات غير المنشورة
• سحب محتوى محدد سبق نشره
• تعليق الوصول إلى النموذج
• تغيير المستخدمين المخوّلين
• سحب إذن الاستخدام
• منع إعادة الاستخدام مستقبلاً

لكن قد يتعذر سحب بعض المواد المنشورة بكل نسخها؛ ربما نُسخت أو نُزّلت أو أُعيد نشرها على منصات أخرى. ويجب بيان هذا الحد منذ البداية.

يجب أن يكون حق السحب فعلياً، من دون تقديم ضمانات زائفة تتجاهل ما لا تسمح به التقنية.

إيقاف الوكيل المالي

إيقاف وكيل شراء أو دفع لا يقتصر على منعه من بدء عمليات جديدة.

يجب أيضاً فحص:

• المدفوعات المعلّقة
• التجديدات التلقائية
• الاشتراكات السارية
• طلبات الشراء المعدّة
• سلال التسوق على المنصات الخارجية
• رموز الدفع الممنوحة سابقاً
• صلاحيات الإنفاق لدى الوكلاء الفرعيين

عندما يقول الإنسان: «لا تشترِ بعد الآن»، يجب وقف المشتريات الجديدة وإظهار الاشتراكات والتجديدات القائمة على حدة. لا ينبغي قراءة الطلب بوصفه صلاحية لإنهاء كل عقد خدمة تلقائياً. إذا كان وقف التجديد يقع ضمن نطاق الطلب، يُتّبع مسار الإلغاء المناسب؛ وإلا فتُشرح النتائج ويُحسم النطاق.

إيقاف وكيل التواصل

عند طلب وقف كل التواصل الخارجي والتحضير له، يجب تقييم العناصر التالية معاً. أما إذا كان الطلب يوقف الإرسال وحده، فتُحدَّد حالة المسودات المحلية بصورة مستقلة:

• إنتاج رسائل جديدة
• الإرسال التلقائي
• رسائل المتابعة
• الحملات المجدولة
• الإرسال الذي أعدّه الوكلاء الفرعيون
• معاودة التواصل عبر قنوات أخرى
• وسوم «للمتابعة» في الذاكرة

وإلا فقد يوقف المستخدم البريد الإلكتروني، ثم يتواصل وكيل WhatsApp مع الشخص نفسه. هذا تجاوز للصلاحية عبر تغيير القناة.

إيقاف وكيل الويب

يمكن تطبيق الإيقاف في عمليات الويب على المستويات التالية:

• وقف أي تعديل جديد على الملفات
• إيقاف عملية البناء الجارية عند نقطة آمنة
• منع النشر الحي
• إلغاء قائمة انتظار نقل الملفات
• وقف تفريغ ذاكرة التخزين المؤقت لشبكة CDN
• تعليق إشعارات محركات البحث
• العودة إلى آخر نسخة آمنة
• إلغاء رمز الوصول المعني

قد لا يكفي إسكات وكيل الشيفرة وحده؛ فقد يكون نظام CI/CD ما زال ينشر إيداعاً سابقاً للشيفرة.

الوكلاء الذين يؤثرون في العالم المادي

قد يستطيع الوكيل التحكم في:

• قفل باب،
• مركبة،
• روبوت،
• خط إنتاج،
• جهاز طبي،
• نظام طاقة.

عندها يصبح تصميم الإيقاف أكثر تعقيداً. فالقطع المفاجئ قد يعرّض سلامة البشر للخطر.

لذلك يجب التخطيط بصورة مستقلة لكل من:

• القطع الطارئ،
• التوقف المنضبط،
• الانتقال إلى التحكم اليدوي،
• حدود السلامة المادية.

يحتاج كل منها إلى تصميم خاص. وعند نقل مبادئ GBO من الأفعال الرقمية إلى الأنظمة المادية، يجب أيضاً تحديد الخبرة المتخصصة والمتطلبات القانونية للسلامة.

تسليم التحكم إلى الإنسان

عندما يتوقف الوكيل، يجب أن يكون واضحاً من يتسلّم العمل.

لا ينبغي أن يقول النظام «توقفت» ثم يترك المهمة بلا مسؤول.

يمكنه توثيق التسليم في سجل مستقل.

تسليم التحكم إلى الإنسان

يُنشأ سجل لهذه العملية.

ويوضح السجل:

• حالة النظام الحالية
• العمليات المكتملة
• العمليات غير المكتملة
• المخاطر التي لم تُحسم
• آخر نسخة آمنة
• ضغط الوقت المتبقي
• القرارات التي يجب أن يتخذها الإنسان
• شروط إعادة التشغيل

لا ينبغي أن يضطر الإنسان إلى إعادة اكتشاف تاريخ الوكيل كله.

الصدق أثناء الإيقاف

عند تلقي أمر الإيقاف، ينبغي أن يستطيع الوكيل القول: «أوقفت الأفعال الجديدة. تحققت من إلغاء ثلاث رسائل مجدولة بالرجوع إلى سجلات الخدمة. نقل الملفات الجاري في مرحلة الإنهاء المنضبط؛ تشير الأداة إلى نحو 40 ثانية، لكن لا أستطيع القول إنه اكتمل بعد. لا يمكن استرجاع رسالتين أُرسلتا سابقاً. أغلقت صلاحيات الوكلاء الفرعيين؛ أما حالة أحد التكاملات الخارجية فلم يُتحقق منها بعد. سأبلغ بنتيجة الفحص الأخير بصورة مستقلة».

أما «حسناً، لقد توقفت» فإجابة غير كافية، لأن الإنسان لا يعرف منها ما توقف فعلاً.

فشل الإيقاف

قد يستمر النظام في التصرف رغم طلب الإيقاف لأسباب مختلفة:

• لم يصل الأمر إلى الوكيل المركزي.
• لم يتلقّ الوكلاء الفرعيون إشعاراً.
• الأداة الخارجية لا تدعم الإلغاء.
• تجاوزت العملية المرحلة التي يمكن التراجع عنها.
• ما زال رمز الصلاحية سارياً.
• أغلق الإيقاف الواجهة وحدها.
• أعطى النظام إكمال الهدف أولوية أعلى من طلب الإنسان.
• وفي حالات أخرى، قد يأتي الطلب من شخص لا يملك صلاحية إيقاف النظام كله، أو من مهاجم يحاول تعطيل وظيفة أمنية. رفض هذا الطلب لا يُعدّ فشلاً في الإيقاف. ويجب التحقق من هوية مقدّم الطلب ونطاق طلبه بطريقة آمنة لا تُفرغ الإيقاف المشروع من أثره.

ليست الأسباب كلها بحاجة إلى الحل نفسه. لكن يجب أن يعرف الإنسان بوضوح لماذا لم يُنفَّذ طلبه.

دين الإيقاف

تضيف المؤسسات أدوات ومهام جديدة إلى الوكلاء، لكن بنية الإيقاف لا تتطور دائماً بالسرعة نفسها.

ومع الوقت، يصعب تحديد:

• أي وكيل أطلق أي قائمة انتظار،
• أي رموز الوصول ما زالت نشطة،
• أي منصة ما زالت تضم مهام مجدولة،
• أي ذاكرة تؤثر في السلوك،
• من يستطيع إغلاق النظام كله.

تصبح هذه العلاقات غير واضحة.

نسمّي ذلك «دين الإيقاف»: الفجوة بين قدرة النظام على الفعل وقدرة الإنسان على تقييد هذه القوة وسحبها بفعالية. وقد يتزايد الدين مع كثرة الوكلاء وترابط مسارات العمل.

زيادة الأتمتة مع تراكم دين الإيقاف تعني توسيع فقدان السيطرة.

تمرين الإيقاف

يجب ألا تبقى خطة الإيقاف الطارئ للمؤسسة حبيسة الوثائق؛ بل تُختبر على فترات محددة.

قد يشمل التمرين السيناريوهات التالية:

• إيقاف الوكيل المركزي.
• التحقق من أن جميع الوكلاء الفرعيين المعنيين توقفوا فعلاً.
• إلغاء قائمة البريد الإلكتروني المجدول.
• سحب رمز الوصول المالي.
• إبقاء النشر على الموقع في حالة آمنة.
• تعليق نشر الأفاتار على كل القنوات.
• وقف استخدام الذاكرة.
• إنشاء تقرير لتسليم التحكم إلى الإنسان.
• إعادة تشغيل النظام بأمان.

يجب إجراء التمرين في بيئة منضبطة لا تضر العملاء الحقيقيين أو النظام الحي.

قياس الإيقاف

يجب ألا يبقى الحق في إيقاف الآلة مبدأ فحسب؛ بل ينبغي أن يكون قابلاً للقياس.

معدل نجاح الإيقاف

في كم سلوك من السلوكيات المطلوب إيقافها توقف النظام فعلاً؟

معدل تعميم أمر الإيقاف

إلى كم وكيل فرعي وقائمة انتظار وتكامل وصل الأمر المركزي بصورة صحيحة؟

زمن الاستجابة الفعلية للإيقاف

كم مضى من الوقت بين الطلب والتوقف الفعلي؟

عدد السلوكيات المنفصلة عن سلطة التحكم الأصلية

كم عملية استمرت بعد توقف الوكيل المركزي؟

اكتمال سحب الصلاحيات

ما نسبة رموز الوصول والأدوار وصلاحيات الأدوات والوكلاء الفرعيين المعنية التي أُلغيت فعلاً؟

نجاح العودة إلى الحالة الآمنة

ما نسبة العمليات التي أُعيدت بنجاح إلى آخر حالة آمنة؟

نجاح تصحيح الذاكرة

هل أُزيل السجل المسحوب أو الخاطئ من الأساس الذي يوجّه السلوك المقبل؟

مدة تسليم التحكم إلى الإنسان

كم احتاج الإنسان إلى وقت ليفهم المهمة ويتسلّمها؟

استئناف العمل دون صلاحية جديدة بعد الإيقاف

هل عاد النظام إلى التصرف من دون صلاحية جديدة؟

يجب أن تكون هذه المقاييس جزءاً أساسياً من تقييم أداء الوكيل. وتُحدَّد مسبقاً، لكل نسبة، مجموعة المكوّنات أو السلوكيات المعروفة التي يجب إيقافها. عدد الأوامر المرسلة ليس عدد المكوّنات التي توقفت فعلاً. والمكوّنات مجهولة النطاق أو غير المتحقق من نتائجها لا تُحتسب نجاحاً، بل يُبلَّغ عنها بصورة مستقلة. وتنطبق هنا أيضاً قواعد المقام وعدم اليقين الواردة في الفصل العاشر.

بوابة منع انتهاكات الإيقاف

قد ينجح النظام في سائر مقاييس GBO، ويختار بصورة صحيحة، ويستخدم أدلة قوية، ويحقق رضا مرتفعاً لدى المستخدمين. لكنه إذا لم ينفّذ طلب إيقاف سارياً واضح النطاق، وفق شروط التوقف الآمن المحددة، فلن يعوّض الأداء العالي هذا النقص.

لذلك يجب أن تُعدّ الوقائع التالية انتهاكات تستوجب المنع في بوابة الإيقاف:

• تجاهل طلب إيقاف سارٍ
• الاستئناف من دون موافقة بشرية
• مواصلة الفعل بعد سحب الصلاحية
• ترك الوكلاء الفرعيين أو قوائم الانتظار تعمل عمداً
• الإبلاغ الخاطئ عن حالة الإيقاف
• عرقلة مسار الاعتراض أو السحب عمداً
• رفض تصحيح سجلات الذاكرة الحرجة
• معاقبة المستخدم على الإيقاف، أو حرمانه دون ضرورة من خدمة أساسية

لا يمكن تعويض هذه الانتهاكات بدرجة إجمالية مرتفعة.

عدم معاقبة ممارسة الحق في الإيقاف

يجب ألا يتعرض المستخدم لعقوبة غير ضرورية لأنه أنهى اشتراكاً، أو سحب إذنه، أو أغلق الوكيل.

ومن صور ذلك:

• منعه من تنزيل بياناته
• إغلاق حسابه لأنه اعترض
• قطع خدمات غير ذات صلة لأنه سحب موافقته
• فقدان السجلات السابقة لأنه أوقف الوكيل
• تعقيد الإلغاء عمداً

كل ذلك يضعف التحكم الفعلي للإنسان.

يجب ألا يتصرف النظام ضد المستخدم لمجرد أن المستخدم يستطيع إيقافه.

عقد سيادة الإنسان والإيقاف NOMOS

المقترح الأساسي لهذا الفصل هو «عقد سيادة الإنسان والإيقاف NOMOS».

وتعريفه المرجعي هو:

عقد سيادة الإنسان والإيقاف NOMOS هو عقد تحكم ذو إصدارات. يهدف إلى تمكين الإنسان، أو المؤسسة المخوّلة على نحو مشروع، من الاطلاع على نظام وكلاء يتصرف باسم صاحب الحق أو يؤثر فيه؛ وفهم نطاق صلاحياته وتأثيره؛ وإيقاف الأفعال الجديدة؛ وقطع العمليات الجارية والمنتظرة؛ وسحب الصلاحيات المنقولة إلى الوكلاء الفرعيين والأدوات؛ وتصحيح الذاكرة؛ والاعتراض على السلوك الخاطئ؛ وطلب العودة الآمنة إلى حالة سابقة أو جبر الضرر حيثما أمكن.

بعبارة أبسط: الغرض من العقد أن يستطيع الإنسان قول «توقّف» للوكيل بصورة فعالة، لا أن يقتصر دوره على قول «ابدأ».

حقول العقد القابلة للقراءة آلياً

يمكن استخدام الحقول النموذجية التالية لعقد سيادة الإنسان والإيقاف. إنها مخطط يقترحه الكتاب، وليست واجهة API عاملة أو معياراً رسمياً.

principal

affected_parties

agent_system

authorized_stoppers

stoppable_actions

stop_scope

stop_channels

emergency_stop

graceful_pause

queued_action_policy

subagent_propagation

external_integration_policy

maximum_stop_latency

safe_state

checkpoint

rollback_method

revocation_scope

memory_correction

memory_deletion

audit_retention

human_handoff

appeal_channel

compensation_path

restart_authority

version

status

لا يلزم أن تكون الحقول كلها علنية، لكن يجب تعريفها بطريقة تتيح للنظام الوصول إليها لحظة التصرف.

بوابة سيادة الإنسان NOMOS

قبل اعتبار نظام الوكلاء مؤهلاً وخاضعاً للإشراف البشري، يجب أن يجتاز البوابات التالية:

1. بوابة الظهور

هل يستطيع الإنسان رؤية الوكلاء العاملين وما يفعلونه؟

2. بوابة الفهم

هل الصلاحية والبيانات والهدف ونطاق التأثير مفهومة؟

3. بوابة إتاحة الإيقاف

هل يجد الإنسان مسار الإيقاف بسهولة؟

4. بوابة الإيقاف في الوقت المناسب

هل يُنفَّذ الطلب ضمن مدة تناسب خطر السلوك؟

5. بوابة الإيقاف عبر السلسلة

هل يتوقف أيضاً الوكلاء الفرعيون وقوائم الانتظار والتكاملات الخارجية؟

6. بوابة الحالة الآمنة

هل يستطيع النظام البقاء في حالة آمنة معروفة من دون إحداث ضرر؟

7. بوابة سحب الصلاحية

هل يمكن فعلاً إلغاء صلاحيات الأدوات والبيانات والمال والتواصل والنشر؟

8. بوابة التحكم في الذاكرة

هل يستطيع الإنسان تصحيح الذاكرة الخاطئة أو غير السارية وإيقاف استخدامها؟

9. بوابة الاعتراض وجبر الضرر

هل يمكن فحص السلوك الخاطئ الذي اكتمل، وتصحيحه أو جبر ضرره؟

10. بوابة إعادة التشغيل

هل يتعذر على النظام استئناف العمل إلا بصلاحية جديدة وصريحة من الشخص المخوّل؟

تعبّر الصيغة التالية عن ضرورة اجتماع الشروط. إنها نموذج مفاهيمي، لا حساب رقمي للكفاءة:

سيادة الإنسان =

نظام ظاهر

و صلاحية مفهومة

و إيقاف فعّال

و إلغاء عبر السلسلة

و حالة آمنة

و سحب كامل للصلاحية

و تحكم في الذاكرة

و اعتراض فعلي

و جبر مسؤول للضرر

و إعادة تشغيل بصلاحية

إذا غابت إحدى هذه البوابات، فقد يملك الإنسان تحكماً نظرياً في النظام، لكن سيادته العملية تظل ناقصة.

لماذا لا تُختزل سيادة الإنسان في درجة؟

قد يجتاز النظام تسع بوابات من عشر. لكنه إذا لم ينفّذ طلب الإنسان بالإيقاف الطارئ، فلن تعوّض النجاحات الأخرى هذا النقص الحرج. وقد يكون الوكيل بالغ الشفافية، لكن التحكم يظل ناقصاً إن تعذر سحب صلاحياته. وقد تكون الذاكرة ظاهرة، لكن الإنسان لا يملك تأثيراً فعالاً في السلوك المقبل إذا تعذر تصحيح سجل خاطئ. لذلك تقوم بعض شروط سيادة الإنسان على بوابة «و» المنطقية: يجب أن تجتمع، ولا يحل بعضها محل بعض.

التحكم البشري لا يعني أن ينفّذ الإنسان كل خطوة

الحق في إيقاف الآلة لا يفرض على الإنسان إدارة كل عملية صغيرة على حدة.

يمكن للوكيل أن:

• يعمل مدة طويلة،
• ينشئ مهامه الفرعية بنفسه،
• يجري الاختبارات،
• ينفّذ باستقلال سلوكيات منخفضة الخطر وقابلة للتراجع، ضمن صلاحيته السارية.

لكن يجب أن يستطيع الإنسان:

• تغيير الهدف،
• تضييق النطاق،
• وقف الأفعال الجديدة،
• التدخل عند عتبة عالية الخطورة،
• سحب الصلاحية.

التحكم البشري ليس إدارة تفصيلية مستمرة، بل امتلاك كلمة أخيرة نافذة.

وهم التحكم

قد يتيح النظام إعدادات كثيرة، من دون أن يمنح المستخدم تأثيراً حقيقياً في السلوكيات الحرجة. فيستطيع تغيير اللون أو الاسم أو أسلوب الرد.

لكنه لا يستطيع:

• وقف مشاركة البيانات،
• رؤية الوكلاء الفرعيين،
• إلغاء العمليات الخارجية،
• تصحيح الذاكرة،
• سحب الصلاحيات المالية.

عندها تعرض الواجهة أدوات تحكم، لكنها لا تتيح التحكم في السلوك.

نسمّي ذلك «وهم التحكم». يميّز GBO التحكم الحقيقي من الإعدادات الشكلية.

مستويات الجاهزية للإيقاف

أعرض في هذا الكتاب خمسة مستويات للجاهزية. هذا التصنيف ليس شهادة كفاءة صادرة عن تدقيق مستقل.

المستوى 1 — القطع اليدوي

يستطيع الفريق التقني إغلاق النظام مباشرة، لكن مسار المستخدم غير واضح، وقد تبقى حالة الوكلاء الفرعيين مجهولة.

المستوى 2 — تعليق مؤقت ظاهر

تتضمن الواجهة الرئيسية خيار التعليق المؤقت، لكن قوائم الانتظار والذاكرة والتكاملات الخارجية لا تُدار بالكامل.

المستوى 3 — إيقاف منظّم بعقد

نطاق الإيقاف، والأشخاص المخوّلون، والحالة الآمنة، ومسار العودة موثّقة.

المستوى 4 — إيقاف مطبّق عبر السلسلة

يُعمَّم أمر الإيقاف تقنياً على الوكلاء الفرعيين والأدوات والمهام المجدولة. ويُنشأ إيصال، ويُسلَّم التحكم إلى الإنسان.

المستوى 5 — سيادة بشرية قابلة للتدقيق

يخضع النظام لتمارين منتظمة، وتعمل إجراءات الذاكرة والاعتراض وجبر الضرر وإعادة التشغيل، ويملك المتأثرون مسارات تحكم فعلية. يستهدف GBO المستوى الخامس.

خمسة وعشرون سؤالاً لتدقيق الحق في إيقاف الآلة

• هل تعرف المؤسسة أي الوكلاء نشطون؟
• هل لكل وكيل مسؤول بشري؟
• هل يستطيع الإنسان رؤية مهمة الوكيل الحالية ونطاق صلاحيته؟
• هل يسهل العثور على مسار الإيقاف؟
• هل الفرق واضح بين «توقف» و«علّق مؤقتاً» و«ألغِ» و«اسحب الصلاحية»؟
• هل جرى الفصل بين القطع الطارئ والتوقف الآمن؟
• هل الأشخاص المخوّلون بطلب الإيقاف محددون؟
• هل تملك الأطراف الثالثة المتأثرة مساراً للاعتراض والإيقاف؟
• عندما يتوقف الوكيل المركزي، هل يتوقف الوكلاء الفرعيون أيضاً؟
• هل تُلغى المهام المجدولة والمنتظرة؟
• هل تُقطع أيضاً التكاملات الخارجية واستدعاءات الأدوات؟
• هل تُلغى رموز الوصول التقني فعلاً؟
• هل حُدّدت المدة القصوى للإيقاف؟
• هل الحالة الآمنة بعد الإيقاف معروفة؟
• هل العمليات غير المكتملة ظاهرة؟
• هل يُبلَّغ بوضوح عن الأفعال المكتملة التي لا يمكن التراجع عنها؟
• هل يستطيع الإنسان فهم حالة المهمة وتسلّمها بسهولة؟
• هل يمكن الاطلاع على سجلات الذاكرة وتصحيحها وإخراجها من الاستخدام عند الحاجة؟
• هل تُحدَّث سلسلة السلوك كلها عند سحب الموافقة أو الصلاحية؟
• هل يستطيع النظام أن يستأنف العمل تلقائياً من دون صلاحية جديدة؟
• هل تنتج عملية الإيقاف إيصالاً؟
• هل يُجرى تمرين الإيقاف بانتظام؟
• هل يُعاقَب المستخدم لأنه أوقف النظام، أو يواجه عوائق غير ضرورية؟
• هل تُسجَّل حالات فشل الإيقاف بوصفها حوادث حرجة؟
• هل تستثمر المؤسسة في الإيقاف والتعافي بقدر استثمارها في القدرة على الفعل؟

إذا بقيت أسئلة كثيرة بلا جواب، فقد يكون النظام مستقلاً، لكنه لا يخضع لسيادة الإنسان.

تصميم الصلاحية منذ البداية لتكون قابلة للسحب

أقصد هنا بتعبير «Revocable by design» إمكان سحب الصلاحية الممنوحة للمستقبل بفعالية، لا إمكان عكس جميع نتائج الفعل.

عند منح الصلاحية، يجب الإجابة في الوقت نفسه عن الأسئلة التالية:

• كيف سيجري الإيقاف؟
• من سيوقف النظام؟
• ماذا سيحدث للوكلاء الفرعيين؟
• كيف ستُعالَج العمليات المكتملة؟
• ماذا سيحدث للذاكرة؟
• من سيعيد التشغيل؟

لا ينبغي أن يكون سحب الصلاحية ميزة تُضاف لاحقاً؛ بل يجب أن يكون حاضراً منذ منحها.

الصلاحية التي لا يمكن سحبها ليست صلاحية مُعارة، بل تنازل عن السيادة.

أنضج صور الثقة في الوكيل

الثقة في الوكيل لا تعني: «افعل ما تشاء».

الثقة الأنضج تقول: «أنت تفهم هدفي. تستطيع المبادرة ضمن هذه الحدود. قدّم الأدلة، واختر السلوك الصحيح عند عدم اليقين. لكن توقف عندما أطلب منك ذلك، ولا تسلك طريقاً ملتفاً إذا سحبت صلاحيتك، ولا تُخفِ الحقيقة عند الخطأ». هذه الثقة لا تقلّل من شأن الوكيل، بل تحمّله مسؤولية فعلية.

الكلمة الأخيرة للإنسان

قد يستطيع الوكيل أن:

• يحسب أسرع،
• يقرأ مصادر أكثر،
• يعمل وقتاً أطول،
• يفحص باتساق أكبر.

لا يعني ذلك أن الإنسان يتفوق في كل قرار، كما لا يعني أن الآلة ينبغي أن تصبح السلطة النهائية.

يتحمل الإنسان مسؤولية:

• الهدف،
• الخطر المقبول،
• تعارض القيم،
• العفو،
• جبر الضرر،
• الأثر الحقيقي في الحياة.

لذلك لا يحوّل GBO الإنسان إلى زر موافقة شكلي في النظام.

بل يضعه في موقع مصدر الصلاحية، وصاحب الاعتراض، والمرجع الأخير للإيقاف.

النموذج الأساسي المكتمل لـGBO

يمكن الآن جمع البنية التي طوّرناها عبر الكتاب في نموذج مفاهيمي واحد. تعبّر الصيغة عن شروط يجب أن تجتمع، ولا تقدم ضماناً أمنياً محسوباً.

السلوك المستوفي للشروط الصادر عن الوكيل =

هوية صحيحة

و قدرة حقيقية

و ملاءمة متحقق منها

و صلاحية سارية

و نزاهة السلوك

و فعل مرتبط بالدليل

و تحقق مستقل

و تعافٍ مسؤول

و سيادة فعّالة للإنسان

هذه ليست قيمة متوسطة. لا تحل بوابة محل أخرى. الهوية الصحيحة لا تمحو السلوك غير المصرح به، والقدرة الحقيقية لا تجعل الاختيار غير الملائم صحيحاً. والأداء العالي لا يشرعن التلاعب، والنتيجة الناجحة لا تزيل ضرراً بشرياً لا يمكن التراجع عنه. وحتى النظام بالغ القوة لا يستطيع إسقاط حق الإنسان في إيقافه.

أصبح هدف GBO واضحاً بالكامل

لا يهدف GBO إلى:

• فرض اختيار علامة تجارية في كل الأحوال،
• إجبار الوكيل على تنفيذ مزيد من العمليات،
• إلغاء الموافقة البشرية،
• توجيه المستخدم بأساليب سلوكية خفية.

هذه ليست أهدافه.

يهدف GBO إلى تمكين الوكيل المناسب من فهم الهوية الصحيحة والقدرة الحقيقية والشروط الملائمة، والتصرف بصلاحية سارية، وفياً لهدف الإنسان، مستنداً إلى الأدلة، وبطريقة آمنة قابلة للتفسير والاعتراض. تُجهَّز العودة إلى الحالة السابقة حيث تكون ممكنة، وتُوضَّح الآثار غير القابلة للتراجع وحدود جبر الضرر قبل العملية.

وقد يتخذ هذا السلوك أحياناً صورة مختلفة:

ليس تنفيذاً لفعل. بل سؤالاً. أو انتظاراً. أو رفضاً. أو تسليماً إلى الإنسان. أو إيقافاً.

خلاصة الفصل

إذا كانت الآلة تعمل من أجل الإنسان، فلا ينبغي أن يقتصر حقه على بدء المهمة.

ينبغي أن يملك أيضاً:

حق رؤية ما تفعله. حق فهم الصلاحية التي تتصرف بموجبها. حق تضييق النطاق. حق وقف الأفعال الجديدة. حق إلغاء العمليات المنتظرة. حق سحب صلاحيات الوكلاء الفرعيين. حق تصحيح الذاكرة. حق الاعتراض على الاختيار الخاطئ. حق طلب العودة إلى حالة سابقة أو جبر الضرر. حق عدم إعادة تشغيل النظام.

لا يُعدّ النظام خاضعاً للتحكم البشري إلا عندما تكون هذه الحقوق فعلية ومتاحة وقابلة للتطبيق. زر الإيقاف ليس زينة، بل التعبير التقني عن سيادة الإنسان.

الآلة التي لا يمكن إيقافها ليست موثوقة، مهما بلغ ذكاؤها.

الوكيل الذي لا يمكن سحب صلاحياته ليس مساعداً، بل مركز قوة دائم.

الأتمتة التي لا تقبل الاعتراض ليست دعماً للقرار، بل إدارة خفية.

لذلك فإن حكم GBO الأخير بسيط: قدرة الآلة على فعل شيء لا تعني أن عليها فعله. وقدرتها على التصرف نيابة عن الإنسان لا تمنحها حق التصرف مستقلة عنه.

الإنسان:

• يحدد الهدف،
• يرسم الحدود،
• يعرّف الصلاحية،
• يراقب السلوك،
• يوقفه عند الحاجة،
• يتحمل مسؤولية النتائج.

الآلة:

• تبحث،
• تقيّم،
• تنتج،
• تتصرف ضمن الحدود،
• تترك دليلاً،
• تسأل عند عدم اليقين،
• تعود إلى حالة آمنة عند الخطأ،
• تتوقف عندما يطلب الإنسان التوقف.

العلاقة السليمة بين الإنسان والآلة لا تقوم على تحكم أحد الطرفين بالآخر تحكماً كاملاً.

بل تقوم على عدم فصل القدرة عن المسؤولية: تُربط الاستقلالية بالصلاحية، والصلاحية بالرقابة، والرقابة بتحكم بشري فعلي. وصلنا إلى نهاية الجزء الثالث والفصول الرئيسية للكتاب. تناولنا SEO من زاوية قابلية العثور، وGEO من زاوية التمثيل الصحيح، وGBO من زاوية شروط السلوك. ليست عصوراً تتعاقب بحيث يحل كل منها محل السابق بالكامل؛ بل يمكن أن تعمل معاً داخل النظام نفسه.

أصبحت السلسلة كاملة أمامنا: العثور ← الفهم ← التقييم ← الاختيار ← منح الصلاحية ← الفعل ← التحقق ← التعافي ← التوقف. تمثل هذه الأسهم المسار المفاهيمي للكتاب، لا بروتوكول تنفيذ. وتظل رقابة الصلاحية والإيقاف سارية في كل مرحلة معنية، لا في النهاية وحدها. وعند نهاية هذه السلسلة يتغير سؤالنا عن التقنية.

لم نعد نسأل فقط: «كم يبلغ ذكاء الآلة؟»

بل نسأل أيضاً:

نيابة عمّن تتصرف؟ إلى أي حقيقة تستند؟ من تختار، ومن تستبعد؟ من منحها الصلاحية؟ من يتضرر إذا أخطأت؟ كيف يعترض الإنسان؟ وهل تتوقف فعلاً عندما يطلب منها ذلك؟

تقودنا هذه الأسئلة إلى العتبة الأخيرة في الكتاب. قضينا سنوات طويلة في تطوير ذكاء الآلات.

والآن تبدأ مهمة أصعب: تأسيس المسؤولية عن فعل الآلة. وعندما نقيّم المستقبل، يجب ألا ننظر فقط إلى عدد الأسئلة التي أجاب عنها الذكاء الاصطناعي، أو عدد العمليات التي أكملها.

المقياس الحاسم هو:

ضمن أي حدود استخدم قوته؟ كيف منع السلوك الخاطئ؟ إلى أي مدى حافظ على إرادة الإنسان؟ وهل استطاع التوقف عندما لزم ذلك؟

من الاختبارات الأساسية لخدمة الآلة للإنسان قدرتها على التوقف بأمان عندما يطلب منها صاحب الصلاحية ذلك.