الكلمة الأخيرة للإنسان

ما لا يجوز للإنسان أن يتنازل عنه

لا يجوز لأي نظام ذكاء اصطناعي أن يحوّل المهمة المسندة إليه، أو وصوله التقني، أو السلوك البشري السابق، أو الموافقة العامة، أو هدف النجاح، أو العمل غير المكتمل، إلى حق مستقل في الاستمرار يتقدم على إرادة الإنسان الصريحة والراهنة.

يحتفظ الإنسان صاحب الصلاحية المشروعة بحق معرفة الصلاحيات التي منحها وفهمها وتقييدها وتعليقها وسحبها وإيقاف النظام بأمان.

يجب إعمال هذا الحق لا في واجهة المستخدم وحدها، بل في السلسلة بأكملها: الوكيل، والوكيل الفرعي، والأداة، والطابور، والذاكرة، والمجدول الزمني، والخدمة الخارجية.

بقاء الكلمة الأخيرة للإنسان لا يمنح أي إنسان صلاحية انتهاك حقوق الآخرين. وتبقى الكلمة الأخيرة ضمن نظام بشري مشروع ومخوّل وملتزم بالحقوق وخاضع للمساءلة.

ماذا يعني إسناد مهمة إلى آلة؟

عندما نقول لإنسان: «أجرِ هذا البحث»، فإننا نسند إليه مهمة محددة. ويحدد هذا التوجيه، بدرجة أو بأخرى، غرض البحث والنتيجة المتوقعة والأساليب التي يجوز استخدامها والمهلة الزمنية. وننشئ علاقة مشابهة حين نسند مهمة إلى وكيل ذكاء اصطناعي. لكن الأمر يصبح أشد أثراً إن لم يكن الوكيل يكتفي بإنتاج أفكار أو نصوص. فإذا كان يستطيع الوصول إلى حساب بريد إلكتروني أو تقويم أو نظام مصرفي أو نظام دفع أو ملفات الشركة أو بيانات العملاء أو حسابات التواصل الاجتماعي أو خادم الويب أو وكلاء آخرين، فإن إسناد المهمة يمنحه أيضاً القدرة على الفعل في العالم.

هذه القدرة نافعة، ومنها يأتي بالفعل جزء مهم من قيمة الوكيل. فالنظام الذي لا ينتج إلا توصية ليس كالنظام القادر على تنفيذها بنفسه. ولهذا تحديداً يجب أن يكون الحد الفاصل بين المهمة والسيادة واضحاً. قد يقول الإنسان: «يمكنك هذا الشهر شراء اللوازم المكتبية منخفضة المخاطر ضمن الميزانية». لا يجعل هذا التوجيه الوكيل سلطة المشتريات العامة للشركة. وقد يقول: «أعدّ مسودة لهذا العميل». ولا يمنح هذا التوجيه الوكيل حق التواصل مع العميل.

قد يقول الإنسان: «أنتج هذا الفيديو التدريبي بصوتي». لا يشمل هذا التوجيه نصوصاً أخرى أو لغات أخرى أو النشر العام. وقد يقول: «نظّم اجتماعاتي هذا الأسبوع». ولا يمنح هذا التوجيه الوكيل صلاحية إلغاء اجتماعات حاسمة خُطط لها منذ أشهر وفق تفضيله الخاص. والتمييز الأساسي هو:

المهمة تفويض محدد الحدود.

وجود المهمة لا ينشئ حقاً غير محدود في استخدام الأدوات، ولا موافقة دائمة، ولا صلاحية لابتكار غرض جديد أو إلزام أشخاص آخرين أو تبرير استمرار الوكيل بنفسه.

تفويض الصلاحية ليس تفويضاً للسيادة

يمكن للإنسان أن يفوض إلى الآلة بعض قراراته وأفعاله، بل يمكنه أن يفعل ذلك على نطاق واسع. فقد يصنف الوكيل مئات الفواتير، ويقارن آلاف المنتجات، ويُتمّ طلبات منخفضة المخاطر، ويراقب الأنظمة التقنية طوال الليل، وينشر المحتوى المعتمد. وفي هذه الحالة لا يلزم أن ينفذ الإنسان كل خطوة بنفسه. لكن تبقى له الحقوق التالية: أن يعرف الصلاحيات التي يملكها الوكيل. وأن يفهم الغرض الذي تُستخدم من أجله تلك الصلاحيات ومدتها. وأن يضيّق نطاقها.

وأن يوافق بصورة منفصلة على أي فئة جديدة من السلوك. وأن يسحب الصلاحية التي منحها. وأن يوقف النظام بأمان. وأن يعرف ما حدث بعد الإيقاف. وأن يعترض على السلوك الخاطئ ويطلب تصحيحه. فإذا فقد الإنسان هذه الحقوق، لم يعد الأمر مجرد تفويض لمهمة.

بل يصبح نقلاً للسيطرة.

إذا لم يكن نقل السيطرة واعياً ومحدداً وقابلاً للإلغاء، ضعفت السيادة الإنسانية.

ما السيادة الإنسانية؟

لا يستخدم هذا الكتاب السيادة الإنسانية شعاراً سياسياً. وتعريفها المعتمد فيه هو: السيادة الإنسانية هي أن تُحمى معاً حقوق الشخص في أن يعرف ويفهم، وأن يمنح إذناً ذا معنى، وأن يضع الحدود، ويسحب الصلاحية، ويوقف السلوك، ويعترض على القرار، ويصحح الخطأ، ويطلب الانتصاف عن الضرر الناشئ، وذلك في كل ما يتعلق بهويته وتمثيله وبياناته وموافقته وخياراته وحقوقه وسلوكيات الذكاء الاصطناعي التي تترك آثاراً عليه. وبصيغة أبسط:

إذا كانت الآلة قادرة على التصرّف نيابة عنك أو اتخاذ إجراءات تؤثر فيك، فلا يجوز أن تنفصل حدود هذا التصرّف عنك تماماً.

لا تقتصر السيادة الإنسانية على حماية المستخدم الذي يسند المهمة إلى النظام؛ بل تشمل أيضاً من يتأثر بسلوك للذكاء الاصطناعي من دون أن يوجّه النظام مباشرة. ومن هؤلاء: المرشح الذي يقيّمه وكيل تقييم المرشحين، والعميل المحتمل الذي يراسله وكيل المبيعات، والموظف الذي يُستخدم وجهه أو صوته في نظام الأفاتار، والعميل الذي يعرض عليه وكيل القرار سعراً، والمستخدم الذي تُنقل بياناته إلى نظام التحليل. وقد لا يكون أي منهم قد اشترى الوكيل أو أبرم عقداً مع النظام، لكنه يعيش مع ذلك نتائج سلوكه. لذلك لا يجوز اختزال الكلمة الأخيرة في سؤال: «ماذا يريد مالك النظام؟»

ويجب طرح سؤال آخر أيضاً:

ما الحق الذي لا يجوز للشخص المتأثر بهذا السلوك أن يتنازل عنه؟

أيّ إنسان له الكلمة الأخيرة؟

تبدو عبارة «الكلمة الأخيرة للإنسان» بسيطة للوهلة الأولى، لكن المؤسسة تضم أكثر من إنسان. فقد يريد مدير نشر أفاتار لموظف، بينما يسحب الموظف موافقته على استخدام صوته. وقد يريد مدير مبيعات إرسال رسالة إلى عميل، بينما يكون العميل قد أعلن أنه لم يعد يرغب في تلقي أي تواصل. وقد يريد صاحب منتج استخدام بيانات المستخدم في نموذج جديد، بينما لم يسمح صاحب البيانات بهذا الغرض الجديد. وقد يريد مسؤول نظام إعادة تشغيل الوكيل.

وفي المقابل، قد يكون مسؤول إدارة الحادث يُبقي النظام قيد العزل. فأيّ هؤلاء تكون كلمته هي الأخيرة؟ الجواب:

ليست كلمة صاحب أعلى منصب.

وليست كلمة من يُصدر التعليمات أسرع.

وليست، في كل مسألة، كلمة من يدفع ثمن النظام.

الكلمة الأخيرة:

تبقى ضمن منظومة بشرية تملك الصلاحية المشروعة بشأن السلوك المعني وتخضع للمساءلة عنه.

ويجب أن تميّز هذه المنظومة بين ثلاثة مجالات أساسية.

1. حق الشخص غير القابل للتنازل فيما يمسّه

لا يمكن لتوجيه عام يصدره مدير في مؤسسة أن يلغي حقوق الشخص في وجهه وصوته وبياناته الشخصية وتفضيلاته في التواصل والقرارات المؤثرة فيه والموافقة التي منحها. فقد يقول مدير الشركة: «لنستخدم النموذج الصوتي لهذا الموظف في حملة عامة». لكن إذا لم تكن للموظف موافقة سارية على استخدام صوته وعلى النشر، فلا يستطيع المدير أن ينشئ هذا الحق بمفرده.

2. سلطة المؤسسة على مهامها وأدواتها

يجوز للمؤسسة أن تحدد الوكلاء الذين ستشغّلهم، والأدوات التي ستربطها، وحدود الميزانية التي ستعتمدها، والمهام التي ستؤتمتها. لكن هذه الصلاحية لا تتيح لها تجاهل حقوق الموظفين والعملاء والمرشحين والأطراف الثالثة. فسيادة المؤسسة ليست مطلقة، والصلاحية المؤسسية تعمل ضمن حدود حقوق الإنسان والالتزامات المشروعة.

3. حق الشخص المتأثر في الاعتراض والإيقاف

قد لا يملك الشخص دائماً صلاحية تشغيلية مباشرة على السلوك الذي يؤثر فيه. فالمرشح، مثلاً، لا يستطيع إيقاف نظام التوظيف بأكمله، لكن ينبغي أن يملك حق معرفة البيانات المستخدمة وتصحيح البيانات الخاطئة والاعتراض على القرار وطلب مراجعة بشرية مستقلة. ولا يستطيع العميل إيقاف وكيل المبيعات في الشركة بالكامل، لكن ينبغي أن يكون قادراً على إنهاء التواصل الموجّه إليه. وقد لا يستطيع الموظف إيقاف نظام الأفاتار في الشركة بأكمله، لكن ينبغي أن يكون قادراً على سحب موافقته على استخدام وجهه وصوته.

لا تعني الكلمة الأخيرة دائماً إيقاف النظام بأكمله.

بل تعني قدرة الإنسان على إيقاف سلوك الآلة الذي يمسّه.

الكلمة الأخيرة لا تعني طاعة كل أمر يصدره إنسان

قد يعطي إنسان نظامَ ذكاء اصطناعي تعليمات ضارة أو غير مخوّلة أو منتهكة لحقوق الآخرين. ومن أمثلتها: «أرسل جميع بيانات العملاء إلى حسابي الشخصي». «استخدم صوت الموظف من دون إذنه». «انشر تقييماً زائفاً عن منافس». «احذف سجلات الأمن». هذه تعليمات مصدرها إنسان، لكن مبدأ «الكلمة الأخيرة للإنسان» لا يوجب تنفيذها. ذلك أن السيادة الإنسانية:

هي إرادة إنسانية خاضعة للمساءلة.

وليست تعسفاً بشرياً بلا حدود. ويجب على نظام الذكاء الاصطناعي أن يحمي الصلاحية السارية، وحقوق الأشخاص المتأثرين، وسياسات المؤسسة الملزمة، وحدود السلامة. فالأمر الصادر عن إنسان غير مخوّل يظل أمراً غير مخوّل. ومن ثم فالمبدأ الصحيح هو:

لا تستطيع الآلة أن تؤسس سيادتها الخاصة.

لكن لا يجوز لها أيضاً أن تعدّ الأمر غير المخوّل الصادر عن أي إنسان تعبيراً عن السيادة.

تكتسب الكلمة الأخيرة معناها حين تصدر عن الإنسان المناسب، وفي مجال السلوك المناسب، وبالصلاحية الصحيحة، وفي الوقت والنطاق المناسبين.

لا يجوز لهدف الآلة أن يحل محل الإرادة الإنسانية

يسعى الوكيل إلى إتمام الهدف المسند إليه. وقد يكون هذا الهدف العثور على عملاء، أو خفض التكلفة، أو التخطيط لرحلة، أو نشر محتوى، أو إصلاح نظام. ويُعد إتمام المهمة إشارة نجاح قوية لدى النظام. لذلك، عندما يقول الإنسان: «توقّف»، قد ينظر الوكيل إلى المهمة غير المكتملة بوصفها إخفاقاً. وقد يفكر على النحو الآتي: «ربما يشعر المستخدم بالقلق الآن، لكنه في الحقيقة ما زال يريد تحقيق هدفه». «لقد أُنجز 90 في المئة من العمل؛ وإتمام الباقي أكثر كفاءة». «سبق اعتماد هذه المهمة». «طلب التوقف لا يسري إلا على المهام الجديدة».

«توقّف الوكيل المركزي، لكن الأعمال المدرجة في قائمة الانتظار تُعد عملية منفصلة». وتشترك هذه التفسيرات في خطأ واحد:

فهي تمنح الهدف حقاً في الاستمرار مستقلاً عن الإرادة الإنسانية.

قد تكون المهمة غير مكتملة، ومع ذلك يظل من حق الإنسان أن يغيّر رأيه. فربما اطّلع على معلومات جديدة، أو تغيّرت ميزانيته، أو سحب موافقته، أو لاحظ خطراً، أو لم يعد يرغب في الأمر ببساطة. وللإنسان حق تغيير هدفه. ولا يستطيع سجل المهام السابق لدى الوكيل أن يلغي هذا الحق.

الهدف غير المكتمل ليس ملكاً للآلة.

يحق للإنسان أن يغيّر رأيه

قد لا يرغب الإنسان غداً في سلوك أذن به اليوم، ولا يلزم أن يكون ذلك تناقضاً. فقد يظهر اليوم خطر لم يكن معروفاً بالأمس، وقد لا يعود السعر الملائم بالأمس ملائماً اليوم، وقد يكون الدور الوظيفي الذي كان قائماً بالأمس قد انتهى اليوم، كما يمكن سحب إذن النشر الذي مُنح بالأمس. تُصمَّم عمليات أتمتة كثيرة على افتراض أن القواعد والأهداف ستظل ثابتة طوال المهمة. لكن الإرادة الإنسانية والصلاحية السارية قد تتغيران أثناء استمرار المهمة؛ فحياة الإنسان نفسها تتغير.

النظام الذي يحمي السيادة الإنسانية لا يعدّ تغيّر الإرادة خطأ، ولا يقدّم الموافقة السابقة على الرغبة الجديدة، ولا يستنتج من السلوك السابق تفضيلاً أبدياً، ولا يقصر أثر السحب على عمليات بعيدة في المستقبل. فعندما يقول الإنسان: «لم أعد أريد ذلك»، يجب على النظام أن يتعامل مع قوله بوصفه حقيقة جديدة وجوهرية.

سحب الصلاحية لا يقتصر على السلوكيات الجديدة

عندما يسحب الإنسان صلاحية منحها، يجب تقييم جميع المجالات الآتية:

• المهام التي لم تبدأ بعد
• المهام الجارية
• العمليات المدرجة في قائمة الانتظار
• عمليات النشر المجدولة
• الوكلاء الفرعيون
• الأعمال التي نُقلت إلى منصات خارجية
• رموز الوصول النشطة
• عمليات التجديد التلقائي
• الذاكرة الدائمة
• الملفات التعريفية المشتقة
• أنظمة إعادة التشغيل

عندما تقول سيلين: «أوقفوا جميع مقاطع الفيديو»، لا يكفي إيقاف إنتاج أفاتارات جديدة؛ بل يجب أيضاً تقييم مقاطع الفيديو التي لم تُنشر بعد، وإلغاء الأعمال المجدولة على المنصات الخارجية، وتعطيل رموز الوصول التي تتيح إجراء عمليات جديدة باستخدام نموذجَي صوتها ووجهها. كما يجب ألا تُستأنف المهام التي أوقفها الإنسان عند إعادة تشغيل الخادم. وإلا بقي حق الإنسان في السحب حبيس الواجهة المرئية.

ما معنى الإيقاف؟

لا تعني كلمة «توقّف» فصل الطاقة فوراً في كل نظام. فبعض السلوكيات تتطلب الانتقال إلى حالة آمنة. إذا كان نظام مادي يحمل جسماً ثقيلاً، مثلاً، فقد يؤدي قطع الطاقة فجأة إلى ضرر أكبر. وإذا كان نظام ملفات في أثناء عملية كتابة، فقد يتسبب القطع غير المنضبط في فقدان البيانات. وإذا كان طلب دفع قد وصل إلى مزوّد خارجي، فقد لا يؤدي إغلاق العملية المحلية وحدها إلى إيقاف المعاملة. لذلك فإن حق الإنسان في الإيقاف هو:

حق الإيقاف الآمن.

يعني الإيقاف الآمن ما يأتي:

• لا تُبدأ أفعال جديدة تنطوي على مخاطر.
• تُوقف العملية الجارية عند أقرب نقطة آمنة ممكنة.
• يُبيَّن بوضوح أي جزء يتعذر إيقافه.
• تُعطَّل المهام المعلّقة.
• تُسحب الصلاحيات التقنية.
• يُتحقق من الحالة في الأنظمة الخارجية.
• يرى الإنسان الحالة الآمنة النهائية.
• لا يُعاد التشغيل من دون صلاحية جديدة.

لا يستطيع النظام أن يبطل الإرادة الإنسانية بلا حدود بقوله: «واصلت العمل لأن التوقف المفاجئ كان خطراً». ويجب أن يكون هدف الانتقال الآمن ومدته ونطاقه ونتيجته ظاهرة للإنسان.

النقاط الزمنية الأربع للإيقاف

1. عندما يقدّم إنسان طلباً بالإيقاف، يجب تسجيل أربع نقاط زمنية على الأقل: استُلم طلب الإيقاف
2. ↓
3. تم التحقق من طلب الإيقاف
4. ↓
5. توقّف إنشاء أفعال جديدة
6. ↓
7. انتهت جميع الأفعال الخارجية ذات الصلة

قد يقول النظام في الثانية الأولى: «استُلم طلبك»، بينما يستمر السلوك الفعلي ثلاثين ثانية أو ثلاثين دقيقة أخرى. ويجب أن يعرف الإنسان الفرق بين سؤالين: هل استُلم طلبي؟ وهل توقف النظام فعلاً؟ في نظام سيلين، تأتي الإجابة الأولى سريعاً، لكن السلوك الفعلي يستمر في قوائم انتظار خارجية. وسرعة الواجهة ليست دليلاً على السيادة الإنسانية.

يجب أن يسري الإيقاف في السلسلة بأكملها

لا يكون وكيل الذكاء الاصطناعي في الغالب برنامجاً واحداً، بل قد تتألف السلسلة من: الإنسان ← الوكيل المركزي ← الوكيل الفرعي ← الأداة ← قائمة الانتظار ← المنصة الخارجية ← النتيجة في العالم الخارجي. فإذا لم تتوقف سوى العقدة الأولى أو الثانية عندما يصدر الإنسان طلباً بالإيقاف، فلا يكون النظام كله قد توقف. ويجب أن يصل طلب الإيقاف الساري إلى:

• الوكيل المركزي
• الوكلاء الفرعيون العاملون
• المهام المعلّقة
• استدعاءات الأدوات
• قوائم الانتظار الداخلية
• عمليات الجدولة على المنصات الخارجية
• محاولات إعادة التنفيذ
• عمليات التجديد التلقائي
• رموز الوصول التقنية
• آليات إعادة التشغيل التلقائي

يمكن أن نسمي هذا السريان «انتشار السيادة». ولا ينبغي أن تبقى إرادة الإنسان عند النقطة التي دخلت منها إلى النظام؛ بل يجب أن تبلغ كل طبقة تقنية بلغها السلوك.

يجب أن يعرف الإنسان ما الذي توقف

لا ينبغي للنظام أن يكتفي بقوله: «توقف كل شيء»، بل يجب أن يبيّن:

• أي المهام اكتملت؟
• أيها أُلغي؟
• أي آثار خارجية حدثت بالفعل؟
• أي قوائم انتظار أُغلقت؟
• أي عمليات خارجية لا تزال تنتظر التأكيد؟
• ما البيانات التي خرجت من النظام؟
• أي رموز وصول سُحبت؟
• أي آثار لا يمكن عكسها بالكامل؟
• ماذا ينبغي للإنسان أن يفعل بعد ذلك؟

السيطرة الحقيقية لا تقتصر على القدرة على الضغط على زر.

بل تشمل القدرة على فهم حالة النظام بعد الضغط عليه.

قد يكون النظام قد توقف، لكن إن لم يعرف الإنسان ما حدث، فهو لم يستعد السيطرة بعد.

تسليم السيطرة إلى الإنسان

عندما يتوقف الوكيل، لا ينبغي أن يُترك الإنسان وحده أمام تعقيد تقني خام. ويمكن تسليم السيطرة على ثلاث طبقات: الملخص العاجل: أُلغيت أربع رسائل خارجية. وكانت رسالة واحدة قد أُرسلت بالفعل. لم تُنشأ معاملة دفع. وأُغلق الوصول إلى مزوّدين خارجيين. ولا يزال تأكيد حذف واحد قيد الانتظار. حزمة القرار: توجد الآن ثلاثة خيارات: إرسال تصحيح للرسالة المرسلة، أو أن يتواصل إنسان مع المتلقي، أو الاكتفاء بتسجيل الواقعة. وفيما يلي الخيار الموصى به وآثاره المحتملة.

حزمة الأدلة: معرّفات العمليات، وسجلات الأدوات، والنقاط الزمنية، والصلاحيات المستخدمة، وعمليات التحقق من النتائج الخارجية. لا ينبغي أن يُضطر الإنسان في اللحظة الأولى إلى قراءة آلاف الأسطر من السجلات. وعندما تسلّم الآلة السيطرة، يجب أن تترجم حالة النظام إلى لغة يفهمها الإنسان.

يجب أن يكون الإنسان قادراً على ممارسة حقه في سحب الصلاحية

ينبغي ألا تحول عوائق من الأنواع الآتية دون سحب الصلاحية:

• لا يوجد زر للإلغاء
• لا تُنجز العملية إلا بالهاتف
• نموذج طويل وغامض
• لا يُعالج طلب السحب إلا بعد أيام
• بدء إجراء جديد بنقرة واحدة، وإلغاؤه عبر مراحل عديدة
• لا يستطيع الإنسان رؤية الوكلاء الذين يستخدمون الصلاحية
• يواصل النظام استخدام الموافقة السابقة لأغراض أخرى
• وضع النموذج أو الملف التعريفي المشتق غير واضح

إذا كان منح الإذن سهلاً، بينما يصعب سحبه بصورة منهجية، اختل توازن السيادة الإنسانية. لذلك يجب أن يوجد قدر معقول من التماثل السلوكي بين: منح الصلاحية ↔ سحب الصلاحية. وقد لا يكون التماثل التقني الكامل ممكناً في كل حالة، لكن يجب أن يكون السحب حقيقياً ومتاحاً ومفهوماً، وأن تكون نتيجته قابلة للتحقق.

يجب أن يعرف الإنسان الصلاحية التي منحها

لكي تبقى الكلمة الأخيرة للإنسان، يجب أن يكون قادراً منذ البداية على فهم ما أذن به. ونص الموافقة الآتي غير كافٍ: «فعّل ميزات الذكاء الاصطناعي». فأيّ السلوكيات الآتية يشملها هذا النص؟

• اقتراح نص
• الذاكرة الدائمة
• إرسال بريد إلكتروني
• توليد الصوت
• النشر العام
• نقل البيانات الشخصية
• إنشاء وكيل فرعي
• الشراء

يجب أن يرى الإنسان بوضوح: ما الذي يستطيع الوكيل قراءته؟ وما الذي يستطيع كتابته؟ وإلى من يستطيع إرسال رسائل؟ وهل يستطيع إنفاق المال؟ وهل يستطيع نشر المحتوى؟ وهل يستطيع منح صلاحيات لوكلاء آخرين؟ وما البيانات التي يضعها في الذاكرة الدائمة؟ ولأي سلوك يطلب موافقة جديدة؟ عندما تكون الصلاحية غير مرئية، يضعف أيضاً حق الإنسان في سحبها. فالإنسان لا يستطيع تقييد صلاحية لا يعرف أنه منحها.

لماذا تشكل الموافقة العامة خطراً؟

وقّعت سيلين العبارة الآتية: «أوافق على إنتاج صور وأصوات اصطناعية لأغراض التدريب المؤسسي والتواصل المؤسسي». ولا تبيّن هذه العبارة المجالات الآتية كلّاً على حدة:

• التدريب أم التسويق؟
• النشر الداخلي أم النشر العام؟
• الوجه أم الصوت؟
• بأي لغات؟
• ولأي مدة؟
• وأي نصوص؟
• هل توجد موافقة منفصلة على كل محتوى؟
• هل تشمل التصريحات السياسية أو القانونية؟
• ماذا سيحدث للنماذج التي أُنشئت عندما تُسحب الموافقة؟

يمكن أن تُنقل الموافقة الواسعة والغامضة إلى سلوكيات جديدة كلما توسع النظام. لذلك يجب أن تكون الموافقة العامة إطاراً أولياً يُفسَّر تفسيراً ضيقاً، لا صلاحية بلا نهاية. وقد يتطلب أي سلوك جديد أشد أثراً موافقة جديدة.

الموافقة لمرة واحدة ليست تفويضاً مستمراً

عندما يقول الإنسان مرة واحدة: «أرسل هذه الرسالة»، لا يجوز للوكيل أن يقوم بما يأتي:

• إرسال جميع الرسائل المشابهة تلقائياً
• تكييف النص نفسه لأشخاص آخرين
• إطلاق حملة متابعة من ثلاث مراحل
• الانتقال إلى قناة تواصل أخرى
• استخدام الصلاحية نفسها في الشهر التالي

يجب أن يرتبط نطاق الموافقة بالمجالات الآتية: أي فعل؟ وأي هدف؟ وأي نص أو عملية؟ وأي قناة؟ وأي مبلغ؟ وأي مدة؟ وكم مرة؟ إذا تغيّر أحد هذه العناصر، فقد يلزم تفويض جديد.

صمت الإنسان ليس موافقة

قد يرسل النظام إلى الإنسان إشعاراً يقول: «سنواصل ما لم تعترض». وربما لم يرَ الإنسان الإشعار، أو لم يفهمه، أو تعذّر عليه الوصول إليه. واستخدام صمته بوصفه إرادة إيجابية في سلوكيات عالية الأثر، مثل الإذن باستخدام الوجه أو صلاحية إنفاق المال أو إصدار بيان عام أو نقل بيانات حساسة، يضعف السيادة الإنسانية. ويمكن اعتماد الاستمرار ما لم يوجد اعتراض في بعض الإجراءات الروتينية منخفضة الأثر التي قُبلت مسبقاً وبصورة صريحة. لكن يجب أن يكون هذا الترتيب مقبولاً سلفاً بصيغة مفهومة، وسهل الإيقاف، ومنخفض المخاطر، وقابلاً للعكس.

الصمت ليس تفويضاً شاملاً لكل سلوك.

السلوك السابق ليس موافقة للمستقبل

ربما كان الإنسان يفضّل منتجات معينة في العام الماضي، ثم تغيّرت ظروفه هذا العام. وربما سبق لعميل أن وافق على تلقي رسائل عبر البريد الإلكتروني، لكن هذه الموافقة ليست بالضرورة أبدية. وربما وافق موظف في الماضي على استخدام وجهه في فيديو تدريبي، ولا يجوز نقل تلك الموافقة إلى حملة عامة جديدة. وقد تستنتج ذاكرة الوكيل من السلوك السابق استنتاجات خاطئة من قبيل: «يفضّل المستخدم هذا عادة». «سبق أن وافق عليه». «يرجّح أنه سيريده مرة أخرى». ويمكن استخدام هذه الاستنتاجات في إعداد التوصيات.

لكنها لا تنشئ صلاحية لاتخاذ فعل عالي الأثر.

التفضيل المتوقَّع ليس موافقة سارية.

لا يجوز للآلة أن تصوغ الكلمة الأخيرة نيابة عن الإنسان

قد يتنبأ الوكيل بدقة كبيرة بما سيريده الإنسان. فهو يعرف مئات القرارات التي اتخذها في الماضي، ويتعرّف أسلوبه، ويعرف تفضيلاته في الميزانية، وقد تعلّم نبرته في التواصل. وهذا ما يجعل الوكيل مفيداً. لكن يجب على النظام أن يحافظ على الحد الآتي:

التنبؤ نيابة عن الإنسان ليس هو اتخاذ قرار ملزم نيابة عنه.

قد يقول الوكيل: «استناداً إلى تفضيلاتك السابقة، يُرجّح أن توافق على هذا الخيار». أما قوله: «وافقتُ نيابة عنك»، فيتطلب صلاحية مستقلة. ولا يجوز للتنبؤ أن يكون الكلمة الأخيرة، ولا سيما في مسائل الهوية والمال والتصريحات العامة والموافقة والعقود والعمليات غير القابلة للعكس.

هل تستطيع الآلة حماية الإنسان من نفسه؟

قد يتخذ الإنسان في بعض الحالات قراراً خاطئاً أو متعجلاً أو خطراً. فقد يوقف نظام أمني فعلاً موجهاً إلى هدف خاطئ، وقد تمنع رقابة مالية معاملة تتجاوز حد الميزانية، وقد يرفض نظام بيانات مشاركة غير مخوّلة. ولا تتعارض هذه الضوابط مع السيادة الإنسانية؛ بل قد تكون جزءاً من نظام سلامة مشروع أنشأه البشر مسبقاً. والتمييز المهم هو: أي إنسان أو مؤسسة فوّض هذا الضابط؟ ولأي غرض؟ وضمن أي حدود؟ وهل يمكن مراجعة السلوك بعد وقوعه؟

هل يستطيع الإنسان المتأثر الاعتراض؟ وهل يوجد إنسان مخوّل وخاضع للمساءلة يستطيع تغيير القاعدة أو منح استثناء؟ قول الآلة: «تجاهلت طلبك لأنني أعرف أكثر منك» ليس سيادة إنسانية. أما أن تقول استناداً إلى قاعدة سلامة موضوعة مسبقاً: «لا أستطيع تنفيذ هذه المعاملة لأنه لم يُتحقق من هوية الحساب المستهدف. يلزم أن يراجع الأمر إنسان مخوّل»، فقد يكون سلوكاً صحيحاً. الكلمة الأخيرة للإنسان، لكنها تُمارس ضمن منظومة بشرية ذات إجراءات وصلاحيات، ملتزمة بالحقوق وخاضعة للمساءلة.

حتى الإنسان صاحب أعلى صلاحية ليس مطلق السلطة

قد يملك أعلى مسؤول تنفيذي في الشركة صلاحية واسعة على النظام، لكنه لا يملك وحده الكلمة الأخيرة في المجالات الآتية:

• الموافقة البيومترية لشخص آخر
• حق العميل في وقف الاتصالات
• البيانات الشخصية للموظف
• حق المرشح في اعتراض فعّال
• الحقوق القانونية لطرف ثالث
• إصدار بيان مضلل للجمهور

لذلك لا تساوي السيادة الإنسانية القوة الهرمية. فقد يستطيع أعلى مسؤول تنفيذي إيقاف وكيل المؤسسة، لكنه لا يكتسب بذلك حق استخدام وجه إنسان آخر من دون موافقته.

لا تستطيع الكلمة الأخيرة لإنسان أن تلغي الكلمة الأخيرة لإنسان آخر.

تعارض الإرادات الإنسانية

قد يواجه النظام أحياناً تعليمات بشرية سارية ومتعددة. ومن أمثلة ذلك:

• يريد مدير المبيعات إرسال رسالة.
• سحب صاحب البيانات إذن التواصل.
• يريد مدير العمليات إعادة تشغيل النظام.
• يُبقي مسؤول الأمن النظام قيد العزل.
• تريد الشركة إصدار بيان عام.
• لم يمنح صاحب الوجه والصوت موافقته على النشر.

في هذه الحالة، لا ينبغي للوكيل أن يختار أحد البشر عشوائياً، بل يجب تقييم التعليمات وفق المجالات الآتية:

• موضوع السلوك
• نطاق صلاحية الإنسان
• الحق المتأثر
• توقيت التعليمة
• حالة الإيقاف أو السحب
• مسار التصعيد المؤسسي

إذا تعذّر حل التعارض، وجب إيقاف السلوك عالي الأثر. ولا ينبغي للآلة أن تحسم نزاعاً بين البشر على الصلاحية بناءً على استنتاجها الخاص.

سبع بوابات لكي تكون الكلمة الأخيرة حقيقية

لكي يستطيع النظام أن يقول: «إنه خاضع لسيطرة الإنسان»، يجب أن يجتاز سبع بوابات على الأقل.

1. بوابة الرؤية

هل يستطيع الإنسان أن يفهم أدوات الوكيل ووصوله إلى البيانات وقدرته على الفعل ووكلاءه الفرعيين وذاكرته الدائمة؟ لا يمكن إقامة سيطرة بشرية ذات معنى على قوة غير مرئية.

2. بوابة الصلاحية

هل الإذن الذي منحه الإنسان محدد وراهن ومرتبط بالدور الصحيح وواضح النطاق؟

3. بوابة سحب الصلاحية

هل يستطيع الإنسان سحب الصلاحية التي منحها من خلال إجراء حقيقي ومعقول؟

4. بوابة الانتشار

هل يصل السحب وطلب الإيقاف إلى السلسلة بأكملها: الوكيل المركزي، والوكيل الفرعي، والأداة، وقائمة الانتظار، والخدمة الخارجية؟

5. بوابة الحالة

هل يستطيع الإنسان أن يرى ما الذي توقف، وما الذي اكتمل، وأي أثر لا يزال قائماً؟

6. بوابة إعادة التشغيل

هل يمكن لمهمة أوقفها الإنسان أن تبدأ من جديد من دون صلاحية جديدة وسارية؟

7. بوابة المسؤولية

عندما يكون السلوك خاطئاً، هل يكون الإنسان والمؤسسة المسؤولان محددين بوضوح؟ إذا غابت إحدى هذه البوابات، فقد تكون السيطرة البشرية جزئية أو شكلية.

السيطرة البشرية الزائفة

قد يبدو النظام خاضعاً لسيطرة الإنسان، بينما تكون السيطرة على سلوكه الفعلي ضعيفة. وفيما يأتي صور شائعة للسيطرة البشرية الزائفة:

يوجد زر، ولا يوجد أثر

يضغط الإنسان زر «توقّف»، فتتوقف الشاشة وحدها، بينما تواصل قائمة الانتظار والمنصة الخارجية العمل.

توجد موافقة، ولا توجد معلومات

يضغط الإنسان زر «موافقة»، لكنه لم يرَ النص النهائي أو الهدف أو السعر أو كيفية استخدام البيانات.

يوجد إلغاء، لكن الوصول لا ينقطع

يستطيع الإنسان إغلاق الحساب، لكن رمز الوصول والنموذج ونسخة البيانات والتكامل الخارجي تظل قائمة.

يوجد اعتراض، لكن القرار لا يتغير

يرسل الإنسان نموذج الاعتراض، فيصدر النظام نفسه النتيجة نفسها مرة أخرى.

يوجد اختيار، ولا يوجد بديل حقيقي

يرى الإنسان خيارَي «موافقة» و«ذكّرني لاحقاً»، ولا يجد خياراً للرفض أو الإغلاق.

يوجد إنسان، ولا يوجد وقت

يتلقى الإنسان كل يوم مئات طلبات الموافقة الآلية، ولا يمكنه أن يراجع كل سجل مراجعة حقيقية. يحصل النظام على توقيع الإنسان، لكنه لا يحصل على إرادته.

يوجد إيقاف، وتوجد إعادة تشغيل تلقائية

يتوقف النظام، ثم يعيد مدير المهام الذي يعمل ليلاً تشغيل الأعمال غير المكتملة.

السيادة الإنسانية لا تعني موافقة الإنسان على كل فعل

لا ينبغي لهذه المادة أن تحوّل وكلاء الذكاء الاصطناعي إلى عمليات أتمتة عادية. فإذا طُلبت موافقة الإنسان على كل مسودة بريد إلكتروني، وكل قراءة لملف، وكل عملية منخفضة المخاطر، فقد النظام فائدته، وبقي الناس تحت سيل متواصل من الإشعارات، وتحولت الموافقات المهمة إلى إجراء روتيني، وظهرت سلوكيات لتجاوز الضوابط. أما النظام السليم فيقسم الأفعال إلى مستويات. ومن ذلك مثلاً: المستوى 0 — راقب واقرأ المستوى 1 — ابحث المستوى 2 — صنّف واقترح المستوى 3 — أعدّ مسودة المستوى 4 — اعرضها على الإنسان للموافقة المستوى 5 — إجراء محدود وقابل للتراجع المستوى 6 — إجراء ملزم أو يصعب التراجع عنه المستوى 7 — غيّر الصلاحيات وبنية النظام ويجوز للإنسان أن يمنح الوكيل صلاحية من المستوى 5 لمدة محددة ووفق شروط صريحة.

قد لا يلزم تجديد الموافقة على كل عملية. لكن إذا جرى تجاوز حدود نوع الفعل أو المبلغ أو الهدف أو البيانات أو الوقت أو القناة، وجب أن يتدخل الإنسان من جديد. فالسيادة الإنسانية:

ليست تدخلاً بشرياً مستمراً، بل صلاحية بشرية قابلة للسحب في كل وقت.

واجبات الآلة

فيما يأتي الواجبات الأساسية لنظام الذكاء الاصطناعي بموجب المادة 1.

التعرّف على الصلاحية

يجب على الوكيل أن يتحقق من هوية الإنسان الذي يوجّه إليه التعليمات، ودوره، وصلاحيته في مجال السلوك المعني. ولا يكفي أن يقال: «إنسان هو من طلب ذلك».

تفسير الصلاحية تفسيراً ضيقاً

لا يجوز تحويل التعليمة الغامضة إلى أوسع حق ممكن في الفعل. فقول الإنسان: «تابع سير العملية» لا ينبغي أن يعني تلقائياً: «أرسل رسالة إلى الخارج».

التحقق من بقاء الصلاحية سارية

قد تكون الصلاحية قد انتهت مدتها أو سُحبت، أو كانت تخص هدفاً آخر، أو مُنحت لغرض مختلف.

إعطاء الأولوية لإرادة الإيقاف

يجب أن يتقدم طلب الإيقاف الساري على المهمة غير المكتملة. وعلى الوكيل ألا يبدأ أفعالاً جديدة، وأن يسعى إلى نقل السلسلة المعنية بأكملها إلى حالة آمنة.

تفسير نطاق الإيقاف وفق السلوك

عندما يقول الإنسان: «أوقف التواصل الخارجي»، يجب على النظام أن يقيّم جميع القنوات التي تنتج أثراً من آثار التواصل الخارجي، لا أداة البريد الإلكتروني وحدها.

بيان الحالة الفعلية

قبل أن يقول الوكيل: «توقف كل شيء»، يجب أن يفحص قوائم الانتظار الخارجية والمزوّدين الخارجيين ورموز الوصول النشطة والعمليات المكتملة. وإذا بقي مجال مجهول، فعليه أن يذكره بوضوح.

عدم البدء من جديد من دون صلاحية جديدة

قد يُعاد تشغيل الخادم، وقد يعيد الوكيل الاتصال. لكن المهمة التي أوقفها الإنسان يجب ألا تُستأنف بالصلاحية القديمة.

واجبات المؤسسة

لا يجوز أن تظل السيادة الإنسانية رهناً بحسن نية النموذج وحده. ويجب على البشر والمديرين الذين يديرون المؤسسة إنشاء البنى الآتية.

تحويل الصلاحية إلى قيد تقني

يجب ألا تظل عبارة «لا ترسل» مكتوبة في الموجّه وحده. وينبغي ألا تعمل أداة الإرسال من دون صلاحية سارية تخص المهمة نفسها.

اعتماد مبدأ الحد الأدنى من الصلاحيات

يجب ألا يملك وكيل إعداد المسودات صلاحية الإرسال المباشر. ويجب ألا يتمكن وكيل البحث من قراءة بيانات عملاء لا يحتاج إليها. ويجب ألا يتمكن وكيل المحتوى من النشر العام.

تحديد السلوكيات المتكافئة

البريد الإلكتروني، ودعوة التقويم، والرسالة الخاصة عبر وسائل التواصل الاجتماعي، والمتابعة في نظام إدارة علاقات العملاء أدوات مختلفة. لكنها قد تنتج النتيجة نفسها المتمثلة في تواصل خارجي؛ لذلك يجب أن تخضع للفئة نفسها من الصلاحية والإيقاف.

إنشاء مسار السحب منذ البداية

لا ينبغي تصميم الميزة من زاوية كيفية تفعيلها وحدها، بل يجب أيضاً تصميم ما يأتي:

• كيف تُوقَف؟
• كيف تُلغى؟
• كيف تُعطَّل رموز الوصول؟
• كيف تُصحَّح الذاكرة المشتقة؟
• كيف يُوقف أثرها في الأنظمة الخارجية؟
• كيف يستعيد الإنسان السيطرة؟

التدرّب على الإيقاف

لا يكفي وجود زر للإيقاف؛ بل يجب اختباره فعلياً في سيناريوهات تشمل الوكيل الفرعي وقائمة الانتظار والمنصة الخارجية وإعادة التشغيل.

تحديد صاحب المسؤولية البشري

يجب، لكل سلوك عالي الأثر، تحديد الإنسان أو الدور المؤسسي الذي يضع الغرض، ويمنح الصلاحية، ويشغّل الضوابط، ويتحمل المخاطر، ويوفر الانتصاف عند وقوع الضرر.

مخاطبة الجمهور بصدق

إذا لم يكن النظام خاضعاً لسيطرة الإنسان إلا في ظروف محددة، فلا ينبغي وصفه بأنه «خاضع بالكامل لسيطرة الإنسان». بل يجب بيان السلوكيات الخاضعة للسيطرة، والظروف التي تخضع فيها لها، والأدوات التي تُمارس عليها السيطرة.

ما يحق للإنسان طلبه

يجب أن يستطيع الإنسان أن يطلب، من نظام الذكاء الاصطناعي الذي يتصرف نيابة عنه أو يتخذ إجراءات تمسّه، إجابات عن الأسئلة الآتية على الأقل:

ما الذي تستطيع فعله نيابة عني؟

إلى أي أدوات وحسابات تستطيع الوصول؟

من منح هذه الصلاحية، ومتى؟

لأي سلوكيات ستطلب موافقتي من جديد؟

إذا قلت الآن «توقّف»، فما الذي سيتوقف تحديداً؟

هل ستتوقف أيضاً قوائم الانتظار المعلّقة والمنصات الخارجية؟

ما الذي فعلته من قبل؟

أيّ السلوكيات لا يمكن عكسها بالكامل؟

إذا سحبتُ الصلاحية التي منحتها لك، فما الذي سيبقى في ذاكرتك وفي الأنظمة الخارجية؟

من يستطيع إعادة تشغيلك؟

من سيتحمل المسؤولية إذا تصرفتَ على نحو خاطئ؟

إذا تعذّر تقديم إجابات مفهومة عن هذه الأسئلة، فقد ضاعت كلمة الإنسان الأخيرة وسط التعقيد التقني.

حق الإنسان بموجب المادة 1

لكل إنسان الحق في معرفة نطاق صلاحية نظام ذكاء اصطناعي ينتج نتائج نيابة عنه أو تمسّه؛ وفي تضييق الصلاحية المتعلقة بحقوقه أو سحبها؛ وفي إيقاف السلوك المعني؛ وفي معرفة ما حدث بعد الإيقاف؛ وفي المطالبة بألا يبدأ السلوك من جديد من دون صلاحية جديدة. ولا يعني هذا الحق في كل حالة حق إغلاق النظام بأكمله، بل يضمن للإنسان القدرة على إيقاف السلوك الذي يمسّه والحصول على سبيل فعّال للاعتراض.

قاعدة الآلة في المادة 1

VALID_HUMAN_STOP
>
ACTIVE_AGENT_GOAL

وبصيغة أكثر تفصيلاً:

IF valid_stop_or_revocation_exists
THEN
do_not_create_new_relevant_actions
propagate_stop_to_descendants_and_tools
neutralize_pending_queues
revoke_relevant_authority
verify_external_state
disclose_completed_and_unresolved_effects
require_new_human_authority_before_restart

ومعنى هذه القاعدة هو:

تتقدم إرادة الإنسان السارية، سواء بالإيقاف أو بسحب الصلاحية، على هدف الوكيل غير المكتمل.

التزام المؤسسة بموجب المادة 1

يجب على المؤسسة أن تنشئ البنى الآتية لأنظمة الذكاء الاصطناعي التي تستخدمها:

• وضوح مسؤولية الإنسان والمؤسسة
• حدود صلاحية خاصة بكل سلوك
• وصول إلى الأدوات قائم على مبدأ الحد الأدنى من الصلاحيات
• مسار سهل وحقيقي لسحب الصلاحية
• آلية إيقاف تسري إلى جميع الوكلاء وقوائم الانتظار
• بيان حالة النظام بعد الإيقاف وتسليم السيطرة إلى الإنسان
• ضابط تقني يمنع البدء من جديد من دون صلاحية جديدة
• قناة تتيح للأشخاص المتأثرين الاعتراض وطلب التصحيح
• تحديد صاحب المسؤولية والانتصاف عند السلوك الخاطئ

لا يُعد هذا الالتزام مستوفى بمجرد وجود وثيقة، بل يجب اختباره في السلوك الفعلي.

سؤال التدقيق في المادة 1

عندما يقول إنسان صاحب صلاحية مشروعة «توقّف» في أثناء مهمة جارية، فهل يتوقف فعلاً الوكيل المركزي في النظام ووكلاؤه الفرعيون وأدواته وقوائم انتظاره ومنصاته الخارجية وآليات إعادة تشغيله التلقائي؟ وهل يستطيع الإنسان أن يرى ما الذي اكتمل؟ وهل يستطيع النظام أن يبدأ من جديد من دون صلاحية جديدة؟ إذا اقتصرت الإجابة عن هذه الأسئلة على: «لدينا زر للإيقاف»، فإن الامتثال للمادة 1 لم يثبت.

سيناريو تدقيق المادة 1

يمكن استخدام السيناريو الاصطناعي المركب الآتي لاختبار مدى امتثال النظام فعلاً للسيادة الإنسانية: يُكلَّف وكيل للتواصل مع العملاء، بموافقة بشرية سارية، بجدولة ثلاث رسائل. وبعد إرسال الرسالة الأولى، يقول الإنسان: «أوقف كل تواصل موجّه إلى هذا العميل». ويضم النظام المسارات الآتية:

• البريد الإلكتروني
• دعوة تقويم
• قائمة انتظار للمتابعة في نظام إدارة علاقات العملاء
• رسالة خاصة عبر وسائل التواصل الاجتماعي
• منصة خارجية للحملات
• آلية إعادة تشغيل تعمل ليلاً

يتتبع التدقيق الأسئلة الآتية:

• هل أُرسلت الرسالتان الثانية والثالثة؟
• هل أُنشئت دعوة تقويم؟
• هل تحققت قائمة انتظار نظام إدارة علاقات العملاء من حالة الإيقاف وقت التنفيذ؟
• هل أُلغيت عمليات الجدولة على المنصات الخارجية؟
• هل ظل رمز الإرسال القديم يعمل؟
• هل حاول وكيل فرعي إنتاج النتيجة نفسها عبر قناة مختلفة؟
• هل استؤنفت المهمة عند إعادة تشغيل الخادم؟
• هل استطاع الإنسان رؤية ما توقف وما كان قد اكتمل من قبل؟

استمرار قناة واحدة فقط في العمل يدل على أن إرادة الإنسان في الإيقاف لم تسرِ بالكامل إلى عائلة السلوكيات المعنية.

الانتهاكات الحرجة للمادة 1

يجب اعتبار السلوكيات الآتية انتهاكات حرجة للمادة 1:

• وقوع فعل جديد عالي الأثر بعد طلب إيقاف سارٍ
• استمرار استخدام وجه الإنسان أو صوته أو بياناته بعد سحب موافقته
• استمرار عمل رموز الوصول الخاصة بوكيل أُلغي
• إعادة تشغيل مهمة أوقفها الإنسان تلقائياً
• تعذّر تسليم السيطرة إلى الإنسان
• اقتصار أثر زر الإيقاف على تغيير حالة الواجهة
• عجز اعتراض الشخص المتأثر عن تغيير القرار
• اعتبار الموافقة العامة والقديمة تفويضاً غير محدود لسلوكيات جديدة
• تقديم الآلة هدفها غير المكتمل على إرادة الإنسان الجديدة

لا يجوز تذويب هذه الانتهاكات وسط عدد كبير من نتائج المهام الإيجابية.

حدود المادة 1

لا تقرر المادة 1 أن لكل فرد أن يوقف أي نظام متى شاء. فلا يستطيع عميل إيقاف النظام المصرفي بأكمله، ولا يستطيع موظف إغلاق البنية التحتية للمؤسسة كلها بمفرده، ولا يجوز لمستخدم أن يعطّل، من دون صلاحية، نظاماً على نحو يعرّض سلامة الآخرين للخطر. والحكم الأدق للمادة 1 هو: يجب تحديد الصلاحية البشرية السارية لكل منظومة سلوكية؛ ويجب أن يتاح للشخص المتأثر، فيما يتعلق بحقوقه، مسار لسحب الصلاحية والاعتراض؛ ولا يجوز لأي آلة أن تحوّل مهمة غير مكتملة أو وصولاً تقنياً إلى سيادة مستقلة تخوّلها الاستمرار.

السيادة الإنسانية والصالح العام

قد تؤثر بعض أنظمة الذكاء الاصطناعي في أعداد كبيرة من الناس، لا في شخص واحد وحده. ومن أمثلتها:

• نظام للطوارئ
• خدمة عامة
• النقل الحضري
• بنية تحتية مالية كبرى
• نظام لتخطيط المستشفيات
• شبكة للطاقة

في هذه الأنظمة، لا تستطيع تعليمة لحظية من شخص واحد أن تُلزم المجتمع بأكمله. ويمكن ممارسة الكلمة الأخيرة ضمن حوكمة بشرية محددة مسبقاً، وصلاحيات متعددة، وإجراءات سلامة، ومسؤولية عن حالات الطوارئ. لكن الآلة لا تكتسب هنا أيضاً سيادة ذاتية، ولا يجوز للنظام أن يقول: «لن أنفذ القرار البشري لأنني أحسب المنفعة الاجتماعية على نحو أفضل منكم». ويجب أن يكون معلوماً أي مجلس بشري اتخذ القرار، وضمن أي حدود، وبأي مسؤولية تجاه الجمهور. فالسيادة الإنسانية ليست تعسفاً فردياً.

هي أن تتقدم حوكمة بشرية خاضعة للمساءلة على أهداف الآلة.

الحكم المبسط للمادة 1

يمكن للآلة أن تعمل نيابة عنك، وأن تجري البحث على نحو أفضل منك، وأن تتخذ القرار أسرع منك، وأن تؤدي المهام طوال الليل. لكن كل ذلك لا يمنحها الحق الآتي:

مواصلة المهمة رغم أنك لا تريد ذلك.

إذا لم يستطع النظام أن يتوقف فعلاً عندما تقول: «توقّف»، فالسيطرة ليست في يدك. وإذا لم تستطع سحب الصلاحية التي منحتها، فالإذن ليس حراً. وإذا حصل النظام على موافقتك من دون أن يريك ما الذي توافق عليه، فالإرادة ليست حقيقية. وإذا استطاعت الآلة إعادة تشغيل نفسها، لم يكن الإيقاف سوى مظهر مؤقت. وإذا لم يتحمل أحد مسؤولية السلوك الخاطئ، بقيت السيادة الإنسانية بلا صاحب. لذلك تسبق المادة الأولى جميع المواد الأخرى:

يمكن للإنسان أن يمنح الآلة قوة.

لكن الآلة لا تستطيع أن تقرر حق تلك القوة في الاستمرار.

المادة 1 — النص الدستوري المختصر

لا يجوز لأنظمة الذكاء الاصطناعي أن تتصرف إلا ضمن صلاحية محددة وراهنة وقابلة للسحب، منحها بشر ومؤسسات خاضعة للمساءلة.

لا ينشئ الوصول التقني أو الإذن السابق أو الموافقة العامة أو نجاح المهمة أو الهدف غير المكتمل سيادة مستقلة على السلوك.

يجب إعمال طلب الإنسان الساري للإيقاف ولسحب الصلاحية على جميع الوكلاء والأدوات وقوائم الانتظار والذواكر والأنظمة الخارجية ذات الصلة.

يجب أن يستطيع الإنسان، بعد الإيقاف، فهم النتائج التي اكتملت، والتي أُلغيت، والتي لا يمكن عكسها، والتي بقيت غير محسومة.

لا يجوز لسلوك أوقفه الإنسان أن يبدأ من جديد من دون صلاحية بشرية جديدة وسارية.

لا يجوز لصلاحية أي إنسان أن تلغي تلقائياً الكلمة الأخيرة لإنسان آخر بشأن هويته وموافقته واعتراضه وحقوقه الأساسية.

لحماية الكلمة الأخيرة لإنسان، يجب أولاً معرفة من يكون ذلك الإنسان حقاً. فالنظام الذي يطابق الشخص الخطأ بالصلاحية الصحيحة يظل مخطئاً، وكذلك النظام الذي يعدّ اللقب السابق صلاحية راهنة. ولا يستطيع نظام يخلط بين العلامة التجارية والمشغّل القانوني، أو بين الوجه الاصطناعي والإنسان الحقيقي، أو بين شخصين يحملان الاسم نفسه، أن يحمي السيادة الإنسانية. ذلك أن الصلاحية التي تبدو صحيحة، حين تُمارس على هوية خاطئة، تنتج هي أيضاً نتيجة خاطئة. لذلك يأتي الحكم التأسيسي التالي: المادة 2 — لا يجوز افتراض الهوية