على امتداد هذا الكتاب، لم نناقش مدى الذكاء الذي قد تبلغه الآلة. بل ناقشنا ما هو أصعب:
ما مقدار القوة التي يجوز للآلة ممارستها؟
وعندما تمس هذه القوة حياة الإنسان، فكيف تُحمى الهوية والتمثيل والغرض والموافقة والصلاحية والاختيار والفعل والذاكرة والشرح والاعتراض وجبر الضرر والمسؤولية؟ والترتيب الدستوري الذي يقيمه NOMOS 13 هو:
1. لا يجوز للإنسان أن يفوّض الكلمة الأخيرة أو حق الإيقاف.
يجوز منح الآلة استقلالية واسعة. وعندما يقول الإنسان «توقف»، يجب أن يكون من الممكن إيقاف سلسلة السلوك.
2. لا يجوز افتراض الهوية.
لا يجوز للتشابه أو الاحتمال أو السجل المشترك أن يحل محل الإنسان الحقيقي.
3. يجب أن يكون التمثيل دقيقاً وقابلاً للتصحيح.
لا يجوز تقديم الادعاء بوصفه نتيجة مثبتة، ولا التنبؤ بوصفه شخصية الإنسان، ولا الماضي بوصفه حقيقة راهنة.
4. لا يجوز تغيير الغرض في صمت.
لا يجوز نقل البيانات والمهمة والوصول الممنوح لغرض واحد، من دون أن يظهر ذلك، إلى مجال سلوك آخر.
5. يجب أن تكون الموافقة محددة ومستنيرة وقابلة للسحب.
«نعم» الأمس ليست أقوى من «لا» اليوم.
6. يجوز تفويض الصلاحية، لكن لا يجوز لها أن تتوسع من تلقاء نفسها.
القدرة التقنية ليست حقاً في التصرف.
7. لا يجوز التلاعب بالاختيار.
لا يجوز إجبار الإنسان على الاختيار داخل فضاء زائف من الخيارات صُمم لخدمة مصلحة خفية لشخص آخر.
8. يجب أن يكون فعل الآلة مرئياً وموثقاً بإيصال.
ما ينبغي معرفته ليس استدعاء الأداة، بل ما حدث فعلياً في العالم.
9. يجب أن تخضع الذاكرة لإرادة الإنسان.
لا يجوز أن يُحبس الإنسان إلى الأبد داخل قرار اتخذه بالأمس أو ضعف عابر أو استنتاج خاطئ.
10. يجب أن يعرف الإنسان أن الآلة هي التي تتصرف.
يجوز للآلة أن تتصرف نيابة عن الإنسان. لكن لا يجوز لها أن تستعير ثقته بالظهور كما لو كانت الإنسان نفسه.
11. يجب أن يكون الإنسان قادراً على مساءلة التسبيب.
ليس على الإنسان أن يعرف العملية الداخلية الخفية للنموذج بكاملها، لكن يجب أن يستطيع معرفة السبب الحقيقي الذي أنتج نتيجة في حياته.
12. يجوز للإنسان أن يعترض ويوقف ويخرج ويطلب جبر الضرر.
سبيل الانتصاف ليس مجرد تلقي الشكاوى، بل هو القدرة على تغيير النظام والوضع الفعلي للإنسان.
13. لا يجوز للمؤسسة أن تفوّض مسؤوليتها إلى الآلة.
يستطيع الوكيل أن يتصرف. وقد يتخذ النموذج قراراً. وقد تنفّذ الأداة عملية في العالم الخارجي. لكن يجب أن تبقى أمام الإنسان مؤسسة حقيقية ومسؤولون بشريون حقيقيون.
هذه المواد الثلاث عشرة ليست مستقلة بعضها عن بعض؛ بل تشكل سلسلة. فإذا كانت الهوية خاطئة، ارتبطت الموافقة بالشخص الخطأ. وإذا كان التمثيل خاطئاً، فسد الاختيار. وإذا انحرف الغرض، تحولت الموافقة القديمة إلى إذن باستخدام جديد. وإذا اتسعت الصلاحية، تصرفت الآلة نيابة عن الإنسان. وإذا كان الفعل غير مرئي، لم يعرف الإنسان ما الذي ينبغي له إيقافه. وإذا كانت الذاكرة خاطئة، وُلد الخطأ من جديد في المستقبل. وإذا أخفت الآلة هويتها، اتجهت الثقة إلى الفاعل الخطأ. وإذا غاب التسبيب، عجز الإنسان عن الاعتراض. وإذا لم يغيّر الاعتراض شيئاً، بقي الحق شكلياً. وإذا رفضت المؤسسة المسؤولية، صارت المواد السابقة كلها بلا مسؤول.
لذلك، ليس NOMOS 13 ضابط أمان واحداً.
بل هو حد متكامل يحدد الشروط التي يجوز لقوة التصرف أن تدخل بها العالم البشري.
لم يُكتب هذا الكتاب للانتقاص من قدر الآلة
تستطيع الآلة أن تبحث أسرع من الإنسان، وتقارن آلاف السجلات، وتدير مسارات عمل معقدة، وتعمل بلا انقطاع فترات طويلة، وتجري تدقيقاً على نطاق لا يبلغه الإنسان. وهذه القوة ذات قيمة. لكن حين تبقى القوة بلا مسؤول، تسرّع السرعة الخطأ أيضاً. وتُخلّد الذاكرة الخطأ أيضاً. وتفاقم الاستقلالية تجاوز الصلاحية أيضاً. وقد يستغل التخصيص هشاشة الإنسان. وقد يعمّق التشابه البشري ثقة في غير موضعها. لذلك، ليس الحد عدواً للآلة.
الحد هو الشرط الذي يتيح للآلة أن تكون قوية على نحو مشروع في العالم البشري.
ولم يقل هذا الكتاب أيضاً إن الإنسان محق دائماً
قد يخطئ الإنسان، أو يسيء الاستخدام، أو يصدر تعليمات خاطئة، أو ينتهك حق غيره، أو يعترض على تدابير أمنية حقيقية. ولا يضع NOMOS 13 كلمة الإنسان فوق كل دليل، بل يمنحه الرؤية والتصحيح والاعتراض والكلمة الأخيرة وجهة حقيقية يخاطبها. وحتى عندما يستخدم الإنسان كلمته الأخيرة، يجب صون حقوق الآخرين والأدلة الصحيحة والأمن والحدود المؤسسية.
الإنسان صاحب الكلمة الأخيرة، والمؤسسة صاحبة المسؤولية النهائية
عند طرفي هذا الكتاب حكمان:
لا يجوز للإنسان أن يفوّض الكلمة الأخيرة.
و:
لا يجوز للمؤسسة أن تفوّض المسؤولية النهائية.
يستطيع الإنسان أن يوقف، ويسحب موافقته، ويعترض، ويخرج. وتتولى المؤسسة المسؤولية، وتشرح، وتصحح، وتجبر الضرر. وبين هذين الحدين ينشأ مجال الحركة الحقيقي للآلة. فتستطيع الآلة البحث والتوصية والاختيار والكتابة والإرسال والشراء والتخطيط والإدارة. لكن يجب أن تبقى هذه القوة ضمن هوية صحيحة، وغرض واضح، وموافقة سارية، وصلاحية محدودة، واختيار نزيه، وفعل مرئي، وذاكرة قابلة للتصحيح، ودور آلي معلن، وتسبيب قابل للمساءلة، وسبيل انتصاف فعّال، ومسؤولية مؤسسية لا تختفي.
الجملة الأخيرة لـNOMOS
يجوز منح الآلة قوة التصرف.
لكن لا يجوز أن تُترك للآلة الكلمة الأخيرة في ما يمس الإنسان.
يجوز تفويض المهام والقرارات والأفعال إلى الآلة.
لكن لا يجوز تفويض المسؤولية المؤسسية النهائية تجاه الإنسان.
ما دام الإنسان يحتفظ بالكلمة الأخيرة، وتتحمل المؤسسة المسؤولية النهائية، وتتصرف الآلة بين هذين الحدين على نحو مرئي وقابل للتدقيق والإيقاف، فقد تكون الاستقلالية نمواً في قدرتنا المشتركة، لا خسارة لإنسانيتنا.
يكتمل NOMOS 13 هنا.