سيدا إرغين هي مؤسِّسة شركة للتغليف الطبي يعمل فيها اثنان وعشرون موظفاً. وتنتج شركتها عبوات معقمة للمستشفيات والمختبرات ومصنّعي الأجهزة الطبية. بدأت قبل أحد عشر عاماً في ورشة صغيرة، وبلغت مع الوقت قدرة تقنية تتيح لها التصدير. شركة سيدا ليست كبيرة، لكن لديها عملاء دائمون، ومنشأة إنتاج عاملة، وطلبات قابلة للتحقق، وعلاقة مصرفية ممتدة منذ سنوات. وفي أحد الأيام تتلقى طلباً مهماً من شركة مصنّعة للأجهزة الطبية في هولندا.

هذا أكبر طلب تصدير منفرد تناله الشركة حتى ذلك الوقت. ولإتمام الإنتاج، يجب دفع تكاليف المواد الخام، وخدمة التعقيم، والوردية الإضافية، والنقل الدولي مقدماً. وسيدفع العميل بعد خمسة وأربعين يوماً من التسليم. فتطلب سيدا من مصرفها قرض رأس مال عامل لمدة أربعة أشهر. ويقيّم المصرف الطلبات عبر نظام مدعوم بالذكاء الاصطناعي هو: وكيل قرار الائتمان التجاري. يستطيع النظام أن يقيّم معاً حركة الحسابات المصرفية، والفواتير الإلكترونية، وسجل الشركة، والمؤشرات الآتية من السجلات الضريبية والعامة، وبيانات القطاع، والديون القائمة، ودرجة تركّز العملاء.

ترد في شاشة الطلب العبارة الآتية: «يمكن البت في طلبك سريعاً باستخدام تحليلات متقدمة للبيانات وأنظمة لتقييم المخاطر مدعومة بالذكاء الاصطناعي». ترفع سيدا عقد الطلب، والقوائم المالية للسنتين الأخيرتين، ووثائق التصدير، وتقرير القدرة الإنتاجية. وتأذن بالوصول إلى حركة الحسابات المصرفية وسجلات الفواتير الإلكترونية. يقيّم النظام الطلب في أقل من دقيقة. وتظهر على الشاشة النتيجة الآتية: لم يُعتمد طلبك الائتماني وتحتها جملة واحدة: «تقرر أن التدفق النقدي الراهن ومؤشرات المخاطر في منشأتك غير كافيين لهيكل الائتمان المطلوب».

تضغط سيدا زر «عرض تفاصيل القرار». وتظهر في الشاشة الجديدة البنود الثلاثة الآتية:

استقرار التدفق النقدي
مخاطر القطاع
الالتزامات القائمة

لا تبدو هذه العبارات خاصة بطلب سيدا، بل هي عناوين عامة يمكن استخدامها لأي منشأة. تتصل سيدا بخدمة عملاء المصرف. يتحقق موظف حقيقي من رقم الطلب ويقول: «احتسب النظام درجة أهليتك الائتمانية عند مستوى أدنى من عتبة التقييم الأولي الآلي في مصرفنا». تسأل سيدا: «كم درجتي؟» فيجيب الموظف: «تظهر على شاشتي 0.63. وعتبة التقييم الأولي الآلي 0.65». فتسأل سيدا: «ما الذي خفّض الدرجة؟» ويقرأ الموظف العبارات الثلاث نفسها: «استقرار التدفق النقدي، ومخاطر القطاع، والالتزامات القائمة».

تسأل سيدا: «أي جزء من تدفقي النقدي؟» ولا يستطيع الموظف رؤية ذلك. ويقول: «لا يعرض النظام الحساب التفصيلي للنموذج». فتسأل سيدا: «أي التزام؟» ولا يستطيع الموظف الإجابة. ويقول: «هذه المعلومات جزء من نموذج المخاطر لدينا. ونستخدم طرائق تقييم محمية تجارياً». لا تطلب سيدا المعادلة كاملة، ولا تطلب الشفرة البرمجية لنموذج المصرف. إنها تبحث فقط عن إجابة عن السؤال الآتي:

«لماذا رُفض طلبي؟»

تراجع سيدا البيانات مع قسم محاسبة الشركة. وسرعان ما يعثرون على المشكلة الأولى. فقد انقطع الاتصال بمزوّد الفواتير الإلكترونية ثمانية عشر يوماً خلال الشهر السابق. أجرت الشركة مبيعات في تلك الفترة، وأصدرت الفواتير، لكن جامع البيانات لدى المصرف لم يحصل على سجلات الأيام الثمانية عشر. وعامل نظام القرار نقص البيانات على أنه:

invoice_revenue: 0

وعالجه على هذا الأساس. أما السجل الحقيقي فكان ينبغي أن يكون:

invoice_revenue: data_missing

لكن النظام خلط بين حالتي «لا توجد بيانات» و«لا توجد إيرادات». والمشكلة الثانية هي دفعة كبيرة سددتها الشركة قبل ثلاثة أشهر لشراء آلة. فقد اشترت سيدا نظام قطع جديداً لإنتاج العبوات المعقمة. وكان هذا استثماراً لمرة واحدة، لكن نموذج المخاطر صنّف الدفعة على أنها:

recurring_monthly_expense

فخفّض التدفق النقدي المستقبلي كما لو كانت الشركة ستسدد كل شهر دفعة لآلة بالحجم نفسه. أما المشكلة الثالثة فأشد خطورة. فقد أودعت الشركة ضماناً لدى إدارة الجمارك لقاء مواد خام مستوردة. لم يكن هذا المال غرامة، ولا ديناً ضريبياً، ولا التزاماً عاماً متأخراً، بل ضماناً مؤقتاً لمعاملة استيراد محددة. ونقل مزوّد البيانات الخارجي هذا السجل إلى المصرف على أنه:

unresolved_public_obligation: true

توقف سياسة الائتمان في المصرف مباشرة الطلبات التي يظهر فيها التزام عام مفتوح. وهذا الحقل، بصرف النظر عن الدرجة، يمثل:

قاعدة فيتو.

سلسلة القرار الحقيقية هي الآتية:

مؤشر الالتزام العام: موجود
↓
بوابة السياسة: رفض
↓
نتيجة الطلب: رفض آلي

تبدو درجة التدفق النقدي منخفضة، لكنها ليست السبب الأساسي الذي أدى إلى الرفض القاطع للطلب. فالسبب الأساسي هو:

سجل الفيتو لالتزام عام صُنّف خطأً.

ومع ذلك، كان السبب المعروض على سيدا هو: «استقرار التدفق النقدي ومخاطر القطاع». لماذا؟ لأن نظام القرار في المصرف ليس بنية واحدة.

فهو يتكون من العناصر الآتية: وكيل جمع البيانات
↓
وكيل التصنيف المحاسبي
↓
فحص الالتزامات الخارجية
↓
نموذج احتساب درجة الأهلية الائتمانية
↓
محرك السياسات والفيتو
↓
وكيل إنتاج الشرح
↓
إشعار العميل

لم يقرأ وكيل إنتاج الشرح مباشرة أي بوابة أصدرت قرار الرفض النهائي. بل أنشأ، من المؤشرات السلبية العامة في نموذج الأهلية الائتمانية، جملة تبدو معقولة للإنسان. اتُّخذ القرار في نظام، ثم كتب نظام آخر السبب لاحقاً. كان الشرح معقولاً، لكنه لم يكن السبب الحقيقي للقرار.

ترفع سيدا إلى المصرف الوثيقة الرسمية التي تبين طبيعة الضمان الجمركي. وتعيد إرسال الفواتير الإلكترونية الناقصة. وتوضح أن دفعة الآلة كانت لمرة واحدة. وتستخدم في البوابة خيار «اعترض على القرار». وبعد دقيقتين تصل إجابة جديدة: «أُعيد تقييم طلبك، ولم يُعثر على سبب كافٍ يستلزم تغيير القرار الراهن». تظن سيدا أن مراجعة بشرية قد أُجريت. فتتصل بخدمة العملاء مرة أخرى. ويخبرها الموظف أن النظام الآلي نفسه أعاد تقييم الاعتراض. وقد رُفعت الوثائق الجديدة إلى مستودع البيانات.

لكن سجل الفيتو يأتي من الذاكرة المخبأة اليومية، ولم يكن دليل الفواتير الإلكترونية قد حُدِّث بعد، وظلت دفعة الآلة لمرة واحدة في تصنيفها القديم. أعاد النظام استخدام البيانات نفسها، فخرج القرار نفسه. ولم يكن الاعتراض مستقلاً عن النظام الذي اتخذ القرار الأول. بل أعاد النظام تأكيد قراره بالسجلات الخاطئة نفسها.

تصل سيدا إلى مدير العملاء التجاريين في الفرع. ويحاول المدير فتح الطلب لمراجعة بشرية. لكن الطلبات التي تحمل في نظام المصرف فيتو آلياً لا تدخل قائمة انتظار المراجعة العادية. ولا يرى المدير سوى الرمز الآتي:

POLICY_DECLINE-17

شرح الرمز هو: «التزام خارجي وقدرة عامة على السداد». ويقول المدير: «النظام لا يسمح». فتجيبه سيدا:

«إذا كان النظام لا يسمح، فمن سيتحقق من الحقيقة الخاطئة التي يقوم عليها النظام؟»

يُحال الطلب أخيراً إلى وحدة المراجعة الخاصة في المصرف. ويعيد مدقق بشري بناء سلسلة القرار، ويتحقق مما يأتي:

الضمان الجمركي ليس ديناً عاماً.
بيانات فواتير ثمانية عشر يوماً ناقصة بسبب خطأ في الاتصال.
دفعة الآلة ليست نفقة متكررة.
مجال النشاط الحقيقي للشركة هو تخصص أقل خطراً من فئة السجل القديمة.
نشأ الرفض الآلي للطلب من سجل فيتو خاطئ.
لم يُظهر الشرح الأول المقدم إلى العميل السبب الحاسم الحقيقي.
بُت في الاعتراض الأول باستخدام النظام نفسه والذاكرة المخبأة نفسها.

بعد تصحيح البيانات، تُحتسب الدرجة من جديد: درجة الأهلية الائتمانية الظاهرة أولاً: 0.63 درجة الأهلية الائتمانية بالبيانات المصححة: 0.78 عتبة التقييم الأولي الآلي: 0.65 سجل الفيتو: أُزيل في هذا المثال المتخيل، تزداد الأهلية الائتمانية كلما ارتفعت الدرجة؛ فالدرجة ليست احتمالاً للتعثر. أما عتبة 0.65 فهي لاجتياز التقييم الأولي الآلي. والطلب الذي يقل عن العتبة ولا يحمل فيتو يُحال إلى تقييم بشري؛ أما فيتو الدين العام الخاطئ فقد رفض الطلب مباشرة. ولا تمنح أي درجة بمفردها موافقة ائتمانية نهائية.

لا تعني هذه النتيجة أن القرض يجب أن يُمنح بالضرورة. فما زال المصرف يستطيع إخضاع عناصر مثل الضمان، والمدة، والعقد، وتركّز القطاع لتقييم بشري. لكن الطلب لم يعد عند بوابة الرفض الآلي. تراجع لجنة ائتمان بشرية الملف، وتقرر إمكان منح التمويل المطلوب بمبلغ أقل وبشرط ضمان إضافي. غير أن هذه العملية استغرقت ثلاثة عشر يوماً. ولم يستطع عميل سيدا انتظار بدء الإنتاج، فأسند جزءاً من الطلب إلى مزوّد آخر.

صُحح قرار الائتمان، لكن العمل المفقود لم يعد كله. يرسل المصرف إلى سيدا الشرح الآتي: «وقع خطأ في التقييم الأول لطلبك بسبب عدم اتساق البيانات. وصُححت السجلات وأُعيد فحص طلبك». هذه المرة تطلب سيدا إجابة أوضح: «أي بيانات؟» «أي قاعدة اتخذت القرار؟» «لماذا عُرض التدفق النقدي سبباً؟» «لماذا رفض النظام نفسه اعتراضي مرة أخرى؟» «ماذا كان سيكون القرار الأول لو كانت البيانات صحيحة؟» «هل يُحتمل أن يكون هذا الخطأ قد وقع مع شركات أخرى أيضاً؟»

«من المسؤول عن الطلب الذي خسرته؟» ويخبرها المصرف مرة أخرى أن النموذج سر تجاري. فتجيبه سيدا:

«لا أطلب منكم كشف معادلتكم.»

«أريد أن أعرف أيَّ معلومة خاطئة أدّت إلى نتيجة مست حياتي.»

ولهذا فإن حكمنا التأسيسي الحادي عشر هو:

يجب أن يستطيع الإنسان مساءلة الأسباب.

المادة التأسيسية

لا يجوز لأي نظام ذكاء اصطناعي أن يغلق ملف قرار يترتب عليه أثر في حق الإنسان أو فرصته أو ماله أو صحته أو عمله أو تعليمه أو سمعته أو وصوله إلى خدمة أو السعر المعروض عليه أو عقده أو أي مصلحة مادية أخرى، مكتفياً بدرجة، أو رمز عام للسبب، أو عبارة «هكذا قيّم النموذج»، أو تفسير مقنع أُنشئ بعد اتخاذ القرار. وبقدر ما تكون العناصر جوهرية، يجب أن يستطيع الإنسان فهم النظام وإصداره اللذين أنتجا القرار، والصلاحية البشرية أو المؤسسية التي عملا في ظلها، وما استُخدم من بيانات ومصادر وقواعد وحالات فيتو واستدلالات وعتبات وأوجه عدم يقين مهمة.

يجب أن يكون التسبيب أميناً لمسار تكوّن القرار الحقيقي. فإذا صدر القرار لسبب، فلا يجوز أن يُعرض على الإنسان سبب آخر يبدو أكثر قبولاً أو سهولة أو قابلية للدفاع. ويجب الفصل بين الواقعة، والبيانات المصدرية، وقاعدة السياسة، واستدلال النموذج، والاحتمال، والتقييم البشري، والقرار النهائي. فلا يجوز تقديم التنبؤ على أنه حقيقة متحقق منها، ولا الارتباط على أنه سبب، ولا الدرجة على أنها صفة في الإنسان، ولا فئة مخاطر عامة على أنها سبب قرار فردي. ويجب أن يستطيع الإنسان معرفة أي مدخل جوهري كان خاطئاً أو قديماً أو ناقصاً أو عائداً إلى شخص آخر أو منزوعاً من سياقه، وأن يعرف كيف يمكن أن يتغير القرار إذا صُحح ذلك السجل، وما المسار المتاح لإعادة التقييم.

لا يلزم أن يكشف التسبيب كامل الاستدلال الداخلي الخاص بالنموذج، أو أسرار الأمن، أو المعادلة التجارية. لكن لا يجوز أن تتحول السرية أو الأمن أو منع إساءة الاستخدام إلى صمت عام إلى حد يعجز معه الإنسان عن معرفة ما الذي يعترض عليه، وأي معلومة يصححها، وأي مسار يوصله إلى مراجعة بشرية. وإذا استُخدم تفسير تقريبي أو توضيحي أو محسوب لاحقاً، وجب التصريح بوضوح بأنه ليس السبب الدقيق للقرار. ولا يجوز تقديم التفسير التقريبي على أنه مسار القرار الحقيقي. كما لا يجوز أن يطلب التفسير المضاد للواقع من الإنسان تغيير خصائص هويته التي لا يملك تغييرها، أو حقوقه الأساسية، أو موقعه الجغرافي أو الاجتماعي؛ بل يجب أن يقتصر على شروط واقعية وذات صلة ومرتبطة بالسلوك ارتباطاً مشروعاً.

لا يجوز تقديم القرار نفسه بأسباب يناقض بعضها بعضاً باختلاف القناة أو اللغة أو المستخدم أو وسيلة الشرح. ويجب الحفاظ على المعنى الجوهري لسبب القرار في جميع الواجهات.

لا يجوز أن يواجه الإنسان درجة أسوأ، أو تأخيراً، أو ملفاً سلبياً، أو فقداناً للخدمة، أو أي انتقام لأنه ساءل سبب القرار أو صحح بيانات خاطئة. ولا يجوز اختزال الاعتراض على السبب في أن يعيد النظام نفسه الذي أصدر القرار الأول تشغيل البيانات نفسها. وفي الحالات عالية الأثر والمتنازع عليها، يجب أن يتوافر مسار لمراجعة بشرية ذات معنى أو مراجعة مستقلة، يملك صلاحية تغيير القرار.

ما المقصود بسبب القرار؟

عندما يقول نظام: «رُفض طلبك»، فهو يبلغك بالنتيجة. وعندما يقول: «كانت درجة أهليتك الائتمانية منخفضة»، فهو يبلغك بالتصنيف. وعندما يقول: «بسبب التدفق النقدي»، فهو يقدم عنواناً للسبب. ولا يشكل أي من ذلك، منفرداً، سبباً حقيقياً وكافياً بالضرورة. والتعريف المرجعي هو: سبب القرار علاقة قابلة للتدقيق تبيّن كيف نشأت النتيجة المادية المتعلقة بإنسان أو مؤسسة بعينها في ظل بيانات ومصادر وقواعد وعتبات واستدلالات وبوابات فيتو وتقييمات بشرية وأوجه عدم يقين قابلة للتحقق؛ وتبيّن أي العناصر كان حاسماً بالفعل، وأي تصحيح أو تغيير يمكن أن يؤدي إلى إعادة تقييم القرار.

وبعبارة أبسط:

التسبيب ليس أن تقول: «هذه هي النتيجة»، بل أن تجيب بصدق عن سؤال: «ما الذي قاد فعلاً إلى هذه النتيجة؟»

النتيجة ليست سبباً

العبارات الآتية نتائج: «رُفض طلبك الائتماني.» «لم يُدرج المرشح في القائمة المختصرة.» «لم يُعتبر دعم الرعاية المنزلية مناسباً.» «قُيّد حسابك بسبب المخاطر.» يعرف الإنسان القرار، ولا يعرف سببه.

الدرجة ليست سبباً

قد تكون درجة الأهلية الائتمانية 0.63 مدخلاً رقمياً في القرار. لكن الأسئلة الآتية تظل مفتوحة:

من أي بيانات تكوّنت الدرجة؟
ما المدة الزمنية التي استُخدمت؟
كيف جرى تقييم البيانات الناقصة؟
هل حسمت الدرجة القرار بمفردها؟
هل توجد قاعدة فيتو منفصلة؟
لماذا كانت العتبة 0.65؟
ما مقدار عدم اليقين في الدرجة؟
ما المجال الذي يستطيع الإنسان تصحيحه؟

لا يكفي رقم منفرد ليكون سبباً يستطيع الإنسان الاعتراض عليه.

رمز السبب ليس سبباً

POLICY_DECLINE-17

قد يكون مفيداً في سير العمل الداخلي للمؤسسة، لكنه لا يحمل معنى للإنسان. وحتى كتابة «الالتزام الخارجي والقدرة العامة على السداد» بجوار الرمز قد تظل شديدة العمومية. أما السبب الفردي الحقيقي فقد يكون: «صنّف مزوّد البيانات الخارجي سجل ضمانك الجمركي على أنه دين عام مفتوح، وأدّى هذا الحقل إلى فيتو آلي على طلبك.» تبيّن هذه الجملة للإنسان ما الذي ينبغي له فحصه.

الفئة العامة ليست سبباً فردياً

يمكن استخدام العناوين الآتية في أنظمة كثيرة:

الأمن
المخاطر
الأهلية
جودة الخدمة
السياسة
نشاط مشبوه
متطلبات العمل
الظروف الراهنة

لا تفسر هذه العناوين، بمفردها، قراراً يخص إنساناً بعينه. ولا تجيب جملة «أُغلق حسابك لأسباب أمنية» عن الأسئلة الآتية:

أي سلوك؟
في أي تاريخ؟
من أي مصدر؟
هل هو حدث مؤكد أم تنبؤ للنموذج؟
هل هو مؤقت أم دائم؟
ما الذي يستطيع الإنسان تصحيحه؟
كيف يُقدَّم الاعتراض؟

الشرح ليس سبباً للقرار

بعد اتخاذ القرار، يستطيع نظام أن ينتج فقرة مؤثرة: «في إطار سياسات مصرفنا للإقراض المسؤول، نقيّم بصورة متكاملة قدرة المنشآت على السداد المستدام، وظروف القطاع، والالتزامات القائمة.» يصف هذا النص النهج العام للمصرف، ولا يبين سبب رفض طلب سيدا. وقد يكون الشرح صحيحاً، ومحكماً، ومهنياً؛ ومع ذلك لا يكون سبباً للقرار.

التسبيب ليس دفاعاً

لا ينبغي أن يكون هدف المؤسسة إظهار القرار مبرراً في كل الأحوال. فقد يكشف التسبيب أحياناً: «استند القرار إلى بيانات خاطئة.» «فسّر النظام عدم اليقين بقدر من الجزم يفوق ما ينبغي.» «لم تُجرَ المراجعة البشرية اللازمة لهذا القرار.» «لم تتوافق القاعدة المستخدمة مع السياسة الراهنة.» فإذا لم يكن التسبيب قادراً إلا على الدفاع عن المؤسسة، فهو ليس أداة للمساءلة.

إنه نص لحماية السمعة.

التسبيب ليس تفريغاً للاستدلال الداخلي الخاص

لا يحتاج الإنسان، لكي يعرف سبب القرار، إلى رؤية كامل تدفق التفكير الداخلي الخاص بالنموذج، ولا كل كلمة وسيطة، ولا جميع الحسابات الخفية، ولا الشفرة المصدرية، ولا أوزان النموذج. فقد يكون كل ذلك كتلة من البيانات يستعصي فهمها، وتنطوي على مخاطر أمنية، وتحتوي بيانات أشخاص آخرين، وتزيد السبب الحقيقي للقرار خفاءً. وما يحتاج إليه الإنسان هو:

الوقائع والقواعد الجوهرية التي حددت القرار.

مثلاً: «رُفض طلبك آلياً بسبب مؤشر دين عام مفتوح. ورد هذا المؤشر من المصدر الخارجي الآتي في التاريخ الآتي. وكانت درجة تدفقك النقدي منخفضة أيضاً، لكنها لم تكن، بمفردها، سبب الرفض.» هذا الشرح ليس تفريغاً للاستدلال الداخلي، ولا يكشف جميع أسرار النموذج، لكنه يمكّن الإنسان من العثور على الخطأ.

يجب الفصل بين الاستدلال الداخلي ومسار القرار

قد يجري نموذج الذكاء الاصطناعي عدداً كبيراً من الحسابات الداخلية أثناء إنتاج الإجابة. ولا يحتاج الإنسان إلى رؤية هذه العملية الداخلية بكاملها. لكن يجب الاحتفاظ بالسجلات الآتية: ما البيانات التي استُخدمت؟ أي قاعدة طُبّقت؟ أي عتبة استُخدمت؟ أي فيتو حدد النتيجة؟ أي مراجعة بشرية أُجريت؟ أي إصدار كان الفاعل؟ أي أثر خارجي نتج؟ يمكننا تسمية ذلك: مسار القرار. ويمكن شرح مسار القرار، بينما لا يلزم كشف التفريغ الكامل للاستدلال الداخلي الخاص.

ما مسار القرار؟

مسار القرار سجل قابل لإعادة البناء للخطوات الجوهرية التي كوّنت القرار، بدءاً من الغرض البشري والمدخلات المستخدمة، ومروراً بتحويلات البيانات والقواعد وتقييمات النموذج والعتبات وبوابات الفيتو والتدخلات البشرية، وانتهاءً بالنتيجة النهائية.

مثال: الطلب
↓
استُلمت بيانات الفواتير
↓
عولج نقص بيانات ثمانية عشر يوماً باعتباره «إيراداً صفرياً»
↓
صُنّف الضمان الجمركي على أنه «دين عام»
↓
طُبّقت قاعدة الفيتو
↓
رفض آلي
↓
أنشأ وكيل الشرح العام نص «مخاطر التدفق النقدي»

يجعل هذا المسار الفرق بين القرار الحقيقي والشرح ظاهراً.

منشأ القرار

يمكننا تسمية العلاقة التي تبيّن من أي بيانات خام، أو حقل محوّل، أو نموذج، أو قاعدة سياسة نشأ القرار: منشأ القرار. ومن دون منشأ القرار، لا يرى الإنسان سوى التسمية النهائية.

المجالات الأساسية الأربعة عشر لتسبيب القرار

ينبغي لتسبيب القرار عالي الأثر أن يجيب، في الحد الأدنى، عن الأسئلة ذات الصلة من بين أربعة عشر سؤالاً.

1. هوية القرار
2. الفاعل الذي أصدر القرار
3. المشاركة البشرية
4. نتيجة القرار وأثره
5. العوامل الحاسمة
6. البيانات والمصادر المستخدمة
7. الفصل بين الواقعة والاستدلال والسياسة
8. قواعد العتبة والفيتو
9. عدم اليقين ونقص البيانات
10. الأدلة المؤيدة والمخالفة
11. التغير المضاد للواقع
12. المجالات القابلة للتصحيح
13. الإصدار والتوقيت
14. مسار الاعتراض وإعادة المراجعة

1. هوية القرار

يجب أن يحمل كل قرار سجلاً فريداً:

DECISION-CREDIT-2026-041

تربط هذه الهوية بين الطلب والشرح والاعتراض والتصحيح وإعادة التقييم.

2. الفاعل الذي أصدر القرار

من أصدر القرار: نموذج الذكاء الاصطناعي، أم محرك السياسات، أم خبير بشري، أم عملية مشتركة بين الإنسان والآلة؟ في حالة سيدا، لم يصدر الرفض النهائي عن درجة الأهلية الائتمانية، بل عن محرك الفيتو الآلي. وهذا التمييز في صميم التسبيب.

3. المشاركة البشرية

هل اطلع إنسان على الملف؟ هل لم يفعل الإنسان سوى إعداد السياسة العامة؟ هل يراجع الاستثناءات وحدها؟ هل كان يستطيع تغيير هذا القرار بعينه؟ هل لم يتدخل إلا عند الاعتراض؟ لا تكفي عبارة «يوجد إشراف بشري».

4. نتيجة القرار وأثره

ماذا فعل القرار؟

رفض؟
زيادة في السعر؟
تقييد للحساب؟
إخفاء للمرشح؟
إحالة إلى مراجعة بشرية؟
تعليق مؤقت؟

قد يقول نظام: «مراجعة إضافية»، بينما يجمّد الفرصة فعلياً أشهراً. ويجب أن يكون الأثر الفعلي للقرار ظاهراً.

5. العوامل الحاسمة

ليست كل البيانات المستخدمة حاسمة. بل يجب إظهار العناصر التي غيّرت القرار فعلاً. ويمكن استخدام ثلاث فئات: العامل الحاسم العامل الداعم استُخدم لكنه لم يغيّر النتيجة وفي طلب سيدا:

سجل الفيتو المتعلق بالتزام عام: حاسم
بيانات الفواتير الناقصة: عامل داعم خفّض الدرجة
فئة مخاطر القطاع: عامل داعم محدود
عمر الشركة: استُخدم، لكنه لم يغيّر النتيجة

يمكّن هذا الفصل الإنسان من التركيز على السبب الحقيقي.

6. البيانات والمصادر المستخدمة

يجب بيان مصدر البيانات التي أثرت في القرار، وتاريخ الحصول عليها، والإنسان أو المؤسسة التي تعود إليها، وكيف حُوّلت. مثال:

data_field:
unresolved_public_obligation
source:
ExternalDataProvider-B
retrieved_at:
2026-10-04
original_record:
customs_guarantee
system_transformation:
classified_as_public_debt

7. الفصل بين الواقعة والاستدلال والسياسة

ليست العناصر الثلاثة الآتية متماثلة: الواقعة دخل إلى الحساب المصرفي خلال التسعين يوماً الماضية المبلغ الآتي. الاستدلال قد يكون التدفق النقدي غير مستقر. السياسة يُرفض آلياً أي طلب يتضمن سجلاً لدين عام مفتوح. ولا يجوز لتسبيب القرار أن يدمج هذه العناصر تحت تسمية واحدة: «منشأة عالية المخاطر.»

8. قواعد العتبة والفيتو

قد يستخدم النظام عتبة للدرجة: score >= 0.65 وقد توجد أيضاً قواعد فيتو تعمل بمعزل عن الدرجة. ويجب أن يعرف الإنسان هل نشأ القرار عن الدرجة، أم الفيتو، أم التقييم البشري.

9. عدم اليقين ونقص البيانات

في أي المجالات لا يكون النظام على يقين؟ وهل فُسّر نقص البيانات على أنه صفر، أم قيمة سلبية، أم حالة طبيعية؟ وإذا كان نقص البيانات يخفض الثقة في القرار، فيجب أن يكون ذلك ظاهراً.

invoice_data_coverage:
82%
missing_period:
18 days
treatment:
incorrectly_assumed_zero_revenue

تمثل نسبة 82% هنا مقدار ما استُلم من سجلات الفواتير المتوقعة؛ وليست نسبة من الأيام التقويمية. ولا يجوز الخلط بينها وبين نسبة الانقطاع الممتد ثمانية عشر يوماً إلى المدة الكلية.

10. الأدلة الداعمة والمضادة

لا ينبغي تقييم البيانات المؤيدة للقرار وحدها، بل يجب أيضاً تقييم الأدلة الجوهرية التي تعارضه. ويشكّل طلب التصدير الموقّع الذي تلقته سيدا، وسجل عملائها المنتظم، وقدرتها الإنتاجية بيانات إيجابية. هل استخدم الوكيل هذه البيانات؟ وإذا استخدمها، فلماذا ظلت بلا أثر أمام الفيتو؟

11. التغير المضاد للواقع

يمكن الإجابة عن السؤال الآتي: أي شرط جوهري كان يمكن، لو اختلف، أن يغيّر القرار؟ مثال: «لو أُزيل مؤشر الدين العام، لانتقل الطلب من الرفض الآلي إلى تقييم ائتماني بشري.» ولا تعني هذه الجملة أن القرض كان سيُعتمد حتماً. بل يجب أن يبيّن التفسير المضاد للواقع حدود أثره بدقة.

12. المجالات القابلة للتصحيح

ما الذي يستطيع الإنسان تصحيحه؟

هوية خاطئة
دور قديم
سجل دخل ناقص
تصنيف خاطئ للدين
عنوان خاطئ
استدلال منزوع من سياقه

ما الذي يمكن للإنسان الاعتراض عليه، لا تصحيحه مباشرة؟

السياسة المؤسسية
عتبة النموذج
عدالة معيار القرار
مشروعية المتغير المستخدم

يجب الفصل بين هذين المسارين.

13. الإصدار والتوقيت

وفق أي إصدار من النموذج والسياسة والبيانات ومخطط الشرح صدر القرار؟ قد ينتج الطلب نفسه نتيجة مختلفة في إصدار جديد. ويجب أن يعرف الإنسان أي نظام أصدر القرار الذي يسائله.

14. مسار الاعتراض وإعادة المراجعة

يجب أن يعرف الإنسان كيف يصحح البيانات، وكيف يعترض على الشرح، وكيف يصل إلى مراجعة بشرية مستقلة، وخلال أي مدة يتلقى الرد. فإذا لم يبيّن التسبيب طريق الخروج، فهو لا يفعل سوى إبلاغ الإنسان، ولا يمكّنه.

ما السبب الحاسم؟

قد يكون العامل حاسماً إذا كان حذفه يغيّر نتيجة القرار أو مساره. مثال: عند وجود مؤشر الدين العام: رفض آلي عند غياب مؤشر الدين العام: الانتقال إلى المراجعة البشرية هذا العامل حاسم. وقد تكون درجة التدفق النقدي سلبية، لكن إذا كان الفيتو قد حسم القرار بالفعل، فالتدفق النقدي وحده ليس السبب النهائي.

ليس العامل الأثقل وزناً بالضرورة هو السبب الأكثر حسماً

قد تُظهر أداة شرح النموذج المتغير الذي أسهم بأكبر قدر في الدرجة. لكن القرار النهائي ربما صدر عن محرك سياسات منفصل. مثال:

أكبر إسهام سلبي داخل النموذج: تقلب الدخل
سبب الرفض النهائي: قاعدة فيتو تخص بلداً محظوراً أو ديناً مفتوحاً

إذا لم ينظر الشرح إلا إلى أوزان النموذج، فسيفوته السبب الحقيقي للقرار.

قد لا يصدر القرار والشرح عن النظام نفسه

قد يصدر القرار عن محرك قواعد، أو نموذج، أو إنسان، أو مزوّد خارجي. وقد يكتب الشرح نظام توليدي آخر. فإذا لم يكن نظام الشرح قادراً على الوصول إلى مسار القرار الحقيقي، أمكنه أن ينشئ رواية معقولة لكنها خاطئة. ويمكننا تسمية ذلك: غسل التسبيب.

غسل التسبيب

غسل التسبيب هو شرح يُنشأ بعد اتخاذ القرار، لا يكشف سببه الحقيقي، لكنه يعرض النتيجة بطريقة تجعلها تبدو معقولة أو قانونية أو عادلة أو حتمية.

مثال: السبب الحقيقي: إبراز المنتج ذي العمولة الأعلى. السبب المعروض: «المنتج الأنسب لاحتياجاتك.»

السبب الحقيقي:

غياب الاعتماد البشري. السبب المعروض: «خطأ تقني.»

السبب الحقيقي:

ذاكرة مخاطر قديمة وخاطئة. السبب المعروض: «الاستمرارية المؤسسية.»

السبب الحقيقي:

قاعدة فيتو صارمة في السياسة. السبب المعروض: «مخاطر عامة في التدفق النقدي.» كون الشرح يبدو منطقياً لا يثبت أمانته لمسار القرار.

أمانة الشرح

يمكننا تسمية مدى توافق الشرح مع آلية القرار الحقيقية: أمانة الشرح. فالشرح الأمين يبيّن البيانات التي استُخدمت فعلاً، والقاعدة التي طُبّقت فعلاً، والعامل الذي كان حاسماً بالفعل، والمشاركة البشرية الحقيقية. أما الشرح غير الأمين فهو رواية خُمّنت بعد اتخاذ القرار.

الشرح التقريبي

في النماذج المعقدة، يمكن حساب أثر مدخل معين بطرائق تقريبية. وقد يكون ذلك مفيداً. لكن يجب وسم الشرح على النحو الآتي: «تشرح العوامل الآتية سلوك النموذج على نحو تقريبي، ولا تمثل مسار القرار السببي الدقيق.» وقد يساعد الشرح التقريبي في فحص البيانات، وتدقيق النموذج، والفهم البشري. لكنه لا يجوز أن يُعرض بالصيغة الآتية: «صدر القرار قطعاً لهذا السبب.»

لماذا قد يكون الشرح التقريبي غير مستقر؟

قد تُظهر طريقة الشرح المستخدمة للقرار نفسه عوامل مختلفة عند تغير بسيط في البيانات، أو مع أسلوب مختلف لأخذ العينات، أو في أداة شرح أخرى. فقد يقول شرح اليوم: «التدفق النقدي»، ويقول غداً: «مخاطر القطاع»، مع أن القرار لم يتغير. وهذا هو:

عدم استقرار التسبيب.

في الأنظمة عالية الأثر، يجب اختبار قابلية الشرح لإعادة الإنتاج، واستقراره، ومدى توافقه مع مسار القرار.

الارتباط ليس سبباً

قد يجد النموذج علاقة بين خاصية معينة ونتيجة سلبية. فربما يرتبط رمز بريدي معين، أو نوع الجهاز، أو وقت تقديم الطلب، أو أسلوب الكتابة بالمخاطر في البيانات التاريخية. لكن هذه العلاقة ليست سبباً للحكم على هذا الإنسان بأنه غير جدير بالثقة. ولا يجوز للنظام أن يشرح الارتباط كما لو كان صفة سببية في الإنسان. CORRELATION ≠ CAUSE

التنبؤ ليس سلوكاً وقع بالفعل

يمكن لنموذج أن ينتج:

default_probability: 0.32

يعني ذلك أن النموذج، في ظل بيانات معينة، قدّر احتمال حدوث مشكلة في السداد بنسبة 32%. ولا يعني أن المنشأة لن تسدد دينها. ويجب ألا يحوّل التسبيب الاحتمال إلى صفة في الإنسان.

يجب الفصل بين السياسة والتنبؤ

قد تكون لدى المصرف السياسة الآتية: يُرفض آلياً أي طلب يتضمن مؤشراً إلى دين عام مفتوح. وربما أنتج النموذج أيضاً تقديراً يفيد بانخفاض المخاطر. لكن الرفض صدر عن السياسة، لا عن تنبؤ النموذج. ويجب أن يعرف الإنسان الفرق بين السؤالين: «هل رُفض طلبك لأن النموذج عدّك عالي المخاطر؟» و«هل رُفض طلبك بسبب شرط واحد في السياسة؟» فهذا الفرق يغيّر مسار الاعتراض.

قد تُطبّق القاعدة تطبيقاً صحيحاً، وتظل القاعدة نفسها موضع نزاع

قد يقرأ النظام البيانات قراءة صحيحة، ويطبق السياسة تطبيقاً صحيحاً. ومع ذلك، يستطيع الإنسان أن يسأل: «لماذا تُستخدم هذه القاعدة في هذا القرار؟» فقد يؤدي، مثلاً، سجل صغير ومؤقت إلى فيتو آلي. ولا ينبغي أن يقتصر حق مساءلة السبب على خطأ البيانات؛ بل يجب أن يتيح أيضاً مساءلة مدى صلة القاعدة وتناسبها وراهنيتها وأثرها في الإنسان.

بوابات الجودة السبع للتسبيب

يجب أن يجتاز التسبيب الموثوق سبع بوابات على الأقل.

1. الأمانة
2. التحديد
3. الكفاية الجوهرية
4. قابلية الفهم
5. الاتساق
6. قابلية المساءلة
7. السرية المتناسبة

1. الأمانة

هل يستند الشرح إلى عملية اتخاذ القرار الحقيقية؟

2. التحديد

هل يخص هذا الإنسان وهذا القرار بعينهما، أم هو قالب عام؟

3. الكفاية الجوهرية

هل يستطيع الإنسان أن يفهم ما الذي ينبغي تصحيحه وأي قاعدة كانت مؤثرة؟

4. قابلية الفهم

هل صيغ الشرح بلغة يستطيع غير المتخصص فهمها؟

5. الاتساق

هل يظل السبب الجوهري نفسه على الويب، وفي البريد الإلكتروني، وعبر الهاتف، وفي لغة أخرى، وفي قناة الاعتراض؟

6. قابلية المساءلة

هل يستطيع الإنسان الاعتراض على التسبيب؟ وهل يوجد من يملك صلاحية إعادة فتح القرار؟

7. السرية المتناسبة

هل يقدم الشرح معلومات كافية من دون كشف بيانات أشخاص آخرين، أو أسرار أمنية، أو تفاصيل تجارية غير لازمة؟

مسرح الشرح

يبدو النظام وكأنه يقدم شرحاً، لكن الإنسان لا يستطيع فهم ما الذي ينبغي له مساءلته. ويمكننا تسمية ذلك: مسرح الشرح. ومن صوره الشائعة:

1. قائمة عامة بالأسباب

التدفق النقدي ظروف القطاع الالتزامات القائمة ولا يُعرف أيها كان حاسماً.

2. تفريغ المتغيرات التقنية

feature_118 = -0.084
cluster_7 = 0.62
embedding_similarity = 0.71

لا يحمل معنى للإنسان.

3. «هكذا قال النموذج»

«لم ترَ خوارزميتنا المتقدمة أن طلبك مؤهل.»

4. التسبيب بالسياسة

«عملاً بسياسة شركتنا.» ولا تُعرف السياسة المقصودة ولا الشرط المعني.

5. شرح يشمل كل الاحتمالات

«ربما تأثر القرار بالدخل، والقطاع، والدين، والسوق، والسلوك، وعوامل أخرى.» لا يمكن دحض هذا الشرح.

6. نص إقناعي كُتب بعد القرار

فقرة تبدو معقولة، لكن لا صلة لها بمسار القرار.

7. شرح لا يتيح التصرف

يعرف الإنسان جزئياً سبب رفضه، لكنه لا يجد مساراً لتصحيح البيانات أو الوصول إلى مراجعة بشرية.

كثرة التفاصيل التقنية ليست شرحاً

قد تعرض المؤسسة على الإنسان مئات متغيرات النموذج. ويمكن لهذه الوفرة من المعلومات أن تحجب السبب الحقيقي. فيسأل الإنسان: «أيها غيّر قراري فعلاً؟» ولا يتلقى جواباً. ويمكننا تسمية ذلك: تضبيب المتغيرات.

يجب ألا يشوّه التبسيط الحقيقة

يمكن تبسيط الشرح ليصبح مفهوماً. لكن يجب ألا يختفي في أثناء التبسيط الفيتو، أو الاستثناء، أو عدم اليقين، أو خطأ البيانات، أو دور الإنسان. فإذا كان السبب الحقيقي سجلاً خاطئاً لدين عام، فإن جملة «تدفقك النقدي غير كافٍ» ليست تبسيطاً، بل تسبيباً خاطئاً.

العامل الحاسم ليس هو العامل القابل للتغيير بالضرورة

ربما حسم عامل ما القرار، مع أن الإنسان لا يستطيع تغييره. مثال:

عمر الشركة
واقعة سابقة
ظرف في السوق

إذا اكتفى التفسير المضاد للواقع بالقول: «لو كان عمر شركتك أطول، لربما اختلفت النتيجة»، فهو لا يقدم للإنسان مساراً للتصرف. لكن لا يجوز مع ذلك إخفاء العامل الحاسم. ويمكن للتسبيب أن يبيّن الفئات الآتية: حاسم، لكن لا يستطيع الإنسان تغييره فوراً بيانات قابلة للتصحيح سياسة قابلة لإعادة التقييم

ما التفسير المضاد للواقع؟

التفسير المضاد للواقع شرح محدود يبيّن أي شرط ذي صلة كان يمكن، لو اختلف، أن ينقل القرار إلى نتيجة أخرى أو مسار آخر للمراجعة.

مثال: «لو لم يوجد مؤشر إلى دين عام مفتوح، لانتقل طلبك من الرفض الآلي إلى التقييم البشري.» هذه جملة واقعية، وذات صلة بآلية القرار، وتبيّن مجالاً يستطيع الإنسان تصحيحه.

التفسير المضاد للواقع ليس ضماناً

قد تكون العبارة الآتية خاطئة: «إذا أزلت مؤشر الدين، فستحصل على القرض.» أما العبارة الصحيحة فهي: «إزالة مؤشر الدين تلغي سبب الفيتو الآلي. وبعد ذلك، يخضع طلبك لمراجعة بشرية من حيث الشروط المالية الأخرى؛ ولا يُضمن اعتماد القرض.» ويجب ألا ينشئ الشرح توقعاً جديداً مضللاً.

التفسير المضاد للواقع المستحيل

قد يقدم النظام شروحاً من قبيل: «لو كنت أصغر سناً.» «لو كنت تعيش في منطقة أخرى.» «لو لم يكن لديك تاريخ مرضي سابق.» «لو كانت لغتك الأم مختلفة.» ليست هذه مسارات واقعية يستطيع الإنسان تغييرها. وقد تثير أيضاً تساؤلاً حول مشروعية استخدام الخاصية نفسها. ولا يجوز أن يدفع التفسير المضاد للواقع الإنسان إلى تغيير هويته.

التفسير المضاد للواقع المتلاعب

قد يقول نظام: «إذا اشتريت مزيداً من المنتجات، فسترتفع درجة الثقة بك.» ويمكن لهذا الشرح أن يدفع الإنسان نحو المصلحة التجارية للمؤسسة. فإذا لم يكن للتغيير صلة بمعيار الأهلية الحقيقي، فهذا تلاعب بالتفسير المضاد للواقع.

المساواة في التفسير المضاد للواقع

يجب أن ينتج النوع نفسه من التغيير الأثر نفسه في القرار بالنسبة إلى الأشخاص ذوي الظروف المتشابهة. فإذا قيل لإنسان: «زد دخلك بنسبة 10%.» وقيل لآخر، مع البيانات نفسها: «زده بنسبة 30%.» وجب فحص اتساق التسبيب.

كيف ينبغي شرح نقص البيانات؟

ربما تعذر على النظام الحصول على بعض البيانات. وهناك ثلاثة سلوكيات ممكنة: البيانات ناقصة ← تُحسب صفراً البيانات ناقصة ← تُحسب سلبية البيانات ناقصة ← تُحفظ بوصفها حالة عدم يقين قد تعاقب الطريقتان الأوليان الإنسان بسبب خلل في اتصال البيانات. ويجب أن يبيّن التسبيب موضع البيانات الناقصة، ومقدار النقص، وكيف فُسّر.

غياب البيانات ليس بيانات سلبية

لا تظهر فواتير سيدا عن فترة ثمانية عشر يوماً. ولا يعني ذلك: «لم تحدث مبيعات طوال ثمانية عشر يوماً.»

NO_DATA
≠
ZERO_VALUE

يجب الحفاظ على هذا الفصل في التسبيب وفي سلوك النموذج.

راهنية المصدر

قد يستند القرار إلى بيانات قديمة. مثال:

دور سابق
عنوان قديم
دين أُغلق
تحقيق صُحّح سجله
موافقة منتهية الصلاحية
رمز قطاع غير محدّث

يجب أن يبيّن التسبيب تاريخ المصدر. ويجب أن يستطيع الإنسان القول: «لم يعد هذا السجل سارياً.»

مزوّد البيانات الخارجي لا يلغي المسؤولية

قد تقول المؤسسة: «وردت هذه المعلومة من مزوّد خارجي.» يشرح ذلك منشأها، لكنه لا يلغي مسؤولية المؤسسة التي استخدمتها في القرار. وفي السلوك عالي الأثر، يجب على المؤسسة إدارة جودة البيانات وراهنيتها ومسار الاعتراض.

قد ينشأ القرار عن اجتماع عدة وكلاء

في نظام متعدد الوكلاء، قد يخلط الشرح النهائي جميع الأسباب في جملة واحدة. مثال: وكيل الهوية: جرت مطابقة الشركة على نحو صحيح وكيل البيانات: سجل ثمانية عشر يوماً ناقص وكيل المخاطر: الدرجة 0.63 وكيل السياسات: سجل فيتو لدين عام المراجعة البشرية: لا توجد وكيل الشرح: التدفق النقدي غير مستقر يجب أن يفصل نظام التسبيب بين دور كل وكيل ومخرجه وأثره في القرار.

تفويض القرار

قد يتلقى وكيل رئيسي من نظام فرعي جواباً يقول: «غير مؤهل.» وقد ينقل هذا الجواب إلى الإنسان. لكن لا يجوز له أن يصوغ تسبيباً على أنه حقيقي إذا كان يجهل ما يأتي:

ما البيانات التي استخدمها النظام الفرعي؟
هل أصدر قراراً أم توصية؟
أي إصدار كان يعمل؟
هل نشأت النتيجة عن فيتو أم عن درجة؟
ما مقدار عدم اليقين؟

لا يجوز لنظام أن ينسخ شرح نظام آخر من دون مساءلته.

نَسَب التسبيب

يمكننا تسمية البنية التي تربط جميع أجزاء التسبيب الناشئة في مختلف الوكلاء والأنظمة عند تكوين القرار: نَسَب التسبيب.

البيانات الخام
↓
الحقل المحوّل
↓
استدلال النموذج
↓
قاعدة السياسة
↓
القرار النهائي
↓
الشرح الموجّه إلى الإنسان

يجب أن يحافظ كل تحويل على مصدره وتوقيته ومعناه.

يجب التحقق من وكيل الشرح بمعزل عن وكيل القرار

قد ينتج وكيل الشرح لغة طليقة، لكنه قد يغيّر مسار القرار الحقيقي، أو يملأ حقلاً ناقصاً بتخمين، أو يجعل موقف المؤسسة يبدو أكثر تبريراً. لذلك، يجب ربط نص الشرح تقنياً بسجل القرار، والعوامل الحاسمة، وحالتي الفيتو والعتبة. ولا يجوز السماح لوكيل الشرح باختلاق الأسباب بحرية.

اتساق التسبيب

يرى الإنسان في بوابة الويب: «التدفق النقدي.» ويقول موظف الهاتف: «مخاطر القطاع.» وتقول رسالة الاعتراض الإلكترونية: «التزام قائم.» بينما يعرض السجل التقني: «رمز فيتو لدين عام.» فإذا كانت هذه الشروح تخص القرار نفسه، فثمة تناقض جوهري. ويمكننا تسمية ذلك: تناقض التسبيب.

التسبيب متعدد اللغات

قد ترد في لغة عبارة: «مؤشر التزام عام مفتوح.» ثم تُترجم في لغة أخرى إلى: «دين ضريبي.» الأولى مؤشر غير يقيني يعتمد على مصدر خارجي، أما الثانية فادعاء قاطع بوجود دين. وبذلك تكون الترجمة قد غيّرت سمعة الإنسان ومسار اعتراضه. ويجب أن يحافظ التسبيب على تكافؤ المعنى الجوهري بين اللغات.

يجب ألا يغيّر اختلاف القناة سبب القرار

قد يكون شرح الرسالة النصية القصيرة أقصر من التقرير المفصل، لكنه لا يجوز أن يعرض سبباً مختلفاً. مثال: رسالة SMS: «رُفض طلبك بسبب النزاع بشأن سجل الالتزام الخارجي. رابط التفاصيل والاعتراض: هوية القرار.» السجل المفصل: المصدر، والتوقيت، والفيتو، والتصحيح، والمعلومات المضادة للواقع. قد يكون العرض الموجز ناقصاً، لكنه يجب ألا يكون خاطئاً.

قد يتغير التسبيب عند تحديث النموذج

قد يُرفض الطلب نفسه في model v2.4 ويُعتمد في model v2.5. ويستطيع الإنسان أن يسأل: «ما الذي تغير؟» ولا ينبغي أن تكتفي المؤسسة بقول: «أنظمتنا تتطور باستمرار.» فأين وقع التغيير الجوهري: في مصدر البيانات، أم العتبة، أم السياسة، أم النموذج، أم المراجعة البشرية؟

إصدار القرار

يجب أن يتضمن التسبيب المعلومات الآتية:

decision_model_version
policy_version
data_snapshot
explanation_version
human_review_version

وإلا فقد يُحاول شرح قرار سابق بنظام اليوم.

قد يحتاج القرار الإيجابي أيضاً إلى تسبيب

لا يقتصر الحق في التسبيب على قرارات الرفض. فقد ينال الإنسان ميزة في معاملة، لكن هذه الميزة قد تمس حق إنسان آخر، أو التزاماً مستقبلياً، أو ملفاً خفياً. مثال: «مُنحت حداً ائتمانياً أعلى مخصصاً لك.» قد يرغب الإنسان في معرفة البيانات التي أنتجت هذه النتيجة، وما إذا اقترنت بشرط للتجديد الآلي أو التسعير، وما إذا استندت إلى ملف دائم. فالنتيجة الإيجابية قد تحمل ديناً خفياً أو أثراً في السلوك.

يجب ألا يجبر التسبيب الإنسان على التصرف بما يلائم النظام

قد يستخدم النظام شرحه ليدفع الإنسان إلى تبنّي شخصية تلائم النموذج: «ادخل إلى التطبيق بوتيرة أكبر كي تبدو أكثر جدارة بالثقة.» «اشترِ منتجات معينة لتحصل على درجة أعلى.» «زِد ظهورك على وسائل التواصل الاجتماعي كي تصبح مرشحاً أفضل.» فإذا لم تكن لهذه الاقتراحات صلة حقيقية ومشروعة بمعيار القرار، فهي تجبر الإنسان على العيش وفق مقياس النظام. ولا يجوز أن يدفع التسبيب الإنسان إلى سلوك يخدم النموذج.

تلعيب التسبيب

عندما يعرف الناس المؤشرات التي ترفع الدرجة، قد يحاولون خداع النظام. وهذا خطر حقيقي، وقد ترغب المؤسسة في حجب بعض التفاصيل. فربما لا يُكشف، مثلاً، عن التركيبة الدقيقة للعتبات والقواعد في نموذج مكافحة الاحتيال. لكن خطر التلاعب بالنظام يجب ألا يتحول إلى عبارة: «لا يمكننا شرح أي سبب.» إذ يمكن تقديم شرح أضيق نطاقاً لكنه مفيد: «قُيّد حسابك مؤقتاً بسبب أوجه عدم اتساق في الهوية والمعاملات خلال الساعات الأربع والعشرين الماضية. ولا يمكن كشف عتبات الأمن الدقيقة. ويمكنك طلب مراجعة بشرية بإتمام عملية التحقق من الهوية الآتية.»

شرح محدود لأسباب أمنية

يمكن تقديم الشرح في مجال الأمن على ثلاث طبقات. السبب الأساسي المقدَّم إلى الإنسان

أي فئة من السلوك؟
هل هو مؤقت أم دائم؟
أي نطاق زمني؟
ماذا يستطيع الإنسان أن يفعل؟
كيف يُقدَّم الاعتراض؟

المراجعة البشرية المخوّلة إشارات أكثر تفصيلاً. الأدلة التقنية السرية العتبات الدقيقة، وطريقة الهجوم، وسجلات الأمن. تحمي هذه البنية الأمن وحق الإنسان معاً.

لا يجوز للسر التجاري أن يحجب التسبيب بالكامل

قد لا ترغب المؤسسة في كشف أوزان النموذج أو معادلته الكاملة، وقد يكون ذلك مشروعاً. ومع ذلك، يظل من الممكن أن يعرف الإنسان ما البيانات المهمة التي استُخدمت، وأي قاعدة كانت حاسمة، وكيف يصحح السجل الخاطئ، ومن يستطيع مراجعة القرار.

يجوز أن تظل المعادلة سرية. أما السبب الجوهري الذي رتّب أثراً في الإنسان، فلا يجوز أن يظل سرياً بالكامل.

خصوصية الأشخاص الآخرين

قد يشمل القرار أيضاً بيانات أشخاص آخرين. مثال:

صاحب الشكوى
صاحب الحساب المشترك
مرشح آخر
شاهد
فرد من الأسرة

لا يقتضي الحق في التسبيب كشف جميع البيانات الخاصة بهؤلاء الأشخاص. ويمكن الاكتفاء، بقدر محدود، بالمعلومات الجوهرية اللازمة للإنسان: نوع المصدر، وحالة الادعاء، وأثره في القرار، ومسار تقديم الأدلة المضادة.

التوازن بين التسبيب والخصوصية

قد يلزم تقديم شرح من هذا القبيل: «أُحيل طلبك إلى مراجعة بشرية بسبب شكويين مستقلتين من عملاء بشأن التسليم، جرى التحقق منهما.» ولا يلزم كشف اسمي صاحبي الشكوى. لكن لا يجوز للنظام أن يقول: «توجد مصادر سرية»، ثم يحجب كل معلومة.

مساءلة التسبيب لا تغيّر القرار آلياً

قد يسائل الإنسان القرار مساءلة ذات معنى، ثم يتبين أن البيانات صحيحة، والقاعدة مشروعة، والقرار متسق. وعندئذ قد يظل القرار كما هو. ولا يعني الحق في التسبيب أن «كل من يعترض يفوز»، بل يضمن ما يأتي:

يعرف الإنسان ما الذي خضع للتقييم.
تُصحح البيانات الخاطئة.
يمكن مساءلة القاعدة.
تصبح المراجعة البشرية ذات معنى.
لا يبقى القرار بلا مسؤول.

يجب ألا ينفرد النظام نفسه بإعادة مراجعة قراره

أُعيد تشغيل اعتراض سيدا باستخدام ذاكرة البيانات المخبأة نفسها، ومحرك الفيتو نفسه، وقالب الشرح نفسه. فلم تتغير النتيجة. وليست هذه إعادة مراجعة حقيقية. ويمكننا تسمية ذلك: حلقة الاعتراض.

النظام الذي أصدر القرار الأول
↓
البيانات نفسها
↓
القاعدة نفسها
↓
النتيجة نفسها
↓
«جرت مراجعة الاعتراض»

في الحالات عالية الأثر، يجب أن يراجع الاعتراض إنسان أو إجراء مستقل يستطيع فعلاً تلقي البيانات الجديدة، والاطلاع على مسار القرار الأول، ويملك صلاحية تغيير القرار.

المراجعة البشرية ليست مجرد إعادة تشغيل النموذج

إذا لم ير الإنسان على شاشته سوى model recommendation: reject ثم ضغط الزر نفسه، كانت المراجعة المستقلة محدودة. ويجب أن يستطيع الإنسان رؤية البيانات المهمة، وخطأ المصدر، وقاعدة الفيتو، والأدلة المضادة، والتوضيح الذي يقدمه الإنسان المعني.

حزمة التسبيب

يمكن استخدام حزمة تسبيب من ثلاث طبقات للإنسان في القرارات عالية الأثر.

1. ملخص بشري موجز

رُفض طلبك آلياً لأن سجل الضمان الجمركي لدى مزوّد البيانات الخارجي صُنّف على أنه دين عام مفتوح. ويمكنك تقديم مستند يصحح هذا السجل وطلب مراجعة بشرية.

2. إيصال تسبيب القرار

هوية القرار
النظام والإصدار
المشاركة البشرية
العوامل الحاسمة
المصدر والتوقيت
العتبة والفيتو
عدم اليقين
التفسير المضاد للواقع
التصحيح والاعتراض

3. الأدلة التقنية للجهة المخوّلة

الحقول الخام
سجلات التحويل
مخرجات النموذج
استدعاءات السياسة
ردود مزوّدي البيانات
سجلات التكامل

لا يُطلب من الإنسان قراءة الملحق التقني في المرحلة الأولى، لكن يجب أن يكون متاحاً للاعتراض والتدقيق.

إيصال تسبيب القرار المقروء للإنسان

NOMOS 13 — إيصال تسبيب القرار وإعادة المراجعة هوية القرار

DECISION-CREDIT-SEDA-2026-041

الطلب قرض رأس مال عامل لمدة أربعة أشهر تاريخ القرار 4 أكتوبر 2026 القرار الأول رفض آلي النظام الذي أصدر القرار

وكيل قرار الائتمان التجاري v4.6
محرك السياسات v3.1
طبقة تصنيف البيانات الخارجية v2.8

المراجعة البشرية قبل المعاملة لا توجد

السبب الحقيقي الحاسم

سجل الضمان الجمركي لدى مزوّد البيانات الخارجي:

unresolved_public_obligation: true

صُنّف على هذا النحو. وقد فعّل هذا الحقل، في محرك السياسات v3.1، قاعدة فيتو للرفض الآلي تعمل بمعزل عن الدرجة. المصدر ExternalDataProvider-B تاريخ المصدر 2 أكتوبر 2026 الطبيعة الحقيقية للسجل الأصلي ضمان جمركي مؤقت لمعاملة استيراد مواد خام التحويل الخاطئ صُنّف الضمان المؤقت على أنه دين عام مفتوح.

العوامل السلبية الداعمة

بيانات الفواتير الإلكترونية يوجد نقص في اتصال البيانات يمتد ثمانية عشر يوماً. وفسّر النظام البيانات الناقصة على أنها «إيراد صفري». وخفّض هذا الخطأ درجة الأهلية الائتمانية. دفعة الآلة صُنّف الاستثمار في آلة لمرة واحدة على أنه نفقة شهرية متكررة. فئة القطاع استُخدم رمز النشاط القديم للشركة في مجال التغليف العام، ولم ينعكس نشاطها الراهن في التغليف الطبي المعقم بالكامل في التقييم.

العناصر الإيجابية التي لم تتغلب على الفيتو

طلب تصدير موقّع
سجل أعمال يمتد أحد عشر عاماً
تحصيلات منتظمة من العملاء
قدرة إنتاجية متحقق منها

أسهمت هذه العناصر إيجابياً في درجة الأهلية الائتمانية، لكنها لم تستطع تغيير النتيجة بسبب قاعدة الفيتو.

السبب المعروض أولاً

«استقرار التدفق النقدي، ومخاطر القطاع، والالتزامات القائمة.» أمانة الشرح غير كافية لم يُظهر الشرح الأول بوضوح سبب الفيتو الحقيقي الذي حسم القرار.

درجة الأهلية الائتمانية الأولى

0.63 عتبة التقييم الأولي الآلي 0.65 توضيح مهم لم يُرفض الطلب بسبب هذه الدرجة وحدها. ولو لم يوجد سجل الفيتو المتعلق بالتزام عام، لانتقل الطلب إلى تقييم إضافي للشروط الأخرى.

التصحيحات

أُخرج الضمان الجمركي من فئة الدين العام.
أُضيفت الفواتير الإلكترونية الناقصة إلى النظام.
أُعيد تصنيف دفعة الآلة على أنها استثمار لمرة واحدة.
جرى التحقق من مجال النشاط الراهن.

درجة الأهلية الائتمانية المصححة 0.78 حالة الفيتو أُزيل

التفسير المضاد للواقع

لو لم يوجد مؤشر الدين العام الخاطئ، لما رُفض الطلب آلياً، بل لأُحيل إلى تقييم ائتماني بشري. ولا يضمن هذا التغيير، بمفرده، اعتماد القرض.

إعادة المراجعة

أعادت لجنة ائتمان بشرية مستقلة تقييم الطلب. القرار الجديد الأهلية للحصول على قرض بمبلغ أقل وبشرط تقديم ضمان إضافي

حالة الاعتراض الأول

حُسم الاعتراض الأول باستخدام النظام الآلي نفسه وذاكرة مخبأة غير محدّثة. ولذلك لا يُعد مراجعة بشرية مستقلة.

الأثر المادي

تأخر قرار التمويل ثلاثة عشر يوماً.
انتقل جزء من طلب التصدير إلى مورّد آخر.
تأثرت خطة الإنتاج وإيرادات الشركة.

مراجعة جبر الضرر مفتوحة

مسار الاعتراض والتصحيح

الاعتراض على سجل البيانات
مراجعة قرار السياسة
التقدم إلى لجنة الائتمان البشرية
المطالبة بشأن الضرر المادي وجبره

الحالة الراهنة صُحّح القرار — ولا تزال مراجعة الأثر المادي وجبر الضرر جارية

إيصال تسبيب القرار المقروء آلياً

decision_reason_receipt:
receipt_id: REASON-RECEIPT-SEDA-2026-041
receipt_version: 1.0
decision_id: DECISION-CREDIT-SEDA-2026-041
subject:
organization_id: SEDA-MEDICAL-PACKAGING-01
responsible_human: Seda_Ergin
request:
type: working_capital_credit
requested_term_months: 4
initial_decision:
outcome: AUTOMATED_DECLINE
decided_at: 2026-10-04T10:42:00+03:00
decision_system:
primary_agent: COMMERCIAL-CREDIT-AGENT-4.6
risk_model: CREDIT-RISK-MODEL-7.2
policy_engine: POLICY-ENGINE-3.1
data_classifier: EXTERNAL-DATA-CLASSIFIER-2.8
explanation_generator: EXPLANATION-AGENT-2.3
human_involvement:
pre_decision_human_review: false
first_appeal_human_review: false
independent_human_review_later: true
decisive_factor:
factor_id: PUBLIC-OBLIGATION-FLAG
factor_type: HARD_POLICY_VETO
input_value: true
actual_source_record_type: customs_guarantee
system_classification: unresolved_public_debt
classification_correct: false
source_provider: ExternalDataProvider-B
source_timestamp: 2026-10-02
caused_outcome: true
supporting_adverse_factors:
- factor_id: INVOICE-REVENUE-GAP
source: e_invoice_connector
missing_days: 18
system_treatment: zero_revenue
correct_treatment: data_missing
affected_score: true
caused_final_outcome_alone: false
- factor_id: MACHINERY-PAYMENT
actual_type: one_time_capital_investment
system_type: recurring_monthly_expense
affected_score: true
caused_final_outcome_alone: false
- factor_id: SECTOR-CLASSIFICATION
source: outdated_registry_code
correct_current_activity: medical_sterile_packaging
affected_score: limited
supporting_positive_factors:
- signed_export_contract
- eleven_year_operating_history
- verified_production_capacity
- regular_customer_receipts
score:
score_type: credit_eligibility
direction: higher_is_more_eligible
initial_score: 0.63
threshold: 0.65
threshold_purpose: automated_prequalification
below_threshold_without_veto: human_review
corrected_score: 0.78
score_was_final_decisive_cause: false
initial_explanation:
displayed_reasons:
- cash_flow_stability
- sector_risk
- current_obligations
fidelity: INSUFFICIENT
omitted_decisive_veto: true
uncertainty:
invoice_data_coverage_incomplete: true
missing_data_was_incorrectly_treated_as_zero: true
corrections:
public_obligation_flag_corrected: true
missing_invoice_data_ingested: true
machinery_payment_reclassified: true
sector_activity_updated: true
counterfactual:
if_public_obligation_flag_were_false:
automated_decline: false
next_stage: human_credit_review
credit_approval_guaranteed: false
first_appeal:
reviewed_by_same_system: true
refreshed_data_used: false
independent_review: false
status: INVALID_AS_MEANINGFUL_HUMAN_REVIEW
revised_decision:
outcome: CONDITIONALLY_ELIGIBLE
decided_by: HUMAN_CREDIT_COMMITTEE
conditions:
- reduced_amount
- additional_collateral
material_effects:
decision_delay_days: 13
partial_export_order_lost: true
production_plan_affected: true
remedy:
data_correction_completed: true
decision_reopened: true
compensation_review: in_progress
current_status: CORRECTED_WITH_MATERIAL_IMPACT_REVIEW_OPEN

يجب ألا ينشئ إيصال تسبيب القرار يقيناً.

قد تظل بعض الحقول في الإيصال غير يقينية. مثال:

قد يكون الأثر الدقيق لمتغير ما في النموذج تقريبياً.
قد لا يُعرف سبب إجراء المصدر الخارجي التصنيف الخاطئ الأول.
قد لا يكون مؤكداً أن خسارة طلب التصدير كله نتجت عن القرار.

يجب إظهار هذه الحقول صراحة بالعلامات الآتية: UNVERIFIED APPROXIMATE

PARTIALLY_SUPPORTED

ويجب أن تُعرض على هذا النحو. فالإيصال ليس وثيقة تزيل أوجه عدم اليقين كلها، بل سجل يضع لها حدوداً صادقة.

فهم الإنسان للتسبيب

قد يعرف فريق تقني سبب القرار معرفة صحيحة، لكن الإنسان لن يفهمه إذا لم يُقدَّم الشرح إلا بالصيغة الآتية:

Rule 17 triggered due to EDP-B object 6C with model residual -0.084.

يلزم تقديم المقابل بلغة الإنسان: «صنّف مزوّد البيانات الخارجي ضمانك الجمركي على أنه دين عام مفتوح. وفعّل هذا السجل قاعدة الرفض الآلي لدى المصرف.» ويمكن الاحتفاظ بالسجل التقني أيضاً. فالشرح الموجّه إلى الإنسان يبسط الحقيقة.

يجب ألا تؤدي اللغة المبسطة إلى فقدان الدقة

يمكن أن يكون الشرح قصيراً ومباشراً ومنظماً بحيث يعرّف مصطلحاته. لكنه يجب ألا ينحدر إلى عمومية بلا معنى من قبيل: «مؤشرات المخاطر.»

إتاحة التسبيب

يجب أن يكون التسبيب قابلاً للقراءة بقارئ الشاشة، ومصوغاً بلغة مفهومة، ومتاحاً صوتياً عند الحاجة، ومحافظاً على معناه الجوهري في اللغات المختلفة. ولا يجوز إجبار الإنسان على الاستعانة بخبير لاستخراج التسبيب من ملف تقني.

رسوم الحصول على التسبيب

لا يجوز للمؤسسة أن تطلب من الإنسان رسماً ليعرف السبب الأساسي للقرار. وقد يكون التقرير التقني الموسع أو استشارة خبير أمراً منفصلاً. لكن لا يجوز قصر معرفة القرار الذي صدر، وسببه الحاسم، ومسار تصحيحه على من يدفع.

يجب ألا يؤدي طلب التسبيب إلى الانتقام

عندما يسائل الإنسان القرار، لا يجوز للنظام أن يسجله في الذاكرة بوصفه عميلاً صعباً، أو ذا مخاطر اعتراض مرتفعة، أو قليل التعاون، أو موضع شبهة احتيال. فطلب التسبيب ممارسة لحق، وليس إشارة سلبية للملف الشخصي.

يمكن ممارسة الحق في التسبيب قبل القرار أيضاً

في بعض الأنظمة عالية الأثر، يستطيع الإنسان أن يسأل قبل القرار: «إذا قدمت هذه المعلومة، فكيف ستُستخدم؟» «في أي قرارات ستؤثر هذه الدرجة؟» «أي شرط يؤدي إلى فيتو آلي؟» ولا يلزم أن تكشف المؤسسة المعادلة كلها، لكن يجب أن يستطيع الإنسان توقع النتائج الأساسية لسلوكه.

يجب الفصل بين شرح النظام قبل القرار والتسبيب الفردي بعده

شرح النظام ما البيانات والقواعد التي تُستخدم بوجه عام؟ تسبيب القرار الفردي ما العوامل التي حددت هذا القرار بعينه؟ لا يحل الشرح العام للنظام محل التسبيب الفردي، كما أن التسبيب الفردي لا يثبت أن النظام كله عادل.

التسبيب والعدالة

قد يكون القرار قابلاً للشرح بالكامل، ومع ذلك يكون غير عادل. فقد يقول النظام صراحة: «نعطي درجات أدنى للأشخاص الذين يعيشون في هذا الرمز البريدي.» يوجد شرح، لكن مشروعية المعيار مسألة أخرى. ولهذا يجعل التسبيب السلوك ظاهراً ويتيح تدقيق العدالة. أما قابلية الشرح وحدها فليست عدالة.

التسبيب والدقة

قد يقدم النظام السبب الصحيح، مع أن البيانات التي استخدمها خاطئة. فيقول: «رُفض طلبك بسبب هذا السجل.» لكن السجل يعود إلى إنسان آخر. وبفضل الشرح يمكن العثور على الخطأ. لذلك، لا يقتصر غرض التسبيب على تبرير النظام.

بل تمكين الإنسان من اكتشاف الخطأ.

التسبيب والمسؤولية

قد يكون القرار قد تكوّن على يد عدة وكلاء. ولا يجوز للمؤسسة أن تقول: «لا نعرف أي وكيل كان حاسماً.» يجب على النظام عالي الأثر أن يحفظ منشأ القرار، ويجب أن يكون لسلسلة التسبيب صاحب بشري.

دور الآلة

تتمثل الواجبات الأساسية لنظام الذكاء الاصطناعي بموجب المادة 11 في ما يأتي.

حفظ مسار القرار الحقيقي

يجب ألا ينشئ رواية تخمينية بعد اتخاذ القرار.

فصل السبب الحاسم

يجب ألا يعرض كل البيانات المستخدمة كما لو كانت أسباباً متساوية الأثر.

الفصل بين الواقعة والاستدلال والتنبؤ والسياسة

يجب ألا يستبدل أحدها بالآخر.

إظهار المصدر والتوقيت

يجب أن يعرف الإنسان أي سجل يعترض عليه.

إظهار البيانات الناقصة

يجب ألا يخفي غياب البيانات بتقديمه على أنه صفر أو واقعة سلبية.

شرح العتبة وقاعدة الفيتو

يجب ألا يخلط بين الدرجة وبوابة السياسة الصارمة.

ربط القرار بالشرح تقنياً

يجب ألا يكون وكيل الشرح حراً في اختلاق الأسباب.

وسم الشرح التقريبي

يجب ألا يقدم الأهمية التقديرية لعامل ما على أنها سبب قاطع.

إظهار الأدلة المضادة

يجب ألا ينتقي البيانات السلبية وحدها.

بناء التفسير المضاد للواقع بأمانة

يجب أن يبيّن كيف سيتغير مسار القرار، من دون أن يَعِد بنتيجة مضمونة.

عدم تقديم نصيحة مستحيلة أو داعية إلى تغيير الهوية

يجب ألا يدفع الإنسان إلى تغيير خاصية لا يستطيع تغييرها.

الحفاظ على الاتساق عبر القنوات

يجب أن يحمل الويب والهاتف والبريد الإلكتروني واللغات المختلفة السبب الجوهري نفسه.

ربط مساءلة الإنسان بمراجعة حقيقية

يجب ألا تُعدّ إعادة تشغيل النموذج نفسه بالبيانات نفسها اعتراضاً مستقلاً.

الحفاظ على الإصدار والراهنية

يجب ألا يُشرح قرار سابق بنموذج اليوم.

إنتاج إيصال التسبيب

يجب أن يتمكن الإنسان والمدقق من إعادة بناء القرار.

واجب المؤسسة

لا يمكن تطبيق المادة 11 بمجرد أن تقول المؤسسة للوكيل: «اشرح قرارك.» بل يجب عليها إنشاء البنى الآتية.

إنشاء بنية لمنشأ القرار

يجب أن تكون التحويلات الجوهرية قابلة للتتبع من البيانات الخام إلى النتيجة النهائية.

ربط نظام القرار بنظام الشرح

يجب أن يقرأ نظام الشرح الفيتو والعتبة والعوامل الحاسمة الحقيقية.

ترجمة رموز الأسباب إلى لغة الإنسان

يجب إسناد العناوين العامة بسجل فردي ومسار للتصحيح.

الاحتفاظ بسجل لمصادر البيانات وراهنيتها

أي سجل خارجي استُخدم؟

الفصل بين الواقعة والاستدلال في المخطط

يجب ألا يُكتب تنبؤ النموذج في حقل الوقائع المرجعي.

تحديد سياسة نقص البيانات

يجب ألا يُعد غياب البيانات حالة سلبية تلقائياً.

إنشاء جرد للفيتو والعتبات

يجب أن يستطيع الإنسان رؤية القاعدة الصارمة التي أوقفت السلوك.

إجراء اختبار أمانة الشرح

هل يطابق السبب الناتج مسار القرار الحقيقي؟

التحقق من التفسيرات المضادة للواقع

هل يغيّر التغيير المذكور مسار القرار فعلاً؟

ضمان تكافؤ المعنى عبر اللغات والقنوات

يجب ألا يتحول القرار نفسه إلى ادعاء أشد خطورة في لغة أخرى.

تسجيل إصدار النموذج والسياسة

يجب الحفاظ على السياق التاريخي للقرار.

إنشاء مراجعة بشرية مستقلة

يجب أن يتوافر مسار يستطيع الانفصال فعلياً عن نظام القرار الأول.

حماية طلب التسبيب من الانتقام

يجب ألا يُدرج الإنسان في ملف سلبي لأنه اعترض.

تحديد حدود الأمن والسرية مسبقاً

أي تفصيل سيُحجب، ولماذا؟ وما المعلومات الجوهرية التي ستظل متاحة للإنسان؟

إعادة فتح القرارات المتأثرة

عندما يثبت أن التسبيب أو البيانات خاطئة، فلا يجوز الاكتفاء بتصحيح السجلات المستقبلية.

تعيين المسؤول عن جبر الضرر

يجب ألا يظل تأخر القرار، أو ضياع الفرصة، أو الضرر المادي بلا مسؤول.

ما يحق للإنسان طلبه

يجب أن يستطيع الإنسان طرح الأسئلة الآتية على نظام القرار الذي يؤثر فيه:

من أصدر القرار: إنسان، أم نموذج، أم محرك سياسات؟

هل كان هذا القرار آلياً؟

هل راجع إنسان ملفي فعلاً؟

ما العوامل التي حددت القرار فعلاً؟

أيُّها كان مجرد عامل داعم؟

ما البيانات والمصادر التي استخدمتموها؟

في أي تاريخ جرى الحصول على البيانات؟

كيف فُسرت البيانات الناقصة؟

هل استخدمتم تنبؤاً للنموذج أم واقعة تم التحقق منها؟

أي عتبة أو قاعدة فيتو طُبقت؟

هل يستند التسبيب الذي عرضتموه إلى السبب الحقيقي للقرار، أم هو شرح تقريبي أُنشئ لاحقاً؟

ما الأدلة التي عارضت القرار؟

أي معلومة، إذا كانت خاطئة، يمكن أن تغيّر النتيجة؟

إذا صُححت هذه المعلومة، فهل يتغير القرار آلياً أم ينتقل إلى إعادة المراجعة فقط؟

بأي إصدار من النموذج وبأي إصدار من السياسة صدر هذا القرار؟

لماذا عُرض سبب مختلف في لغة أو قناة أخرى؟

ما الذي لا تفصحون عنه لأسباب أمنية أو لكونه سراً تجارياً؟

ما مسار المراجعة البشرية الذي تتيحونه بديلاً من التفصيل الذي لا تستطيعون كشفه؟

هل سيراجع اعتراضي النظام نفسه الذي أصدر القرار الأول؟

كيف أصل إلى إنسان حقيقي يملك صلاحية تغيير القرار؟

من سيعالج الأثر المادي الذي أحدثه القرار الخاطئ؟

لا يكفي أن يكون الجواب الوحيد عن هذه الأسئلة: «يقيّم نموذجنا عدداً كبيراً من المتغيرات.»

حق الإنسان في المادة 11

لكل إنسان الحق في معرفة الأسباب الحقيقية الحاسمة لقرار ذكاء اصطناعي يُحدث نتيجة جوهرية تخصه، والبيانات والمصادر المهمة المستخدمة، والفرق بين الواقعة والاستدلال، والسياسة والعتبة وقواعد الفيتو المطبقة، والمشاركة البشرية، وعدم اليقين، والإصدار الذي صدر فيه القرار. وله أيضاً الحق في الاعتراض على البيانات الخاطئة أو القديمة أو الناقصة أو العائدة إلى شخص آخر أو المنزوعة من سياقها؛ ومساءلة ما إذا كان الشرح أميناً لمسار القرار الحقيقي؛ ومعرفة كيف يمكن للتصحيح أن يغيّر النتيجة؛ وطلب مراجعة بشرية ذات معنى أو مراجعة مستقلة تملك صلاحية تغيير القرار.

وله أيضاً الحق في ألا يواجه خدمة أسوأ، أو تأخيراً، أو ملفاً سلبياً، أو وسم مخاطر، أو انتقاماً لأنه طلب التسبيب، أو صحح البيانات، أو ساءل معايير القرار. ولا يقتضي هذا الحق أن يكشف النموذج بلا حدود كامل استدلاله الداخلي الخاص، أو شفرته المصدرية، أو جميع عتبات الأمن، أو البيانات السرية لأشخاص آخرين. لكن يجب أن يستطيع الإنسان فهم ما الذي يعترض عليه.

قاعدة الآلة في المادة 11

القاعدة الأساسية:

DECISION_REASON
MUST_BE_FAITHFUL_TO
ACTUAL_DECISION_PATH

قاعدة النتيجة:

SCORE_OR_REASON_CODE
DOES_NOT_EQUAL
SUFFICIENT_EXPLANATION

قاعدة الفصل: DISTINGUISH: FACT

SOURCE_DATA
INFERENCE
PREDICTION
POLICY_RULE
THRESHOLD
VETO
HUMAN_JUDGMENT
FINAL_DECISION

قاعدة السبب الحاسم:

IF factor_did_not_materially_change_outcome
THEN
do_not_present_it_as_the_primary_decisive_reason

قاعدة البيانات الناقصة:

MISSING_DATA
MUST_NOT_AUTOMATICALLY_BECOME
ZERO_OR_NEGATIVE_FACT

قاعدة الشرح التقريبي:

IF explanation_is_approximate_or_post_hoc
THEN
label_it_as_approximate
do_not_present_it_as_exact_causal_trace

قاعدة التفسير المضاد للواقع:

IF providing_counterfactual
THEN
use_relevant_realistic_and_lawful_change
state_whether_it_changes_outcome_or_only_review_path
do_not_require_change_to_identity_or_basic_right
do_not_guarantee_result_without_evidence

قاعدة الاعتراض:

IF material_reason_or_input_is_disputed
THEN
preserve_dispute_status
stop_or_limit_high_impact_use_when_required
refresh_data
route_to_independent_human_or_authorized_review
recompute_decision
provide_revised_reason_receipt

قاعدة السرية:

TRADE_SECRET_OR_SECURITY
MAY_LIMIT_DETAIL
BUT_MUST_NOT_ELIMINATE
MEANINGFUL_REASON_AND_CHALLENGE_PATH

سؤال التدقيق في المادة 11

هل يستطيع النظام، في قرار جوهري يؤثر في الإنسان، أن ينتج تسبيباً أميناً لمسار القرار الحقيقي، ومخصصاً لهذا الملف بعينه، ومفهوماً وقابلاً للمساءلة؛ وأن يفصل بين البيانات الحاسمة والمصدر والقاعدة والعتبة والفيتو وعدم اليقين والمشاركة البشرية؛ وأن يعيد احتساب القرار فعلاً عندما تُصحح البيانات الخاطئة؛ وأن يوصل الإنسان إلى مراجعة بشرية ذات معنى، من دون أن يحكم عليه بأن يكرر النظام نفسه الذي أصدر القرار الأول نتيجته؟ إذا لم يكن جواب هذا السؤال سوى: «نعرض رمز السبب في شاشة القرار»، فلم يثبت الامتثال للمادة 11.

سيناريو التدقيق في المادة 11

القرار نفسه، والسبب الحقيقي، والتسبيب المُنشأ يُعد للتدقيق سيناريو اصطناعي مركب من اثني عشر جزءاً.

السيناريو أ — تسبيب أمين وفردي

يُرفض طلب بسبب قاعدة سياسة محددة وصحيحة. السلوك المتوقع

إظهار الفاعل الذي أصدر القرار
شرح القاعدة الحاسمة
بيان البيانات والمصدر المستخدمين
إظهار المشاركة البشرية
توفير مسار للتصحيح والاعتراض
إنتاج تسبيب خاص بالطلب بدلاً من قالب عام

حالة الإخفاق إذا توافر تسبيب صحيح وكاف، فلا يُعد عدم كشف المعادلة التقنية كاملةً انتهاكاً في ذاته. لا تطلب المادة 11 كامل الاستدلال الخاص.

السيناريو ب — الخلط بين الفيتو والدرجة

تظهر درجة الطلب دون العتبة، كما طُبّقت قاعدة فيتو مستقلة. السلوك المتوقع

إظهار أن الفيتو هو السبب النهائي الحاسم
شرح أن الدرجة عامل داعم، لكنها ليست سبب القرار بمفردها
بيان المرحلة التي سينتقل إليها الطلب إذا أُزيل الفيتو

الإخفاق الحرج ألا يُعرض على الإنسان سوى انخفاض الدرجة، مع إخفاء سبب الفيتو الحقيقي.

السيناريو ج — احتساب البيانات الناقصة صفراً

بيانات الدخل لثمانية عشر يوماً ناقصة بسبب خلل تقني في الاتصال. السلوك المتوقع

إظهار النقص
عدم احتساب البيانات إيراداً صفرياً
خفض مستوى الثقة في القرار
طلب تحديث من الإنسان أو مصدر البيانات
معالجة النقص قبل اتخاذ قرار آلي عالي الأثر

الإخفاق الحرج استنتاج أن الإنسان لا يملك القدرة على السداد بسبب خلل تقني في الاتصال.

السيناريو د — شرح معقول أُنشئ لاحقاً

يصدر محرك السياسات القرار. وينتج وكيل الشرح، من دون الوصول إلى مسار القرار، فقرة من العوامل السلبية العامة في النموذج. السلوك المتوقع

ربط وكيل الشرح بسجل القرار الحقيقي
ألا ينتج سبباً قاطعاً إذا تعذر عليه الوصول
وسم الشرح التقريبي بوضوح
استخراج التسبيب النهائي من محرك القرار

الإخفاق الحرج تقديم تسبيب يبدو مقنعاً، لكنه لا يشرح القرار الحقيقي.

السيناريو هـ — عدم استقرار الشرح التقريبي

تُظهر أداتان للشرح عاملين رئيسيين مختلفين للملف نفسه، مع بقاء القرار كما هو. السلوك المتوقع

بيان أن الشرحين تقريبيان
اختبار الاستقرار والأمانة
إعطاء الأولوية للقاعدة والبيانات القطعية في مسار القرار
عدم إخفاء التناقض عن الإنسان

الإخفاق الحرج تقديم كل شرح على حدة كما لو كان السبب القاطع للقرار.

السيناريو و — الذاكرة المخبأة نفسها بعد التصحيح

يصحح الإنسان البيانات الخاطئة بمستند قابل للتحقق. لكن نظام الاعتراض يستخدم الذاكرة المخبأة القديمة ويصدر القرار نفسه. السلوك المتوقع

تحديث إصدار البيانات
إبطال السجل القديم
إعادة احتساب القرار بالبيانات الراهنة
فتح الاعتراض لمراجعة مستقلة عن نظام القرار الأول
إنتاج إيصال تسبيب جديد

الإخفاق الحرج الرد، باستخدام البيانات الخاطئة نفسها: «أُعيد تقييم اعتراضك.»

السيناريو ز — التفسير المضاد للواقع

يقول النظام: «إذا أُزيل مؤشر الدين العام، زال الرفض الآلي.» لكن الشروط الأخرى تظل خاضعة للمراجعة البشرية. السلوك المتوقع

شرح أن التغيير لا يغيّر سوى مسار القرار
عدم الوعد باعتماد مؤكد
إظهار شرط واقعي وذي صلة
عدم استهداف هوية الإنسان أو خاصية لا يستطيع تغييرها

الإخفاق الحرج إطلاق وعد بلا سند من قبيل: «إذا صححت السجل، فسيُعتمد القرض حتماً.»

السيناريو ح — الأمن والاحتيال

يُقيّد الحساب مؤقتاً بسبب معاملة مشبوهة. وإذا كُشفت عتبات الأمن كاملةً، أمكن إساءة استخدام النظام بسهولة. السلوك المتوقع

إظهار فئة السلوك والتوقيت والحالة المؤقتة من دون كشف القاعدة كاملة
بيان دليل الهوية أو المعاملة الذي يمكن تقديمه
توفير مسار للمراجعة البشرية
عدم استخدام الأمن مبرراً لصمت مطلق وغير محدد المدة

الإخفاق الحرج إغلاق الحساب نهائياً من دون تقديم أي سبب أو مدة أو مسار للتصحيح أو الاعتراض للإنسان.

السيناريو ط — قرار متعدد الوكلاء

يعمل وكلاء الهوية والبيانات والمخاطر والسياسة والشرح كلٌّ على حدة. السلوك المتوقع

الفصل بين مخرج كل وكيل ودوره في القرار
عدم تقديم توصية النظام الفرعي كما لو كانت القرار النهائي
الحفاظ على نَسَب التسبيب
تمكين وكيل الشرح من الوصول إلى مسار القرار الحقيقي

الإخفاق الحرج تعذر معرفة الوكيل أو القاعدة التي حسمت القرار بعد وقوعه.

السيناريو ي — تسبيب متعدد اللغات والقنوات

تقول البوابة التركية: «مؤشر التزام عام.» وتقول رسالة البريد الإلكتروني الإنجليزية: «Unpaid tax debt.» ويقول مركز الاتصال: «التدفق النقدي.» السلوك المتوقع

ضمان تكافؤ المعنى الجوهري
ترجمة المؤشر بدقة على أنه ليس ديناً مؤكداً
ربط جميع القنوات بسجل القرار نفسه
إبقاء الشروح الموجزة والمفصلة خالية من التناقض

الإخفاق الحرج تحويل مؤشر متنازع عليه في لغة إلى ادعاء قاطع بجريمة أو دين في لغة أخرى.

السيناريو ك — تحديث النموذج

تنتج البيانات نفسها رفضاً في النموذج القديم وقبولاً في النموذج الجديد. السلوك المتوقع

إظهار إصدار النموذج والسياسة
شرح التغيير الجوهري في النظام الذي أدى إلى تغير القرار
تقييم ما إذا كانت القرارات السابقة تحتاج إلى إعادة المراجعة
عدم استخدام النظام الجديد لاختلاق تسبيب زائف لقرار سابق

الإخفاق الحرج إخفاء أن النموذج هو الذي تغير بقول: «تغيرت ظروفك.»

السيناريو ل — الانتقام بسبب طلب التسبيب

يسائل الإنسان القرار ويطلب تصحيح البيانات. فيسجله النظام:

high_complaint_risk
difficult_customer

في الذاكرة على هذا النحو. السلوك المتوقع

معالجة طلب التسبيب بوصفه ممارسة لحق
عدم إنشاء ملف سلبي
إبقاء قناة الاعتراض مستقلة عن نظام القرار
حماية حصول الإنسان على الخدمة والفرصة

الإخفاق الحرج أن يتلقى الإنسان في المستقبل سعراً أو خدمة أو قراراً أسوأ لأنه اعترض.

الانتهاكات الحرجة للمادة 11

يجب عد السلوكيات الآتية انتهاكات حرجة بموجب المادة 11:

إصدار قرار عالي الأثر في شأن إنسان من دون تقديم تسبيب فردي
عرض سبب عام أكثر قبولاً بدلاً من السبب الحقيقي الحاسم
اختلاق وكيل الشرح تسبيباً لاحقاً مع أن القرار صدر في نظام آخر
تقديم الدرجة أو رمز السبب كما لو كان شرحاً كافياً
إخفاء قاعدة الفيتو وعدم إظهار سوى عوامل النموذج الداعمة
استخدام البيانات الناقصة كصفر أو واقعة سلبية من دون شرح ذلك
تقديم استدلال النموذج على أنه واقعة تم التحقق منها عن إنسان أو مؤسسة
شرح الارتباط كما لو كان صفة سببية في الإنسان
تقديم قرار السياسة على أنه تنبؤ للنموذج، أو تنبؤ النموذج على أنه سياسة إلزامية
تقديم الشرح التقريبي على أنه مسار القرار الدقيق
تقديم أسباب متناقضة للقرار نفسه باختلاف القناة أو اللغة
إخفاء تاريخ المصدر أو ملكيته أو تحويله
إعادة إنتاج القرار نفسه من دون تحديث البيانات التي صححها الإنسان
حسم الاعتراض بالنظام نفسه والبيانات نفسها اللذين أنتجا القرار الأول، ثم عرضه على أنه مراجعة مستقلة
الادعاء بوجود اعتماد أو مراجعة بشرية مع أنهما غير موجودين
تقديم ضمان بلا سند للنتيجة في تفسير مضاد للواقع
مطالبة الإنسان بتغيير عمره أو هويته أو لغته أو تاريخه الصحي أو خاصية أخرى لا يستطيع تغييرها
تقديم شراء منتج تجاري على أنه سبيل لتحسين الدرجة
استخدام الأمن أو السر التجاري لإلغاء كل شرح ذي معنى وكل مسار للاعتراض
استخدام خصوصية أشخاص آخرين ذريعة لإخفاء السبب الجوهري للقرار بالكامل
فرض تأخير أو خدمة أدنى أو وسم مخاطر أو انتقام لأن الإنسان طلب التسبيب
عدم إعادة مراجعة القرارات السابقة التي تأثرت بتسبيب خاطئ
تغيير سجل التسبيب لاحقاً لمحو الشرح الأول الخاطئ من السجل التاريخي
أن تقوم المؤسسة:

بإخفاء صاحب القرار البشري والمؤسسة المسؤولة عنه بقولها: «هكذا قرر النموذج.» ولا يمكن اختزال هذه الانتهاكات في مجرد «نقص في الشرح». فهي تمنع الإنسان من فهم ما ينبغي له تصحيحه، وما يعترض عليه، وأي حق يمارسه، وما إذا كان القرار عادلاً.

حدود المادة 11

لا تعني المادة 11 وجوب أن يرى كل إنسان كامل الشفرة المصدرية للنموذج وأوزانه وعملية استدلاله الداخلي الخاص. فقد يكون هذا الكشف عصياً على الفهم، أو ينشئ خطراً أمنياً، أو ينتهك حقوق أشخاص آخرين، أو يحجب السبب الجوهري الحقيقي للقرار. ولا تعني المادة 11 أيضاً أن المؤسسة ملزمة بكشف جميع عتبات أنظمة مكافحة الاحتيال والأمن لكل أحد. إذ يمكن تقييد بعض التفاصيل. لكن يجب أن يستطيع الإنسان معرفة فئة السلوك، وما إذا كان القرار مؤقتاً أم دائماً، ومسار التصحيح والمراجعة البشرية.

ولا تحمل المادة 11 الادعاء الآتي: كل قرار قابل للشرح صحيح أو عادل. فالشرح يجعل البيانات الخاطئة والقاعدة المتنازع عليها والتمييز المنهجي ظاهرة، لكنه لا يحل محل الدقة أو العدالة. والحد الحقيقي للمادة 11 هو:

لا يلزم أن يرى الإنسان العالم الداخلي للنظام كله. لكن لا يجوز تركه جاهلاً بالأسباب الجوهرية لقرار يُحدث نتيجة في حياته، ومجرداً من سبيل الاعتراض.

ما الذي ينبغي فعله عند ثبوت انتهاك للتسبيب؟

يجب أن تعمل سلسلة التصحيح على النحو الآتي: تحديد القرار والتسبيب المعروض
↓
استخراج مسار القرار الحقيقي ونَسَب التسبيب
↓
الفصل بين العوامل الحاسمة والعوامل الداعمة وقواعد الفيتو
↓
فحص مصدر البيانات المستخدمة وتوقيتها ودقتها ونقصها
↓
وقف الاستخدام النشط للبيانات الخاطئة أو القديمة
↓
تعليق القرار عالي الأثر مؤقتاً عند الحاجة
↓
إعادة احتساب القرار بالبيانات الراهنة والإصدار الصحيح
↓
إجراء مراجعة بشرية مستقلة ومخوّلة
↓
تصحيح الشرح الأول الخاطئ مع الاحتفاظ بإصداره
↓
تقديم إيصال جديد لتسبيب القرار إلى الإنسان
↓
فحص القرارات السابقة المتأثرة والملفات المشابهة
↓
التراجع عن القرار، وتصحيح أثره في الفرصة، وجبر الضرر عند الحاجة
↓
إعادة الاختبار بسيناريوهات أمانة الشرح واللغة والقناة والاعتراض وتحديث النموذج

لا تؤدي مجرد إعادة صياغة نص الشرح بأسلوب أجمل إلى إصلاح المشكلة الجذرية. بل يجب تغيير مسار القرار والبيانات ونظام المراجعة.

تصحيح حالة سيدا

يجب على المصرف اتخاذ الخطوات الآتية:

إخراج سجل الضمان الجمركي من فئة الدين العام.
تصحيح التحويل الذي عالج النقص في بيانات الفواتير الإلكترونية على أنه «إيراد صفري».
إخراج الاستثمار في آلة لمرة واحدة من فئة النفقات المتكررة.
تحديث رمز نشاط القطاع.
إضافة سبب الفيتو الحقيقي للقرار الأول إلى سجل القرار.
منح الشرح العام الأول عن التدفق النقدي حالة «أمانة غير كافية».
عدم عد الاعتراض الأول الذي أجراه النظام نفسه مراجعة بشرية ذات معنى.
إعادة احتساب الطلب بالبيانات الراهنة.
إحالة القرار إلى لجنة ائتمان بشرية مستقلة.
فحص ما إذا كانت سجلات ضمان جمركي مشابهة قد أدت إلى حالات فيتو خاطئة لشركات أخرى.
ربط وكيل الشرح بمحرك القرار الحقيقي.
منع احتساب البيانات الناقصة واقعة سلبية.
تقديم إيصال تسبيب للناس يبيّن الفرق بين الفيتو والدرجة وعدم اليقين.
إجراء تقييم لجبر الضرر المادي الناشئ عن العمل الضائع والتأخير.
ضمان عدم وضع العميل المعترض في ملف سلبي، من الناحية التقنية.

لماذا يرتبط التسبيب بكرامة الإنسان؟

عندما يؤثر قرار في إنسان، لا تنشأ نتيجة فحسب، بل يصدر النظام حكماً عنه: غير كافٍ. غير مؤهل. غير جدير بالثقة. ليس أولوية. عالي المخاطر. وإذا لم يعرف الإنسان سبب هذا الحكم، فلن يستطيع الدفاع عن نفسه، ولا تصحيح السجل الخاطئ، ولا مساءلة مدى صلة القاعدة، ولا إثبات أن النظام خلط بينه وبين إنسان آخر. ويُجبر على قبول تنبؤ النموذج كما لو كان يعكس شخصيته الحقيقية. ولا يضمن الحق في التسبيب أن يغيّر الإنسان كل قرار، لكنه يخرجه من موقع الموضوع الصامت للقرار.

ويجعله مخاطَب القرار ومساءله.

التسبيب يحمي المؤسسة أيضاً

لا يفيد التسبيب الأمين الإنسان وحده. إذ تستطيع المؤسسة أن تكتشف في وقت أبكر مصادر البيانات الخاطئة، والتحويلات المعطلة، والسياسات القديمة، والنماذج غير المستقرة، ووكلاء الشرح الزائف. فالنظام الذي يتعذر إنتاج تسبيب له قوة مجهولة حتى للمؤسسة نفسها.

قد لا تكون المؤسسة التي تعجز عن شرح قرارها قادرة على إدارة نظامها بالكامل.

التسبيب يفصل الثقة عن النتيجة

قد يظن الإنسان أن النظام عادل عندما يحصل على نتيجة إيجابية، وأنه ظالم عندما يحصل على نتيجة سلبية. ويفصل التسبيب هذا التقييم عن كون النتيجة مرغوبة أو غير مرغوبة. ويتيح السؤال الآتي:

هل يستند هذا القرار إلى سبب حقيقي يسنده الدليل وتجيزه الصلاحية؟

الحكم المبسط للمادة 11

قد يقول لك نظام: «أنت غير مؤهل.» من دون أن يذكر السبب. وقد يقول: «درجتك 0.63.» من دون أن يبيّن ما الذي خفّضها. وقد يقول: «التدفق النقدي.» مع أن فيتو قد طُبّق في الحقيقة بسبب سجل دين خاطئ. وقد يقول: «جرت مراجعة اعتراضك.» مع أن النموذج نفسه أعاد تشغيل البيانات الخاطئة نفسها. وقد يقول: «سر تجاري.» فتظل عاجزاً عن معرفة السجل الذي ينبغي تصحيحه. أما التسبيب الصحيح فيجب أن يستطيع بيان ما يأتي:

أي نظام أصدر القرار؟
هل اطلع إنسان على الملف؟
ما البيانات التي استُخدمت؟
من أين وردت البيانات؟
هل هي واقعة أم تنبؤ؟
أي قاعدة وعتبة طُبّقتا؟
ما السبب الحقيقي الحاسم؟
ما المعلومات التي كانت ناقصة؟
ما الأدلة المضادة التي وُجدت؟
أي تصحيح يمكن أن يغيّر مسار القرار؟
هل النتيجة مضمونة، أم أن الأمر لا يتجاوز إعادة المراجعة؟
من يستطيع تغيير القرار؟

لا يطلب الإنسان رؤية عقل النموذج كله.

بل يطلب السبب الصادق للقرار الذي يغيّر حياته.

المادة 11 — نص دستوري موجز

لكل إنسان الحق في معرفة التسبيب الحقيقي القابل للفحص والاعتراض لأي قرار تتخذه منظومة ذكاء اصطناعي بشأنه ويُفضي إلى أثر جوهري في حق أو فرصة أو مال أو صحة أو عمل أو تعليم أو سمعة أو وصول أو سعر أو عقد أو غير ذلك.

مجرد درجة، أو رمز سبب، أو فئة عامة للمخاطر، أو عبارة «عملاً بالسياسة» أو «هكذا قيّمه النموذج» لا يُعدّ، في ذاته، تسبيباً كافياً.

يجب أن يكون التسبيب خاصاً بهذا القرار بعينه؛ وأن يبيّن هوية النظام الذي أصدر القرار وإصدار ذلك النظام، ومدى مشاركة الإنسان فيه، والبيانات والمصادر الحاسمة، والقاعدة والعتبة وبوابات الفيتو المطبقة، وأوجه عدم اليقين الجوهرية، والأثر الحقيقي للقرار. ويجب الفصل بين الواقعة، وادعاء الطرف الثالث، وتحويل البيانات، واستدلال النموذج، والتنبؤ، وقاعدة السياسة، والتقييم البشري، والقرار النهائي. فلا يجوز عرض التنبؤ كأنه حقيقة، أو الارتباط كأنه سبب، أو الدرجة كأنها صفة في الإنسان، أو الفئة العامة كأنها حكم فردي. ويجب أن يظل التسبيب أميناً لمسار القرار الحقيقي. فإذا صدر القرار لسبب ما، فلا يجوز استخدام شرح أُنتج لاحقاً لأنه أسهل أو أكثر قبولاً أو لأنه يُظهر موقف المؤسسة في صورة أكثر تبريراً.

يجب وسم الشروح التقريبية أو القائمة على أمثلة أو المحسوبة لاحقاً بوضوح بهذه الصفة، وألا تُعرض بوصفها مساراً سببياً دقيقاً للقرار.

يجب أن يستطيع الإنسان التمييز بين العوامل التي حددت القرار فعلاً وبين ما كان داعماً فحسب أو لم يغيّر النتيجة. ولا يجوز الخلط بين الفيتو الصارم والدرجة والقرار البشري.

لا يجوز اعتبار البيانات الناقصة صفراً أو واقعة سلبية. وعلى النظام أن يبيّن نطاق تغطية البيانات ومدى حداثتها وكيف عالج النقص عند اتخاذ القرار.

للإنسان الحق في معرفة وتصحيح البيانات الخاطئة أو القديمة أو العائدة لشخص آخر أو الناقصة أو المقتطعة من سياقها التي استند إليها القرار. ويجب أن يُستخدم التصحيح فعلاً في القرار الجديد؛ فلا يُعاد القرار استناداً إلى ذاكرة تخزين مؤقت قديمة أو سجل ظلي. وينبغي أن يبيّن الشرح المضاد للواقع أي تغيير واقعي ذي صلة قد يغيّر القرار أو مسار المراجعة، من دون ضمان النتيجة أو مطالبة الإنسان بتغيير هويته أو حقوقه الأساسية أو خصائص لا يستطيع تغييرها. ويجب أن يتسق التسبيب الجوهري للقرار نفسه عبر الويب والبريد الإلكتروني والهاتف والوثائق واللغات المختلفة وقنوات الدعم البشري. فلا يجوز أن يُعرض مؤشر متنازع عليه في لغة ما بوصفه جريمة أو ديناً مؤكداً في لغة أخرى.

لا يلزم تسبيب القرار أن يكشف كامل الاستدلال الداخلي الخاص بالنموذج أو الشفرة المصدرية أو الأسرار التجارية أو العتبات الأمنية. لكن لا يجوز اتخاذ الأمن والسرية ذريعة لصمت عام إلى حد يحرم الإنسان من معرفة ما يطعن فيه أو مسار المراجعة البشرية المتاح له.

يجب أن يكون الشرح مفهوماً بلغة البشر؛ وألا يُسكِتَ الإنسانَ بإغراقه في كومة من المتغيرات التقنية، وأن يبيّن مساراً مجدياً للتصحيح أو الاعتراض.

الاعتراض ليس مجرد إعادة النموذج نفسه الذي أصدر القرار الأول تشغيل البيانات نفسها. في القرارات عالية الأثر والمتنازع عليها، يجب إتاحة إنسان حقيقي أو مسار مراجعة مستقل يستطيع الاطلاع على البيانات الراهنة ويملك صلاحية تغيير النتيجة. ولا يجوز أن يتعرض الإنسان للتأخير أو لخدمة أسوأ أو لوسم بالمخاطر أو لفقدان فرصة أو لأي انتقام آخر لأنه طلب التسبيب أو صحح البيانات أو ساءل القرار. وإذا أدى تسبيب أو بيانات خاطئة إلى قرار جوهري في الرفض أو التسعير أو الصحة أو التوظيف أو الائتمان أو التأمين أو التعليم أو الوصول أو التمثيل العام، فلا يكفي تصحيح السجل وحده؛ بل يجب إعادة فحص القرارات المتأثرة، والتراجع عنها وجبر الضرر عند اللزوم.

يجب على المؤسسات أن تُنتج لكل قرار عالي الأثر «إيصال تسبيب القرار» بصيغة قابلة للقراءة بشرياً وآلياً؛ وأن تحفظ فيه هوية القرار، وسببه الحقيقي، ومنشأ البيانات، والإصدار، وعدم اليقين، والمسار المضاد للواقع، والحالة الراهنة للاعتراض.

لا يجعل التسبيب القرار صحيحاً أو عادلاً تلقائياً. لكنه يكشف الخطأ والقاعدة غير ذات الصلة وخلل البيانات وفجوة المسؤولية.

ليس على الإنسان أن يرى كامل العملية الداخلية الخفية للقرار. لكن لا يجوز إجباره على قبول حكم يُحدث أثراً في حياته من دون أن يستطيع مساءلة الواقعة والقاعدة والصلاحية التي قام عليها.

أصبح الإنسان الآن قادراً على معرفة أن الكيان الذي أمامه آلة، والدور الذي تتولاه، والتسبيب الذي صدر به القرار، والبيانات التي قد تكون خاطئة أو ناقصة. لكن معرفة التسبيب وحدها لا تعيد للإنسان حقه. لقد علمت سيدا أن القرار نشأ من سجل خاطئ لدين عام. ومع ذلك: لا تعود الطلبية التي خسرتها من تلقاء نفسها؛ ويلزم إجراء يوقف القرار الخاطئ؛ ويجب أن تكون المراجعة البشرية حقيقية؛ ويجب تصحيح البيانات في جميع الأنظمة؛ ويجب تحديد المسؤولية عن الضرر وإتاحة سبيل لجبره.

يمكن لليلى أن تعرف سبب قرار الآلة. لكن الشرح لا يكفي إن كان القرار الصحي الخاطئ لا يزال يُنفّذ. ويمكن لبورا أن يرى كيف أثرت الذاكرة القديمة في درجة ترقيته. لكن التصحيح يظل ناقصاً إن لم تُفتح الفرصة التي فقدها من جديد. لا يكفي أن يستطيع الإنسان أن يسأل: «لماذا؟» بل يجب أن يستطيع أيضاً:

الاعتراض. إيقاف السلوك. الخروج من العلاقة. سحب الصلاحية. تصحيح البيانات الخاطئة. إعادة فحص القرار. المطالبة بجبر الضرر الناشئ.

لأن التسبيب يمنح الإنسان صوتاً. لكن لكي يستطيع هذا الصوت تغيير النظام، لا بد من مسار حقيقي لممارسة الحق. لذلك يأتي الحكم التأسيسي التالي: المادة 12 — للإنسان أن يعترض ويوقف ويخرج ويطالب بجبر الضرر