إجابة مباشرة
لا تعني «المدخلات نفسها» الجملة نفسها التي كتبها المستخدم فقط. تشمل حزمة القرار إصدارات النموذج والنظام والموجهات واختيار المعلومات والنسخة الزمنية من البيانات ونتائج الأدوات والسياسة والتدخل البشري والوقت والبلد واللغة والإعداد، وحالة العشوائية حيث أمكن. حدّد أولاً نوع التكافؤ المطلوب: تطابق النص، أو الادعاءات الجوهرية، أو الفئة، أو الإجراء. قِس التباين باختبارات متكررة وعبر شروط مختلفة. وإذا تجاوز الفرق النطاق المتوقع، فافتح تحقيقاً في السبب الجذري.
بلغة بسيطة
لا يضمن طهو الوصفة نفسها مرتين أن تكون كل لقمة بالشكل نفسه. لكن إذا احتوى طبق على الملح والآخر على السكر، فلا يجوز رد الفرق إلى طبيعة الطهو المتغيرة. يجب فحص المكونات والفرن والوقت وإصدار الوصفة.
لماذا يهم؟
معاملة التباين المتوقع بوصفه خطأً تطلق إنذارات لا داعي لها؛ ومعاملة انحراف حقيقي في الإصدار أو البيانات بوصفه صدفة تخفي فروقاً خطيرة في القرارات. كما تضعف حزمة القرار الناقصة التفسير والاعتراض.
لا تخلط
- النص نفسه لا يعني اختيار المعلومات أو نتيجة الأداة أو السياق الزمني نفسه.
- يتوقع تكافؤ المخرجات الدقيق تطابق الإجابة كلمة بكلمة.
- يقبل التكافؤ الدلالي صياغات مختلفة تحمل المعنى الجوهري نفسه.
- يسأل تكافؤ القرار هل ينتج الإجراء المخول نفسه رغم اختلاف المخرجات.
- تتعلق قابلية التكرار بالفريق والشروط نفسيهما؛ وتسمح قابلية إعادة الإنتاج بفريق أو بيئة مختلفة مجهزة بما يكفي.
ماذا تفعل؟
- حدّد مسبقاً العنصر المراد إعادة إنتاجه ومستوى التكافؤ المقبول.
- احفظ حزمة القرار: النموذج والبيانات والموجه واختيار المعلومات والأدوات والسياسة والبشر والوقت والبيئة.
- نفّذ عدداً كافياً من التكرارات تحت الشروط نفسها لقياس التوزيع الطبيعي للمخرجات وتغير القرارات.
- غيّر الإصدار واللغة والبلد والوقت واحداً تلو الآخر لتحديد الشرط المؤثر.
- صنّف الفرق تبايناً متوقعاً أو مدخلاً مفقوداً أو انحراف إصدار أو بيانات أو خطأ تنفيذ أو حالة خارجية أو تلاعباً.
- فعّل المراجعة البشرية وإجراء الحوادث عندما تتغير فئة قرار حرج.
- مكّن فريقاً مستقلاً بما يكفي من اختبار النتيجة من الحزمة المسجلة والإبلاغ عن الحدود.
كيف تدقّق؟
- هل هدف إعادة الإنتاج واضح على مستوى النص أو المعنى أو القرار أو الإجراء؟
- هل حُفظت كل المكونات الجوهرية لحزمة القرار الحقيقية؟
- هل أُعلن النجاح أو الفشل من تكرار واحد؟
- هل جرى بحث انحراف النموذج والبيانات واختيار المعلومات والأداة والسياسة والوقت؟
- هل أُخفي تغير قرار حرج داخل متوسط تشابه؟
- هل تستطيع إعادة إنتاج مستقلة الوصول إلى الأدلة وقواعد القرار نفسها؟
- هل تُركت الفروق غير المفسرة UNRESOLVED بدلاً من منحها يقيناً زائفاً؟
الحد
في أنظمة الطرف الثالث المغلقة، قد يتعذر حفظ حالة النموذج أو إعداد الخادم أو العشوائية بالكامل. وقد تظهر فروق احتمالية حتى مع حزمة القرار نفسها. ولا يثبت تعذر إعادة الإنتاج وحده وجود خطأ أو هجوم أو قرار غير صحيح.
تذكّر في جملة
الجملة نفسها ليست حزمة القرار نفسها.
مصادر هذا السجل
- S35W3C, *PROV-O: The PROV Ontology*معيار
- S36W3C, *Trace Context*معيار
- S37OpenTelemetry, *General Trace Semantic Conventions*وثائق معيار أو مشروع
- S38NIST AI 600-1, *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*إرشادات مؤسسية طوعية ذات طابع معياري
- S50NIST AI 100-1, *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*إطار مؤسسي طوعي ذو طابع معياري
- S51NIST/SEMATECH, *e-Handbook of Statistical Methods*دليل تقني لجهة رسمية
- S52NIST CSWP 31, *Proxy Validation and Verification for Critical AI Systems: A Proxy Design Process*ورقة بيضاء تقنية لجهة رسمية