إجابة مباشرة
نفّذ تدقيق GEO على سجل أسئلة ذي إصدار ومحدد مسبقاً. يتضمن السجل هوية الكيان ومقصد المستخدم ونوع السؤال ومستوى المخاطر واللغة والبلد والتاريخ والنموذج وسطح المنتج والإصدار المعروف. لا تختر أمثلة يُرجح أن تنتج نتائج مواتية فقط. غطّ الهوية الأساسية والأدلة والمقارنة والحدود والحداثة والأخطاء عالية الأثر ومقاصد المستخدم الحقيقية بتوازن. وإذا تغير النطاق بعد الاختبار، فأبلغ النتيجتين القديمة والجديدة بوصفهما إصدارين منفصلين.
بلغة بسيطة
لا تستطيع الحكم على فصل دراسي بسؤال أقوى ثلاثة طلاب أسهل الأسئلة. حدّد أولاً المواد والمجموعات التي يجب تمثيلها، ثم طبّق خطة الامتحان نفسها على الجميع.
لماذا يهم؟
قد يرفع اختيار الأسئلة بعد رؤية النتيجة معدل النجاح أو يخفضه اصطناعياً. وقد يفشل تمثيل يبدو سليماً في لغة أو بلد أو نموذج واحد في مكان آخر. ومن دون سجل نطاق لا يمكن مقارنة تدقيقين.
لا تخلط
- يبحث الاختبار الاستكشافي عن أنواع أخطاء مجهولة ولا يلزم أن ينتج حكماً رسمياً بالمطابقة.
- يحدد اختبار القبول ملاءمة إصدار للاستخدام وفق بوابات محددة مسبقاً.
- يفحص اختبار الانحدار هل أفسد تغيير سلوكاً كان صحيحاً.
- يتتبع اختبار المراقبة تغير النظام الحي بمرور الوقت.
- تحتاج عينة البحث إلى اختيار منهجي إذا ستسند استنتاجاً عن فئة محددة.
ماذا تفعل؟
- اذكر أولاً قرار التدقيق والفئة المستهدفة والتعميم المقصود.
- قسّم مقاصد المستخدم الحقيقية ومخاطر التمثيل الحرجة إلى فئات أسئلة.
- حدّد لكل فئة طبقات جوهرية مثل اللغة والبلد والجهاز أو سطح المنتج.
- امنح صياغة الأسئلة وترتيبها وعدد التكرار وشروط التنفيذ إصداراً قبل الاختبار.
- سجّل اسم النموذج وطريقة الوصول والتاريخ والوقت وإعداد اللغة والبلد ومعلومات الإصدار الظاهرة.
- أبلغ الطبقات المفقودة أو غير المتاحة بدلاً من استبدالها بصمت بأمثلة أخرى.
- افتح إصداراً جديداً لسجل الأسئلة عند تغير النطاق ولا تخلط نتائجه بالإصدار القديم.
كيف تدقّق؟
- هل الفئة المستهدفة وغرض القرار من القياس صريحان؟
- هل ثُبتت الأسئلة قبل رؤية النتائج؟
- هل أنشأت الأسئلة السهلة أو المواتية انحياز اختيار؟
- هل تُمثل الهوية والأدلة والحدود والحداثة والأخطاء عالية الأثر بما يكفي؟
- هل سُجلت شروط اللغة والبلد والنموذج والسطح والتاريخ والإصدار؟
- هل عُممت نتيجة من شرط واحد إلى شروط غير مغطاة؟
- هل حُذفت الاختبارات المفقودة أو الفاشلة أو المحجوبة من النتيجة من دون إفصاح؟
الحد
لا يوجد عدد واحد من الأسئلة أو حجم عينة يناسب كل تدقيق GEO. تعتمد الكفاية على أهمية القرار ومعدل الخطأ والتباين المتوقع والدقة المطلوبة والطبقات المراد تغطيتها. ولا تستنتج معلومات إصدار لا يكشفها المزود.
تذكّر في جملة
صمّم الامتحان قبل أن ترى الدرجة.
مصادر هذا السجل
- S38NIST AI 600-1, *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*إرشادات مؤسسية طوعية ذات طابع معياري
- S44NIST، «دليل تطبيق إطار إدارة مخاطر الذكاء الاصطناعي» وAI RMF Coreإرشادات تطبيق طوعية
- S50NIST AI 100-1, *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*إطار مؤسسي طوعي ذو طابع معياري
- S51NIST/SEMATECH, *e-Handbook of Statistical Methods*دليل تقني لجهة رسمية
- S52NIST CSWP 31, *Proxy Validation and Verification for Critical AI Systems: A Proxy Design Process*ورقة بيضاء تقنية لجهة رسمية