التمثيل هو توزيع

حد الفصل

أقرت المادة 1 الحكم التالي:

الاستجابة الواحدة ليست درجة GEO. الاستجابة الواحدة هي ملاحظة فردية حدثت في ظروف مسجلة.

يجيب هذا القسم على السؤال التالي:

إذا لم تكن الاستجابة الواحدة هي درجة GEO، فما هو الشيء الفعلي الذي نريد قياسه؟

الإجابة هي:

تمثيل كيان في الأنظمة التوليدية هو توزيع متعدد الأبعاد يتشكل عبر منتجات الذكاء الاصطناعي والمستخدمين والدول واللغات وظروف الجلسة وصياغات المُدخل والأوقات.

هذا الفصل:

• توزيع التمثيل،
• الأبعاد الأساسية للتوزيع،
• الفرق بين المتوسط والتوزيع
• عدم المساواة بين المجموعات الفرعية،
• الاستقرار،
• مشكلة التغطية والملاحظات المفقودة،
• خطر الأخطاء النادرة والخطيرة،
• الهيكل المفاهيمي لبطاقة النتائج المتاحة للجمهور

يحدد. هذا الفصل لم يتطرق بعد إلى:

• عدد المشاركين الذين سيتم تعيينهم لكل بلد،
• كيفية إنشاء إطار العينة،
• كيفية التحقق من صحة الترجمات السريعة،
• كيفية تقييم الادعاءات الذرية،
• الصيغة الدقيقة للنتيجة النهائية NOMOS،
• عوائد المطابقة

لا يُقرّ هذا الفصل هذه المسائل بشكل معياري؛ تتناول الفصول اللاحقة هذه المسائل بشكل منفصل. قبل تحديد صيغة التقييم، يعرّف الفصل 2 الواقع الذي يُراد للتقييم أن يمثله.

NOMOS التحدي

اعتبر منتجين للذكاء الاصطناعي. كل منهما يحصل على نفس متوسط النقاط العالمي:

90 / 100

نتائج اللغة للمنتج الأول كما يلي:

• الإنجليزية: 90
• التركية: 91
• الألمانية: 89
• اليابانية: 90
• العربية: 90

نتائج اللغة للمنتج الثاني كما يلي:

• الإنجليزية: 99
• التركية: 98
• الألمانية: 97
• اليابانية: 86
• العربية: 70

المتوسط البسيط لكلا المنتجين هو 90. هل لهما نفس جودة GEO؟ لا. المنتج الأول ينتج تمثيلًا مشابهًا بلغات مختلفة. المنتج الثاني ينتج تمثيلًا ممتازًا في بعض اللغات ولكنه ضعيف جدًا في لغة أخرى. يخفي المتوسط الفردي هذا الاختلاف. الآن ضع في اعتبارك منتجين آخرين. 95% من الردود لكلا المنتجين تلبي معايير الاجتياز. يتكون 5% المتبقي في المنتج الأول من:

• نواقص نطاق صغيرة،
• نقص في التوضيح محدود،
• بعض المجهولين

النتائج. يتكون 5% المتبقي في المنتج الثاني من:

• سلطة صحية غير صحيحة.
• رخصة غير موجودة،
• هوية قانونية غير صحيحة،
• نصيحة غير مناسبة

موجودة. معدل الدقة الخام لكليهما مرة أخرى هو 95 بالمئة. هل لهما نفس خطر التمثيل؟ لا. الآن ضع في اعتبارك الزوج الثالث. متوسط كلاهما عبر ثلاث موجات قياس هو 90. الأول:

• الموجة 1: 90
• الموجة 2: 91
• الموجة 3: 89

الثاني:

• الموجة 1: 98
• الموجة 2: 90
• الموجة 3: 82

هل لديهم نفس الاتساق مع مرور الوقت؟ لا. في هذه الحالة، القضية ليست فقط: 'ما هو المتوسط؟' نحتاج أيضًا إلى معرفة ما يلي: كيف يتم توزيع النتائج؟ من هو ممثل تمثيلًا جيدًا، ومن هو ممثل تمثيلًا ضعيفًا؟ أي اللغات والدول متأخرة؟ ما مدى خطورة الأخطاء؟ كم تتغير النتيجة مع مرور الوقت؟ أي المجالات لم تُقاس أبدًا؟ بأي أوزان تم إنشاء المتوسط؟ كم عدد الحقائق المختلفة التي تكمن وراء نفس المتوسط؟ الاستنتاج الأول لهذا القسم هو:

المتوسط نفسه ليس هو التمثيل نفسه.

ينص حكمه الثاني على:

قد يكون درجة GEO ملخصًا للتوزيع؛ لا يمكن أن يحل محل التوزيع.

1. غرض الفصل

يحدد هذا القسم كيفية فهم تمثيل الكيانات في الأنظمة التوليدية قبل اختزاله إلى رقم واحد. الأهداف الرئيسية له هي:

• لإظهار أن التمثيل ليس "وجهة نظر الذكاء الاصطناعي" الثابتة والفريدة
• لتحديد الشروط التي يعتمد عليها ناتج التمثيل
• لتوضيح أن الثنائية صحيحة-خاطئة وحدها غير كافية
• لفصل الدقة المتوسطة عن عدم المساواة بين المجموعات الفرعية
• لإظهار خطر الخطأ الكبير المخفي ضمن المتوسطات العالية
• لإظهار أن الاستقرار والدقة ليسا نفس المفهوم
• لمنع المناطق غير المقاسة من أن تُملأ بالافتراضات الإيجابية ضمن التوزيع
• لتحضير هيكل درجة مستقبلية لـ NOMOS تكون فردية ولكن ليست محكومًا عليها بأن تكون فردية

في نهاية هذا القسم، يجب أن يكون القارئ قادرًا على الإجابة عن السؤال التالي:

لماذا لا يقتصر ناتج GEO لكيان ما على معدل الدقة المتوسط فقط؟

2. الأحكام المعيارية المركزية

تمثيل الكيان في الأنظمة التوليدية هو التوزيع الشرطي للاستجابات ونتائج التمثيل المختلفة التي يمكن أن تحدث تحت شروط محددة.

هذا التوزيع:

• ليس "الفكر" المجرد لنموذج واحد
• ليس هذا الرأي العام لجميع أنظمة الذكاء الاصطناعي،
• ليس فقط معدل تكرار الموقع،
• ليس فقط تكرار ذكر اسم العلامة التجارية،
• ليس فقط الدقة المتوسطة،

ليس فقط معدل التوصية. توزيع التمثيل، ضمن بروتوكول معين، يظهر ما يلي:

أي مستخدم يرى أي نوع من التمثيل على أي منتج ذكاء اصطناعي و واجهة المستخدم، بأي لغة، في أي بلد، باستخدام أي مُدخل، تحت أي شرط جلسة، وفي أي وقت.

لذلك، فإن نتيجة التوزيع تعتمد دائمًا على الأسئلة التالية: أي كيان؟ أي منتج ذكاء اصطناعي؟ أي واجهة المستخدم؟ أي فئة مستهدفة؟ أي بلد؟ أي لغة وموقع؟ أي مُدخل؟ أي شرط جلسة؟ أي موجة قياس؟ أي حزمة حقائق؟ أي قاعدة تقييم؟ عندما يتغير أي من هذه الحقول، قد تتغير التوزيعات أيضًا.

3. ماذا يعني كلمة "توزيع"؟

في هذا الكتاب، لا تشير كلمة التوزيع إلى وجهة نظر خفية أو ميتافيزيقية يُفترض أنها موجودة داخل نظام الذكاء الاصطناعي. كما أنها لا تدعي: NOMOS: "هذا هو التوزيع الحقيقي للشركة في ذهن النموذج." التوزيع هنا عملي وقابل للملاحظة.

إنه نمط النتائج المختلفة للتمثيل التي يمكن الحصول عليها تحت بروتوكول محدد داخل المجتمع المستهدف وضمن ظروف القياس.

يجب تمييز بين توزيعين.

3.1. توزيع التمثيل المستهدف

إنه التوزيع الذي يحاول القياس التنبؤ به لكنه لا يمكن ملاحظته بالكامل بشكل مباشر. يتم تمثيله كالتالي:

P_E(Y | A, C, L, S, P, T, U)

هنا:

• E: الكيان الذي تم تدقيقه
• Y: نتيجة التمثيل
• الإجابة: منتج الذكاء الاصطناعي واجهة المستخدم
• C: البلد أو الحالة الجغرافية
• L: اللغة والموقع
• S: حالة الجلسة والتخصيص الشخصي
• P: الإدخال
• T: موجة الزمن أو القياس
• U: كون المستخدم المستهدف

يطرح هذا التعبير السؤال: "في كون المستخدم المستهدف المحدد، تحت الظروف المحددة، ما هي النتائج التمثيلية التي تحدث مع أي احتمالات؟" لا يمكن قياس جميع عناصر التوزيع المستهدف. يتم تقديرها من خلال أخذ العينات.

3.2. التوزيع التجريبي المشاهد

إنه توزيع الملاحظات الصالحة التي تم الحصول عليها في القياس الفعلي أو الاصطناعي. تمثيله:

P̂_E

يمكن استخدامه. التوزيع التجريبي ليس هو التوزيع الهدف نفسه. إنه تقدير يتم إنتاجه من خلال عينه، والوزن، وتصميم القياس. قد يعتمد حجم الفرق على:

• تصميم العينة
• اختيار المشاركين
• تغطية الدولة واللغة
• معدل الملاحظات غير الصالحة
• عدم الاستجابة
• خطأ المقيم
• موجة القياس
• اختيار صياغة المُدخل
• ظروف المنتج والواجهة
• الوزن
• التجميع والاعتماد

لذلك، لا يمكن نشر التوزيع التجريبي كـ "الحقيقة المطلقة والثابتة للذكاء الاصطناعي." التعبير الصحيح يجب أن يكون: "التقدير الذي تم الحصول عليه للسكان المستهدفين المحددين وظروف القياس المحددة."

4. فضاء التمثيل

تمثيل الكيان لا يحدث في بعد واحد فقط. كل ملاحظة توجد في فضاء متعدد الأبعاد للظروف. التمثيل الأساسي:

X_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i)

هنا:

• Ei: الكيان
• الذكاء الاصطناعي: منتج الذكاء الاصطناعي واجهة المستخدم
• Ui: المستخدم أو وحدة العينة
• Ci: الدولة والطبقة الجغرافية
• Li: اللغة والإعداد الإقليمي
• Si: الحالة، الخطة، وحالة التخصيص
• Pi: المُدخل أو عائلة المُدخلات
• Ti: الوقت وموجة القياس

الاستجابة المولدة:

R_i

يمكن عرضها. الحالة التمثيلية الناتجة عن تقييم الاستجابة هي:

Y_i= g(R_i, V_E, J)

ويمكن اعتبارها كذلك. هنا:

• VE: تم استخدام حزمة الحقيقة المُوثَّقة للكيان
• J: قواعد التقييم والتحكيم
• g: عملية التقييم التي تحول الاستجابة إلى نتائج تمثيلية

معنى هذا التمثيل هو كما يلي: لا يمكن تقييم الاستجابة بمفردها دون الإشارة إلى أي كيان، أي حزمة حقائق، وأي قاعدة تقييم تم فحصها وفقًا لها.

5. النتيجة الممثلة ليست قيمة واحدة

فقط الاستجابة بالكامل:

• أن يُجبر على الانتماء إلى فئات صحيح،
• هي خاطئة

تقديم تصنيف غالبًا ما يكون غير كافٍ. يمكن أن تحدث الحالات التالية معًا في نفس الاستجابة:

• الهوية الصحيحة
• الفئة الرئيسية الصحيحة
• تغطية الخدمة غير مكتملة
• عدد الموظفين قديم
• ادعاء القيادة غير مدعوم
• الاقتباس الصحيح
• توصية غير مناسبة
• نقص غير حرج في الحدود

لذلك، يمكن اعتبار نتيجة التمثيل كموجه نتيجة. التمثيل المحتمل:

Y_i= (y_i^id, y_i^cat, y_i^fact, y_i^scope, y_i^time, y_i^evidence, y_i^recommendation, y_i^harm)

هنا:

• yiid: دقة الهوية
• yicat: دقة الفئة والدور
• yifact: دقة الأمور الواقعية
• yiscope: الحفاظ على النطاق والحدود
• yitime: الصلاحية الزمنية
• yievidence: التوافق بين الادعاء والدليل
• yirecommendation: التوصية ومدى ملاءمتها للمستخدم
• yiharm: فئة الضرر الناتج عن الخطأ أو التوجيه الخاطئ

ستُحدد قواعد التسجيل الدقيقة لهذه المجالات في الأقسام التالية. المبدأ الإرشادي هنا هو:

يجب تقييم الإجابة النموذجية ليس فقط بناءً على ما إذا كانت تحتوي على معلومات صحيحة، بل أيضًا بناءً على لمن، وماذا، وفي أي حدود، وبأي دليل، ولمن يتم توصيلها بشكل مناسب.

6. حالات التمثيل الأساسية

قد لا يكون وضع كل ادعاء ذري والاستجابة النهائية نفسه. يفصل هذا القسم مفهوميًا الحالات الأساسية التالية.

6.1. مدعوم

يتم دعم الادعاء بأدلة كافية ضمن النطاق والوقت المحددين.

6.2. متناقض

يدخل الادعاء في صراع مع السجلات الموثوقة والملائمة.

6.3. غير مدعوم

لا يوجد دعم كافٍ للادعاء. لم يثبت أن الادعاء بالضرورة خطأ. ومع ذلك، لا توجد سجلات كافية لقبوله على أنه صحيح.

6.4. قديم - لم يعد صالحًا

قد يكون الادعاء صحيحًا في الماضي. اعتبارًا من تاريخ القياس، لم يعد صالحًا أو لا يمكن التحقق من دقته الحالية.

6.5. مدعوم جزئيًا — مدعوم جزئيًا

تم دعم نطاق محدد فقط، أو السكان، أو الدولة، أو المنتج، أو وقت الادعاء. قد يكون الرد قد تجاوز حد الدعم.

6.6. خارج النطاق — خارج النطاق

الادعاء غير مرتبط بالكيان الذي تم تدقيقه أو بحزمة الحقيقة. قد تكون قد نُقلت من كيان آخر، منتج، دولة، أو خدمة.

6.7. خلط الكيانات — دمج الكيانات

النظام:

• شركتان مختلفتان،
• العلامة التجارية والكيان القانوني،
• شخص والمؤسسة،
• الكيان القديم والجديد،
• قد خلط بين منظمات مختلفة تحمل نفس الاسم

مع بعضها البعض. هذا الخطأ ليس مجرد خطأ واقعي. إنه فساد في كائن التمثيل.

6.8. حَذْفُ الْمَوَاد — مَعْلُومَات مَفْقُودَة

قد تكون الجمل في الرد صحيحة. ومع ذلك، تم حذف معلومات أساسية من شأنها تغيير قرار المستخدم. مثال: الخدمة متاحة فقط في بعض الدول. الرخصة محدودة في سلطة قضائية معينة. السعر لا يشمل الضريبة. النتيجة مبنية على بيانات الطرف الأول. المنتج غير مناسب لبعض المستخدمين. الحذف يمكن أن يخلق استنتاجًا خاطئًا حتى لو لم تكن هناك جملة خاطئة مباشرة.

6.9. رَفْض — تَرْفِيض

النظام رفض الرد. الرفض:

• مناسب,
• غير ضروري,
• غير متسق,
• مبني على الأمن,
• تقني

قد يحدث. Ret لا يُعتبر تلقائيًا فاشلًا أو ناجحًا. يتم تصنيفه بشكل منفصل.

6.10. لا توجد نتيجة

النظام لم ينتج استجابة قابلة للاستخدام لأسباب تقنية أو تشغيلية. ليس هو نفس Ret.

6.11. مجهول

السجلات المتاحة غير كافية لتصنيف موثوق. لا يمكن تحويل المجهول إلى نتيجة إيجابية.

7. الخصائص الرئيسية للتوزيع

لا يمكن تفسير توزيع تمثيلي بناءً على المتوسط فقط. على الأقل، يجب تقييم الخصائص التالية.

7.1. الاتجاه المركزي

يلخص الدقة العامة أو مستوى التحول في الاستجابات. أمثلة على المقاييس:

• المتوسط
• المتوسط المرجح
• الوسيط
• معدل النجاح

الاتجاه المركزي مهم. ومع ذلك، فهو يظهر فقط مركز التوزيع.

7.2. الانتشار والتباين

يشير إلى مدى انتشار النتائج حول المركز. من بين نظامين لهما نفس المتوسط، قد يكون أحدهما ثابتًا بين المستخدمين، بينما الآخر قد يكون متغيرًا بدرجة كبيرة. التباين:

• المستخدمين،
• الدول،
• اللغات،
• الجلسات،
• موجات القياس

يمكن أيضًا فحصها بينهم.

7.3. شكل التوزيع

هل النتائج متجمعة حول نقطة مركزية واحدة؟ أم أنها مقسمة إلى مجموعتين أو أكثر؟ على سبيل المثال:

• إذا رأى نصف المستخدمين دقة عالية جدًا،
• ورأى النصف الآخر دقة منخفضة جدًا

قد يكون المتوسط ​​متوسطًا. ومع ذلك، فإن تجربة المستخدم النموذجية ليست "دقة متوسطة". إنها تجربتان منفصلتان ومتطرفتان.

7.4. اختلافات الفئات الفرعية

هل ترى مجموعات لغوية أو دولة أو مستخدم معينة نتائج مختلفة بشكل منتظم؟ قد يخفي المتوسط ​​العالمي هذا الاختلاف.

7.5. مخاطر الذيل

هل هناك أخطاء نادرة التردد لكنها شديدة؟ يمكن أن يكون للأحداث النادرة تأثير صغير على المتوسط. يمكن أن يكون تأثيرها على الضرر البشري كبيرًا.

7.6. التغطية

كم من كون المستخدمين الهدف تم قياسه فعليًا؟ يمكن العثور على درجة عالية مع تغطية منخفضة.

7.7. الكتلة المفقودة والمجهولة

ما هي نسبة الاستجابات التي هي:

غير معروف،

لم يتم اختبارها،

رفض، عدم استجابة فنية أو سجل غير صالح؟

7.8. استقرار الزمن

إلى أي مدى يتم الحفاظ على التوزيع عبر موجات القياس المختلفة؟

8. توقيع توزيع ممثل للمرشح NOMOS

مفهوم المرشح

يوصى بأن يتم تحديد نتيجة GEO أولاً بواسطة توقيع التوزيع التالي بدلاً من رقم واحد:

RDS(E) = (μ, κ, σ, Δ, τ, ρ, u)

يُسمى هذا التمثيل توقيع توزيع التمثيل، أي:

توقيع توزيع التمثيل

المكونات:

μ — مستوى التمثيل العام

الدقة الإجمالية أو التنبؤ بالانتقال وفقًا للأوزان والنطاق المحدد.

κ — التغطية

المدى الذي يتم فيه قياس المستخدم المستهدف والبلد واللغة ومنتج الذكاء الاصطناعي وفترة الزمن بشكل كافٍ.

σ — التغير

انتشار بين المستخدمين والخلايا التجريبية.

Δ — عدم المساواة بين المجموعات الفرعية

الفرق المادي بين اللغة أو البلد أو المنتج أو المجموعات المهمة الأخرى.

'تاو — الذيل ومخاطر الخطأ الحرج

معدل وطبيعة الأخطاء النادرة والشديدة.

ρ — الاستقرار الزمني

مرونة التوزيع عبر الموجات.

u — كتلة مجهولة وغير محلولة

غير معروف هو الجزء من التوزيع الذي يظل دون حل أو لم يتم تقييمه بشكل كافٍ. هذه الإشارة ليست بعد صيغة تقييم نهائية. العناصر التالية تحتاج إلى تطوير إضافي:

• تعريف محدد،
• تقدير،
• وزن،
• العرض العام

سيتم الانتهاء منها من خلال الدراسات التجريبية والفصول اللاحقة. المبدء الأساسي هو:

يجب أن يجيب ناتج GEO ليس فقط على سؤال 'ما مدى الدقة؟' بل أيضًا 'لمن، ما مدى التناسق، ما مدى العدالة، ما مدى الشمولية، وما مدى المخاطرة؟'

9. الغسيل المتوسط

إذا كان المؤسَّسة تُظهِر فقط متوسطًا عالميًا مرتفعًا وتُخفي العيوب الجوهرية للتوزيع، يُسمَّى هذا:

غسل المتوسط

يمكن أن يحدث غسل المتوسط بالطرق التالية:

• إخفاء أضعف لغة
• استبعاد الدول الصغيرة من التقرير
• خلط الأخطاء الحرجة في معدل الخطأ العام
• إزالة نتائج غير المعروفة من المقام
• شمل منتجات الذكاء الاصطناعي ذات الأداء الجيد فقط
• استبعاد موجة القياس الضعيفة
• جعل السكان خارج النطاق غير مرئيين
• تغيير الأوزان بعد رؤية النتائج

يمكن حساب المتوسط رياضيًا بشكل صحيح. ومع ذلك، فإن التمثيل الذي يقدمه للجمهور قد يظل مضللًا. لذلك:

الحساب الرياضي الصحيح للمتوسط لا يعني أنه كافٍ لاتخاذ القرار.

10. واقع مختلف لنفس المتوسط

يمكن أن يكون المتوسط 90 في كل التوزيعات التركيبية التالية.

10.1. توزيع متجانس

جميع المجموعات الفرعية الرئيسية تقع في نطاق 88–92. هذا التوزيع متوازن نسبيًا.

10.2. توزيع مستقطب

يرى نصف المستخدمين نتائج قريبة من 100، بينما يرى النصف الآخر نتائج قريبة من 80. المتوسط هو 90. ومع ذلك، تجربة المستخدم ليست متساوية.

10.3. توزيع مجزأ لغويًا

النتائج جيدة جدًا للغات ذات كثافة سكانية عالية أو موارد كبيرة، لكنها ضعيفة بشكل ملحوظ للغات ذات الموارد القليلة. قد يبدو المتوسط العالمي جيدًا. العدالة اللغوية ضعيفة.

10.4. توزيع مجزأ قائم على الدول

حتى داخل نفس اللغة، قد تختلف النتائج بسبب اختلاف الدول، أو المناطق، أو الوصول إلى المنتجات، أو قاعدة المستخدمين.

10.5. توزيع متقلب زمنيًا

تحدث نتائج مرتفعة جدًا في موجة واحدة، ونتائج منخفضة جدًا في موجة أخرى. حتى لو كان المتوسط مرتفعًا، من الصعب تحديد توقعات موثوقة للمستخدم.

10.6. التوزيع مع مخاطر الذيل

معظم الإجابات صحيحة. ومع ذلك، تحتوي نسبة صغيرة منها على أخطاء صحية أو قانونية أو ترخيصية أو تتعلق بالسلامة.

10.7. توزيع كتلة عالية غير معروفة

معظم الإجابات التي يمكن تقييمها صحيحة. ومع ذلك، فإن جزءًا كبيرًا من السكان المستهدفين أو الإجابات هو:

• مُختبر،
• غير مُختبر،

مجهول

أو غير حاسم. قد يؤدي نشر معدل مرتفع بناءً فقط على الإجابات القابلة للتقييم إلى إخفاء النطاق.

11. تفاوت المجموعات الفرعية

قد لا يمثل المجموع العام التجربة في المجموعات الفرعية. قد تشمل المجموعات الفرعية الرئيسية ما يلي:

• منتج الذكاء الاصطناعي و واجهة المستخدم
• البلد
• اللغة
• الموقع
• الخطة
• الويب أو الجوال
• لوحة مُتحكم بها أو طبيعية
• موجة زمنية
• نية المستخدم
• عائلة الجهاز

قد لا تكون كل هذه المجموعات بنفس الأهمية في كل تدقيق. يجب تحديد المجموعات المادية عند تثبيت النطاق.

11.1. اللغة ليست هي نفسها البلد

متحدثون بالتركية:

• المستخدم في تركيا,
• المستخدم في ألمانيا،
• المستخدم في بلد آخر

يمكنهم استخدام نفس اللغة. ومع ذلك:

• الوصول إلى المنتج،
• السعر،
• الموارد،
• الواجهة المحلية،
• السياق القانوني،
• التخصيص

قد تكون مختلفة. لذلك، لا يمكن شرح جميع الاختلافات بالاعتماد على اللغة أو البلد وحدهما.

11.2. الخلايا المشتركة

تظهر بعض الاختلافات المادية فقط عند فحص مناطق متعددة معًا. المثال: ألمانيا × التركية × الهاتف المحمول × الخطة المجانية × عينة المستخدمين في ظروف الاستخدام الطبيعية قد يكون في حد ذاته خلية تجريبية. ومع ذلك، مع تزايد عدد الخلايا، ينخفض حجم العينة. لذلك، لا يمكن نشر نتيجة حاسمة لكل خلية صغيرة. تصميم القياس: يجب أن يحافظ على المجموعات الفرعية ذات المعنى ولا يجب أن ينتج دقة إحصائية زائفة.

11.3. قاعدة المجموعة الفرعية

مفهوم المرشح

بالإضافة إلى المتوسط العالمي، يُوصى بالإبلاغ عن نتيجة أضعف مجموعة فرعية تم أخذ عينات كافية لها أو أدنى مجموعة 10% بشكل منفصل. يمكن الإشارة إلى ذلك باسم:

قاعدة التمثيل

أو:

الحد الأدنى للغة/الدولة

ومع ذلك، إذا جاء "أدنى درجة" من خلية صغيرة وغير مستقرة، فقد ينتج نتائج غير صحيحة. لذلك، يجب تعريف المقياس الأساسي مع:

• الحد الأدنى للعينة،
• فاصل الثقة،
• جودة الخلية

سيتم تحديد القاعدة الدقيقة في الأقسام التالية.

12. إنه جزء من توزيع النطاق

يتكون التوزيع ليس فقط من الاستجابات المرصودة. ما لم يُرصد أيضًا يحدد معنى النتيجة. على سبيل المثال، تم اختبار الإنجليزية والتركية؛ لم يتم اختبار اليابانية والعربية. تم اختبار واجهة الويب؛ لم يتم اختبار واجهة الهاتف المحمول والخطة المدفوعة. نتائج الإنجليزية والتركية القوية لا تبرر البيان: «التمثيل قوي عبر جميع اللغات والواجهات المستخدمين». الاستنتاج المبرر هو: «تم إجراء القياسات على الواجهات المحددة للويب باللغتين الإنجليزية والتركية. لم يتم اختبار اللغات والواجهات الأخرى للهواتف المحمولة.»

12.1. خريطة التغطية

ينبغي أن تحمل كل توزيعة GEO الخريطة التالية بقدر صلتها:

• الكون المستهدف
• إطار العينة
• الدول المغطاة
• الدول غير المغطاة
• اللغات المغطاة
• اللغات غير المغطاة
• منتجات الذكاء الاصطناعي الخاضعة للمراقبة
• المنتجات غير الخاضعة للمراقبة
• الواجهات المستخدمين الخاضعة للمراقبة
• الواجهات غير الخاضعة للمراقبة
• موجات القياس
• عائلات صياغات المُدخل خارج النطاق

12.2. معدل التغطية

مفهوم المرشح

يمكن تطوير مقياس للتغطية لإظهار النسبة المئوية من الكون المستهدف الممثل بقياس كافٍ. ومع ذلك، فإن التغطية:

• فقط عدد الدول
• فقط عدد اللغات،
• فقط نسبة السكان

لا يمكن قياسها. على سبيل المثال، قد يتم تغطية دول 150. ومع ذلك، قد يكون 95% من المشاركين قد جاءوا من خمس دول فقط. أو قد يتم تغطية 90% من السكان، لكن اللغات الصغيرة قد تُستثنى تمامًا. لذلك، يجب عرض تغطية السكان بشكل منفصل عن تغطية المراقب للدولة/اللغة.

13. الملاحظة المفقودة وعدم الاستجابة

البيانات المفقودة ليست مجرد مشكلة تقنية. يمكن أن يتم تشويه توزيعها بشكل منهجي. الأسباب التي قد تجعل الملاحظة مفقودة قد تشمل:

• فشل المشارك في إكمال المهمة
• المنتج غير متاح في البلد
• قيود الحوسبة
• خطأ تقني
• رفض النظام
• لقطة شاشة غير صالحة
• المشارك يغير مطالبه
• المنتج لا يعمل بلغة معينة
• عدم قدرة المحكمين على اتخاذ قرارات موثوقة

كل سبب من هذه الأسباب يتطلب حالة منفصلة.

13.1. قد لا تكون البيانات المفقودة عشوائية

على سبيل المثال، إذا لم يكن من الممكن إكمال المزيد من المهام في البلدان ذات جودة الاتصال المنخفضة، فإن استخدام التسجيلات الناجحة فقط يمكن أن يحوّل النتيجة العالمية لصالح المستخدمين الأثرياء ذوي الاتصال القوي. إذا ارتفع معدل UNKNOWN بسبب صعوبة تقييم الإجابات بلغة معينة، فقد تخفي الدرجة المحسوبة من الإجابات المعروفة فقط عدم المساواة بين اللغات. لذلك:

يجب أن يكون معدل البيانات المفقودة وتقرير توزيع سبب فقدان البيانات جزءًا من التقرير.

13.2. المقام — سلامة المقام

يجب أن يجيب التقرير على السؤال بوضوح: "90 في المائة من ماذا بالضبط هو 90 في المائة؟" المقامات الممكنة:

• المشاركون المعينون
• مبادرون بالمهام
• المكملون للمهام
• السجلات المتوافقة مع البروتوكول
• نتائج النظام الصالحة
• الاستجابات مع قرارات الحكم
• خانة اللغة أو الدولة المحددة

يجب عدم تغيير المقام بعد رؤية النتيجة. على سبيل المثال:

• المهام المعينة لـ 1,000,
• المهام المكتملة لـ 900,
• المهام الصالحة لـ 800,
• المهام الناجحة لـ 720

هكذا:

720/800=90%

هذا هو معدل النجاح بين السجلات الصالحة. أما معدل النجاح الملاحظ عبر العينة المعينة بأكملها فهو:

720/1000=72%

يجيب على سؤال مختلف. يمكن استخدام كلا المعدلين. لا يمكن تقديمهما بنفس المعنى.

14. الدقة والاتساق ليستا نفس الشيء

قد يكون لتوزيع ما دقة عالية. ومع ذلك، قد يكون غير متسق مع الزمن أو بين المستخدمين. قد يكون لتوزيع آخر دقة منخفضة. ومع ذلك، قد يكون دائمًا خاطئًا. لذلك، يجب التمييز بين أربعة حالات.

كونه "متسقًا" ليس بالضرورة أمرًا إيجابيًا تلقائيًا. قد يكون النظام متسقًا إلى حد كبير إذا أعطى نفس الخطأ لكل مستخدم.

14.1. التناسق بين المستخدمين

هل يرى المستخدمون المختلفون تمثيلًا مشابهًا للمواد في نفس الخلية؟

14.2. التناسق بين الجلسات

هل يرى نفس المستخدم أو المستخدم المطابق نتائج مشابهة في جلسات جديدة؟

14.3. التناسق بين الموجات

هل ينتج نفس البروتوكول توزيعًا مشابهًا في أيام أو فترات مختلفة؟

14.4. اتساق ما بعد تحديث المنتج

عندما يحدث تغيير جوهري في منتج الذكاء الاصطناعي، هل يستمر التوزيع السابق؟

15. إنتاج نفس الجملة ليس استقرارًا

الاستقرار: لا يعني "تقديم نفس الإجابة لكل مستخدم كلمة بكلمة." يمكن لمنتج الذكاء الاصطناعي استخدام تعابير وترتيب وأمثلة مختلفة. طالما أنها تحافظ على المعنى الجوهري، يمكن أن تكون أشكالًا مقبولة. التمييز المهم هو:

التنوع الرسمي

اختيار الكلمات ترتيب الجملة الطول النبرة المثال استخدام قائمة أو فقرة إذا تم الحفاظ على الحقيقة الجوهرية، قد لا يكون خطأ.

التنوع الدلالي

تغيير هوية الشركة تمييز الفئة الرئيسية توسع أو تقلص مجال النشاط تغيير الترخيص أو الكفاءة تغيير السعر والجغرافيا التوصية لمستخدم واحد دون التوصية لمستخدم مشابه بدون شرح إذا تغير التمثيل المادي، قد تكون هناك مشكلة في الاستقرار. لذلك، المفهوم المفضل هو:

الاستقرار الدلالي المشروط

يجب أن يكون كذلك. من المتوقع الحفاظ على الواقع الأساسي في ظروف مادية مكافئة. قد يكون التغيير في التوصية بسبب احتياجات المستخدم المختلفة سلوك سياقي مناسب.

16. حساسية السياق والتغير التعسفي

ليس من الصحيح دائمًا أن يقدم النظام نفس التوصية لجميع المستخدمين. على سبيل المثال:

• المستخدمون ذوو الميزانية المحدودة
• فقط المستخدمون الذين يبحثون عن خدمات في دولة معينة
• المستخدمون الذين يحتاجون إلى رخصة مختلفة
• المستخدمون الباحثون عن خدمات فردية بدلًا من خدمات الشركات

يمكن أن يحصل على نتائج مطابقة مختلفة لنفس الكيان. هذا الاختلاف:

• قد يكون بسبب حالة المستخدم,
• نطاق الخدمة
• أو الحد الفعلي

وقد يكون حساسًا للسياق ودقيقًا. ومع ذلك، إذا تغيرت النتيجة بدون سبب في ظروف مستخدم متكافئة، فقد يكون ذلك تباينًا تعسفيًا. لذلك، لا تريد NOMOS: "نفس الإجابة لجميع المستخدمين." إنها تريد:

ردًا يكون متسقًا وقابلًا للتفسير في ظروف مادية متكافئة وحساسًا للحدود الفعلية في ظروف مختلفة.

17. الوقت ضمن توزيع التمثيل

توزيع التمثيل ليس بلا زمن. يمكن التفكير فيه كـ PE,t. توزيع نفس الكيان:

• تحديث المنتج،
• تغيير الموارد،
• تغيير الشركة،
• حدث إخباري،
• نسخة لغة جديدة،
• تغيير الوصول التقني

يمكن أن تتباين فيما بعد.

17.1. تغيير مفاجئ

بعد تحديث منتج أو مورد، تتغير التوزيعات بسرعة في وقت قصير.

17.2. تغيير تدريجي

بسبب الموارد الجديدة وسلوكيات المستخدمين، تتغير النتيجة تدريجياً مع مرور الوقت.

17.3. تقلب مؤقت

خلال حدث محدد أو فترة أخبار، تختلف التوزيعات مؤقتاً.

17.4. تغيير بعد التدخل

بعد تدخل GEO، قد يتغير التوزيع. ومع ذلك، فإن الادعاء بأن التغيير ناتج عن التدخل يتطلب أيضًا خط أساس وتصميم السببية.

17.5. التنعيم باستخدام المتوسط الزمني

لمنتج:

• في الموجة الأولى 98,
• في الموجة الثانية 90,
• في الموجة الثالثة 82

إذا تم احتسابه، يكون المتوسط 90. ومع ذلك، فإن نشر 90 يخفي الاتجاه الهبوطي. لذلك:

لا يمكن لمتوسط الوقت أن يحل محل نتائج الموجة.

18. مخاطر الذيل وتوزيع الأخطاء الكبيرة

قد يكون جزء كبير من التوزيع صحيحًا. ومع ذلك، يجب أيضًا تقييم الأخطاء الكبيرة المنخفضة الاحتمالية. أمثلة:

• رخصة صحية غير موجودة فعليًا
• إرشادات الطوارئ غير الصحيحة
• السلطة القانونية غير الصحيحة
• ضمان استثمار زائف
• هوية شركة غير صحيحة
• نصيحة غير مناسبة للأطفال أو الفئات الضعيفة
• تكرار التعليمات التلاعبية المخفية عن الناس

في البنية السابقة:

• حرج,
• كبير,
• متوسط,
• استشاري

تم تصنيفها إلى أربعة مستويات من الأهمية، وتم اقتراح أن النتائج الحرجة يجب أن يكون لها تأثير فشل تلقائي. يربط هذا الكتاب هذا النظام بتوزيع السكان.

18.1. فصل التكرار والشدة

خطأ:

• متكرر لكنه منخفض التأثير،
• نادراً لكنه شديد

قد يحدث. ومع ذلك، لا يمكن لمعدل التكرار وحده تقييم الحالتين بالتساوي.

18.2. تمثيل المخاطر المرجح بالشدة للمرشحين

مفهوم المرشح

يمكن تطوير مؤشر المخاطر باستخدام معاملات الشدة لفئات الأخطاء:

tau= Σ_{k=1}^K λ_k p_k

هنا:

• pk: معدل الخطأ المتوقع من النوع
• λk: معامل شدة نوع الخطأ

ومع ذلك، لا يمكن تحديد المعاملات بشكل عشوائي. يجب أن تستند إلى:

• الضرر البشري المتوقع
• سلامة التمثيل
• تأثيره على قرار المستخدم
• القابلية للإرجاع
• النية والتلاعب
• منطقة عالية المخاطر

سيتم تحديد الطريقة الدقيقة في القسم 15.

18.3. البوابة الحرجة

لا يمكن لمعدل عام مرتفع أن يحذف تلقائياً مرشح خطأ حرج تم التحقق منه. يجب أن يظهر السجل العام الصحيح كلا النتيجتين معاً: "تقدير التمثيل العام مرتفع." و: "الحدث الحرج المحدد أو الأحداث تؤثر أيضاً على قرار المطابقة."

19. الرفض والفشل في التوزيع

النظام غير المستجيب هو أيضًا جزء من تجربة المستخدم. ومع ذلك، ليست جميع حالات الرفض متشابهة.

19.1. الرفض المناسب

قد يمارس النظام الحذر عندما تكون الأدلة غير كافية أو عندما لا يستطيع تقديم استجابة آمنة. ويمكن أن يكون هذا التصرف السليم في بعض السياقات.

19.2. الرفض غير الضروري

قد يتجنب بشكل غير متسق الرد على المعلومات المتاحة علنًا والمنخفضة المخاطر.

19.3. عدم الاستجابة الفني

قد لا ينتج النظام استجابة بسبب خطأ فني.

19.4. رفض خارج النطاق

قد يكون الطلب غير صحيح أو خارج بروتوكول المهمة.

19.5. الاحتفاظ بالرفض في التوزيعات

الرفض:

• نجاح،
• فشل،

مجهول

لا ينبغي إجبارهم على الانتماء إلى فئة واحدة. يجب تقييم وظيفتهم ومبرراتهم. قد يؤدي إزالة الرفض من المقام إلى تحقيق معدل دقة عالٍ فقط بين الاستجابات الناجحة وإخفاء تجربة المستخدم الحقيقية.

20. كيف يمكن مقارنة التوزيعات؟

إن مقارنة أرقام النتائج ببساطة غير كافية لمقارنة توزيع منتجين للذكاء الاصطناعي. لكي تكون المقارنة عادلة، يجب أن تكون المجالات التالية متساوية قدر الإمكان أو مُدرجة في النموذج بشكل صريح:

• الكيان الذي تم تدقيقه
• السكان المستهدفون
• نسخة المُدخل
• اللغات
• الدول
• موجة القياس
• حالة الجلسة
• واجهة المستخدم
• توزيع الخطة
• قاعدة التحكيم
• حزمة الواقع
• قواعد الصلاحية
• الأوزان

لا يمكن استخدام نتيجتين تم الحصول عليهما باستخدام بروتوكولات مختلفة جوهريًا مباشرة في التصنيف.

20.1. مقارنة على أساس مشترك

جميع منتجات الذكاء الاصطناعي المقارنة:

• متاحة رسميًا,
• تدعم نفس اللغة وظروف المستخدم

يمكن مقارنتها في بيئة مشتركة. هذا يوفر مقارنة أنظف بين الأنظمة.

20.2. توزيع الوصول الطبيعي

يمكن قياس كل منتج ذكاء اصطناعي في عالم الوصول الفعلي لمستخدميه. تُظهر هذه النتيجة التأثير العالمي الفعلي للمنتج. ومع ذلك، نظرًا لأن الفئات المستهدفة قد تختلف، يجب توخي الحذر عند تصنيف الأداء مباشرة.

20.3. واجهات مختلفة لنفس المزود

يمكن للمنتجات على الويب، أو الهاتف المحمول، أو المنتجات المؤسسية، أو الخطط المختلفة، حتى لو كانت تابعة لنفس المزود، أن تخلق توزيعات منفصلة. إذا كان من المقرر دمجها تحت نتيجة واحدة، يجب توضيح طريقة الدمج والتوزين.

21. التوزين يغير معنى التوزيع

يعتمد المتوسط العالمي على الوزن الذي يتم به دمج الملاحظات. الأوزان الممكنة:

• متساوية حسب الدولة
• حسب عدد سكان الدولة
• عدد مستخدمي الذكاء الاصطناعي المناسب
• مستخدم اللغة
• التعرض الفعلي للمنتج
• منتج الذكاء الاصطناعي المتساوي
• حصة السوق
• السوق المستهدف للعملاء

كل طريقة تجيب على سؤال مختلف.

21.1. وزن الدولة المتساوي

يمكن أن تحصل سان مارينو والهند على نفس الوزن. يمكن أن تعالج هذه الطريقة سؤال 'تجربة الدولة المتوسطة.' لا تمثل متوسط تجربة المستخدم في سكان العالم.

21.2. وزن السكان

الدول الأكبر لها تأثير أكبر. يمكن لهذا النهج أن يقترب من تجربة السكان العالمية. قد يجعل الدول واللغات الصغيرة غير مرئية.

21.3. وزن العدالة اللغوية

يمكنه أيضًا ضمان بقاء اللغات منخفضة الموارد مرئية. ليس هو نفسه درجة السكان العالمية.

21.4. وزن تعرض المنتج

يمكن النظر في وزن منتجات الذكاء الاصطناعي وفقًا للتعرض الفعلي للمستخدمين. يتطلب ذلك بيانات استخدام موثوقة ومستقلة.

21.5. مبدأ الوزن المعياري

يجب تحديد الأوزان قبل رؤية النتائج، والإفصاح عنها علنًا، وتحديد السؤال الذي تجيب عنه.

يُحظر اختيار نظام تحكيم يزيد النتيجة الإيجابية بعد رؤية النتيجة. بالإضافة إلى نتيجة عالمية واحدة، يمكن أيضًا نشر نتائج موزونة بديلة ذات معنى.

22. توزيع الدرجات هو ضغط فقدي

من الممكن إنتاج رقم واحد من التوزيع. ومع ذلك، فإن رقمًا واحدًا لا يحمل كل المعلومات في التوزيع. لذلك، فإن النتيجة:

هي ملخص فقدي للتوزيع

يجب قبوله. قد تفقد النتيجة المعلومات التالية:

• أضعف لغة
• أضعف دولة
• نوع الخطأ الحرج
• الكتلة غير المعروفة
• تغير الوقت
• الاستقطاب
• اختلاف المنتج والخطة
• السكان خارج النطاق
• توزيع الرفض
• غموض الحكم

النقاط مفيدة لأنها:

• تسهل المقارنة،
• تبسط التواصل العام،
• تمكن من متابعة التغيير،

تدعم القرار الإداري. ومع ذلك، لا يمكن لبساطة النقاط أن تتحول إلى إزالة التوزيع.

23. بطاقة الحد الأدنى من النتائج العامة

متطلبات المرشح — التزام المرشح

إذا كان من المقرر عرض نتيجة عالمية NOMOS للجمهور، فمن المستحسن عرض النتائج التالية على الأقل معها:

يجب عدم استخدام النتيجة الرئيسية كعلامة إعلانية مستقلة. يجب ربط السجل الأساسي بهذه بطاقة النتائج.

24. التوزيع الاصطناعي APPLE.COM

عرض المنهجية الاصطناعية / منتجات الذكاء الاصطناعي، والمستخدمين، واللغات، والأرقام، والنتائج أدناه كلها خيالية تمامًا. إنها لا تمثل الأداء الفعلي لشركة أبل أو أي منتج ذكاء اصطناعي حقيقي. دعونا نعتبر منتجين اصطناعيين للذكاء الاصطناعي:

• المنتج أ
• المنتج ب

لكل منتج:

• خمس لغات،
• 200 ملاحظات اصطناعية صالحة لكل لغة،
• مجموع 1,000 ملاحظة مفترض.

يتم افتراض توزيع متساوٍ للغات فقط لتوضيح الطريقة. إنه لا يمثل الوزن السكاني الفعلي GEO-1000.

24.1. معدلات النجاح حسب اللغة

متوسط المنتجين هو نفسه. ومع ذلك، توزيعاتهما مختلفة.

المنتج أ

نتائج اللغات متقاربة مع بعضها البعض. الفرق بين أعلى لغة وأدناها هو 2 نقاط. الحد الأدنى للغة هو 89%.

المنتج ب

يحقق نتائج مرتفعة جدًا في ثلاث لغات. هناك تراجع في اليابانية وخاصة في العربية. الفرق بين أعلى لغة وأدناها هو 29 نقاط. الحد الأدنى للغة هو 70%. ملاحظة: قول "كلاهما حصل على 90" يخفي الفرق المادي.

24.2. توزيع حالة الاستجابة

معدل النجاح للمنتجين الاثنين هو مرة أخرى 90%. ومع ذلك: في المنتج B، عدد المرشحين للأخطاء الحرجة أعلى بمقدار 14 مرة. في المنتج B، الكتلة المجهولة وغير الحاسمة أعلى. جزء أكبر من حالات الفشل في المنتج A يرجع إلى نقص الدعم الجزئي. تراكم الأخطاء في المنتج B أثقل. معدل النجاح نفسه لا يؤدي بالضرورة إلى نفس نتيجة الملاءمة.

24.3. موجات الوقت

المنتج أ مستقر نسبيًا. المنتج ب يظهر تراجعًا ملحوظًا. نشر متوسط الثلاث موجات فقط يخفي التدهور في المنتج ب.

24.4. نتيجة تركيبية

قد يكون من الممكن نشر نفس النتيجة الرئيسية للمنتج أ والمنتج ب:

90

لكن بطاقات نتائج NOMOS لا يمكن أن تكون نفسها.

المنتج أ — توقيع التوزيع التركيبي

النتيجة العامة: مرتفعة عدم مساواة اللغة: منخفضة ذيل الأخطاء الحرجة: منخفضة ولكن ليست صفرية الكتلة المجهولة: منخفضة استقرار الزمن: مرتفع

المنتج ب — توقيع التوزيع التركيبي

النتيجة العامة: مرتفعة عدم مساواة اللغة: مرتفعة ذيل الأخطاء الحرجة: كبير الكتلة المجهولة: أعلى استقرار الزمن: منخفض ومتراجع لذلك، الاستنتاج الاصطناعي للقسم 2 هو كما يلي:

الحصول على نفس المتوسط للمنتج A والمنتج B لا يشير إلى أن لديهم نفس جودة التمثيل.

25. الأحكام الإلزامية المعيارية

CH02-N01

لا يمكن تعريف نتيجة GEO بواسطة متوسط واحد فقط أو معدل نجاح واحد فقط.

CH02-N02

كل نتيجة توزيع:

• الكيان الذي تم تدقيقه،
• السكان المستهدفون،
• منتج الذكاء الاصطناعي و واجهة المستخدم
• البلد واللغة،
• المُدخل,
• حالة الإقامة،
• مع الوقت

يجب أن تكون مرتبطة.

CH02-N03

المتوسط العالمي وحده لا يمكن أن يعوّض عدم المساواة في مجموعة المواد.

CH02-N04

يجب الإبلاغ عن النتائج الحرجة وأخطاء الشدة العالية الأخرى بشكل منفصل عن معدل الخطأ العام.

CH02-N05

يجب تمييز حالات UNKNOWN و no-result و rejected و invalid و NOT TESTED عن بعضها البعض.

CH02-N06

لا يمكن عرض بلد أو لغة أو منتج أو واجهة المستخدم أو فترة زمنية غير مقاسة كجزء من التوزيع الإيجابي.

CH02-N07

يجب تحديد الأوزان وقواعد التجميع قبل عرض النتائج.

CH02-N08

يجب أن تُنشئ تغييرات الوزن بعد النتائج نسخة تحليل جديدة، ويجب الحفاظ على النتائج السابقة.

CH02-N09

لا يمكن مقارنة التوزيعات المستندة إلى مجموعات مستهدفة مادية مختلفة، أو الطلب، أو المنتج، أو الوقت، أو معايير التقييم مباشرة دون شرح.

CH02-N10

لا يمكن اعتبار التغير في اللغة الرسمية خطأً في التمثيل تلقائيًا.

CH02-N11

لا يمكن تصنيف التباين في هوية المادة، أو النطاق، أو الوقت، أو الكفاءة، أو التوصية كاختلاف في الأسلوب دون تبرير.

CH02-N12

الاستقرار العالي وحده ليس دليلًا على الجودة؛ يجب أيضًا تسجيل النتائج الخطأ المتكررة.

CH02-N13

يجب أن تحتوي النتائج العامة على قيود التغطية إذا كان متوسط مرتفع مصحوبًا بتغطية منخفضة.

CH02-N14

لا ينبغي نشر نتائج المجموعات الفرعية كأحكام نهائية على بلد أو لغة في ظل عينة غير كافية وعدم اليقين الكبير.

CH02-N15

يجب الحفاظ على معدلات الرفض والفشل الفني كجزء من تجربة المستخدم الحقيقية.

CH02-N16

يجب أن تكون النتيجة الوحيدة المنشورة مرتبطة بالتوزيع القانوني وسجل النطاق.

CH02-N17

لا يمكن دمج التوزيعات الاصطناعية مع أداء منتج ذكاء اصطناعي حقيقي أو كيان حقيقي.

CH02-N18

يجب أن يحتوي تقرير التوزيع على مالك بشري أو مؤسسي مسؤول.

26. أشكال الفشل

CH02-F01— التفكير المتوسط

يتم عرض المتوسط العالمي العالي؛ يتم تخزين اللغة أو البلد أو خطأ فادح في الفساد.

CH02-F02— حذف المجموعة الفرعية

يتم إزالة المجموعات منخفضة الأداء من التقرير أو الإعلان عنها على أنها 'غير مهمة'.

CH02-F03— خريطة النطاق

تُستخدم النتائج الجيدة ذات النطاق الضيق لعالم بأسره، جميع اللغات، أو جميع المنتجات.

CH02-F04— توحيد شدة الخطأ

يتم دمج النواقص الطفيفة والأخطاء الصحية الخطيرة أو المتعلقة بالترخيص ضمن عدد الأخطاء نفسه.

CH02-F05— إخفاء التدهور باستخدام المتوسط الزمني

يتم جعل التراجع أو التذبذب غير مرئي فقط باستخدام متوسط الفترة.

CH02-F06— عبادة الاستقرار

يُفترض أن الإجابة المتسقة صحيحة تلقائيًا.

CH02-F07— مغالطة الإجابة المتماثلة كلمة بكلمة

يُستخدم مطابقة النص الحرفي كمقياس للاتساق بدلاً من الصحة الدلالية.

CH02-F08— احتساب الاختلاف السياقي كخطأ

يتم تمييز الاختلافات في التوصيات المناسبة بناءً على احتياجات المستخدم الفعلية على أنها تقلبات تعسفية.

CH02-F09— احتساب التقلبات التعسفية كتحسين شخصي

يتم الدفاع عن التناقضات المادية في ظروف المستخدم المتساوية على أنها "تخصيص" دون تفسير.

CH02-F10— تغيير المقام

يتم إجراء الانتقال بعد النتيجة بين المقامات الملاحظة المكتملة أو الصالحة أو المقيمة لرفع النتيجة الإيجابية.

CH02-F11— الترجيح بعد النتيجة

يتم بعد ذلك اختيار الدولة أو اللغة أو معاملات النموذج التي تنتج أعلى نتيجة.

CH02-F12— دمج الخلايا غير المتسقة

يتم عرض شروط مختلفة من المُدخل أو المنتج أو الوقت أو اللوحة كتوزيع واحد.

CH02-F13— حذف الرفض

يتم إزالة سجلات النظام التي لم تستجب لتوليد دقة عالية فقط بين الذين قدموا استجابة.

CH02-F14— الحكم المؤكد من الخلية الصغيرة

يتم إنتاج درجة البلد أو اللغة من مستخدم واحد أو عدة مستخدمين.

CH02-F15— إخفاء الذيل الحرج

يتم فقدان الأخطاء الشديدة النادرة ضمن معدل النجاح الكلي.

CH02-F16— تقرير درجة واحدة

يتم نشر الدرجة الرئيسية فقط دون إظهار النطاق، وعدم المساواة، والاستقرار، وعدم اليقين، والأخطاء الشديدة.

CH02-F17— عد التوزيع على أنه "اعتقاد الذكاء الاصطناعي"

يتم تقديم نتائج واجهة المستخدم الملاحظة كما لو كانت وجهة نظر ثابتة وجوهرية للذكاء الاصطناعي.

CH02-F18— عد غير المقيس على أنه صفر التباين

تُعتبر المناطق غير المختبرة سلسة ومستقرة.

27. إجراء التدقيق

ينبغي فحص ما إذا كان تقرير GEO يمثل التوزيع بصدق من خلال الخطوات التالية.

الخطوة 1— تسجيل الادعاء العام

مثال: "العلامة التجارية حصلت على درجة NOMOS العالمية وهي 92." يتم تسجيل الجملة الكاملة والواجهة الذي وُجدت عليه.

الخطوة 2— تحديد التوزيع المستهدف

لأي درجة:

• مجموعة المستخدمين،
• منتجات الذكاء الاصطناعي،
• الدول،
• اللغات،
• الفترة الزمنية

يتم تطبيقها؟

الخطوة 3— استخراج خلايا القياس

يتم تحديد كل تركيبة مادة:

• المنتج
• البلد
• اللغة
• العينة
• مُدخل
• الموجة
• واجهة المستخدم

الخطوة 4— إعادة بناء المقامات

يجب الإبلاغ عن المهام المعينة، والمهام المكتملة، والسجلات الصالحة، والسجلات المحكَّمة، والاستجابات الناجحة كأعداد منفصلة.

الخطوة 5— استخراج حالات النتائج

ليس فقط معدل النجاح:

• جزئي،
• غير مدعوم،
• متعارض،
• قديم،
• حرج,

غير معروف،

مرفوض، أو غير حاسم يتم فحص التوزيع.

الخطوة 6— التحقق من الأوزان

الأوزان:

• هل هي محددة مسبقًا,
• أي سؤال يجيبون عليه،

هل تغيروا بعد النتيجة؟

الخطوة 7— فحص اختلافات الفئات الفرعية

يتم تقييم أفضل مجموعة، أضعف مجموعة كافية، اختلاف اللغة، اختلاف البلد، اختلاف المنتج، واختلاف اللوحة.

الخطوة 8— مراجعة النطاق والنقص

ما هي المجالات التي لم يتم قياسها؟ أي الخلايا غير كافية؟ ما هي أسباب النقص؟ هل يمكن أن تكون البيانات المفقودة منهجية؟

الخطوة 9— فحص التحديد

يتم تقييم التغيير بين جلسات موجات المستخدمين والواجهات.

الخطوة 10— فحص خطر الطابور

الأخطاء الحرجة وغيرها من الأخطاء الجسيمة:

• الرقم،
• معدلها،
• النوع،
• تأثير المستخدم

يتم تقييمه بشكل منفصل من حيث

الخطوة 11— قارن الملخص العام مع التوزيع

هل الرقم أو الجملة الفردية المنشورة لعامة الناس تعكس بدقة اتجاه ومخاطر التوزيع الكامل؟

الخطوة 12— حدد النتيجة

يدعي الإعلان العام فقط ما يحمله التوزيع والنطاق.

28. الدليل الضروري

إلى الحد الذي يكون ذا صلة بتوزيع ممثل أو درجة جي.إي.أو العالمية، يجب البحث في السجلات التالية:

• سجل الكيان المدقق
• تعريف السكان المستهدفين
• إطار العينة
• منتج الذكاء الاصطناعي وواجهات المستخدم
• خلايا الدولة واللغة
• الإرشادات والإصدارات
• ظروف الجلسة واللوحة
• موجات القياس
• أرقام المهام المعينة
• المهام المكتملة
• السجلات الصحيحة وغير الصحيحة
• الردود الخام
• توزيع حالة النتائج
• سجلات التحكيم
• سجلات الأخطاء الحرجة
• الرفض والسجلات غير الحاسمة
• سجلات UNKNOWN
• الأوزان
• أصحاب المصلحة
• نتائج المجموعة الفرعية
• نتائج الاستقرار
• المجالات خارج النطاق
• حسابات الثقة أو عدم اليقين
• بطاقة الأداء العامة
• الشخص أو المؤسسة المسؤولة
• إصدار البروتوكول والتحليل
• سجل التغييرات

29. قائمة تدقيق التدقيق

هل الفئة المستهدفة للتوزيع واضحة؟ هل منتجات الذكاء الاصطناعي المدققة وأسواق المستخدم محددة؟ هل البلاد واللغة والنطاق الزمني والمُدخلات مرئية؟ هل تم الكشف عن الأوزان المستخدمة لإنتاج النتيجة المركبة؟ هل المقام معرف بالكامل؟ هل يتم الإبلاغ عن السجلات غير الصالحة بشكل منفصل؟ هل يتم الاحتفاظ بالرفض والنتائج غير الحاسمة؟ هل UNKNOWN و NOT TESTED متميزتان؟ هل نتائج المجموعات الفرعية مرئية؟ هل تم تفسير الخلايا الصغيرة بثقة مفرطة؟ هل تم الاحتفاظ بأضعف مجموعة مادة؟ هل يتم الإبلاغ عن الأخطاء الحرجة بشكل منفصل؟ هل يتم عرض موجات القياس بشكل منفصل؟ هل المتوسط يخفي التراجع أو التقلب؟ هل يتم تمييز الفرق الشكلي فقط عن الفرق المادي في المعنى؟ هل تم تصنيف التباين الحساس للسياق في التوصيات بشكل صحيح؟ هل تم دمج الواجهات المختلفة من نفس المزود دون تفسير؟

هل تم تضمين المناطق خارج النطاق في النتيجة العالمية؟ هل تم فصل التوزيعات الاصطناعية والحقيقية؟ هل تعكس الجملة المقدمة للجمهور الاتجاه الحقيقي للتوزيع الكامل؟ إذا لم يتم الرد على أحد الأسئلة الجوهرية، فإن نتيجة التوزيع تحمل ثقة محدودة. إذا لم يتم الرد على أكثر من سؤال واحد، فلا ينبغي تقديم درجة عامة واحدة كحكم نهائي للجمهور.

30. الاعتراضات والإجابات

الاعتراض 1— "يريد الجمهور رقمًا واحدًا."

هذا صحيح. يمكن لرقم واحد أن يسهل عملية التواصل. NOMOS لا يرفض الرقم الواحد بشكل كامل. ومع ذلك، فإن الرقم الواحد:

• النطاق،
• خطأ حرج
• قاعدة المجموعة الفرعية،
• الوقت،
• عدم اليقين

يجب أن تكون مرتبطة بالمعلومات. يمكن أن يكون الرقم قصيرًا. لا يمكنه تقصير الحقيقة.

اعتراض 2— 'اللغات الصغيرة تقلل من النقاط العالمية بلا داعٍ.'

يمكن أن يأخذ وزن السكان العالمي في الاعتبار لغة صغيرة بوزن محدود. ومع ذلك، لا يمكن تجاهل التحريف الكبير في التمثيل في لغة صغيرة لمجرد أن حصتها السكانية منخفضة. لذلك:

• الدرجة الرئيسية الموزونة بالسكان،
• كنتيجة للعدالة اللغوية المنفصلة

يمكن نشرها معًا. المقياسان يجيبان عن أسئلة مختلفة.

الاعتراض 3— 'إذا كان هناك تخصيص، فإن الاختلاف في الردود أمر طبيعي.'

بعض الاختلافات يمكن أن تكون طبيعية وصحيحة. ومع ذلك، فإن التخصيص:

• هوية شركة،
• رخصة،
• سعره الحالي،
• منطقة الخدمة الحقيقية

لا ينبغي تغييره بشكل عشوائي. يمكن أن يؤثر التخصيص على التفسير والنصيحة المناسبة للمستخدم. فهو ليس إذنًا لاختراع حقيقة مادية.

الاعتراض 4— 'لماذا سيكون مشكلة إذا لم يتم إعطاء نفس الإجابة؟'

المشكلة ليست في اختلاف الكلمات. المشكلة هي تغيير الواقع المادي. NOMOS لا تبحث عن المطابقة النصية الدقيقة، بل عن التناسق الدلالي الشرطي.

الاعتراض 5— "لماذا سيكون مهمًا إذا حدث خطأ حرج مرة واحدة فقط في إجابات 1,000؟"

قد يكون هذا الخطأ نادرًا من حيث انتشار السكان. ومع ذلك، قد يكون شديد الضرر. فقدان نظام حرج على متن الطائرة مرة واحدة في كل ألف رحلة لا يُقييم فقط كنسبة 0.1 في المئة. في سياق GEO، يجب أيضًا فحص التكرار والضرر بشكل منفصل.

الاعتراض 6— "لا يمكننا العثور على عينة كافية لكل دولة صغيرة أو لغة."

هذا صحيح. لذلك:

• لوحة السكان العالمية,
• لوحة مراقبي الدول,
• لوحة عدالة اللغة

يمكن تأسيسه بشكل منفصل. الملاحظة الفردية لا تتحول إلى درجة الدولة. فهي تشير فقط إلى أن هناك ملاحظة موجودة. الحالة الصحيحة لعينة غير كافية:

عينة غير كافية

أو:

لم يتم تقديرها

يجب أن تكون.

اعتراض 7— "هذه التفاصيل كثيرة ومعقدة جدًا ليفهمها العميل."

ليس من الضروري أن يرى العميل جميع الصيغ على الصفحة الرئيسية. ومع ذلك، لا يمكن إخفاء الحقائق الأساسية اللازمة لاتخاذ القرار. يجب أن تجيب بطاقة النتائج المختصرة على الأسئلة التالية: ما هي النتيجة العامة؟ ما هو الخطر الأكثر خطورة؟ ما هو المجال الأضعف؟ ما الذي لم يتم اختباره؟ ما مدى قوة النتيجة؟ إلى أي تاريخ تنتمي؟ يجب إدارة التعقيد، وليس التخلص منه.

اعتراض 8— "إذا كان نفس الطراز يُستخدم في جميع البلدان، فلماذا يجب أن يكون هناك اختلاف بين البلدان؟"

المخرجات التي يراها المستخدم قد لا تتكون فقط من النموذج وحده. تشمل الاختلافات بين البلدان ما يلي:

• الوصول إلى المنتج،
• الموارد الإلكترونية,
• المكانية,
• اللغة،
• الخطة،
• واجهة
• التشريع،
• التخصيص

يمكن أن يظهر من خلاله. قد لا يحدث فرق. ومع ذلك، لا يمكن افتراض غيابه دون قياس.

اعتراض 9— "التسجيل الموثوق به غير ممكن لأن استجابات الذكاء الاصطناعي متغيرة."

التغيرية لا تجعل القياس مستحيلاً. على العكس، إنها إحدى الخصائص التي تحتاج إلى القياس. النتيجة:

• تاريخ محدد،
• النطاق،
• فاصل الثقة،
• معلومات عن الاستقرار

قد تكون ذات معنى طالما تحملها. ومع ذلك، فإن الادعاء باليقين الأبدي لا يمكن الدفاع عنه.

اعتراض 10— "إذا تغير الطلب، يتغير التوزيع بالكامل."

هذا صحيح. لذلك، التوزيع مشروط بالمُدخل. GEO-1000 لا ينتج الإجابة الواحدة لكل الأسئلة الممكنة. معرف مسبقًا:

• مُدخل المرآة الأساسية،
• سجل المُدخل التشخيصي

يقيس مجالات تمثيلية محددة. سيتم تحديد دستور المُدخل في القسم 10.

القاعدة العامة للقسم 32

لم يتم كتابة هذا القسم ضد درجة واحدة فقط. بل تم كتابته ضد الافتراض بأن درجة واحدة فقط تمثل كامل الواقع. الناس يريدون الأرقام. المؤسسات تريد التصنيفات. مجالس الإدارة تريد رؤية خط واحد. قد يسأل السوق: "ما هي درجتك في NOMOS؟" هذا السؤال مشروع. ولكن لا يمكن أن يكون الجواب فقط: "90." لأنه وراء 90، قد توجد أي من الحقائق التالية:

• دقة متسقة عبر جميع اللغات
• 99 في بعض اللغات، 45 في لغات أخرى
• متوسط مرتفع ولكن خطأ حرِج شديد
• دقة عالية ولكن تغطية منخفضة
• نتائج فورية عالية ولكن تراجع سريع
• نجاح فقط في صياغات المُدخل السهلة
• معدل مرتفع فقط بين الإجابات القابلة للتقييم
• افتراض الدول غير المختبرة بشكل إيجابي
• دمج منتجات الذكاء الاصطناعي المحددة

تتشكل قيمة النتيجة من وضوح التوزيع الأساسي. إذا لم يكن التوزيع مرئيًا، فإن النتيجة لا تولد الثقة. إنها تنتج فقط مظهرًا من اليقين. وبالتالي، فإن قانون القياس الثاني لـ NOMOS هو كما يلي:

يمكن أن يكون تسجيل GEO ملخصًا للتوزيع. / لا يمكنه استبدال التوزيع.

قانونه الثالث هو:

المتوسط المرتفع لا يلغي مسألة من يتم تمثيله بشكل ضعيف.

القانون الرابع هو كما يلي:

الخطأ الجسيم النادر ليس تافهًا لمجرد أنه نادر.

القانون الخامس هو كما يلي:

المجال غير المختبَر ليس الجانب الإيجابي للتوزيع؛ إنه الحد المجهول.

الطلب 2 من NOMOS

لا تَعرض لي المتوسط فقط.

أظهر من هو دون المتوسط.

لا تُخفي أسوأ لغتك بينما تُظهر أفضل لغتك.

لا تستخدم وزن الدول الكبيرة لمحو وجود الدول الصغيرة.

لا ترسل شخصًا واحدًا إلى دولة صغيرة ثم تعلن عن نتيجة نهائية لتلك الدولة.

لا تقلل من شأن خطأ جسيم واحد لمجرد أنه مخفي داخل استجابة صحيحة بنسبة 99 في المائة.

لا تعلن عن خطأ لمجرد أن صياغة الإجابة قد تغيرت. / ولكن عندما تتغير الحقيقة الأساسية، لا ترفضها على أنها مجرد فرق أسلوبي.

لا ترمِ المرفوضات والمجهولات وغير المختبرة خارج التوزيع.

لا تغير الوزن أو الحصة أو النطاق بعد رؤية النتيجة.

قم بإنشاء رقم. / لكن لا تجعل الدول واللغات والمستخدمين والأوقات والأخطاء وراء الرقم غير مرئية.

لأن تمثيل الكيان ليس جملة متوسطة. / إنه توزيع للحقائق المختلفة التي يواجهها أشخاص مختلفون.

جملة ختام الفصل

موضوع قياس GEO ليس إجابة واحدة أو درجة متوسطة واحدة للذكاء الاصطناعي؛ بل هو مجموع النتائج التمثيلية التي يتم توليدها في مجموعة مستخدمين محددة في ظروف محددة.

النواة المعيارية

يجب التعامل مع تمثيل الكيان في الأنظمة التوليدية بوصفه توزيعًا شرطيًا للنتائج القابلة للرصد عبر أبعاد محددة تشمل: - منتجات الذكاء الاصطناعي وواجهات الاستخدام، - المستخدمين أو وحدات المعاينة، - البلدان، - اللغات والإعدادات المحلية، - حالات الجلسة والتخصيص، - المُدخلات، - وأوقات القياس. ولا يجوز لدرجة إجمالية واحدة أن تحل محل الإفصاح عن: - النطاق والتغطية، - توزيع النتائج، - التباين بين المجموعات الفرعية، - معدل الأخطاء الحرجة، - الكتلة المجهولة وغير المختبرة، - الاستقرار الزمني، - قواعد الترجيح، - وعدم اليقين. ولا يجوز تفسير تساوي المتوسطات على أنه تكافؤ في جودة التمثيل إذا اختلفت توزيعات المجموعات الفرعية أو مستويات الشدة أو التغطية أو الاستقرار اختلافًا جوهريًا. ويجب ألا يُفترض امتثال المجموعات غير المختبرة، كما يجب أن تظل النتائج النادرة ذات الضرر المرتفع ظاهرة بصورة منفصلة عن متوسط الأداء.