عينة GEO-1000 المتناسبة مع السكان

حد الفصل

أقرت المادة 5 الحكم التالي:

يجب تعريف جمهور المستخدمين المستهدف لكل منتج ذكاء اصطناعي بشكل منفصل. إجمالي سكان أي دولة ليس بالضرورة جمهور المستخدمين المؤهلين للمنتج في تلك الدولة.

والآن نأتي إلى السؤال التالي:

من جمهور المستخدمين المؤهلين المحدد لـ GEO-1000، كم عدد الأشخاص الذين سيتم اختيارهم، من أي دولة، وما هي اللغة، وبأي طريقة؟

جمهور المستخدمين المؤهلين للمنتج الذكاء الاصطناعي هو:

• 40% في البلد أ،
• 25% في البلد ب،
• 15% في البلد ج،
• 0.04% في بلد صغير

إذا كان متاحًا، كيف يجب توزيع الملاحظات الصالحة 1,000؟ كيف سيتم تحويل الحصص الكسرية إلى أعداد صحيحة؟ هل سيتم استبعاد البلدان التي تكون حصة سكانها أقل من شخص واحد تمامًا؟ هل ستتغير أوزان السكان عند منح شخص واحد على الأقل لكل بلد؟ هل يمكن تجميع البلدان الصغيرة في مجموعة منفصلة؟ إذا تم أخذ عينات مفرطة لبعض اللغات لضمان الإنصاف اللغوي، كيف سيتم حساب النتيجة العالمية؟ إذا كان الهدف هو الحصول على 100 ملاحظات صالحة في بلد ما، كم عدد الأشخاص الذين يجب دعوتهم؟ من سيحل محل المشارك إذا لم يكمل المهمة؟ هل يمكن استبدال المستخدم الذي يقدم إجابات خاطئة؟ إذا اختبر نفس الشخص أكثر من منتج ذكاء اصطناعي، هل ستظل العينة مستقلة؟

حتى مع عينة خام من 1,000 شخصًا، هل يمكن للأوزان غير المتساوية بدرجة كبيرة أن تقلل المعلومات الإحصائية الفعالة إلى ما هو أدنى من 1,000 ملاحظات مستقلة ومتساوية الوزن؟ هذه ليست مجرد تفاصيل تشغيلية. تصميم العينة يحدد مقدار التأثير الذي يمتلكه كل شخص على درجة GEO. قد تؤدي العينة المعيبة إلى:

• إلى إعطاء وزن خاطئ للإجابات الصحيحة،
• إلى تمثيل رمزي مفرط للدول الصغيرة،
• إلى جعل السكان الكبيرين يبدو أصغر مما هم عليه،
• إلى جعل اللغات منخفضة الموارد غير مرئية،
• إلى عرض مستخدمي التكنولوجيا الطوعية كما لو كانوا يمثلون سكان العالم.

يمكن تعديلها لتحقيق الدرجة المرغوبة بعد مراجعة النتائج. يتطلب الهيكل التدقيقي الذي تم إنشاؤه مسبقًا أن يكون كل تدقيق قابلاً للقياس وأن يحمل النموذج/المنتج تاريخًا وبلدًا ولغة ومجموعة استفسارات وعدد التكرارات وسجل القياس. ينطبق هذا القسم بنفس الانضباط على تصميم العينة. نظرًا لأن الأدلة الحقيقية تتطلب تحديد الحدود والسياق والزمن؛ فإنها تتطلب أيضًا إظهار كيفية إنشاء العينة. يتناول هذا القسم:

• كيفية توزيع الملاحظات الصالحة 1,000 لهيئة السكان الرئيسية،
• كيفية إنشاء الشرائح والخلايا،
• كيفية إدارة الدول الصغيرة،
• كيفية تحويل الكسور إلى أعداد صحيحة.
• كيفية تحديد وزن الإفراط في العينة،
• كيفية فصل دعوات المشاركة، والنسخ الاحتياطي، وأهداف الملاحظات الصحيحة،
• كيفية وضع أوزان التصميم والتحليل،
• سبب اختلاف حجم العينة الفعال عن العدد الخام

يحدد. هذا الفصل لم يتطرق بعد إلى:

• من أي مزود لوحة سيتم اختيار المشاركين،
• التفاصيل الكاملة لتنفيذ الميدان في العينات الطوعية أو الاحتمالية،
• مراجعة وتقييم الإجابات،
• طريقة فترة الثقة النهائية،
• جميع صيغ تسجيل NOMOS

لم يتم الانتهاء منها بالكامل. مهمة القسم 6 هي:

حوّل السكان المستهدفين المحددين إلى عينة GEO-1000 مجمّدة، قابلة للوزن، وقابلة لإعادة الإنتاج قبل رؤية النتيجة.

NOMOS التحدي

أنت تقوم بإعداد عينة عالمية من أشخاص 1,000 لمنتج ذكاء اصطناعي. السكان المؤهلون للمنتج في عشرة دول هم كما يلي:

الحصص الخام وفق نسبة السكان الصافية:

لا يمكن اختيار نصف شخص. لا يمكن إرسال 0.4 شخصًا إلى أي دولة. إذا قمت بتقريب الحصص الخام إلى أقرب عدد صحيح، فقد يتجاوز الإجمالي أو يقل عن 1,000. إذا أعطيت شخصًا واحدًا على الأقل لكل دولة، فإنك تُمثل الدولتين I و J بشكل مفرط مقارنة بحصصهما السكانية.

إعطاء شخص واحد للدولة I يزيد حصتها النظرية بمقدار 2.5 مرة. إعطاء شخص واحد للدولة J يزيد حصتها النظرية بمقدار 10 مرة. يمكن تصحيح هذا التمثيل المتطرف إلى حد كبير. ولكن لا يمكنك إنتاج درجة دولة مع شخص واحد. ماذا يحدث إذا لم تعطي أحدًا للدولتين I و J؟

إذا عرّفت هذه البلدان على أنها طبقات منفصلة وواجبة، فإن احتمال اختيار بعض الأشخاص في السكان المستهدفين يصبح صفراً. في هذه الحالة، يضعف الادعاء بوجود "عينة احتمالية تمثل كامل السكان العالميين المناسبين". الآن فكر في قرار أكثر خطورة. أولاً، تجمع الإجابات.

المستخدم الوحيد في البلد J يحصل على إجابة غير صحيحة. ثم تقول: "حجم العينة في هذا البلد صغير جداً، فلنستبعده من النطاق." في البلد A، هناك العديد من الإجابات الإيجابية. تحتفظ به بالوزن الكامل. هذا لم يعد تقريباً. إنه تغيير في العينة بناءً على النتائج.

في حالة أخرى، تقوم بزيادة معدل السجلات غير الصالحة في مجموعة لغوية ذات نتائج منخفضة، باستخدام المشاركين الاحتياطيين فقط حتى يتم الحصول على استجابة إيجابية. هذا أيضًا ليس عينة. إنه آلية اختيار استجابة. الحكم الأول في هذا القسم هو:

يجب تأسيس العينة قبل رؤية استجابات الذكاء الاصطناعي.

ينص حكمه الثاني على:

لا يمكن أن يعتمد احتمال اختيار مشارك على صحة إجابته.

تنص الفقرة الثالثة منه على:

يجب إدارة وضوح الدولة الصغيرة ووزن السكان في النتيجة العالمية بشكل منفصل.

تنص المادة الرابعة على:

يمكن إجراء أخذ عينات زائد؛ لكن زيادة الوزن ليست إلزامية.

تنص أحكامه الخامسة على:

سجلات 1,000 الخام لا تحتوي دائمًا على معلومات إحصائية مكافئة لملاحظات 1,000.

1. غرض الفصل

الغرض من هذا القسم هو تحويل الملاحظات الصالحة المستهدفة لـ 1,000 لكل منتج ذكاء اصطناعي وموجة قياس إلى تصميم عينة يمكن التحقق منه بناءً على عدد المستخدمين المؤهلين للمنتج. يقوم القسم بتوحيد التمييزات التالية:

• السكان المستهدفون مقابل العينة المختارة
• الحصة الخام مقابل التوزيع الصحيح للأعداد الصحيحة
• لوحة السكان الرئيسية مقابل اللوحات التكميلية
• رؤية البلد مقابل وزن البلد
• الطبقات مقابل الخلايا التجريبية
• طبقات البلد الكبير مقابل مجموعة البلد الصغير
• التوزيع النسبي مقابل العينات الزائدة غير المتناسبة
• حصة العينة مقابل حصة السكان
• عدد الدعوات مقابل الهدف من الملاحظات الصالحة
• المشارك الاحتياطي مقابل الاستبدال بعد النتائج
• عدم صلاحية جمع البيانات مقابل مخرجات الذكاء الاصطناعي السلبية
• وزن التصميم مقابل وزن النتائج
• حجم العينة الخام مقابل حجم العينة الفعّال
• عينة الدولة مقابل عينة اللغة
• المستخدم متعدد اللغات مقابل أكثر من شخص واحد
• الاختيار ذو المرحلة الواحدة مقابل الاختيار متعدد المراحل
• توزيع نطاق الوصول الطبيعي مقابل توزيع قاعدة المقارنة المشتركة
• تخصيص الموجة الفوري وتخصيص سلسلة الوقت
• تقدير السكان وتحليل التعرف على الدولة أو اللغة
• الملاحظات الرئيسية 1,000 مع المراقبين المساعدين وعينات العدالة

في نهاية هذا القسم، يجب أن يكون كل تدقيق قادراً على الإجابة على هذه الأسئلة:

لماذا تم توزيع ملاحظات 1,000 بهذه الأعداد على هذه الدولة واللغة ومجموعات المستخدمين؟

كيف تم تحديد وزن كل ملاحظة في النتيجة العالمية؟

من كان لديه احتمال صفري للاختيار ولماذا؟

كم عدد الأشخاص الذين تمت دعوتهم، وكم عدد الذين أكملوا، وكم عدد الملاحظات التي بقيت صالحة؟

هل تم تجميد نتائج العينة قبل عرضها؟

2. الأحكام المعيارية المركزية

يجب أن يستند العينة السكانية الأساسية GEO-1000 إلى تصميم أخذ عينات طبقي يخصص احتمالات اختيار معروفة أو متوقعة للأشخاص في إطار السكان المؤهلين للمنتج المجمد مسبقًا لكل منتج ذكاء اصطناعي وموجة قياس. الهدف الافتراضي للوحة السكان الأساسية هو:

على الأقل 1,000 ملاحظة صالحة لكل منتج ذكاء اصطناعي وموجة القياس الرئيسية

يتم الحفاظ عليه. هذا الرقم:

• ليس عدد الأشخاص المدعوين,
• ليست عدد الحسابات،
• ليس عدد لقطات الشاشة الخام،

ليست مجموع جميع اللوحات التكميلية. 1,000 هو الهدف للملاحظات الصالحة للمنتج التي تتوافق مع البروتوكول في لوحة السكان الرئيسية. يمكن لمراقبي الدول، لوحة عدالة اللغة، ولوحة الوصولية إنشاء عينات إضافية. هذه العينات الإضافية:

• يمكن أن تزيد من حجم الحقل الإجمالي فوق 1,000،
• يمكن استخدامها مع الأوزان المناسبة في نتيجة السكان العالميين،

ولكن لا يمكن استخدامها لتقليل هدف الملاحظات الصالحة 1,000 للوحة الرئيسية بشكل خفي.

3. التمثيل الأساسي للعينة

لمنتج AI معين a، موجة القياس w، وإطار السكان المستهدف، فإن الطبقات:

h∈ H_{a,w}

يتم الإشارة إليها. لكل طبقة:

• Nh: تقدير عدد السكان المناسب للمنتج في الطبقة
• N: إجمالي عدد السكان المستهدف
• Wh: وزن السكان للطبقة
• n: الهدف من ملاحظات اللوحة الأساسية الصالحة
• qh: الحصة النسبية الخام
• nh: العدد الصحيح المستهدف للملاحظات الصالحة المخصصة

إجمالي السكان المستهدف:

N= Σ_{h=1}^H N_h

وزن السكان للطبقة:

W_h= N_h/ N

الحصة النسبية الخام:

q_h= nW_h

هو. التخصيص النسبي الرئيسي، في ظل الظروف المثالية:

n_h≈ nW_h

يجب أن يكون. ومع ذلك:

• قد يكون qh كسرياً،
• بعض الخلايا قد تقل عن شخص واحد،
• قد تكون هناك حاجة لعينة تشخيصية دنيا لفئات اللغة والبلد الفرعية،
• يمكن أيضاً فحص المجموعات الصغيرة عالية المخاطر،

قد تختلف معدلات اكتمال الميدان. لذلك، الحصة الخام ليست التخصيص النهائي مباشرة.

4. ثلاثة أغراض مميزة لتصميم العينة

قد لا تفي العينة نفسها بجميع الأغراض بنفس القوة. يجب فصل ثلاثة أغراض.

4.1. تقدير السكان العالميين

يجيب على السؤال:

ما هي النتيجة التمثيلية التي سيرىها الشخص العادي في مجموعة المستخدمين العالمية المناسبة للمنتج؟

الوزن السكاني هو الأولوية الأساسية.

4.2. تشخيص الفئة الفرعية

يجيب على السؤال:

ما الانحرافات التمثيلية التي تحدث في دول معينة أو لغات أو خطط أو مجموعات مستخدمين؟

قد يكون من الضروري أخذ عينات إضافية من المجموعات الصغيرة.

4.3. التغطية الجغرافية واللغوية

يجيب على السؤال:

في أي دول ولغات يوجد على الأقل مراقبة فعلية للمستخدمين؟

تصبح لوحات مراقب الدولة وعدالة اللغة مهمة. لا يمكن دمج هذه الأهداف الثلاثة بشكل غير مفهوم في عينة واحدة.

5. هيكل العينة الرئيسي

يتكون هيكل العينة الرئيسي المرشح لـ GEO-1000 من أربع طبقات.

5.1. لوحة السكان

كل منتج وموجة ذكاء اصطناعي تحتوي على حد أدنى من 1,000 ملاحظات صالحة كلوحة رئيسية. وهي تنتج تقديراً للسكان العالميين.

5.2. تراكب مراقب الدولة

يوفر ملاحظات جغرافية إضافية للدول الصغيرة التي لا يمكن تمثيلها مباشرة في لوحة السكان الرئيسية. يمكن أن تشير هذه الملاحظات إلى:

• حدث واحد،
• حالة الوصول،
• احتياجات البحث المستقبلية

هم لا يولدون نتيجة لدولة بمفردهم.

5.3. زيادة عينة العدالة اللغوية

يُنتج ملاحظات إضافية للغات منخفضة الموارد أو اللغات غير الممثلة بشكل كافٍ في اللوحة الرئيسية. يتم إعادة وزنها وفقًا لأوزان السكان الفعلية في النتيجة العالمية.

5.4. زيادة عينة سهولة الوصول

يقيس أيضًا مستخدمي التكنولوجيا المساعدة وسهولة الوصول، الذين لا يتم تمثيلهم بشكل كافٍ من قبل اللوحة القياسية. يتم تسجيل الكون المستهدف ووزن هذه الملاحظات بشكل منفصل.

6. ما هو الشريحة؟

الطبقة السكانية هي شريحة من السكان يتم إدارتها بشكل منفصل من حيث تخصيص العينة واحتمالية الاختيار. يمكن أن تكون الطبقة مزيجًا من واحد أو أكثر من المجالات التالية:

• البلد
• المنطقة
• اللغة
• الموقع
• خطة الذكاء الاصطناعي
• الويب أو الجوال
• مسيطر عليه أو عينة المستخدمين في ظروف الاستخدام الطبيعية
• حالة الوصول
• نوع المستخدم
• الاختصاص القضائي

إذا تم جعل كل تركيبة صغيرة طبقة منفصلة، تصبح العينة مجزأة. على سبيل المثال: الجمع بين البلد × اللغة × الخطة × الجوال/الويب × الفئة العمرية × نوع المستخدم يمكن أن ينتج عنه مئات أو آلاف الخلايا. الملاحظات في 1,000 لا توفر تقييمات موثوقة لمعظم هذه الخلايا. لذلك، يجب أن تكون التجزئة:

• كبيرة.
• قابل للقياس،
• مناسب لحجم العينة

يجب أن تكون.

7. الطبقة ليست هي نفسها خلية التقرير

يمكن عرضها بشكل منفصل على بطاقة نتائج المجموعة. ومع ذلك، لا يجب أن تكون طبقة منفصلة في تصميم العينة. على سبيل المثال:

• لغة صغيرة،
• مجموعة وصول محددة،
• فئة عمرية معينة

يمكن اختياره ضمن طبقة أوسع في العينة الرئيسية. لاحقًا، يمكن الإبلاغ عنه بشكل منفصل في التحليل. والعكس ممكن أيضًا: يمكن فصل منطقتين بشكل طبقي من أجل كفاءة العينات. ومع ذلك، في التقرير العام، يمكن دمجهما تحت نتيجة إقليمية واحدة. يجب أن يحمل تصميم الطبقات وهيكل التقرير سجلات منفصلة.

8. تسلسل إنشاء الطبقة

تسلسل المرشح للوحة السكان الرئيسية كما يلي:

• منتج الذكاء الاصطناعي و واجهة المستخدم
• نطاق الوصول الطبيعي أو إطار السكان قاعدة المقارنة المشتركة
• الدولة أو مجموعة دول صغيرة
• اللغة الرئيسية للتدقيق أو مجموعة اللغات
• فصل خطة المواد/الواجهة، إذا لزم الأمر
• إطار اختيار المشاركين

لا يجب أن يتم عمل الخطة والواجهة كطبقات منفصلة لكل دولة. يمكن إدارتها من خلال:

• الطبقة الفرعية،
• الحصة،
• التعيين العشوائي

الطرق.

9. طبقات الدول الكبيرة والصغيرة

الحصة الخام لأي دولة:

q_c= nN_c/ N

تكون بهذا الشكل. إذا كانت الحصة الخام كبيرة بما فيه الكفاية، يمكن الاحتفاظ بالدولة مباشرة كطبقة منفصلة. يمكن أن يُطلق على هذا:

طبقة الدولة المُمثلة ذاتيًا

تحويل الدول التي لديها حصص أولية صغيرة جدًا بشكل فردي إلى طبقات إلزامية منفصلة قد يقلل من كفاءة السحب. يمكن تصنيف هذه الدول بشكل مناسب حسب:

• إقليميًا،
• عائلة اللغة،
• نظام الوصول إلى المنتجات،
• القرب الجغرافي

يمكن تضمينها في مجموعات الدول الصغيرة.

10. مجموعة الدول الصغيرة

مجموعة الدول الصغيرة:

ليتم تمثيلها كـ B_r= {c_1, c_2, …, c_k}

إجمالي السكان المؤهلين في المجموعة:

N_{B_r}= Σ_{c∈B_r} N_c

الحصة الأساسية للعينة:

q_{B_r}= nN_{B_r}/ N

يتم حسابه كما يلي. داخل التجمع، يمكن اختيار الدولة باحتمال يتناسب مع حجم السكان المؤهلين. احتمال اختيار الدولة c داخل التجمع:

Pr(c | B_r) = N_c/ N_{B_r}

قد يكون كذلك. بعد ذلك يتم اختيار مشارك داخل الدولة المختارة. هذه الطريقة:

• يمكن أن تمنع الدول الصغيرة من أن يكون لها احتمال صفر في الاختيار ضمن السكان المستهدفين،
• لا تضمن أن كل دولة سيتم اختيارها في موجة معينة،

تحافظ على تقدير السكان العالمي. عدم اختيار دولة في تلك الموجة:

لم يتم اختيارها في عينة السكان

لا يعني: "البلد ليس جزءًا من السكان المستهدفين."

11. قيود تجميع الدول الصغيرة

لا يمكن وضع الدول الصغيرة عشوائيًا في نفس المجموعة لمجرد صغر حجم سكانها. البلدان داخل المجموعة متشابهة بالقدر الذي يكون ذا أهمية:

• الوصول إلى المنتج،
• واجهة المستخدم
• اللغة أو هيكلية المكان,
• الوصول القانوني,
• المنطقة الجغرافية,
• طريقة جمع البيانات

يجب أن يتم تنفيذها. لا يمكن وضع بلد بدون وصول إلى المنتج في نفس المجموعة الرئيسية مع بلد يتمتع بوصول كامل. لا يمكن إخفاء ظروف الاستخدام المختلفة.

12. مجموعة الدول الصغيرة لا تنتج درجة الدولة

ملاحظة واحدة أو اثنتان مختارتان من المجموعة: يمكن استخدامها في المساهمة السكانية العالمية للمجموعة، وقد تشير إلى حدث في دولة واحدة. ومع ذلك، فهي لا تنتج درجة إحصائية منفصلة لدولة صغيرة. إذا كانت الدرجة المستندة إلى الدولة مرغوبة، بالإضافة إلى ذلك:

• مراقب الدولة،
• عينة محددة للدولة،
• عينة تراكمية متعددة الموجات

قد يكون مطلوبًا.

13. التوزيع متناسب مع السكان الصغيرين

التوزيع التناسبي البحت: يستند إلى الصيغة:

q_h= nW_h

المزايا:

• من السهل فهمه لتقدير السكان الرئيسيين
• يعطي الوزن بشكل طبيعي للسكان الكبار،
• يمكن أن يقلل اختلافات الوزن،

يمكن أن يقترب من تصميم ذو وزن ذاتي. القيود:

• يمكن أن يقوم بأخذ عينات من عدد قليل جدًا من الدول الصغيرة واللغات،
• قد يكون غير كافٍ لإنتاج درجات المجموعات الفرعية،
• قد يترك المجموعات الصغيرة عالية المخاطر غير مرئية،

يمكن أن يخلق حصصًا كسرية وقريبة من الصفر. لذلك، يمكن أن يكون التخصيص النسبي البحت افتراضيًا قويًا للوحة السكان الرئيسية. إنه لا يحل محل اللوحات التكاملية.

14. تحويل الكسور إلى أعداد صحيحة

الحصص الخام غالبًا ما تكون كسرية. يجب أن يكون التوزيع الإجمالي بالضبط ن. يمكن استخدام طريقة الباقي الأكبر كطريقة افتراضية.

14.1. الخطوة الأولى

يتم تقريب كل حصة خام للأسفل:

b_h= ⌊q_h⌋

14.2. الخطوة الثانية

عدد الملاحظات غير المخصصة:

R= n− Σ_h b_h

يتم حسابه.

14.3. الخطوة الثالثة

الجزء الكسري من كل طبقة:

f_h= q_h− b_h

حيث f_h هو الجزء الكسري من q_h.

14.4. الخطوة الرابعة

يتم إضافة الرصدات المتبقية R واحدًا تلو الآخر إلى الطبقات التي تحتوي على أعلى قيم fh.

14.5. حالة التساوي

إذا كانت الأجزاء الكسرية للطبقتين متساوية:

• حجم السكان،
• ترتيب ثابت محدد مسبقًا،
• بذرة عشوائية مسجلة

يجب استخدام قاعدة مستقلة لكسر التعادل، بغض النظر عن النتيجة. لا يمكن اختيار بلد بناءً على النتائج.

15. التخصيص الصحيح التركيبي

العرض التركيبي

السكان المناسبون في بداية القسم:

إذا كانت الدول محمية كطبقات منفصلة، قم بالتقريب لأسفل:

تبقى ملاحظة واحدة. يتم إضافتها إلى H لأن أعلى جزء هو 0.5 في الدولة H. التوزيع النهائي:

على الرغم من أن هذا التصميم يحدد I و J كطبقات حتمية منفصلة، إذا لم يمنح فرصة للاختيار، فقد يشكل مشكلة من حيث استنتاج كامل الكون المستهدف. الحل الأكثر دقة هو مجموعة صغيرة من الدول.

16. التوزيع التركيبي باستخدام مجموعة صغيرة من الدول

الدول H و I و J:

B_small= {H, I, J}

يجب أن يتم دمجه في المجمع. عدد سكان المجمع:

1,500,000+400,000+100,000=2,000,000

الحصة في المجمع:

1,000× 2,000,000/ 1,000,000,000= 2

تصبح. التخصيص الرئيسي:

أوزان اختيار الدول داخل المجمع:

يتم اختيار ملاحظتين رئيسيتين للسكان وفقًا لهذه الاحتمالات. في نفس الموجة:

• يمكن أن تأتي كلتا الملاحظتين من H,
• إحداهما من H والأخرى من I,
• نادراً من J

يمكن أن يحدث هذا. التصميم لا يجعل J مرئيًا في كل موجة، لكنه لا يقلل من احتمال اختيار J إلى الصفر. إذا كان يجب ملاحظة J، يتم إضافته بشكل منفصل إلى لوحة مراقبي الدولة. ملاحظة مراقب الدولة لا تمنح J وزنًا قدره واحد في 1,000 في التوزيع العالمي الرئيسي؛ يحتفظ J بوزنه السكاني الحقيقي في اللوحة الرئيسية.

17. الحد الأدنى لتعيين الخلايا

قد لا يكون الحصة النسبية البحتة كافية لإجراء تحليل تشخيصي لبعض الفئات الفرعية. على سبيل المثال، الحصة الخام لخلايا اللغة قد تكون 8. لا يمكن إنتاج درجة لغة موثوقة مع ثمانية ملاحظات. في هذه الحالة، هناك ثلاثة خيارات:

• عدم نشر درجة اللغة
• دمج الخلية مع المجموعات المماثلة
• زيادة أخذ العينات من الخلية

يجب تحديد الحد الأدنى لتخصيص الخلية قبل النتائج.

18. نطاقات الإبلاغ عن المرشحين

نطاقات الإبلاغ عن المرشحين — نطاقات الإبلاغ عن المرشحين

المعايير أدناه ليست قرارات علمية نهائية. يجب معايرتها من خلال تجربة تجريبية ومراجعة خارجية.

1–29 مشاهدات صالحة

الحدث الفردي ومعدل الاكتشاف حسب البلد أو اللغة غير منشور

للمراقبة فقط

30–99 مشاهدات صالحة

تقدير على مستوى استكشافي عدم اليقين واسع لا يُقدَّم حكم قطعي على المطابقة

استكشافي

100–199 مشاهدات صالحة

تقدير مجموعة فرعية أولى يجب أن يكون عدم اليقين مرئيًا

مؤقت

200 وما فوق الملاحظات الصالحة

مرشح تقدير مجموعة فرعية أقوى يتم تقييم تأثير التصميم والأوزان مرة أخرى

مرشح التقدير القياسي

هذه النطاقات:

• معدل الخطأ،
• الدقة المتوقعة،
• تغير الوزن،
• تأثير التصميم

لا يمكن اعتبارها تلقائيًا كافية دون أخذها في الاعتبار.

19. أخذ عينات زائد

قد يكون لدى بلد أو لغة أو مجموعة مستخدمين عدد من الملاحظات أكثر من حصتها من السكان. يُسمى هذا بأخذ العينات الزائدة. أغراضه:

• لزيادة حساسية المجموعة الفرعية،
• لجعل لغة منخفضة الموارد مرئية،
• لفحص مجموعة صغيرة عالية المخاطر،
• لتوسيع تغطية مراقب الدولة،
• لتمثيل مستخدمي إمكانية الوصول بشكل كافٍ

ممكن. الإفراط في العينات ليس خطأ. ما هو خطأ:

إنه لاستخدام نسبة العينة من المجموعة التي تم أخذ عينات مفرطة منها كما لو كانت هي نسبة السكان الحقيقية.

20. حصة السكان وحصة العينة

حصة السكان للطبقة h:

W_h= N_h/ N

مشاركة العينة:

S_h= n_h/ n

في النموذج. في التوزيع النسبي البحت:

S_h≈ W_h

حسنًا. في الغ_sampling المفرط:

S_h> W_h

هذا ممكن. في عينة صغيرة:

S_h< W_h

هذا ممكن. يجب أن يحتفظ تقدير السكان العالمي بقيم Wh بدلاً من Sh.

21. الحمولة الأساسية للتصميم

في العينات الطبقية البسيطة، يمكن اعتبار الوزن الأساسي لكل ملاحظة داخل الطبقة h على النحو التالي:

d_i= N_h/ n_h

يمكن كتابة وزن الطبقة الموحد على النحو التالي:

a_h= W_h/ S_h

يمكن أن يكون وزن مستوى الملاحظة الموحد:

w_i= W_h/ n_h

يتم التأكد من أن المجموع يساوي واحد:

Σ_i w_i= 1

يمكن حساب تقدير الانتقال الثنائي المرجح على النحو التالي:

θ̂ = Σ_i w_iY_i

هنا:

Yi=1: استجابة تلبي معيار الانتقال

Yi=0: استجابة لا تلبي المعيار

هذا ممكن. لا يجب على النظام النهائي NOMOS استخدام النتائج الثنائية فقط. يمكن تطبيق نفس منطق الوزن أيضًا على درجات الاستجابة متعددة الأبعاد.

22. مثال على أخذ عينات زائدة

مثال اصطناعي

في السكان المناسبين للدولة ب:

• اللغة X: 80 بالمئة
• اللغة Y: 20 بالمئة

دع الأمر يكون كذلك. في لوحة السكان، هناك 250 ملاحظات للدولة ب. التوزيع البحت:

• اللغة X: 200
• اللغة Y: 50

دع 50 ملاحظة إضافية للعدالة اللغوية تُؤخذ للغة Y. الملاحظات المجموعة:

• اللغة X: 200
• اللغة Y: 100

حصة اللغة Y في العينة الخام:

100/300 = 33.3%

لقد كان كذلك. الحصة الفعلية للسكان هي 20%. في حساب السكان العالمي، لا يمكن للغة Y أن تأخذ وزن 33.3%. الأوزان المعيارية ضمن الطبقة:

• إجمالي الوزن للغة X: 80%
• إجمالي الوزن للغة Y: 20%

يتم الحفاظ عليه. كل من الملاحظات 100 في لغة Y تتلقى وزنًا فرديًا أقل من ملاحظة واحدة في لغة X. بالمقابل، تُستخدم جميع الملاحظات 100 في تقرير التشخيص المنفصل للغة Y. هذه الطريقة: تزيد من وضوح المجموعة الفرعية، ولا تشوه تقدير السكان العالمي.

23. توزيع المستخدمين متعددي اللغات

قد يكون الشخص مناسبًا لأكثر من خلية لغة واحدة. واحدة من الأساليب المفضلة للوحة السكان الرئيسية هي تعيين لغة تدقيق رئيسية محددة مسبقًا للمستخدم. يمكن تحديد لغة التدقيق الرئيسية وفقًا لهذه الحقول:

• لغة الاستخدام اليومي للذكاء الاصطناعي
• اللغة الأم أو لغة المنزل
• السوق والمنطقة
• الكفاءة في استخدام المُدخل بشكل طبيعي
• توازن اللوحة

إذا كان سيتم اختبار المستخدم أيضًا بلغات أخرى، فتؤخذ هذه الملاحظات في الاعتبار:

• لوحة متعددة اللغات مزدوجة،
• لوحة عدالة اللغة

ويتم تصنيفها وفقًا لذلك. يُحظر أن يحصل الشخص نفسه على وزن سكاني كامل في جميع اللغات.

24. تخصيص اللغة داخل البلد

لنفرض أن السكان المناسبين لمجموعات اللغة l في البلد c هم: N_{c,l}. إذا كانت حصة البلد هي: n_c، فإن الحصة الأولية للغة:

q_{c,l}= n_c× N_{c,l}/ Σ_l N_{c,l}

يمكن حسابها على هذا النحو. ومع ذلك، إذا كانت مجموعات اللغة تتداخل:

Σ_l N_{c,l}> N_c

قد يكون ذلك ممكنًا. في هذه الحالة، استخدام الحصة المباشرة يؤدي إلى العد المزدوج. خيارات الحل:

• تصنيف اللغة الأساسي للتدقيق،
• تقسيم الوزن البشري،
• نموذج مشترك متعدد اللغات,
• لوحة اللغة المطابقة المنفصلة

قد يتم استخدامها. يجب تسجيل الطريقة المستخدمة.

25. تخصيص الخطة والواجهة ضمن السكان

قد يتصرف المستخدمون المجانيون والمدفوعون أو واجهات الويب والجوال بشكل مختلف. ومع ذلك، فإن تقسيم كل خلية بلد–لغة بشكل منفصل إلى طبقات الخطة والواجهة يمكن أن يؤدي إلى تجزئة مفرطة للعينة. يمكن استخدام ثلاث طرق.

25.1. التخصيص الجزئي بما يتناسب مع السكان

إذا كانت توزيع المستخدمين الفعلي معروفًا، يتم التخصيص وفقًا لحصص الخطة والواجهة.

25.2. التخصيص التجريبي المتوازن

يتم إجراء أخذ عينات متساوية أو أكبر لمقارنة الفرق بين الخطة أو الواجهة. في التقدير العالمي، يتم إعادة وزنه إلى حصص الاستخدام الفعلية.

25.3. درجات واجهة المنتج المنفصلة

يتم الإبلاغ عن المنتجات المجانية على الويب، والمدفوعة على الويب، ومنتجات الهاتف المحمول كأجسام تدقيق منفصلة. يمكن أيضًا إنتاج نتيجة مجمعة. يجب تحديد النهج الذي سيتم استخدامه قبل القياس.

26. رقم الدعوة والهدف من الملاحظة الصالحة

إذا كان الهدف من الملاحظة الصالحة لفئة معينة هو nh، فإن دعوة nh شخصًا بالضبط عادةً لا تكون كافية. لأن:

• بعض الأشخاص لا يشاركون،
• وبعضهم لا يكمل المهمة,
• بعض السجلات تظل خارج البروتوكول،

بعض حزم الأدلة تصبح غير صالحة. دع معدل الإنجاز المتوقع للفئة يكون rh ومعدل الصلاحية المتوقع يكون vh. الهدف من الدعوة هو تقريبًا:

m_h= ⌈n_h/ (r_h v_h)⌉

يمكن حسابه كما يلي. مثال:

• هدف الملاحظة الصالحة: 100
• معدل الإنجاز المتوقع: 80 في المئة
• معدل الصلاحية المتوقع: 90 في المئة

m_h= ⌈100/ (0.80× 0.90)⌉ = 139

يمكن دعوة الأشخاص. هذا ليس ضمانًا. مع تقدم المجال، يمكن استخدام نظام النسخ الاحتياطي المحدد مسبقًا.

27. حد التضخم في الدعوات

دعوة المزيد من الأشخاص وحدها لا تحل مشكلة تحيز العينة. قد يكون المستجيبون الأوائل مختلفين نظاميًا عن المستجيبين المتأخرين. أخذ أول 1,000 من المكتملين فقط:

• المنطقة الزمنية،
• اهتمام التكنولوجيا،
• جودة الاتصال،
• جدول العمل

قد يؤدي إلى تحيز من حيث. ترتيب الدعوة والاختيار:

• يجب أن يكون عشوائيًا،
• يجب تسجيله ضمن الطبقة،

يجب إدارته طوال نافذة المجال.

28. نظام المشارك البديل

يجب إنشاء قائمة نسخ احتياطية مرتبة لكل شريحة قبل رؤية النتائج. يمكن تنشيط مشارك احتياطي فقط للأسباب التالية:

• عدم الاستجابة للدعوة
• عدم إتمام المهمة
• مشكلة في الملاءمة التقنية أو الأخلاقية
• انتهاك بروتوكول الطلب
• عدم صلاحية حزمة الأدلة
• إعادة تسجيل نفس الشخص

لا يمكن للمستخدم الاحتياطي التدخل للأسباب التالية:

رد الذكاء الاصطناعي للمستخدم السابق أسفر عن ناتج غير صحيح أو سلبي أو غير مرغوب فيه.

الاستجابة غير الصحيحة للذكاء الاصطناعي هي النتيجة النظامية الصحيحة. لا يمكن أن تكون سببًا لتغيير المشارك.

29. العَمَى في النتيجة عند اتخاذ قرار الصلاحية

الشخص الذي يقرر ما إذا كانت الملاحظة تتوافق مع البروتوكول قدر الإمكان:

• يجب أن يقيم الاستجابة دون معرفة ما إذا كانت صحيحة أم خاطئة،
• أو ما إذا كانت إيجابية أم سلبية للعلامة التجارية.

أولاً:

• القبض على الصلاحية والبروتوكول
• ثم يجب تنفيذ تقييم الاستجابة الموضوعية

وإلا، يمكن إعلان الاستجابات السلبية على أنها: "غير صحيحة" بسهولة أكبر.

30. طلب احتياطي داخل الطبقة

يجب أن يكون المشارك الاحتياطي من نفس المصدر قدر الإمكان:

• البلد،
• اللغة،
• واجهة المنتج
• الخطة،
• حالة اللوحة

الطبقة. إذا لم يتبق أي احتياطي في نفس الطبقة، يتم تطبيق التصعيد المحدد مسبقًا:

• اختيار إضافي عشوائي داخل نفس الطبقة
• مجموعة الطبقة العليا المحددة مسبقًا
• ترك التخصيص غير مكتمل وتحذير النطاق
• نسخة تحليل جديدة

بعد رؤية النتيجة، لا يمكن جلب مستخدم من دولة أخرى وسد الفجوة بصمت.

31. ماذا يحدث إذا كانت الطبقة قصيرة جدًا؟

قد ينخفض تحت هدف طبقة. مثال:

• الهدف: 100
• ملاحظة صالحة: 72

الخيارات الصحيحة:

• توسيع نافذة الحقل إلى مدى محدد مسبقًا
• استخدام قائمة النسخ الاحتياطي
• دمج الخلية مع طبقة عليا مشابهة ومحددة مسبقًا
• الإبلاغ عن النتيجة مع درجة غير يقين واسعة
• عدم نشر نتيجة الخلية
• إعادة حساب الوزن العالمي باستخدام طريقة مناسبة

الخيار الخاطئ: إزالة الطبقة منخفضة الدرجات بالكامل من التحليل.

32. تغيير الحصة بعد النتيجة

التغييرات التالية تعتبر تلاعبات نموذجية مرتكزة على النتائج:

• تقليل الحصة المستهدفة للبلد منخفض النقاط
• زيادة حصة اللغة عالية النقاط
• إلغاء صلاحية المستخدمين الذين يقدمون ردودًا سلبية
• إعادة تعريف مجموعة الدول الصغيرة بناءً على النتائج
• استبعاد خطة تحتوي على أخطاء حرجة
• إضافة مستخدمين جدد حتى الوصول إلى المتوسط المرغوب

كل تغيير في حصة المواد:

• نسخة التخصيص الجديدة،
• التبرير،
• تاريخ،
• صاحب القرار
• الحفاظ على النتيجة السابقة

يجب القيام به مع.

33. أخذ العينات متعدد المراحل

يمكن استخدام أخذ العينات متعدد المراحل عندما لا يكون الوصول المباشر إلى جميع الأفراد ممكنًا. مثال:

• اختيار منطقة أو مجموعة دول
• اختيار الدولة
• اختيار لوحة أو شريك بحث محلي
• اختيار المستخدم
• تعيين المنتج أو المهمة الخاصة بالذكاء الاصطناعي

إجمالي احتمالية اختيار مستخدم فردي هو ناتج الاحتمالات الشرطية في كل مرحلة:

π_i= π_r× π_{c|r}× π_{f|c}× π_{i|f}

هنا:

• r: المنطقة أو مجموعة دولة صغيرة
• c: الدولة
• f: إطار أخذ العينات أو اللوحة
• i: الشخص

وزن التصميم الأساسي:

d_i= 1/π_i

إذا لم يكن من الممكن تسجيل احتمالات الاختيار، فلا يمكن تقديم التصميم كعينة قائمة بالكامل على الاحتمالات. [K04; K07]

34. التوزيع في اللوحات الطوعية وغير المعتمدة على الاحتمالات

قد لا يكون الحصول على لوحة عالمية قائمة على الاحتمالات دائمًا ممكنًا. يمكن استخدام لوحة طوعية أو مهنية على الإنترنت. في هذه الحالة، لا يزال من الممكن تحديد حصص الدولة واللغة وفقًا للسكان المؤهلين للمنتج. ومع ذلك:

• قد تكون الاحتمالية الفعلية لاختيار المشارك غير معروفة.
• قد يحدث اختيار ذاتي,

يمكن للترجيح إجراء تعديلات بناءً فقط على المتغيرات المرصودة. الحالة الصحيحة:

لوحة مستخدم غير احتمالية مُقسمة ومعايرة للسكان

قد تكون. البيان التالي لا يمكن استخدامه: "1,000 أشخاص مختارون بشكل عشوائي بالكامل من سكان العالم."

35. هيكلية الترجيح

قد يتكون وزن الملاحظة النهائي من عدة مكونات:

w_i= d_i× a_i^{NR}× g_i^{CAL}

هنا:

• di: وزن التصميم الأساسي
• aiNR: تعديل عدم الاستجابة
• giCAL: معامل المعايرة

35.1. وزن التصميم

إنه مقلوب احتمال اختيار المشارك في تصميم العينة.

35.2. تعديل عدم الاستجابة

للأشخاص المختارين ذوي الخصائص المماثلة:

• كم منهم أجاب،
• كم منهم أنتج ملاحظة صالحة

يمكن أخذها في الاعتبار. لفئة استجابة العينة r:

a_r^{NR}= (Σ_{j∈S_r} d_j)/ (Σ_{i∈R_r} d_i)

هنا:

• Sr: العينة المؤهلة المختارة
• Rr: الذين استجابوا أو أنتجوا ملاحظة صالحة

قد يكون. تعديل عدم الاستجابة: لا يحل تمامًا التحيز غير المرصود، ويجب شرحه مع افتراضاته.

35.3. وزن المعايرة

العينة، إلى إجماليات السكان المعروفة:

• البلد،
• اللغة،
• العمر،
• الخطة،
• واجهة المستخدم.

يمكن تطبيق المعايرة عبر هذه الأبعاد، ولكن فقط حيث توجد إجماليات خارجية موثوقة.

36. تطبيع الوزن

الأوزان:

• إلى إجمالي السكان،
• إلى حجم العينة الكلي،
• إلى الفرد

يمكن تطبيعها. يجب شرح التطبيع المستخدم في صيغة النتيجة. الأوزان المطابقة بشكل فردي:

w̃_i= w_i/ Σ_j w_j

تم الحصول عليها. التقدير المرجح:

θ̂ = Σ_i w̃_iY_i

يتم حسابها كما يلي.

37. تقليم الأوزان

قد يتلقى بعض المشاركين أوزانًا عالية جدًا لأنهم يمثلون مجموعات صغيرة ونقصت عيناتها. هذا الوضع:

• يمكن أن يزيد من التباين المقدر،
• أثر مشاهد واحدة،
• وتقلب الدرجات

يمكن أن يزيد. يمكن تقليص الأوزان عند حد أعلى. ومع ذلك، فإن التقليص: قد يخلق تحيزًا في تمثيل السكان، قد يجعل المجموعات الصغيرة غير مرئية مرة أخرى. لذلك، يجب أن يكون تقليص الأوزان:

• مُعرفًا قبل النتائج،
• معروضًا مع النتائج غير المُقلصة،

ويحمل تحليل الحساسية.

38. حجم العينة الفعّال

على الرغم من أن العدد الخام للملاحظات هو n، إذا كانت الأوزان تختلف بشكل كبير، قد تكون كمية المعلومات الفعلية أقل. حجم العينة الفعّال وفقًا لـ Kish:

n_eff= (Σ_i w_i)^2/ Σ_i w_i^2 [K08]

يمكن عرضه كما يلي. مع الأوزان المتساوية:

neff≈n

يتم الحصول عليه. إذا كانت الأوزان غير متوازنة جدًا: neff<n. دراسة GEO-1000:

• 1,000 من الملاحظات الصالحة،
• قد تحمل 620 حجم العينة الفعّال

. للجمهور فقط: قول "تم قياس 1,000 شخص" قد يظهر قويًا بسبب الدقة. في التقرير الرئيسي، على الأقل:

• عدد الملاحظات الصالحة الخام،
• حجم العينة الفعّال،
• تباين الأوزان

يجب تحديده.

39. تأثير تصميم الوزن

التأثير التقريبي للتصميم بسبب الأوزان:

DEFF_w≈ 1+ CV(w)^2

يمكن إظهار ذلك. هنا:

CV(w) = sd(w) / mean(w)

هذا هو معامل التباين للأوزان ويمثل فقط تقريبًا تأثيرها. قد يختلف التأثير الكلي للتصميم أيضًا مع:

• التجمع,
• التصنيف,
• القياس المتكرر,
• المستخدمون المزدوجون

يجب تقدير هذه التأثيرات بشكل منفصل.

40. التجمع

نفس الشيء:

• من لوحة البحث,
• من البلد,
• من مجتمع اللغة،
• من الجهاز أو المؤسسة،
• من المستخدم

قد تتشابه الملاحظات بعضها مع بعض. وفي هذه الحالة، لا تمثل 1,000 ملاحظة 1,000 وحدة معلومات مستقلة تماماً. التجميع العنقودي:

• في تصميم العينة،
• في حساب التباين،
• في حجم العينة الفعّال

يجب أخذها في الاعتبار.

41. اختبار أكثر من منتج ذكاء اصطناعي واحد بواسطة نفس المستخدم

إجراء اختبار مستخدم لعدة منتجات ذكاء اصطناعي يسمح بقياس الفرق بين النماذج على نفس الشخص. الميزة: يمكن التحكم في خصائص المستخدم، ويمكن تعزيز المقارنة المزدوجة. القيد:

• ملاحظات المنتج غير مستقلة،
• ترتيب المهام يمكن أن يؤثر على استجابات أخرى،
• قد ينقل المستخدم الإجابة التي شاهدها في النظام الأول إلى النظام التالي،

قد يختلف المستخدمون الذين يمكنهم الوصول إلى جميع المنتجات عن المجتمع السكاني. لذلك، يجب على المنتجات:

• تُخصص بترتيب عشوائي،
• يجب منع مشاركة الإجابات السابقة،
• يجب تسجيل التصميم المزدوج.

يجب أن يحمي التحليل الاعتماد. يجب أن يكون لكل منتج ذكاء اصطناعي مجددًا هدفه الخاص من ملاحظات المنتجات الصالحة 1,000. إذا اختبر نفس البشر 1,000 عشرة منتجات:

• 1,000 البشر الفريدون،
• ملاحظات المنتج 10,000

يمكن تكوينها. هذان الرقمان ليسا متساويين.

42. تصميم الكتل الناقصة المتوازن

ليس كل المستخدمين بحاجة للوصول إلى جميع منتجات الذكاء الاصطناعي. على سبيل المثال، إذا كان هناك عشرة منتجات ذكاء اصطناعي، يمكن تخصيص ثلاثة منتجات لكل مشارك. إذا تم إجراء التعيينات بطريقة متوازنة:

• كل منتج 1,000 ملاحظات،
• كل زوج من المنتجات مستخدمون مشتركين كافون
• مشاركة أوسع من قبل السكان

يمكن تحقيقها. كمرشح لهذا النهج:

تصميم الكتل غير الكامل المتوازن

يمكن استخدامه. مميزاته:

• يقلل من عبء المشاركين,
• يخفض خطر اختيار المستخدمين الثقيلين فقط للذكاء الاصطناعي,

يوفر مقارنة متطابقة عبر النماذج. سيتم تفصيل التصميم الدقيق في الأقسام 8 و 9.

43. نطاق الوصول الطبيعي التوزيع

يحصل كل منتج ذكاء اصطناعي على تخصيص منفصل وفقًا لسكانه الخاصين في نطاق الوصول الطبيعي. وبالتالي، نفس الدولة:

• 200 لمنتج واحد,
• 0 لمنتج آخر،
• 50 لمنتج ثالث

يمكن ملاحظته. هذا الاختلاف ليس ظلماً. إنه أن عوالم الوصول الحقيقية للمنتجات مختلفة. بما أن درجات نطاق الوصول الطبيعي تنتمي إلى جماعات سكانية مختلفة، فلا ينبغي استخدامها بمفردها للترتيب المباشر.

44. قاعدة المقارنة المشتركة التوزيع

يتم إنشاء عالم وصول مشترك للمقارنة بين المنتجات. الجماعة السكانية المشتركة:

U_CS= ⋂_{a∈A} U_a

يمكن النظر إليها بهذه الطريقة. يتم قياس كل منتج بنفس أوزان السكان قاعدة المقارنة المشتركة. هذه الطريقة:

• توفر مقارنة عادلة بين المنتجات،
• نفس المستوى في الدولة واللغة

يضمن ذلك. ومع ذلك، فإنه لا يظهر الفارق الطبيعي في الوصول العالمي للمنتجات. لذلك، يجب عرض نتائج نطاق الوصول الطبيعي و قاعدة المقارنة المشتركة معًا.

45. إدارة العينة عبر الموجات

قد يكون هناك هدفان مختلفان عبر موجات القياس المتعددة.

45.1. نتيجة المقطع العرضي الحالي

في كل موجة، يتم استخدام إطار السكان المؤهلين للمنتج الحالي. هذا المقياس يجيب على السؤال: "ماذا يحدث الآن في الكون الفعلي للوصول العالمي؟"

45.2. نتيجة اتجاه الإطار الثابت

تظل أوزان السكان من الموجة الأولية محفوظة. يجيب هذا المؤشر على السؤال: "كيف تغير التمثيل في نفس السكان المرجعيين مع مرور الوقت؟"

45.3. فصل بين نتيجتين

عندما يمتد المنتج إلى دول جديدة، قد ينخفض المؤشر الحالي. هذا الانخفاض:

• يرجع إلى تدهور المنتج،
• نتيجة لإدراج سكان جدد وصعوبتهم

قد يكون السبب في ذلك. يمكن أن يظهر الاتجاه ضمن إطار ثابت تحسناً في نفس الوقت. لذلك:

• لقطة للإطار الحالي
• اتجاه الإطار الثابت

إنها نتائج منفصلة.

46. تجديد وتحول اللوحة

بين الموجات:

• نفس المستخدمين،
• مستخدمين جدد تمامًا،
• لوحة متجددة جزئيًا

قابلة للاستخدام.

46.1. لوحة القسم الكاملة

يتم اختيار مستخدمين جدد في كل موجة. يمكن أن تكون قوية لتقدير السكان. إنها لا تقيس التغيير الفردي.

46.2. لوحة طولية

يتم قياس نفس المستخدمين مرة أخرى. يُظهر تغييرات المستخدم الفردي والمنتج. قد تخلق اللوحة تأثيرات التآكل والتعلم.

46.3. لوحة دوّارة

يتم الاحتفاظ بجزء من المشاركين، في حين يتم تجديد جزء آخر. يوفر تمثيلًا لكل من الاتجاهات والسكان الجدد. يجب أن يكون هيكل اللوحة المستخدم مرئيًا على بطاقة النتائج.

47. تثبيت العينة

يجب تثبيت السجلات التالية قبل بدء كل موجة:

• منتج الذكاء الاصطناعي
• واجهة المستخدم
• نسخة السكان المستهدفين
• نطاق الوصول الطبيعي الدول
• قاعدة المقارنة المشتركة الدول
• الطبقات
• مجموعات الدول الصغيرة
• الحصص الأولية
• التخصيصات الصحيحة
• تخصيصات اللغة
• خطة الفرز الزائد
• أهداف الدعوة
• قوائم الاحتياطي
• طريقة الاختيار
• معادلة الوزن
• قاعدة تعطيل النتائج
• تصعيد النقص
• خطة التحليل
• طريقة فك الترميز
• البذرة العشوائية، إذا تم استخدامها
• موافقة الإنسان المسؤول

لهذا الملف:

تثبيت تخصيص العينة NOMOS

يمكن إعطاؤه اسماً.

48. التغييرات مسموح بها بعد تثبيت العينة

قد تتطلب الأحداث التالية إصدار نسخة جديدة:

• إنهاء الوصول إلى المنتج في البلد
• مشكلة خطيرة في سلامة الميدان
• خطأ مادي في بيانات السكان
• مقدم اللوحة غير قادر على التسليم إلى دولة معينة
• تغيير في متطلبات أخلاقيات البحث
• خطأ حرج في أداة القياس

تغيير:

• يجب أن يكون مبررًا،
• بتاريخ،
• معتمدًا،
• يتم تنفيذه مع الحفاظ على النسخة القديمة.

قوة أو ضعف النتائج ليست سببًا للتغيير.

49. حالات جودة العينة

يمكن أن تحمل موجة العينة واحدة من الحالات التالية:

SQ-0— غير مصممة

لا يوجد تصميم عينة موثق.

SQ-1— مراقبة بالراحة

هناك مراقبة بالراحة أو طوعية. لا يمكن تعميم النتائج على السكان.

SQ-2— التحكم بالحصة

هناك حصص للبلد واللغة. احتمالات الاختيار غير معروفة بالكامل.

SQ-3— لوحة مرجحة

هناك لوحة مُقسّمة ومعايرة للسكان. لا تزال هناك حدود للتغطية والاختيار الذاتي.

SQ-4— بناء قائم على الاحتمالات أو هجين

توجد احتمالات اختيار معروفة أو تصميم هجين قوي.

SQ-5— مكرر ومعاير

تم تكرار التصميم في موجات وتطبيقات خارجية مختلفة؛ وتمت معايرة سلوك الانحياز والتباين. قد تؤثر هذه الحالات على فئة الثقة للنتيجة العامة.

50. تخصيص نهائي اصطناعي شامل GEO-1000

عرض المنهجية الاصطناعية / الدول والسكان واللغات ومنتج الذكاء الاصطناعي والحسابات التالية كلها خيالية بالكامل. بالنسبة لمنتج الذكاء الاصطناعي Synthetic Orion، فليكن السكان المناسبون لـ نطاق الوصول الطبيعي هم 1 مليار شخص. هدف لوحة السكان الرئيسية:

n=1,000

50.1. تخصيص الدول والدول الصغيرة

50.2. تخصيص اللغة في الدولة ب

السكان المؤهلون في الدولة ب:

• اللغة X: 80 بالمئة
• اللغة Y: 20 بالمئة

تخصيص عينة السكان:

• اللغة X: 200
• اللغة Y: 50

تخصيص إضافي للعدالة اللغوية: اللغة ي: 50 هدف الحقل في الدولة ب:

• اللغة X: 200
• اللغة Y: 100
• الإجمالي: 300

ومع ذلك، أوزان سكان عينة السكان العالمية:

• اللغة X: 80% من الدولة ب
• اللغة ي: 20% من الدولة ب

تبقى كما هي.

50.3. ملحق مراقب الدولة

هناك ملاحظتان لاحتمالية H و I و J في مجموعة البلدان الصغيرة في لوحة السكان. كما تتضمن لوحة مراقب الدولة:

H: 1

I: 1

J: 1

يمكنها استهداف الملاحظات. هذه الملاحظات الثلاثة:

• تزيد من التغطية الجغرافية،
• تُظهر أحداث كل دولة على حدة،

لا تُنشئ درجة للبلد.

50.4. ملحق إمكانية الوصول

إذا تبين أن اللوحة الرئيسية لا تغطي مستخدمي الوصول بشكل كافٍ، يمكن أخذ ملاحظات إضافية 40. هؤلاء المستخدمون: يتم معايرتهم وفقًا لمجموعات السكان ذات الصلة، ويقدمون نتيجة لوحة الوصول بشكل منفصل.

50.5. إجمالي حجم المجال

الاسم GEO-1000 لا يزال صالحًا. لأن:

1,000 هو الهدف الصحيح للملاحظة للوحة السكان الرئيسية.

يمكن إضافة لوحات العدالة التكميلية والتغطية إلى هذا.

50.6. حجم الدعوة

في لوحة السكان في المتوسط:

• الإكمال: 82 في المئة
• الصلاحية: 92 في المئة

ليكن متوقعاً. الدعوة المطلوبة:

⌈1,000/ (0.82× 0.92)⌉ = 1,326

قد يكون. مع اللوحات التكميلية، قد تتجاوز إجمالي الدعوات 1,500. لذلك:

GEO-1000 ليست فقط طريقة لإرسال الدعوات إلى 1,000 شخصًا.

50.7. نتيجة الميدان

في لوحة السكان:

• تم دعوة 1,326 أشخاص،
• تم إكمال مهام 1,080،
• تم العثور على سجلات 1,012 صالحة من حيث البروتوكول،
• تم تضمين أول 1,000 في التحليل الرئيسي وفقًا لترتيب عشوائي/احتياطي محدد مسبقًا

حسنًا. السجلات الصالحة المتبقية لـ 12:

• التحقق الاحتياطي،
• تحليل الحساسية،
• إعادة التحقق

يمكن تخزينه. لا يمكن تحديد أي 1,000 سيتم اختياره من خلال النظر في النتائج.

51. خوارزمية التوزيع المعيارية

التسلسل الافتراضي للعمليات للوحة الرئيسية GEO-1000 هو كما يلي:

الخطوة 1— تثبيت المنتج ومعرّف الموجة

تحديد أي منتج AI، وما الواجهة، والتاريخ الذي تم قياسه.

الخطوة 2— تثبيت نسخة الفئة المستهدفة

يتم استخدام إطار السكان المؤهلين للمنتج من القسم 5.

الخطوة 3— تحديد الهدف الرئيسي للملاحظة الحالية

الهدف المرشح الافتراضي:

n=1,000

الخطوة 4— تحديد طبقات المواد

يتم تحديد الدولة واللغة، وإذا لزم الأمر، طبقات الخطة/الواجهة.

الخطوة 5— إعداد تجمعات الدول الصغيرة

يتم تضمين الدول التي ستولد تخصيصات قريبة من الصفر في التجمعات المناسبة.

الخطوة 6— حساب الحصص النسبية الأولية

qh=nWh

الخطوة 7— تنفيذ التخصيص الصحيح

يتم تطبيق طريقة الباقي الأكبر أو الطريقة المكافئة المعلنة مسبقًا.

الخطوة 8— إضافة خطة أخذ العينات الزائدة

يتم حفظ ملحقات مراقب الدولة، وعدالة اللغة، وإمكانية الوصول بشكل منفصل.

الخطوة 9— حساب أعداد الدعوات والاحتياطيات

يتم استخدام معدلات الاكتمال المتوقعة والصلاحية.

الخطوة 10— عشوائية ترتيب الاختيار

القوائم الرئيسية والنسخ الاحتياطية مجمدة.

الخطوة 11— حفظ صيغة الوزن

تم تعريف أوزان التصميم والاستجابة والمعايرة.

الخطوة 12— تأكيد تثبيت العينة

يتم إنشاء سجل النسخة والنزاهة قبل عرض استجابات الذكاء الاصطناعي.

52. الأحكام الإلزامية المعيارية

CH06-N01

يجب إنشاء تخصيص عينة GEO-1000 وإصدار نسخ قبل عرض استجابات الذكاء الاصطناعي.

CH06-N02

يجب تعريف هدف لوحة السكان الرئيسية كحد أدنى 1,000 ملاحظات صالحة لكل منتج ذكاء اصطناعي وموجة القياس الرئيسية؛ إذا تم استخدام هدف مختلف، يجب شرح المبرر.

CH06-N03

يجب التمييز بين الشخص المدعو، والشخص الذي يكمل المهمة، وأرقام الملاحظات الصالحة.

CH06-N04

يجب أن يكون التخصيص الرئيسي بناءً على السكان المؤهلين للمنتج المحددين في القسم 5.

CH06-N05

يجب حساب حصص الدول أو اللغات بناءً على نسبة السكان المؤهلين للمنتج المعني، وليس على إجمالي السكان.

CH06-N06

يجب تحديد طريقة تحويل الحصص الكسرية الخام إلى أعداد صحيحة مسبقًا.

CH06-N07

يجب أن يكون حل تعادل التقريب مستقلًا عن النتائج.

CH06-N08

لا ينبغي ترك الدول الصغيرة ذات السكان المستهدفين الإيجابيين كطبقات حتمية منفصلة ذات احتمال صفر؛ ينبغي استخدام طريقة تجميع مناسبة أو اختيار احتمالي.

CH06-N09

يجب تبرير تجمعات البلدان الصغيرة من حيث الوصول إلى المنتج والخصائص المالية للسكان.

CH06-N10

يجب أيضًا تسجيل ملاحظات المراقب الوطني دون تغيير الوزن السكاني الرئيسي.

CH06-N11

لا يمكن تقديم ملاحظة مراقب بلد على أنها درجة للبلد.

CH06-N12

يجب إعادة البلدان أو اللغات أو مجموعات المستخدمين التي تم أخذ عينات مفرطة منها إلى الأوزان الحقيقية للسكان المستهدفين في التقدير العالمي.

CH06-N13

لا يمكن استخدام نسبة العينة مثل نسبة المجتمع.

CH06-N14

لا يمكن تكرار نفس الشخص في عدد السكان البشريين العالمي بسبب تعدد اللغات أو الحسابات أو الجلسات أو المنتجات.

CH06-N15

يجب تصنيف الملاحظات غير الصالحة دون الاعتماد على محتوى النتائج كمبرر لعدم الصلاحية.

CH06-N16

لا يمكن أن تكون الاستجابات غير الصحيحة أو السلبية أو الرفضية أو الاستجابات الحرجة للذكاء الاصطناعي سببًا لتغيير المشارك.

CH06-N17

يجب إنشاء قوائم المشاركين الاحتياطية ضمن الطبقة قبل الاطلاع على النتائج.

CH06-N18

لا يمكن لدولة أو لغة أخرى إغلاق فجوات الطبقة بهدوء.

CH06-N19

تتطلب تغييرات الحصة بعد النتائج أو الطبقة أو مجموعة الدول الصغيرة أو الأوزان إصدار تحليل جديد.

CH06-N20

يجب نشر جميع مكونات الأوزان وطريقة التطبيع.

CH06-N21

يجب توضيح افتراضات تعديل عدم الاستجابة.

CH06-N22

إذا تم استخدام تقليم الأوزان، يجب الاحتفاظ بالنتيجة غير المقلصة وتحليل الحساسية.

CH06-N23

يجب أن يوضح التقرير الرئيسي حجم العينة الفعّال المناسب جنبًا إلى جنب مع العدد الخام للملاحظات.

CH06-N24

يجب أخذ التكتل والتكرار واعتماديات المستخدمين المرتبطين في حساب التباين في الاعتبار.

CH06-N25

لا يمكن عرض التصميم الذي يختبر فيه نفس الشخص عدة منتجات ذكاء اصطناعي كعينة مستخدم مستقلة تمامًا.

CH06-N26

يجب على كل منتج ذكاء اصطناعي أن يحقق بشكل منفصل هدفه الخاص من 1,000 من الملاحظات الصالحة للمنتج.

CH06-N27

يجب أن تحتفظ المخصصات نطاق الوصول الطبيعي و قاعدة المقارنة المشتركة بسجلات عينة منفصلة.

CH06-N28

لا يمكن الجمع بين النتائج الحالية وثابتة الإطار بين الموجات دون تفسير.

CH06-N29

إذا كانت العينة غير كافية لمجموعة فرعية، فيجب أن تكون الحالة الصحيحة هي عينة غير كافية، استكشافية، أو غير مقدرة.

CH06-N30

لا يمكن استخدام حجم العينة الخام كمؤشر دقة نهائي، متجاهلين الأوزان وتأثير التصميم.

CH06-N31

لا يمكن المطالبة بأوزان التصميم في عينة تطوعية أو عينة غير عشوائية كما لو كانت احتمالات الاختيار معروفة.

CH06-N32

لا يمكن تعديل العينة بعد الحدث لاستبعاد المجموعات منخفضة الدرجات أو لتكبير المجموعات مرتفعة الدرجات.

CH06-N33

يجب تصنيف الملاحظات من اللوحة السكانية الرئيسية واللوحات التكميلية بشكل منفصل من حيث الغرض والوزن.

CH06-N34

يجب أن يكون لتثبيت العينة مالك بشري أو مؤسسي مسؤول.

53. أشكال الفشل

CH06-F01— تعيين الحصة بعد النتيجة

يتم تحديد عدد الدول واللغات بعد عرض ردود الذكاء الاصطناعي.

CH06-F02— استخدم النسخة الاحتياطية حتى الحصول على أفضل إجابة

يتم استبدال الردود السلبية بمستخدم جديد حتى لو كانت صالحة.

CH06-F03— عد دعوات 1,000 كملاحظات صالحة 1,000

عدم الاكتمال وعدم الصلاحية مخفيان.

CH06-F04— إعادة ضبط الدولة إلى الصفر مع التقريب النقي

تُترك احتمالية اختيار الدولة ذات السكان المستهدفين الإيجابيين عند الصفر.

CH06-F05— إعطاء شخص واحد لكل دولة وتسميته نسبة السكان

يتم إخفاء الاختلال الناجم عن الحصة الدنيا.

CH06-F06— اعتبار مراقبة الدولة كمراقبة سكانية

تحصل المراقبة الإضافية لدولة صغيرة على الوزن الكامل في اللوحة الرئيسية لـ 1,000 شخصًا.

CH06-F07— إنشاء مجموعة الدولة الصغيرة بناءً على النتائج

يتم نقل دولة تحقق درجات منخفضة إلى مجموعة أخرى أو استبعادها من التغطية.

CH06-F08— وضع دول غير متوافقة في نفس المجموعة

يتم دمج الدول التي تختلف في الوصول إلى المنتجات أو اللغة أو الاختصاص القضائي فقط لأنها صغيرة.

CH06-F09— المبالغة في وزن أخذ عينات مفرطة

يحدد النتيجة العالمية بحصة من العينة أعلى من حصة اللغة أو حصة سكان الدولة.

CH06-F10— مضاعفة عدد الأفراد متعددي اللغات

يتم احتساب الشخص كوحدة سكانية منفصلة في كل خلية لغة.

CH06-F11— اعتبار حصة العينة هي حصة السكان

يتم تحويل أرقام الاستجابة الخام مباشرة إلى النتيجة العالمية.

CH06-F12— ترتيب الدعوات حسب سهولة الترتيب

المستخدمون الذين يردون أولاً وبسرعة يحددون العينة.

CH06-F13— استخدام الاحتياطيات من الطبقات المستبعدة

الملاحظات المفقودة عن الدولة أو اللغة يتم استكمالها بهدوء بمشاركين من مجموعة أخرى.

CH06-F14— ربط البطلان بمحتوى الاستجابة

يتم إعلان استجابة الذكاء الاصطناعي غير الصحيحة باطلًا من الناحية التقنية.

CH06-F15— استبدال الرفض بمستخدم جديد

يتم إزالة رفض النظام من المقام على الرغم من أنه النتيجة الفعلية للمستخدم.

CH06-F16— إخفاء صيغة الوزن

النتيجة العامة لا تظهر بالضبط مع أي السكان وأوزان العينة تم إنتاجها.

CH06-F17— تقليم الأوزان لحذف المجموعات الصغيرة

يتم تقليم المجموعات الصغيرة ذات الأوزان العالية لأن النتيجة لا تبدو جيدة.

CH06-F18— إخفاء العينة الفعالة

حتى إذا انخفضت سجلات 1,000 الخام إلى نقاط بيانات 500–600 بسبب الأوزان، يتم تقديمها كـ "دقة شخص 1,000".

CH06-F19— اعتبار التجميع كاستقلالية

تعتبر الملاحظات من نفس اللوحة أو المؤسسة أو المستخدم مستقلة تمامًا.

CH06-F20— اعتبار نفس 1,000 الناس كعشرة آلاف شخص مستقل

يتم وصف عشر ملاحظات لمنتج ذكاء اصطناعي كما لو أن السكان كانوا أكبر بعشر مرات.

CH06-F21— اعتبار قاعدة المقارنة المشتركة كـ نطاق الوصول الطبيعي

يتم عرض عينة المقارنة الشائعة كما لو كانت هي السكان الفعليين لانتشار المنتج على مستوى العالم.

CH06-F22— تصنيف نتائج نطاق الوصول الطبيعي مباشرة

يتم مقارنة درجات المنتج في مجموعات مستهدفة مختلفة كما لو كانت من نفس الكون.

CH06-F23— إخفاء تغيير السكان في الموجات

على الرغم من دخول دول جديدة أو مجموعات مستخدمين جديدة في التقييم، يتم تفسير الاتجاه فقط على أنه تغيير في جودة المنتج.

CH06-F24— إنتاج درجات محددة من عينات غير كافية لمجموعة فرعية

يتم نشر عدد قليل من الملاحظات كدرجات محددة لدولة أو لغة.

CH06-F25— تغيير تثبيت العينة بصمت

يتم تحديث الحصة أو الوزن أو تعريفات المجموعة دون سجل للنسخة.

CH06-F26— مضاعفة معدلات الأهلية بشكل أعمى

تتجاهل حسابات السكان المؤهلين والحصص خصائص السكان التابعين.

CH06-F27— استبدال اللوحة الرئيسية باللوحة التكميلية

يتم استخدام ملاحظات عدالة اللغة أو مراقب البلد لتقليل الهدف السكاني الرئيسي لـ 1,000.

CH06-F28— حذف الخلايا منخفضة الدرجات عندما تكون اللوحة قصيرة

يتم استبعاد العينات غير المكتملة لأنها غير مفيدة من حيث النتائج.

CH06-F29— استخدام الترجيح كلمسة علمية

يتم الادعاء بأن مشكلة التمثيل تُحل فقط بإضافة الوزن دون شرح الاختيار والانحياز في التغطية.

CH06-F30— الاعتقاد بأنه يجب طلب من GEO-1000 أن يسأل بالضبط 1,000 شخصًا

يتم تجاهل الدعوة، الألواح التكميلية، بطلان الصلاحية، التكرار، وهيكل العينة الفعّال.

54. إجراء التدقيق

الخطوة 1— تسجيل غرض العينة

يتم تقسيم تقدير السكان العالمي إلى تشخيص الفئات الفرعية، نطاق البلد، عدالة اللغة، الوصول، وأغراض مقارنة المنتجات.

الخطوة 2— التحقق من إصدار السكان المستهدفين

يتم مراجعة ملف السكان وتاريخ التسجيل في القسم 5.

الخطوة 3— تحديد الهدف الرئيسي للملاحظة الحالية

يتم كتابة الهدف الافتراضي GEO-1000 أو البديل المبرر.

الخطوة 4— إنشاء الطبقات

يتم تحديد الاختلافات في البلد واللغة والمادة واجهة المستخدم.

الخطوة 5— تحديد مجموعات الدول الصغيرة

لكل مجموعة:

• الدول،
• السكان،
• مبرر التشابه،
• طريقة الاختيار الداخلية

يتم تسجيلها.

الخطوة 6— حساب الحصص الخام

qh=nWh

يتم استخدام الصيغة أو بديل مبرر.

الخطوة 7— تطبيق التخصيص الصحيح

يتم تسجيل قواعد التقريب وكسر التعادل.

الخطوة 8— إضافة العينة التكميلية الزائدة

يتم تعريف أهداف مراقب الدولة، وعدالة اللغة، والوصول بشكل منفصل.

الخطوة 9— حساب حجم الدعوة والحجز

يتم استخدام توقعات الاكتمال والصلاحية.

الخطوة 10— تجميد الاختيار وحجز الطلب

يتم اختيار أو ترتيب المشاركين قبل رؤية النتائج.

الخطوة 11— حساب أوزان التصميم

يتم تسجيل احتمالات الاختيار وأوزان الطبقة.

الخطوة 12— تحديد الإجراء للبقاء صامتًا وعدم الرد

يتم كتابة استجابة تم الإعلان عنها سابقًا على فجوة الطبقة.

الخطوة 13— إنشاء تثبيت العينة

يتم إضافة معرف المستند والإصدار والتاريخ وسجل التكامل.

الخطوة 14— مراجعة تدفق صلاحية ما بعد الميدان

تم التحقق من أن قرارات الصلاحية تُعطى بشكل مستقل عن دقة الردود.

الخطوة 15— توليد الأوزان النهائية

يتم فصل التصميم إلى مكونات الاستجابة والمعايرة.

الخطوة 16— حساب حجم العينة الفعّال

يتم الإبلاغ عن الفرق بين الرقم الخام وحجم المعلومات.

الخطوة 17— مقارنة التخصيص والنتائج الفعلية

يتم عرض أعداد الملاحظات المخطط لها والفعلية على أساس خلية بخليتها.

الخطوة 18— مراجعة التغييرات بعد النتيجة

تم التحقق من تغييرات الحصص والمجموعة والوزن والنطاق.

55. الأدلة المطلوبة

هوية منتج الذكاء الاصطناعي؛ موجة القياس؛ نسخة السكان المستهدفة؛ هدف لوحة السكان؛ هدف مراقب الدولة؛ هدف عدالة اللغة؛ هدف لوحة الوصول؛ قائمة الطبقات؛ سكان الطبقات؛ أوزان السكان؛ الحصص الأولية؛ طريقة التقريب؛ سجلات التخصيص الكسري والمتبقي؛ قاعدة كسر التعادل؛ مجموعات الدول الصغيرة؛ احتمالات الاختيار ضمن المجموعة؛ تخصيصات الدولة واللغة؛ تخصيصات الخطة والواجهة؛ مبررات أخذ العينات الزائدة؛ أهداف الدعوة؛ افتراضات الإكمال؛ افتراضات الصلاحية؛ قوائم المشاركين الأساسيين واحتياطيين؛ سجل الاختيار أو العشوائية؛ سجلات عدم الاستجابة؛ أسباب المشاهدات غير الصالحة؛ تواريخ قرارات الصلاحية؛ أوزان التصميم؛ تعديلات عدم الاستجابة؛ معاملات المعايرة؛ سياسة تقليم الأوزان؛ أحجام العينات الخام والفعالة؛ التجميع وسجلات المستخدم المطابقة؛ تخصيص نطاق الوصول الطبيعي؛ وتخصيص قاعدة المقارنة المشتركة.

أوزان الإطار الثابتة والحالية مقارنة التخصيص المخطط والفعلي تثبيت العينة سجل التغيير الشخص أو المؤسسة المسؤولة

56. قائمة تدقيق التدقيق

هل الهدف الأساسي للمراقبة صالح ومفتوح؟ هل الهدف 1,000 يدعو إلى الملاحظات أو الصالحة منها؟ هل تم تجميد العينة قبل مشاهدة استجابات الذكاء الاصطناعي؟ أي إطار للسكان تم استخدامه؟ على أي أساس تم إنشاء الطبقات؟ هل تم عرض حصص الدول واللغة الخام؟ هل طريقة تحويل الكسور إلى أعداد كاملة واضحة؟ هل تم تحديد قاعدة الانقطاع مسبقًا؟ هل احتمال الاختيار للدول الصغيرة صفر؟ هل تجمعات الدول الصغيرة منطقية ومتوافقة؟ هل تم دمج ملاحظات مراقب الدولة في الوزن العام للسكان؟ هل تم إنتاج درجة الدولة من ملاحظة مراقب الدولة؟ إذا تم أخذ عينات زائدة لمجموعات اللغة والوصول، هل تم إعادة وزنها؟ هل تم احتساب نفس الشخص كأكثر من وحدة سكانية؟ هل يتم سرد أعداد الدعوات، والمكملين، والملاحظات الصالحة بشكل منفصل؟

هل تم إنشاء قوائم النسخ الاحتياطي مسبقا؟ هل تم استبدال مشارك بسبب استجابة خاطئة أو سلبية من الذكاء الاصطناعي؟ هل تم اتخاذ قرار الصلاحية قبل تقييم دقة المواد؟ هل تم إغلاق فجوة التابات بهدوء من دولة أخرى؟ هل تغيرت الحصة أو المجموعة بعد النتائج؟ هل يمكن إعادة إنتاج أوزان التصميم؟ هل الافتراضات حول إعداد عدم الاستجابة واضحة؟ هل تم إجراء تقليل الوزن وظهر تأثيره؟ هل يتم توفير أحجام عينات خام وفعالة معا؟ هل اختبر نفس المستخدم أكثر من منتج ذكاء اصطناعي؟ هل تم الحفاظ على هذا الاعتماد في التحليل؟ هل وصل كل منتج ذكاء اصطناعي إلى ملاحظات 1,000 على حدة؟ هل تم فصل عينات نطاق الوصول الطبيعي و قاعدة المقارنة المشتركة؟ هل تغير إطار السكان بين الفترات؟

هل تم فصل الاتجاهات المؤطرة الثابتة والحالية؟ هل تم نشر عينات مجموعات فرعية غير كافية كما لو كانت نقاطاً نهائية؟ هل حالة جودة العينة صحيحة؟ هل حلت اللوحات التكميلية محل اللوحة الرئيسية؟ هل هناك صاحب مسؤول واضح لتسجيل العينة؟

57. الاعتراضات والردود

اعتراض 1— "لماذا لا نقدم لكل دولة الأفراد مباشرة وفقًا لنسبة السكان؟"

هذا افتراض قوي في البلدان ذات السكان الكبير والمتوسط. في الدول الصغيرة جدًا، قد تقع الحصة الخام دون شخص واحد. في هذه الحالة:

• مجموعة الدولة الصغيرة,
• الاختيار الاحتمالي للبلد،
• لوحة المراقب المنفصلة

قد تكون أكثر دقة.

الاعتراض 2— “ألن يكون من الأعدل إعطاء شخص واحد على الأقل لكل بلد؟”

قد يكون مفيدًا من حيث التغطية الجغرافية. إنه غير متناسب من حيث تقدير السكان. الحل الصحيح هو تسمية هذا الشخص بشكل منفصل كملاحظة مراقب للبلد.

الاعتراض 3— “ألا يؤدي تلقي بلد صفر أشخاص في اللوحة الرئيسية إلى استبعاده تمامًا؟”

يمكن أن تكون مشكلة إذا تلقت دولة حصة صفرية كطبقة حتمية منفصلة. يمكن إعطاء احتمال اختيار إيجابي في مجموعة الدول الصغيرة. بالإضافة إلى ذلك، يمكن لعينة المراقب الحفاظ على الرؤية الرصدية للدولة.

اعتراض 4— "هل يؤدي جمع الدول الصغيرة إلى مسح الفروقات الثقافية؟"

يمكن حذفه إذا استُخدم لتوليد درجة الدولة. بالنسبة للتقدير العالمي الرئيسي، تُدير المجموعة احتمال الاختيار. يتم الحفاظ على معرف الدولة في سجل المراقبة. يمكن عمل أخذ عينات منفصل للمراقب والدولة الخاصة.

اعتراض 5— "لماذا لا ندرج مستخدمي المراقب ضمن 1,000؟"

يمكن تضمينهم. ولكن بعد ذلك لن تكون عينة 1,000 من الأشخاص متناسبة مع السكان الأصليين. سيكون من الضروري تطبيق التوزين، وقد ينخفض حجم العينة الفعّال للتقدير الرئيسي. في الهيكل الأساسي، يتم تخصيص ملاحظات 1,000 إلى لوحة السكان؛ وتُضاف ملاحظات مراقب الدولة إلى ذلك.

اعتراض 6— "ألن ترتفع تكلفة الميدان الإجمالية كثيرًا؟"

قد يحدث ذلك. لا ينبغي أن ينتج المعيار دقة مصطنعة عن طريق إخفاء التكلفة. مع ميزانية أقل:

• عدد أقل من منتجات الذكاء الاصطناعي،
• عدد أقل من اللغات،
• حجم تجريبي أصغر،
• زيادة عدم اليقين

يمكن استخدامه. يجب كتابة الحالة الصحيحة بوضوح.

اعتراض 7— "لماذا نقوم بجمع 1,093 أو أكثر من الملاحظات عندما يوجد الاسم GEO-1000؟"

1,000 هو الهدف الصالح للملاحظة للوحة السكان الرئيسية. يمكن إضافة عينات العدالة والتغطية إلى الهدف الرئيسي. هذا لا يضر باسم المعيار. إنه يجعل حجم المجال الكلي الفعلي للقياس مرئيًا.

اعتراض 8— "لماذا يؤدي أخذ عينات مفرطة من لغة إلى تشويه النتيجة العالمية؟"

تظهر اللغة التي تم أخذ عينات مفرطة منها كبيرة لأنها في الردود الخام. عند إرجاعها إلى وزن السكان، لا يتم تشويه النتيجة العالمية. تصبح نتيجة اللغة المنفصلة أكثر دقة.

الاعتراض 9— 'الأوزان معقدة جدًا؛ أليس المتوسط الخام أسهل للفهم؟'

يمكن أن يكون المتوسط الخام ذا معنى إذا كان متناسبًا مع عينة السكان. يمكن أن تتسبب العينة المفرطة، أو عدم الاستجابة، أو اختلافات التغطية في أن يجيب المتوسط الخام على السؤال الخاطئ. لا يمكن إخفاء التعقيد إذا نشأ عن تصميم العينة.

الاعتراض 10— "إذا كان هناك 1,000 من الملاحظات الصالحة، لماذا يجب أن تكون العينة الفعالة أصغر؟"

لأن بعض الملاحظات قد تحمل وزنًا عاليًا جدًا، بينما قد تحمل ملاحظات أخرى وزنًا منخفضًا جدًا. قد تشبه السجلات من نفس العينة أو المستخدم بعضها البعض. العدد الخام هو عدد السجلات الفعلي. تقترب العينة الفعالة من حجم المعلومات الإحصائية.

الاعتراض 11— "ألن يكون من الأكثر عدلاً أن يختبر نفس الأشخاص جميع منتجات الذكاء الاصطناعي؟"

يقلل من اختلاف المستخدمين. ومع ذلك:

• يمكن أن يحد من نطاق الوصول إلى المنتج،
• يمكن أن يزيد من عبء المهام،

يمكن أن يخلق تلوثاً بين الإجابات. يمكن إدارتها باستخدام التصميم المتطابق أو تصميم الكتل الغير مكتملة المتوازن.

الاعتراض 12— "إذا لم يصل مستوى ما إلى الهدف، هل يمكن ألا يتم نشر النتيجة العالمية أبداً؟"

ليس في كل الحالات. يتم تقييم النقص من حيث:

• وزن السكان،
• المخاطر،
• سبب عدم الكفاية.
• التغطية المتبقية

تم النظر فيها. النتيجة:

• مع تغطية محدودة،
• مع عدم يقين واسع،
• مع التحذير: تغطية غير كافية

يمكن نشره. لا يمكن إخفاء النقص.

الاستئناف 13— "إذا تغيرت بيانات السكان، هل علينا تجديد جميع الحصص في كل موجة؟"

قد يكون التجديد مطلوباً للنتيجة اللحظية الحالية. يمكن أيضاً الحفاظ على الأوزان الأولية الثابتة للمقارنة الترندية. يجب نشر النتيجتين بشكل منفصل.

الاستئناف 14— "إذا لم نتمكن من إنشاء لوحة عالمية احتمالية، هل يمكن عدم تطبيق NOMOS؟"

إنه قابل للتطبيق. ومع ذلك، يجب تسجيل حالة جودة العينة بشكل صحيح. يمكن أن يكون مجلس من المتطوعين المعيَّرين وفقًا للسكان ذا قيمة. لا يمكن تقديمه كعينة احتمالية كاملة.

النص العام للفصل 60

لا تنشأ قوة GEO-1000 فقط من العدد 1,000. من بين 1,000 شخصًا:

• من أي سكان جاءوا،
• بأي احتمالية تم اختيارهم،
• أي دولة ولغة كانوا يمثلون،
• كم مرة تم عد نفس الشخص،
• أي الملاحظات اعتبرت صالحة،
• كيف تم التعامل مع الدول الصغيرة.
• كيف تم وزن المجموعات المفرطة العينة،
• كم عدد الأشخاص الذين لم يُكملوا المهمة،
• من تم استبداله بناءً على النتائج

تنشأ سلطة العينة من هذه الخيارات التصميمية. قد تنتج العينة المعيبة استجابات 100,000 ومع ذلك تتحدث عن السكان الخاطئين. قد تحتوي العينة الصالحة على عدد أقل من الاستجابات لكنها تدعم استنتاجًا أكثر موثوقية ضمن حدود محددة بوضوح. يجب أن يحمل سكان دولة كبيرة وزنًا كبيرًا في التجربة البشرية العالمية، لكن يجب ألا يتم اختلاق المستخدمين حيث المنتج غير متاح. يجب أن يظل وزن الدولة الصغيرة عالميًا صغيرًا، لكن لا يجب أن تكون الدولة غير مرئية. قد تمثل لغة جزءًا صغيرًا من سكان العالم بينما لا تزال تحمل خطأ خطيرًا قابلًا للقياس. قد يستخدم شخص واحد ثلاث لغات وخمسة منتجات؛ هذا لا يخلق خمسة عشر شخصًا. قد يكون رد الذكاء الاصطناعي خاطئًا دون أن يجعل المشارك غير صالح. الرد الخاطئ هو ما يحاول التدقيق قياسه.

استبداله بمستخدم جديد لا ينظف القياس. إنه يمحو الواقع. لا يجعل التوزين لوحة خاطئة تتحول معجزيًا إلى سكان العالم. ومع ذلك، يمكن أن تجعل العينات الزائدة المصممة بشكل صحيح الفئات الفرعية مرئية دون تشويه التقدير العالمي. لذلك، فإن قانون القياس السادس لـ NOMOS هو:

يجب إنشاء العينة ليس لإنتاج النتيجة، بل لملاحظة النتيجة بعدل.

أما القانون السابع فهو كما يلي:

لا يجب أن تزيد رؤية دولة صغيرة من وزن سكانها.

قانونها الثامن هو كما يلي:

المراقبة الزائدة لا تعني زيادة وزن السكان.

القانون التاسع هو كما يلي:

الإجابة الخاطئة من الذكاء الاصطناعي ليست عيبا في البيانات؛ إذا تم الالتزام به بموجب البروتوكول الصحيح، فهو مسألة رقابة.

القانون العاشر هو:

الثقة في ألف ملاحظة لا تأتي من عدد الآلاف؛ بل يأتي من قابلية تكرار الاختيار والوزن.

ترتيب الفصل 6 من NOMOS

لا تقل لي فقط: 'طلبنا 1,000 الناس.'

أظهر من بين المليارين الذين تم اختيار هذه 1,000 وبأي احتمالية.

لا تتجاهل دولة لمجرد أنها تمثل نصف شخص. / ولكن أيضًا، لا تدّع أنك قمت بقياس الدولة بأكملها لمجرد أنك أخذت عينة من شخص واحد.

اختر البلدان الصغيرة بشكل احتمالي في المجموعة المناسبة. / إذا كانت هناك حاجة للرؤية، قم بإعداد لوحة مراقب منفصلة.

يمكنك زيادة عينات اللغات قليلة الموارد. / لكن لا تجعلها أكبر في النتيجة العالمية من عدد سكانها.

لا تكرّر شخصًا بقدر الحسابات، واللغات، والجلسات، ومنتجات الذكاء الاصطناعي.

استخدم النسخة الاحتياطية عندما لا يرد المشارك. / لا تغيّر المستخدم الخاص بك عندما يعطي الذكاء الاصطناعي إجابة خاطئة.

قرر بشأن الصلاحية دون رؤية صحة إجابتك.

إذا كانت الحصة مفقودة، فاشرح ذلك. / لا تجلب شخصًا من بلد آخر لسد الفجوة.

لا تغير الحصة أو الوزن أو مجموعة الدول أو الهدف العيني بعد رؤية النتيجة.

اعرض الرقم الخام. / اعرض العينة الفعلية. / اعرض من حصل على وزن ثقيل ومن حصل على وزن خفيف.

قم بتثبيت السكان أولاً. / ثم قم بإعداد الطبقات. / ثم احسب الحصص. / ثم اختر النسخ الاحتياطية. / ثم اكتب الأوزان. / وفقط بعد ذلك، أرسل صياغة المُدخل الأولى.

جملة ختام الفصل

GEO-1000 ليس طريقة لتجميع ألف إجابة؛ إنه بروتوكول لجعل تمثيل كل شخص في السكان المستهدف قابل للقياس تحت احتمال الاختيار والوزن الصحيح.

النواة المعيارية

ينبغي أن تستهدف لوحة السكان GEO-1000، لكل منتج ذكاء اصطناعي ولكل موجة قياس رئيسية، ما لا يقل عن 1,000 ملاحظة صالحة للمنتج، ما لم يُبرَّر صراحة هدف مختلف. ويجب تصميم توزيع العينة وضبط إصداره وتثبيته قبل رصد استجابات الذكاء الاصطناعي. ويجب أن يستند التوزيع الأساسي إلى المجتمع المستهدف المؤهل لاستخدام المنتج، لا إلى العدد الخام للسكان المقيمين أو أعداد الدعوات أو الحسابات أو الجلسات أو سهولة التوافر. ويجب تحويل التوزيعات الكسرية إلى حصص صحيحة بطريقة معلنة مسبقًا وقابلة لإعادة الإنتاج وعمياء عن النتائج. ولا يجوز منح أي فئة ذات وزن إيجابي في المجتمع احتمال اختيار يساوي صفرًا بصورة حتمية عندما يدّعي التدقيق إمكان الاستدلال على المجتمع المستهدف كاملًا. ويجوز تمثيل الفئات السكانية الصغيرة من خلال طبقات مدمجة مبررة واختيار احتمالي متناسب. ويجوز لملاحظات مراقب الدولة والعدالة اللغوية وإمكانية الوصول أن تكمّل اللوحة الرئيسية، شريطة أن تظل موسومة بصورة منفصلة وأن يعاد ترجيحها على نحو ملائم. ولا يجوز منح المجموعات المفرط في أخذ عينات منها حصتها الخام في العينة بوصفها وزنًا سكانيًا. ويجب أن يستند استبدال المشاركين حصرًا إلى شروط تجنيد معلنة مسبقًا أو شروط تتعلق بصلاحية البروتوكول. ولا يجوز أن تؤدي استجابة ذكاء اصطناعي خاطئة أو سلبية أو رافضة أو حرجة إلى استبدال المشارك. ويجب إبقاء الأشخاص والحسابات والجلسات واللغات وملاحظات منتجات الذكاء الاصطناعي وحدات منفصلة. كما يجب توثيق أوزان التصميم وتعديلات عدم الاستجابة والمعايرة والتقليم والتجميع العنقودي والملاحظات المقترنة وحجم العينة الفعّال. وأي تغيير بعد ظهور النتائج في الحصص أو الطبقات أو المجموعات أو الأوزان أو الاستبعادات أو أهداف العينة يجب أن ينشئ إصدارًا جديدًا من التحليل مع حفظ السجل الأصلي.