اختيار المشاركين وترجيحهم وتحيز أخذ العينات

حد الفصل

الفصل 5 عرّف مجموعة المستخدمين المستهدفة. الفصل 6 حوّل هذه المجموعة إلى تصميم عينة موزع عبر الدول واللغات وأسواق المستخدمين. الفصل 7 أنشأ أنظمة مراقبة تكاملية للدول الصغيرة واللغات منخفضة الموارد التي قد يتركها اللوحة السكانية الرئيسية غير مرئية. الآن، تحتاج الأرقام في خطة العينة إلى التحول إلى أشخاص حقيقيين:

أين سيتم العثور على هؤلاء المشاركين، وكيف سيتم اختيارهم، وتحت أي ظروف سيتم قبولهم في اللوحة، ومع أي تحيّزات سيدخلون درجة GEO؟

من لوحة عبر الإنترنت لمنظمة بحثية؟ من دعوة مفتوحة عبر وسائل التواصل الاجتماعي؟ من الجامعات؟ من قائمة المستخدمين الخاصة بالعميل؟ من شركاء البحث المحليين؟ فقط من الأشخاص الذين يستخدمون منتجات الذكاء الاصطناعي بشكل متكرر؟ من الذين يصلون إلى المنتج لأول مرة؟ من عملاء العلامة التجارية؟ من موظفي المنافسين؟ من مشتركي الخطط المدفوعة؟ كيف سيتم التحقق من أن الشخص يعيش فعلاً في ذلك البلد؟ كم مرة سيتم احتساب الشخص نفسه إذا كان يستخدم عدة حسابات؟ كم سيُدفع للمشارك؟ هل سيشجع الدفع إكمال المهمة بسرعة أو تقديم نتيجة محددة؟ هل سيتم الاحتفاظ بالملاحظة إذا قام المشارك بتحميل استجابة ذكاء اصطناعي غير صحيحة؟ أم سيتم استبداله بمستخدم جديد بعبارة: 'تم تنفيذ المهمة بشكل غير صحيح.'؟ قد يكون تم جمع ألف لقطة شاشة صالحة. ولكن المشاركون:

• 60% هم مستخدمون كثيفون للذكاء الاصطناعي،
• 20% هم طلاب تكنولوجيا،
• 10% هم عملاء العلامة التجارية المراجعة،
• 5% هم موظفو الشركة،
• البقية هم مستخدمون عامون

أي شريحة سكانية، إذن، سيمثلها هذا الناتج؟ هل يمكن أن تصحح الأوزان الديموغرافية الفروق بالكامل؟ مطابقة إجمالي العمر والجنس والبلد واللغة لا تصحح بالضرورة الفروق غير المقاسة في الاهتمام بالتكنولوجيا، ووعي العلامة التجارية، والوصول إلى الخطط المدفوعة أو أنماط استخدام الذكاء الاصطناعي. الأوزان مفيدة، لكنها لا تستطيع محو كل عيب في اختيار المشاركين. يطبق هذا الفصل المطلب السابق — أن يكون كل ضبط تدقيقي قابلاً للاختبار وفقًا للنموذج، التاريخ، البلد، اللغة، مجموعة الاستعلامات، عدد التكرارات وسجل القياس — على اختيار المشاركين الفعليين. كما أنه يحافظ على المطلب المركزي لـ NOMOS: الأدلة، الحدود، السياق والزمن. يتناول هذا الفصل:

• مصادر اختيار المشاركين،
• التمييز بين اللوحات الاحتمالية وغير الاحتمالية.
• التحقق من الأهلية والهوية،
• التحكم في الوصول حسب البلد واللغة والمنتج،
• تفرد المشارك،
• مخاطر المكافأة وإعادة التوجيه،
• تأثيرات لوحة التجارب،
• تعيين المهام،
• عدم الاستجابة وهدر المشاركين في اللوحة،
• المشاركة الاحتيالية أو المؤتمتة،
• التحيز في الاختيار والتغطية،
• قوة وحدود الأوزان،
• حالات جودة العينة

يحدد. هذا الفصل لم يتطرق بعد إلى:

• جميع المجالات التقنية لسجل منتجات الذكاء الاصطناعي،
• النظام الكامل للترجمة والإصدارات للصياغات مُدخل
• الهندسة المعمارية التفصيلية لبنية NOMOS Capture،
• التحكيم في الادعاء الذرية،
• صيغة النتيجة النهائية

غير محددة بالكامل. السؤال الرئيسي في القسم 8 هو:

عندما نجمع ألف سجل صالح، كيف نثبت لأي أشخاص حقيقيين تنتمي هذه السجلات وأي عدد سكاني بشري يمكن أن تمثله؟

NOMOS التحدي

تقوم بشراء أشخاص 1,000 من لوحة بحث عبر الإنترنت. يخبرك مزود اللوحة: "1,000 مشارك جاهز وفقًا لحصص بلدك وعمرهم." يكمل المشاركون المهمة. يقومون بتحميل لقطات الشاشة. النتائج الخام:

90 في المائة تمثيل دقيق.

في تقريرك، كتبت: "90% من المستخدمين حول العالم ممثلون بدقة." ومع ذلك، فإن التوزيع الفعلي للمشاركين هو كما يلي:

المستخدمون الكثيفون للذكاء الاصطناعي:

• عادات أفضل في إعداد الإرشادات،
• المزيد من الحسابات المدفوعة،
• المنتجات الواجهةية الأحدث،
• معرفة بالتخصيص،
• مألوفية أعلى مع التكنولوجيا

يمكن أن يكون. حتى إذا تم استخدام نفس الطلب المثبّت:

• خطة الحساب،
• واجهة
• الاستخدام السابق،
• الوصول للمنتج

قد يكون مختلفًا. دع نسب اجتياز المجموعة الاصطناعية تكون كما يلي:

النتيجة الأولية للوحة:

0.10(72)+0.30(84)+0.60(96)=90

وهذا هو:

90 في المئة

مع أوزان السكان المستهدفين، ومع ذلك، تكون النتيجة:

0.50(72)+0.30(84)+0.20(96)=80.4

لذلك، فإن نفس ردود 1,000 تنتج نتيجتين مختلفتين:

• نتيجة اللوحة الأولية: 90 في المئة
• نتيجة السكان المستهدفين: 80.4 في المئة

تخيل الآن أنك قد وزَّنته. يحصل كل من الأشخاص 100 في مجموعة الاستخدام المنخفض على وزن مرتفع. ويحصل كل من الأشخاص 600 في مجموعة الاستخدام العالي على وزن منخفض. حجم العينة الخام لا يزال 1,000. ومع ذلك، ينخفض حجم العينة الفعّال إلى حوالي 349. لذلك، قد تكون قد جمعت 1,000 ملفات. إحصائياً، قد لا يكون لديك حجم المعلومات المكافئ للأشخاص 1,000 المتساويين والمستقلين. الآن سؤال أصعب: في مجموعة الاستخدام المنخفض، الأشخاص الذين لم يتم تضمينهم أبداً في اللوحة:

• متصلون بشكل منخفض،
• يستخدمون تكنولوجيا مساعدة،
• يعيشون في مدينة صغيرة،
• ليس لديهم جهاز محدد

إذا كان هناك أشخاص، هل يمكن أن يعيدهم الوزن؟ لا. لا يمكن إنتاج ملاحظة لشخص غير موجود في عينة الإطار على الإطلاق عن طريق الوزن. الآن ترسل الشركة المدققة اتصالات إلى عملائها: 'يرجى المشاركة في الاستبيان.' يشارك العملاء المخلصون للشركة بمعدل مرتفع. الأشخاص الذين يعرفون المنافسين لكنهم لا يستخدمون الشركة يشاركون بمعدل أقل. قد تكون أوزان العمر والبلد صحيحة. قد يستمر انحياز ولاء العلامة التجارية. الآن مشكلة أخرى: يُقال للمشارك: 'ستحصل على مكافأة إذا قمت بتحميل استجابة دقيقة وعالية الجودة من الذكاء الاصطناعي.' يقوم المشارك بمراجعة الاستجابة. يختار النتيجة الأفضل. يقتطع لقطة الشاشة. لم تعد هذه الاستجابة الطبيعية لمنتج الذكاء الاصطناعي. إنها الاستجابة المختارة التي تم إنشاؤها بواسطة نظام المكافآت. القاعدة الأولى في هذا القسم هي:

عدد المشاركين ليس مقياسًا لقدرة تمثيل المشاركين.

ينص حكمه الثاني على:

التعيين العشوائي ليس اختيارًا عشوائيًا للسكان.

تنص الفقرة الثالثة منه على:

الوزن يمكن أن يقلل من الاختلال الملحوظ؛ لا يمكنه إنشاء شخص غير ملحوظ.

تنص المادة الرابعة على:

لا يمكن أن يعتمد إدراج المشارك في اللوحة، أو احتفاظه بالمهمة، أو استبداله على محتوى استجابة الذكاء الاصطناعي.

تنص أحكامه الخامسة على:

يجب منح المكافأة لإكمال البروتوكول بصدق، وليس لاختيار استجابة إيجابية أو مرغوبة.

1. غرض الفصل

الغرض من هذا القسم هو جعل سلسلة الاختيار بأكملها من السكان المستهدفين إلى الملاحظة الفعلية للمستخدم واضحة، غير متحيزة، وقابلة للتدقيق. يميز القسم بشكل معياري:

• السكان المستهدفون وإطار العينات
• إطار العينة مقابل مصدر المشارك
• الشخص المختار مقابل الشخص المدعو
• الشخص المدعو والشخص الذي يوافق على المشاركة
• المشارك والشخص الذي يُكمّل المهمة
• الشخص الذي يُكمّل المهمة والملاحظة الصالحة
• إنسان وحساب
• إنسان وجهاز
• إنسان وجلسة
• لوحة احتمالية ولوحة متطوعين
• الاختيار العشوائي داخل اللوحة والاختيار العشوائي من السكان
• الامتثال للحصة والتمثيل الحقيقي
• التوازن الديموغرافي والتوازن السلوكي
• الألفة الشخصية وملاءمة السكان المستهدفين
• العميل، الموظف، والمستخدم العام
• مكافأة المشاركين وحافز النتائج
• سرعة المهمة وسلامة المهمة
• ملاحظة غير صالحة مع عدم الاستجابة
• تغير السكان مع فقدان اللوحة
• مشارك مزيف وملاحظة حقيقية منخفضة الجودة
• تزوير البيانات ورد الذكاء الاصطناعي غير الصحيح
• تصحيح الانحياز باستخدام الترجيح
• إنتاج الأدلة مع المعايرة
• حجم العينة الخام مقابل حجم العينة الفعّال
• خصوصية المشاركين وأدلة التدقيق
• لوحة السكان العامة ولوحة الخبراء أو العملاء

في نهاية هذا القسم، يجب أن تكون كل مراجعة GEO-1000 قادرة على الإجابة على الأسئلة التالية:

من أي مصدر وبأي قاعدة تم اختيار المشاركين؟

من لم تتح له فرصة الانضمام إلى العينة؟

من كان أكثر احتمالًا للمشاركة ولماذا؟

ما الفروقات المعروفة التي تصححها الأوزان، وأي منها لا تصححها؟

هل تم اتخاذ قرار مشاركة غير صالح أو مزيف دون الاطلاع على محتوى رد الذكاء الاصطناعي؟

هل أثرت مكافأة المشاركين على سلوكهم واختيارهم للإجابات؟

2. الأحكام المعيارية المركزية

يجب أن تحوي كل ملاحظة GEO-1000 سلسلة اختيار مشارك قابلة للتتبع من السكان المستهدفين إلى سجل تحليلي صالح؛ يجب أن تكون قرارات الاختيار والدعوة والقبول وتكليف المهام والإكمال والتحقق والاستبعاد والتوزين مستقلة عن المحتوى الإيجابي أو السلبي لاستجابة الذكاء الاصطناعي. [K04–K06] مجلس المشاركين فقط:

• البلد،
• لا يعني أي ملاءمة من حيث العمر،
• اللغة

لا يمكن اعتباره مناسبًا لتمثيل السكان لأنه يفي بالحصص. يجب أن يحتوي المجلس أيضًا على المعلومات التالية إلى الحد الذي يكون ذا صلة:

• مصدر المشارك
• آلية الاختيار
• طريقة المشاركة في المجلس
• معايير الأهلية
• التحقق الفريد للبشر
• التحقق من الدولة واللغة
• التحقق من الوصول إلى منتج الذكاء الاصطناعي
• معلومات الحساب والخطة
• الجهاز وواجهة الاستخدام
• تكرار استخدام الذكاء الاصطناعي
• الألفة مع العلامة التجارية
• العلاقة مع الكيان الذي يتم تدقيقه
• هيكل الحوافز
• طريقة تعيين المهام
• عدم الاستجابة
• عدم الصلاحية
• التكرار وتكييف اللوحة
• الوزن
• نقص التغطية
• الخصوصية والموافقة

قد يؤثر قياس بعض هذه المعلومات على المشارك. لذلك، فإن ترتيب جمع البيانات هو أيضًا جزء من البروتوكول.

3. سلسلة اختيار المشاركين

السلسلة من السكان المستهدفين إلى الملاحظة النهائية تتكون من المراحل التالية:

U→F→S→I→E→A→C→V

هنا:

• المستخدم المستهدف
• F: الأفراد المدرجين في إطار العينة
• س: الناس المختارون
• أنا: الأشخاص المدعوون
• E: الأفراد الذين تم تأكيد أهليتهم والذين تم إدراجهم في الدراسة
• أ: الأشخاص المكلفون بالمهمة
• C: الأشخاص الذين يكملون المهمة
• V: الأشخاص الذين ينتجون ملاحظات تحليلية صالحة

في كل انتقال، قد نفقد أشخاصًا أو قد يظهر تحيز جديد. على سبيل المثال:

• أولئك في السكان المستهدفين الذين ليسوا على العينة
• أولئك على العينة الذين لم تُوجه إليهم دعوة
• أولئك المدعوين الذين لم يقبلوا
• أولئك الذين يقبلون ولكن لا يكملون المهمة
• أولئك الذين يكملون ولكن ينتجون سجلات غير صالحة

ليسوا نفس الأشخاص. لذلك، لا يمكن الإبلاغ إلا عن آخر ملاحظات صالحة 1,000. يجب أن يكون قمع الاختيار بأكمله مرئيًا.

4. مصادر المشاركين

GEO-1000 لا يجب أن يكون مرتبطًا بمصدر مشارك واحد فقط. كل مصدر يحمل تحيزه ونطاقه الخاص.

4.1. لوحة احتمال السكان

للمشاركين احتمال معروف وغير صفري ليتم اختيارهم من السكان المحددين. المصادر:

• الأسرة،
• العنوان،
• السجل السكاني أو المؤهل،
• احتمال الهاتف أو اختيار متعدد المراحل

قد يكون. المزايا:

• يمكن تأسيس وزن التصميم،
• الاستنتاج السكاني أقوى،

يمكن أن تكون عملية الاختيار أكثر شفافية. القيود:

• يمكن أن يكون مكلفًا على المستوى العالمي،
• في بعض الدول، قد لا يكون هناك إطار مناسب،
• قد يكون من الضروري أيضًا العثور على الشريحة السكانية التي لديها وصول إلى منتجات الذكاء الاصطناعي،

مرة أخرى، سيكون هناك عدم استجابة. الاختيار الاحتمالي ليس دائمًا تمثيلًا مثاليًا.

4.2. لوحة البحث التطوعي المهنية

لقد سجل المشاركون مسبقًا طوعًا في لوحة البحث. المزايا:

• سريع،
• يمكن الوصول إلى عدة دول،
• يمكن تقديم الملف الشخصي والمعرفة باللغة،

يمكن إجراء القياس المتكرر. القيود:

• المشاركون معرضون للبحث،
• قد يكون مستوى استخدام التكنولوجيا مرتفعًا،
• قد يكون هناك مستخدمون كثيفون للوحة،
• قد تكون احتمالات الدخول إلى المجتمع غير معروفة،

قد يكون نفس الشخص مسجلاً في أكثر من لوحة. هذه اللوحة:

لا يمكن تقديمها كعينة سكان عالمية احتمالية

يجب ألا يتم تمثيلها كعينة احتمالية للسكان العالميين.

4.3. دعوة مفتوحة على الإنترنت

يتم الحصول على المشاركة من خلال وسائل التواصل الاجتماعي أو موقع إلكتروني أو نموذج تسجيل مفتوح. المزايا:

• الرؤية الواسعة,
• منخفض التكلفة,
• الوصول إلى الدول الصغيرة ومجتمعات اللغة

يمكن توفيره. القيود:

• اختيار ذاتي قوي،
• تركيز على معجبي أو نقاد العلامة التجارية،
• المشاركة المزيفة والمتكررة،
• التمثيل الزائد لعشاق التكنولوجيا

يمكن أن يتكوَّن. قد يكون الدعوة المفتوحة أكثر ملاءمة بكثير من لوحة السكان الرئيسية لـ:

• اكتشاف،
• مراقب الدولة،
• العدالة اللغوية،
• تحدي التكرار

قد تكون هذه المصادر أكثر ملاءمة لتلك الأغراض.

4.4. لوحة جامعة أو مؤسسة مرتبطة

المشاركون:

• يتم اختيارهم من خلال الجامعات,
• مؤسسة عامة،
• مراكز البحوث،
• المنظمات المهنية

المزايا:

• الوصول المحلي
• الخبرة اللغوية
• الرقابة الأخلاقية
• الوصول إلى المجتمعات منخفضة الموارد

يمكن توفيره. القيود:

• شدة الطالب أو المحترف,
• تأثير المؤسسة
• التحيّز بناءً على العمر والتعليم
• ضغط المشاركة المؤسسية

يمكن إنشاء.

4.5. قائمة العملاء أو المستخدمين

يتم اختيار العملاء الفعليين أو المستخدمين للمؤسسة التي تم تدقيقها. هذا المصدر:

• تجربة العملاء،
• ملاءمة للخدمة،
• الوعي بالعلامة التجارية

إنه ذو قيمة للقياس. إنه ليس لوحة عامة للسكان. العملاء:

• يمكنهم التعرف على العلامة التجارية بشكل أفضل،
• قد تكون لديهم تجربة أكثر إيجابية أو أكثر سلبية،

قد يكونون أكثر احتمالًا لطرح الاستفسار ذي الصلة. يجب تعريف لوحة العملاء بشكل منفصل.

4.6. المشاركون المقترحون من المؤسسة التي تم تدقيقها

الشركة:

• الموظف،
• العميل،
• الشريك،
• متابع

يمكن الاقتراح بها. لا يمكن تضمين هؤلاء المستخدمين في لوحة السكان المستقلة الرئيسية بدون تفسير. بشكل منفصل:

عينة مرشحة من الكيان

يجب تصنيفها. إذا اختارت المؤسسة المشاركين، فإن النتيجة ليست قياسًا مستقلًا للسكان.

4.7. عينة هجينة متعددة المصادر

إنها مزيج من مصادر متعددة. مثال:

• عينة وطنية قائمة على الاحتمالات،
• عينة مهنية على الإنترنت،
• شريك محلي في بلد صغير،
• مجتمع عدالة اللغة

يمكن استخدامها معًا. يمكن للّجنة الهجينة زيادة التغطية. ومع ذلك، من بين الموارد:

• الأفراد المتكررين،
• احتمالات الاختيار،
• الحوافز,
• خبرة المهمة،
• ملف المستخدم

يجب أيضًا نمذجته.

5. حالات نزاهة اختيار المشاركين

يمكن تصنيف جودة اختيار المشاركين في لوحة وفقًا للحالات التالية.

PSI-0— اختيار غير معروف

غير معروف بما فيه الكفاية أين وكيف تم اختيار المشاركين. لا يمكن إجراء تعميم على السكان.

PSI-1— اختيار حر أو مفتوح

إنه عينة من الراحة أو التطوع المفتوح. يمكن استخدامها للاستكشاف واكتشاف الأحداث.

PSI-2— اختيار حر تحت السيطرة الحصصية

هناك حصص تعتمد على البلد أو اللغة أو الديموغرافيا. احتمال الدخول إلى المجتمع غير معروف.

PSI-3— لوحة متعددة المصادر معايرة

هناك مصادر متعددة، حصص محددة مسبقًا، ومعايرة للسكان. قد يستمر وجود تحيز اختيار غير مقاس.

PSI-4— احتمالية أو تصميم هجين قوي

هناك احتمال معروف للاختيار أو تصميم هجين قوي يجمع بين الاحتمالية وغير الاحتمالية.

PSI-5— اختيار مكرر وتم تدقيقه خارجيًا

تصميم الاختيار:

• مع مزودين مختلفين،
• في موجات مختلفة،
• تحت تدقيق مستقل

تم فحص السلوك المتكرر والمتحيز. هذه الحالات لا تضمن دقة النتيجة. إنها تشير إلى مستوى الثقة الناتج عن اختيار المشاركين.

6. اختيار عشوائي ضمن المجموعة واختيار عشوائي من السكان

قد يكون هناك 100,000 مستخدم مسجل في لوحة المتطوعين. من هذه اللوحة، يمكن اختيار 1,000 شخصًا بشكل عشوائي. الاختيار:

هو عشوائي ضمن اللوحة.

ومع ذلك، فإن اللوحة نفسها لم تُشكّل بشكل عشوائي من سكان العالم. لذلك، لا يمكن القول: “1,000 شخصًا بشكل عشوائي من سكان العالم.” التعبير الصحيح هو:

“يتم اختيار المشاركين 1,000 عشوائيًا ضمن لوحة متطوعين مسجلة مسبقًا وتتم معايرتهم لتناسب الفئة المستهدفة.”

يجب أن تقتصر العشوائية على المرحلة التي يتم تطبيقها فيها.

7. سجل أهلية المشاركين

يجب أن يستوفي كل مشارك الشروط التالية إلى الحد المناسب قبل أن يتم تضمينه في اللوحة الرئيسية:

• أهلية العمر
• موافقة المتطوع
• ملاءمة البلد والمكان
• إجادة اللغة
• الوصول إلى منتج الذكاء الاصطناعي
• الخطة الصحيحة أو واجهة المستخدم
• الجهاز الضروري والوصول التقني
• حالة إنسانية فريدة
• استقلالية المهمة
• إعلان المصالح أو العلاقات
• أمن البحوث
• الموافقة على جمع البيانات والأدلة

لا يمكن تغيير قرار المطابقة بأثر رجعي بعد توليد استجابة الذكاء الاصطناعي.

8. التحقق من الدولة

السؤال “إلى أي دولة ينتمي المشارِك؟” ليس له إجابة واحدة. يجب فصل الحقول التالية:

• دولة الإقامة المعتادة
• الدولة الفعلية وقت القياس
• البلد أو منطقة السوق لحساب الذكاء الاصطناعي
• دولة الدفع أو الخطة
• المواطنة
• البلد المستهدف في صياغة المُدخل
• الموقع

قد لا تكون المواطنة هي المتغير الأساسي لمعظم القياسات الجغرافية. ما هو مهم في معظم الأحيان:

هو الحالة الجغرافية والمنتج الفعلية التي يختبر فيها المستخدم المنتج.

8.1. المستخدم المسافر

قد يكون المشارك في دولة غير دولته المعتادة. هذا الشخص:

• السكان المقيمون،
• موقع القياس،
• المستخدم المسافر

يجب أن يحتفظ بحالة منفصلة كـ.

8.2. VPN أو مغير الموقع

استخدام VPN:

• الخصوصية،
• شبكة المؤسسة،
• عادة المستخدم العادي

قد يكون السبب. لا ينبغي اعتباره احتيالًا تلقائيًا. ومع ذلك، فإنه يصعب التحقق من طبقة البلد. قد توجد قاعدة في لوحة التحكم الرئيسية للبلد للتحكم في إيقاف أو تسجيل استخدام VPN. تغييرات الموقع المستخدمة لتجاوز القيود غير مناسبة للوحة نطاق الوصول الطبيعي الرئيسية.

8.3. مستويات التحقق من البلد

GV-0— غير موثق

يتوفر فقط الإقرار الذاتي.

GV-1— تم التحقق من قبل اللوحة

مزود اللوحة لديه تسجيل بلد موجود.

GV-2— متسق مع الجلسة

الإعلان والموقع وإشارات الجلسة متسقة.

GV-3— تم التحقق من الإشارات المتعددة

متوافق مع حماية الخصوصية ويعمل مع إشارات متعددة.

GV-4— تم تدقيقه بشكل مستقل

طريقة التحقق من البلد قد اجتازت الرقابة الخارجية للجودة. جمع عنوان شارع دقيق أو إحداثيات حساسة ليس مطلبًا افتراضيًا. يجب إجراء التحقق من البلد مع تقليل البيانات.

9. إتقان اللغة والاستخدام الطبيعي

قد يعتمد معرفة المشارك باللغة فقط على العبارة: "نعم، أنا أعرف." يمكن أن يكون هذا تسجيلًا أوليًا منخفض المخاطر. في عينة لغة عالية الأمان، بالإضافة إلى ذلك:

• بيان الاستخدام الطبيعي،
• فحص فهم مختصر،
• تاريخ العينة،
• تقييم الحكم المحلي،
• تجربة محايدة قبل المهمة

قد يتم استخدام ذلك. لا ينبغي أن يتحول اختبار اللغة إلى امتحان أكاديمي ثقيل يختار أشخاصًا متعلمين تعليماً عالياً فقط. الهدف:

لكي يفهم المشارك صياغة المُدخل والاستجابة كمستخدم حقيقي.

10. التحقق من الوصول إلى منتج الذكاء الاصطناعي

المشارك:

• يجب أن يكون قادرًا على الوصول إلى منتج الذكاء الاصطناعي الصحيح،
• الـ واجهة المستخدم الصحيح،
• خطة الحساب أو حالة الحساب الصحيحة

يجب أن يكون قادرًا على الوصول إليها. يجب تسجيل الحالات التالية بشكل منفصل:

• الخطة المجانية
• خطة فردية مدفوعة
• خطة المؤسسات
• خطة التدريب
• الويب
• الهاتف المحمول
• سطح المكتب
• المنتج المدمج
• النموذج المرئي
• ميزة الويب/الاسترجاع

لا يمكن للمشارك استخدام حساب شخص آخر. لا يمكن طلب مشاركة كلمة المرور. يجب التحقق من إثبات الوصول إلى المنتج دون الكشف علنًا عن هوية الحساب.

11. العلاقة بين المشارك والكيان الذي يتم تدقيقه

قد تؤثر علاقة المشارك بالمنظمة المراقبة على سلوك التقاط الاستجابات أو التعرف على العلامة التجارية. حالات العلاقة:

الجمهور العام

العميل الحالي

العميل السابق

العميل المحتمل

الموظف

الموظف السابق

المقاول

الشريك

المستثمر

شركة تابعة لمنافس

مزود الذكاء الاصطناعي التابع

باحث

مجهول

العلاقات المباشرة بين الموظفين وصناع القرار في لوحة السكان العامة الرئيسة:

• يمكن استبعادها،
• يمكن وضعها في طبقة منفصلة،

يمكن حمايتها بوزن منخفض من السكان الفعليين. قد يكون استبعاد جميع الأفراد ذوي الصلة تلقائيًا خطأ أيضًا. إذا كانوا جزءًا من السكان الفعليين للعملاء أو الموظفين، يمكن قياسهم بشكل منفصل وصريح.

12. معرفة العلامة التجارية

الجهة المشاركة المدققة:

• لم تسمع بها من قبل،
• يعرف الاسم،
• يعرف المنتج،
• هو زبون،
• قد يكون لديه رأي إيجابي أو سلبي قوي.

هذه المعلومات:

• يمكن أن يؤثر على سلوك المشارك,
• عينة المستخدمين في ظروف الاستخدام الطبيعية
• استجابة سريعة

المطلوب. إذا تم قياس الألفة قبل الإشارة، فقد يهيئ المستخدم للعلامة التجارية. لذلك، ترتيب التفضيل:

• معلومات اللوحة الموجودة سابقًا
• سؤال منفصل بعد المهمة
• إذا لزم الأمر، قياس مسبق محايد لا يوجه العلامة التجارية

يمكن إجراؤها. يجب أن تكون الألفة واضحة في العينة الرئيسية؛ يجب ألا يتم اختيارها كمتغير للوزن بعد رؤية النتائج.

13. ألفة استخدام الذكاء الاصطناعي

المشاركون:

• مستخدم لأول مرة،
• مستخدم نادر،
• مستخدم منتظم،
• مستخدم مكثف أو محترف

يمكن أن يكون الأفراد. تواتر استخدام الذكاء الاصطناعي:

• الوصول إلى المنتج،
• نوع الخطة،
• معرفة الواجهة،
• التخصيص،
• احتمالية إتمام المهمة بشكل صحيح

يمكن أن يتأثر. ومع ذلك، فإن اختيار مستخدمي الذكاء الاصطناعي ذوي الخبرة فقط يمكن أن يقلل من أخطاء البروتوكول. لكن ذلك قد يشوه تقدير السكان الطبيعي. الحل الصحيح:

• قياس مستوى الاستخدام،
• مقارنته مع السكان المستهدفين،
• تصنيف أو وزن إذا لزم الأمر،

والحفاظ على الخبرة الواقعية الصالحة للمستخدم غير الخبير.

14. قاعدة بشرية فريدة

وحدة السكان لـ GEO-1000 هي إنسان. نفس الشخص:

• في عدة لوحات،
• مع عدة عناوين بريد إلكتروني،
• مع عدة حسابات ذكاء اصطناعي،
• من أجهزة مختلفة

يمكنه المشاركة. يجب إجراء فحوصات التفرد بطريقة تحافظ على الخصوصية. الإشارات التي يمكن استخدامها:

• هوية المشارك المجهول
• إعادة التحقق باستخدام التشفير أو التجزئة
• متوافقية الجهاز والجلسة
• سجل الدفع أو الحوافز
• نمط الوقت والمهام
• نفس لقطة الشاشة أو ملف الاستجابة
• إعادة التحقق الآمنة عبر مزودي لوحات متعددة

لا تحتاج أي إشارة واحدة إلى أن تكون كافية للاستبعاد التلقائي. على وجه الخصوص:

• الأسر التي تشارك جهازًا مشتركًا,
• شبكة المؤسسة،
• أدوات الوصول
• مستخدمو الأجهزة المشتركة من ذوي الدخل المنخفض

قد يُعتبر خطأً مزيفًا. يجب أن تخضع السجلات المشبوهة لمراجعة بشرية وعملية استئناف.

15. مكافأة المشارك

قد يؤثر الدفع أو المكافأة التي تُمنح للمشارك على سلوك بياناته.

15.1. الدفع مستقل عن النتيجة

الطريقة المفضلة:

دفع ثابت ومعلن مسبقًا لإتمام المهمة وفقًا للبروتوكول.

الدفع:

• لا يمكن الاعتماد على أن يكون الجواب إيجابياً،
• أن يُجبر على الانتماء إلى فئات صحيح،
• طويل،
• مُؤَيّد للعلامة التجارية
• أو مصحوبة بالاستشهادات.

يجب أن يظل الاختيار مستقلاً عن جميع هذه النتائج.

15.2. مكافأة الجودة

إذا كان من المزمع استخدام مكافأة الجودة، فقط:

• الأدلة الكاملة،
• صياغة المُدخل الصحيحة،
• المنتج الصحيح،
• التسليم في الوقت المحدد،
• تنظيف البيانات الشخصية

يمكن ربطها فقط بشروط البروتوكول. لا يمكن ربطها بمحتوى رد الذكاء الاصطناعي.

15.3. حافز السرعة

المكافأة فقط للسرعة:

• السرعة،
• الالتقاط غير الكامل
• المنتج الخاطئ،
• قطع الإجابة

قد يزيد من المخاطر. يجب السماح بوقت معقول ضمن نافذة الميدان.

15.4. الدفع حسب البلد

قد يختلف الدفع وفقًا للرسوم المحلية وظروف المعيشة. هذا الوضع:

• قد يؤثر على احتمالية المشاركة،
• تكوين العينة

ويجب تسجيله مع نهج الدفع والفروق بين البلدان.

15.5. الإكراه والحافز المفرط

يجب ألا يخلق المكافأة ضغطًا لا يستطيع الشخص رفضه بشكل معقول. على وجه الخصوص:

• الدخل المنخفض،
• طالب,
• الموظفون التابعون،
• الفئات الضعيفة

يجب حماية طوعية مشاركتهم.

16. نص الدعوة والتوجيه المسبق

عند دعوة مشارك، قد يُعد غرض البحث لهم نتيجة معينة. دعوة خاطئة: "نحن نختبر كيف تفسر أنظمة الذكاء الاصطناعي شركة Apple بشكل غير صحيح." قد يؤدي هذا البيان إلى أن يبحث المشارك عن الأخطاء. دعوة خاطئة أخرى: "ساعدنا في إثبات نجاح الذكاء الاصطناعي لعلامتنا التجارية." يخلق هذا البيان توقعًا لنتيجة إيجابية. الدعوة المحايدة المفضلة: "دراسة تجربة المستخدم الموحدة وملاحظة التمثيل في منتجات ذكاء اصطناعي محددة." قد يصبح الكيان الذي يتم تدقيقه مرئيًا لاحقًا بسبب طبيعة المهمة. ومع ذلك، لا ينبغي الكشف عن النتيجة المرغوبة.

17. تكليف المهمة

المشاركون:

• منتج الذكاء الاصطناعي،
• مُدخل,
• اللغة،
• موجة,
• ظرف الجلسة،
• ترتيب المهام

يجب تعيينها مسبقًا باستخدام طريقة محددة مسبقًا. للمشارك:

• منتجات الذكاء الاصطناعي المفضلة لديه،
• الخطة التي يعرفها جيدًا،
• اللغة التي لديها احتمال عالٍ للحصول على استجابة إيجابية

إذا سُمِح لهم بالاختيار بأنفسهم، تحيز التعيين قد يحدث.

17.1. التعيين العشوائي داخل الطبقة

بعد التحقق من الدولة واللغة والوصول إلى المنتج، يمكن تعيين المهام عشوائيًا ضمن الطبقة.

17.2. التعيين على شكل كتل

يمكن استخدام الكتل لموازنة الخطط المجانية/المدفوعة، أو التصفح عبر الهاتف/الويب، أو تكرار استخدام الذكاء الاصطناعي.

17.3. ترتيب المنتج

إذا كان الشخص يختبر أكثر من منتج، يجب أن يكون ترتيب المنتجات عشوائيًا. قد تؤثر استجابة المنتج الأول على تقييم الاستجابة التالية أو سلوك المهمة.

17.4. ترتيب صياغات المُدخل

إذا تلقى المشارك أكثر من مطالبة:

• التعلم،
• اكتساب معلومات جديدة عن العلامة التجارية،
• حمل الإجابة السابقة إلى السؤال التالي

ينشأ خطر. يجب تسجيل ترتيب صياغات المُدخل وموازنته إذا لزم الأمر.

18. تكييف العينة

المستخدمون الذين يشاركون بشكل متكرر في لوحات البحث قد يتعلمون توقعات المهمة. الشخص الذي يشارك مرارًا في نفس الاختبار:

• قد يتذكر الإجابة الصحيحة,
• قد تختار لقطة الشاشة بعناية أكبر،
• قد يراجع موقع الجهة التي تمت مراجعتها مسبقًا,

يمكن معرفة أي الأخطاء يتم البحث عنها. يطلق على هذا الوضع:

تهيئة اللوحة

يمكن أن يغير تهيئة اللوحة تجربة المستخدم الطبيعية الحقيقية.

18.1. مصادر التكييف

الموجات السابقة لـ GEO إعادة قياس الكيان نفسه بنك الأسئلة نفسه تدريب مراجعة النظراء مشاركة المهام في مجتمعات المشاركين المدفوعات السابقة وملاحظات الجودة

18.2. ضوابط التكييف

حالة المشارك الجديد والمتكرر تاريخ المشاركة الأول التعرض السابق لنفس الكيان التعرض السابق لعائلة الأسئلة نفسها لوحة دوارة عشوائية ترتيب المهام فترة راحة محددة عينة فرعية من المستخدمين الجدد مقارنة نتائج المستخدمين المشروطين والجدد إعادة استخدام نفس المشارك غير محظورة. إنها ذات قيمة للقياس الطولي. لا يمكن تقديمها كلوحة مستعرضة طبيعية.

19. تلوث المهام واتصال المشاركين

المشاركون:

• صياغات المُدخل,
• الاستجابات،
• اللقطات المصورة،
• النتائج المتوقعة

يمكن مشاركتها مع بعضهم البعض. قد تؤدي هذه الحالة إلى تعطيل الملاحظات المستقلة. الضوابط:

• تحديد مدة الموجة
• توزيع المهام بشكل عشوائي
• الالتزام بعدم مشاركة النتائج مع المشاركين
• البحث عن الإجابات والصور المكررة
• فحص النصوص غير المعتادة والتشابهات الزمنية
• مراقبة تحذيرات المجتمع أو مقدم اللوحة

التواصل مع المشاركين ليس احتيالاً بشكل تلقائي. يجب فحص تأثيره المادي.

20. أنواع عدم الاستجابة

عدم الاستجابة ليس حدثًا واحدًا.

20.1. عدم الرد على الدعوات

المشارك لا يرد على الدعوة للبحث على الإطلاق.

20.2. رفض المشاركة

الشخص يرى الدعوة ويختار عدم المشاركة.

20.3. عدم بدء المهمة بعد التأهيل

تم العثور على الشخص مناسبًا لكنه لم يبدأ المهمة.

20.4. انقطاع المهمة

المشارك يترك المهمة في منتصف الطريق.

20.5. عدم تحميل الأدلة

قد يتم الحصول على استجابة من الذكاء الاصطناعي، ولكن السجل المطلوب لم يتم رفعه.

20.6. إتمام غير صالح

تم إكمال المهمة، ولكن:

• طلب خاطئ،
• المنتج الخاطئ،
• إجابة مختارة،
• صورة مفقودة

هي أسباب لعدم الصلاحية. يجب الإبلاغ عن نسب هذه المراحل بشكل منفصل.

21. قمع الاستجابة

للمستوى h:

• nhsel: الشخص المختار
• nhinv: الشخص المدعو
• nhcon: الشخص الذي وافق على المشاركة
• nhsta: الشخص الذي بدأ المهمة
• nhcom: الشخص الذي أتم
• nhval: ملاحظة صالحة

لنكن. المعدلات الأساسية:

RR_h^invite= n_h^con/n_h^inv; RR_h^complete= n_h^com/n_h^sta; RR_h^valid= n_h^val/n_h^com

يمكن توضيحها كما يلي. كل من هذه المعدلات يشير إلى مشكلة مختلفة. إعطاء عدد القيم النهائي الصالح فقط يخفي انحياز المجال.

22. انحياز عدم الاستجابة

قد يختلف الأشخاص الذين لا يستجيبون عن أولئك الذين يستجيبون. مثال: المستخدم ذو الإنترنت الضعيف لا يمكنه إكمال مهمة. مستخدم الخطة المجانية لا يمكنه الوصول إلى المنتج. المستخدم غير المتمرس يجد التعليمات صعبة. المستخدم الكثيف لاستخدام الذكاء الاصطناعي يكمل المهام بشكل أسرع. في بعض البلدان، يبقى الدفع منخفضًا. المستخدم الذي لديه تجربة سلبية مع العلامة التجارية قد يكون أكثر استعدادًا للمشاركة. حتى لو كانت نسبة عدم الاستجابة عالية، قد يكون الانحياز منخفضًا. حتى لو كانت نسبة عدم الاستجابة منخفضة، فإن مجموعة صغيرة مفقودة قد تكون مهمة ماليًا. لذلك، ليس فقط المعدل وحده:

ما الخصائص التي تختلف بين المستجيبين وغير المستجيبين

يجب فحصها.

23. أوزان عدم الاستجابة

إذا تم استخدام إعداد عدم الاستجابة، يجب تحديد الفئات قبل مشاهدة النتائج. المتغيرات المحتملة:

• البلد
• اللغة
• العمر
• تكرار استخدام الذكاء الاصطناعي
• الخطة
• واجهة
• مصدر اللوحة
• إمكانية الوصول
• الألفة مع العلامة التجارية

معامل عدم الاستجابة:

a_r^{NR}= (Σ_{j∈S_r} d_j)/ (Σ_{i∈R_r} d_i)

يمكن حسابه على هذا النحو. ومع ذلك، فإن هذا التعديل يعتمد فقط على الافتراض داخل نفس الفئة: أن المشاركين يمثلون بما فيه الكفاية غير المشاركين. ولا يحل الاختلافات غير المقاسة.

24. آليات البيانات المفقودة

يمكن اعتبار الغياب من الناحية المفاهيمية ضمن ثلاث فئات.

24.1. فقدان عشوائي

الغياب ليس مرتبطًا جوهريًا بالنتيجة وخصائص المستخدمين. في الواقع، قد يكون نادرًا.

24.2. الغياب مفسر بالميزات الملاحظة

النقص:

• البلد،
• لا يعني أي ملاءمة من حيث العمر،
• الخطة،
• اللغة

مرتبط بمناطق معروفة جيدًا مثل. يمكن أن يساعد الترجيح جزئيًا.

24.3. النقص مرتبط بالميزات غير الملاحظة

على سبيل المثال:

• عدم الثقة في منتج الذكاء الاصطناعي،
• ضعف المهارات الرقمية،
• معارضة العلامة التجارية،
• القلق من الخصوصية

إذا لم يتم قياسها، لا يمكن أن يصحح الترجيح النقص بالكامل. في هذه الحالة، هناك حاجة إلى تحليل الحساسية.

25. فقدان المشاركين وتباعد المراحل الزمنية

في اللوحات الطولية أو الدوارة حيث يتم قياس نفس المستخدمين مرة أخرى، بعض الأفراد لا يشاركون في الموجة التالية. هذا هو فقدان المشاركين. أولئك الذين يبقون في اللوحة:

• أكثر انضباطًا،
• أكثر دافعًا للمكافأة،
• أكثر خبرة،
• أكثر تعودًا على البحث

قد يكونون. يمكن أن ينشأ التغير في النتيجة مع مرور الوقت جزئيًا من تركيب اللوحة.

25.1. سجل فقدان المشاركين في اللوحة

في كل موجة:

• تمت دعوته مرة أخرى،
• شارك،
• انسحب،
• تمت الإضافة حديثًا

يجب عرض أرقام المستخدمين.

25.2. وزن تسرب اللوحة

يمكن وزن المشاركين المتبقين وفقًا لاحتمالية الانسحاب. هذه الطريقة لا تحل تمامًا التحيز الناتج عن تسرب اللوحة غير المرصود.

25.3. تحديث اللوحة

يمكن إضافة مستخدمين جدد لاستبدال المستخدمين المفقودين. يجب الإبلاغ عن نتائج المستخدمين الجدد والعائدين بشكل منفصل.

26. احتيال ومشاركة المشاركين الآلية

هناك خطر من الاحتيال عندما تكون GEO-1000 لوحة محفزة وعالمية. السلوكيات المحتملة:

• شخص يشارك بحسابات متعددة
• استخدام الروبوتات التلقائية
• تحميل لقطة شاشة لشخص آخر
• تعديل الصور
• تحميل نفس الإجابة نيابةً عن مستخدمين مختلفين
• الإعلان عن البلد أو اللغة بشكل خاطئ
• مشاركة الحساب
• جعل شخص آخر يقوم بإكمال المهمة
• إعادة الانضمام بين مزودي اللوحة
• إنشاء مزارع مهام جماعية

هذا الخطر لا يسمح باعتبار جميع المشاركين منخفضي الدخل أو السريعين مشبوهين. اكتشاف الاحتيال:

• المناظرات،
• إشارات متعددة،
• مراجعة بشرية نسبية

يجب أن يكون على أساس.

27. حالات الاحتيال والنزاهة

FI-0— لم يتم التقييم

لم يتم تقييم السجل من حيث النزاهة.

FI-1— لا توجد شذوذات مادية

لم يتم العثور على علامات واضحة للاحتيال. هذه ليست ضمانة مطلقة للدقة.

FI-2— يتطلب مراجعة

هناك إشارة أو أكثر مريبة.

FI-3— مشكوك في التكرار أو التواطؤ

هناك شك في تكرار الشخص أو البصر أو الاستجابة أو التنسيق.

FI-4— تم تأكيد التلاعب بالبروتوكول

لقد قام المشارك بتغيير البروتوكول عن عمد.

FI-5— تم تأكيد الملاحظة الملفقة

الملاحظة ليست تجربة مستخدم ذكاء اصطناعي حقيقية. FI-2 ليست استبعادًا تلقائيًا. المراجعة مطلوبة.

28. إشارات احتيال

نفس تجزئة لقطة الشاشة نفس بصمة الملف النادر وقت إتمام غير ممكن تكرار هويات متعددة من نفس الجهاز أو الجلسة تضارب في المادة حسب الدولة، المنطقة، ووصول المنتج عدم تطابق بين نص الاستجابة والصورة أثر تعديل الصورة نفس الشخص في القائمة الأساسية والاحتياطية نفس الشخص المجهول عبر عدة مزودين للوحة إتمام المهام بطريقة متسلسلة وميكانيكية نفس نمط الخطأ غير المعتاد قد لا تكون إشارة واحدة دليلًا قاطعًا على الاحتيال.

29. العدالة في اكتشاف الاحتيال

قد يتم تمييز المستخدمين التاليين عن طريق الخطأ كأشخاص محتالين:

• العائلات التي تشارك جهازًا واحدًا
• الموظفون الذين يستخدمون شبكة مؤسسية
• مشاركو مختبر الجامعة
• الأفراد الذين يحرصون على الخصوصية ويستخدمون شبكات VPN
• المستخدمون من ذوي الإعاقة الذين يستخدمون برامج قراءة الشاشة أو مساعدات الأتمتة
• الذين يرفعون صورًا مضغوطة متشابهة بسبب ضعف عرض النطاق

لذلك:

• tagging التلقائي,
• المراجعة البشرية,
• وصف المشارك إذا لزم الأمر,
• الاستئناف

يجب أن يعملوا معًا.

30. يجب فصل صحة المشارك عن دقة رد الذكاء الاصطناعي

قد يكون سجل المشارك متوافقًا مع البروتوكول. قد يكون رد الذكاء الاصطناعي غير صحيح. هذه ملاحظة صالحة. قد يكون رد الذكاء الاصطناعي لمشارك آخر صحيحًا. ومع ذلك، المستخدم:

• قام بتحديث الإجابة ثلاث مرات،
• قام بتحميل أفضل إجابة فقط،
• قد يكون قد غيّر صياغة المُدخل

هذه ملاحظة غير صالحة. لذلك:

الإجابة الصحيحة للذكاء الاصطناعي لا تعني أن البيانات صحيحة. / الإجابة غير الصحيحة للذكاء الاصطناعي لا تعني أن البيانات غير صالحة.

يجب إجراء تقييم الصلاحية قبل التقييم الموضوعي وبأقصى قدر ممكن من الحياد.

31. تضارب المصالح ومصدر المشارك

قد يستفيد المشارك أو مزود اللوحة من النتائج التالية:

• الشركة التي تم تدقيقها تحصل على درجة عالية
• منتج الذكاء الاصطناعي يظهر متفوقًا
• المنافس يحصل على درجة منخفضة
• بيع المزيد من مهام التدقيق
• جائزة أو علاقة عمل

لذلك:

• علاقات المشارك
• اتفاقية مزود اللوحة
• الأجر المستقل عن النتائج
• تدخل العميل

يجب شرحه. المؤسسة التي خضعت للتدقيق:

• أي المستخدمين يجب دعوتهم،
• من سيتم اعتباره غير صالح،
• من سيتم استبداله باحتياطي

لا يمكن اتخاذ القرار.

32. تأثير مزود اللوحة

قد يكون مستخدمو مزودي لوحات اثنين في نفس البلد مختلفين. مزود واحد:

• محبو التكنولوجيا،
• الطلاب،
• المشاركون في الأبحاث المكثفة

قد يكون لديهم معدل أعلى من حيث العناية. يجب الاحتفاظ بمزود اللوحة كمتغير عنقودي أو متغير مصدر في التحليل. إذا أمكن:

• النتائج المستندة إلى المزود,
• تأثير المصدر،
• مقارنة المزودين داخل نفس البلد

يجب فحصها. لا يمكن تقديم لوحة عالمية بمزود واحد على أنها سكان العالم أنفسهم.

33. تكرار الفرد في لوحة متعددة المصدر

نفس الفرد:

• لوحتان مهنيتان،
• في دعوة مفتوحة،
• في قائمة الجامعة

يمكن العثور عليها. يمكن للوحة متعددة المصادر زيادة عدد السجلات دون زيادة التفرد. التحقق من التكرار عبر المصادر:

• مع الحفاظ على الخصوصية،
• دون الحاجة إلى الإفصاح عن الهوية المركزية.
• السماح بالاعتراض على عدم التطابق

يجب تأسيسه بطريقة.

34. خريطة تحيز العينة

ينبغي لمنهج GEO-1000 رصد أنواع التحيز الآتية كلٌّ على حدة.

SB-1— تحيز التغطية

بعض شرائح السكان المستهدفة غير موجودة في إطار العينة.

SB-2— تحيز الاختيار

احتمالية اختيار الأفراد في الإطار للمشاركة في اللوحة لا تتوافق مع التصميم المقصود.

SB-3— تحيز الاختيار الذاتي

المتطوعون للدراسة يختلفون بشكل منهجي عن السكان.

SB-4— تحيز الدعوة والإرشاد

نص الدعوة أو المصدر يجذب الأشخاص ذوي وجهة نظر محددة.

SB-5— تحيز عدم الاستجابة

الأشخاص الذين لا يشاركون أو لا يكملون يختلفون من حيث النتائج.

SB-6— تحيز تراجع أعضاء اللوحة

المستخدمون الذين يبقون بين الجولات يختلفون عن أولئك الذين ينسحبون.

SB-7— تحيز الحافز

الدفع أو المكافأة تؤثر على سرعة المشارك أو سلوك الاختيار أو الاستجابة.

SB-8— تكييف اللوحة

المشارك يتعلم السلوك المتوقع من الدراسات السابقة.

SB-9— تحيز تعيين المهمة

يختار المشاركون المنتج أو اللغة أو التعليمات بأنفسهم أو يتم تعيينهم بشكل غير متساوٍ.

SB-10— تحيز تصنيف البلاد واللغة

يتم تعيين المشارك إلى خلية بلد أو لغة خاطئة.

SB-11— تحيز المنتج والخطة والواجهة

فقط مستخدمو خطة أو جهاز معين يحددون اللوحة.

SB-12— تحيز الألفة بالعلامة التجارية

العملاء أو المعجبون أو النقاد أو الموظفون ممثلون بشكل زائد.

SB-13— الاحتيال والتحيز المتكرر

الشخص نفسه أو المشاركة التلقائية تكتسب تأثيرًا كبيرًا على النتيجة.

SB-14— تحيز استبعاد الصلاحية

غالبًا ما تُعتبر استجابات الذكاء الاصطناعي السلبية غير صالحة.

SB-15— تحيز الوزن

تغيير نموذج الوزن للمتغيرات المختارة بعد النتيجة أو التغيير المفرط في درجة النموذج في الاتجاه المرغوب.

SB-16— تحيز العينة الناجية

يتم عرض المستخدمين الذين يمكنهم إكمال المهمة بنجاح فقط كما لو كانوا يمثلون سكان المنتج الفعلي.

35. غرض الوزن

يمكن أن يخدم الوزن الأغراض التالية:

• تصحيح احتمالات الاختيار غير المتساوية
• إرجاع الإفراط في العينة إلى نسبة السكان الفعلية
• تقليل الفروق في معدلات الاستجابة
• معايرة العينة حسب المجموعات الهدف المعروفة
• دمج مصادر لوحات متعددة

لا يمكن للأوزان أن تخدم الأغراض التالية:

• إنشاء شخص غير موجود في إطار العينة
• تصحيح المتغيرات غير المقاسة بدقة
• جعل ملاحظة خاطئة أو زائفة حقيقية
• إنتاج النتيجة المطلوبة بعد الحصول على النتيجة
• تحويل خلية صغيرة واحدة إلى نتيجة موثوقة للبلد
• تحويل لوحة غير احتمالية إلى عينة احتمالية تلقائيًا

36. البنية الثقيلة

يمكن عرض الوزن النهائي كما يلي:

w_i= d_i× a_i^{NR}× g_i^{CAL}× p_i^{SRC}

هنا:

• di: الوزن الأساسي للتصميم أو وزن البداية
• aiNR: إعداد الاستجابة
• giCAL: معايرة السكان
• piSRC: مصدر اللوحة أو تعديل العينة غير المحتملة

في اللوحة الاحتمالية:

d_i= 1/π_i

هذا ممكن. πi الحقيقي غير معروف في اللوحة غير الاحتمالية. في هذه الحالة، الوزن المستخدم ليس وزن التصميم، بل الوزن المستند إلى النموذج أو الوزن المعاير. يجب الحفاظ على هذا التمييز في التقرير.

37. لا يمكن أن تعتمد الأوزان على النتيجة

لا يمكن استخدام المتغيرات التالية لإنشاء الأوزان:

• ما إذا كان رد الذكاء الاصطناعي صحيحًا أم لا
• ما إذا تم ذكر العلامة التجارية أم لا
• ما إذا كان هناك استشهاد
• ما إذا تم تقديم توصية
• ما إذا حدث خطأ جسيم
• ما إذا كانت المنظمة المدققة تحب النتيجة

متغيرات الوزن:

• قبل رؤية النتيجة،
• لأنه مرتبط بالسكان المستهدفين وآلية الاختيار

يجب اختياره. إذا كان نتيجة الاستجابة تحدد الوزن، فإن النتيجة تشكل نفسها.

38. متغيرات المعايرة

مناطق المعايرة المحتملة:

• البلد
• المنطقة
• اللغة
• العمر
• الجنس، إذا كان ضروريًا وأخلاقيًا
• التعليم
• الاستيطان الحضري/الريفي
• نوع الوصول إلى الإنترنت
• الجهاز
• تكرار استخدام الذكاء الاصطناعي
• الخطة المجانية/المدفوعة
• واجهة
• حالة الوصول

قد لا تكون الأهداف الموثوقة متاحة لكل متغير. العديد من متغيرات المعايرة:

• يمكن أن تخلق تباينًا مفرطًا في الوزن،
• حجم عينة فعّال منخفض،
• فرط التخصيص للنموذج

يجب تجميده قبل رؤية نتائج مجموعة المعايرة.

39. توازن الوزن

يجب مقارنة العينة قبل وبعد الوزن مع السكان المستهدفين. لكل حقل:

• الحصة المستهدفة
• حصة العينة الخام
• الحصة الموزونة
• الفارق المتبقي

يجب إظهاره. يتم تطبيق الوزن فقط على عدد النتائج ولا يمكن حفظ جدول التوازن.

40. تشخيصات الوزن

يجب أن يشمل التقرير الرئيسي الحقول التالية بقدر ما تكون ذات صلة:

• الحد الأدنى للوزن
• الوزن الأقصى
• الوزن الوسيط
• معامل تباين الوزن
• نسبة الوزن
• عدد الأوزان المقتطعة
• حجم العينة الخام
• حجم العينة الفعّال
• تأثير التصميم
• النتيجة غير المرجحة
• النتيجة المرجحة الأساسية
• نتائج الأوزان المعقولة البديلة

الرقم المرجح الفردي ليس سجل تحكم كامل بدون معرفات الوزن.

41. عرض الترجيح الاصطناعي

عرض المنهجية الاصطناعية / المشاركون، المعدلات، والنقاط أدناه افتراضية. التوزيع والتعداد المستهدف للسكان:

معدلات النجاح الاصطناعية:

النتيجة الخام:

900/1000=90%

41.1. معاملات المعايرة

استخدام منخفض:

0.50/0.10=5

استخدام متوسط:

0.30/0.30=1

استخدام مرتفع:

0.20/0.60 = 1/3

الاستجابة المرجحة:

72(5) + 252(1) + 576(1/3) = 804

إجمالي الوزن:

100(5) + 300(1) + 600(1/3) = 1,000

النتيجة المرجحة:

804/1000=80.4%

41.2. حجم العينة الفعال

n_eff= [100(5)+300(1)+600(1/3)]² / [100(5 ²)+300(1 ²)+600(1/3)²] ≈ 349

بطاقة النتيجة:

• الملاحظة الصالحة الخام: 1,000
• الدرجة الخام: 90 في المائة
• الدرجة الموزونة: 80.4 في المائة
• العينة الفعالة: حوالي 349
• السبب الرئيسي: التمثيل الزائد لمستخدمي الذكاء الاصطناعي بكثافة

التفسير الصحيح:

تحتوي اللوحة على 1,000 من الملاحظات الصالحة؛ ومع ذلك، نتيجة لمعايرة السكان المستهدفين، انخفض التقدير إلى 80.4%، وبسبب تباين الأوزان، أصبحت حجم العينة الفعالة حوالي 349.

التعليق غير الصحيح: "تم إثبات الدقة العالمية لتكون 90% مع 1,000 من الأشخاص."

42. ما الذي لا يمكن للوزن تصحيحه؟

يجب ألا تكون المجموعات التالية موجودة في اللوحة التركيبية على الإطلاق:

• الأشخاص الذين يستخدمون برامج قراءة الشاشة
• المستخدمون في المناطق الريفية منخفضة النطاق الترددي
• الأشخاص الذين يستخدمون منتج الذكاء الاصطناعي لأول مرة
• مجتمع لغوي صغير

يغير الوزن فقط وزن المستخدمين في اللوحة. المجموعة غير المرصودة:

• ذكاء اصطناعي، إجابتك،
• كشف مشاكل الوصول,
• توزيع الخطأ

لا يمكن إنتاجه. لذلك:

صفر التغطية يعني صفر المعلومات.

النتيجة الموزونة: قد تكون تنبؤًا أقرب إلى المجموعة المستهدفة، وليس ملاحظة كاملة للمجموعة المستهدفة.

43. تحليل الحساسية

يجب فحص اعتماد النتيجة الموزونة على نموذج وزن واحد. النتائج المرشحة:

• النتيجة الخام غير الموزونة
• النتيجة المركزة على التصميم
• النتيجة المعايرة ديموغرافيًا
• المعايرة مع إضافة استخدام الذكاء الاصطناعي
• النتيجة بعد تقليم الوزن
• النتيجة المعدلة بتأثير موفر اللوحة

إذا تغيرت النتائج بشكل جوهري:

تحذير حساسية الوزن

ينبغي إعطاؤه. لا يمكن تقديم نتيجة وزن واحدة "صحيحة" كحقيقة مطلقة.

44. تعديل الميل في اللوحة غير الاحتمالية

يمكن نمذجة ميل أعضاء اللوحة غير الاحتمالية لدخول اللوحة وفقًا للسكان المستهدفين. احتمال أن يكون شخص ما في اللوحة:

p̂_i= Pr(i ∈ panel | X_i)

يمكن تقديره. وزن الميل العكسي المرشح:

w_i^P= 1/p̂_i

يمكن استخدامه. هذه الطريقة:

• تستخدم فقط المتغيرات Xi المقاسة،
• تتأثر بالنموذج المحدد بشكل خاطئ,
• الاختيار غير المرصود لا يحل المشكلة،

يتطلب بيانات مرجعية قوية للهدف. لذلك، النتيجة:

يجب وسمها كالتالي:

تقدير لوحة غير احتمالية معايرة بالنموذج

45. تقديرات المناطق الصغيرة والنموذجية

قد تكون العينات المباشرة غير كافية في بعض خلايا الدول أو اللغات. يمكن لطرق القائمة على النموذج أن تستعير المعلومات من المجموعات المجاورة أو المماثلة. هذا يعني أن النتيجة:

• درجة الدولة المرصودة مباشرة،
• معدل المستخدم الخام

ليست كذلك. الحالة الصحيحة:

التقدير بمساعدة النموذج

تقدير المناطق الصغيرة

لم يتم ملاحظته مباشرة

يجب. التنبؤ المستند إلى النموذج لا يحول دولة دون ملاحظة مراقب الدولة إلى دولة ملاحَظة.

46. خصوصية المشاركين وإمكانية التحقق

GEO-1000 يتطلب إثبات لكل ملاحظة. هذا لا يعني أنه سيتم الكشف عن هوية المشارك علنًا. قد تتضمن لقطة الشاشة المعلومات التالية:

• الاسم
• البريد الإلكتروني
• صورة الملف الشخصي
• الدردشة السابقة
• خطة الحساب
• اسم المؤسسة
• معلومات شخصية حساسة

NOMOS النظام التقاط أو ما يعادله:

• يجب ألا يتم التقاط الحقول الشخصية غير الضرورية،
• يجب تنفيذ إخفاء تلقائي أو محكوم،
• يجب حفظ الأدلة الخام في مستودع آمن،

ينبغي تقديم السجلات المجهولة وقابلة للتحقق فقط للجمهور.

46.1. قائمة الأدلة العامة

السجل العام:

• معرّف المراقب،
• خلية البلد/اللغة،
• منتج الذكاء الاصطناعي،
• الوقت،
• تجزئة الأدلة،
• حالة التحقق

قد يتم حملها. لقطة شاشة كاملة:

• تم تحريرها،
• وصول مقيد،
• مفتوح للمراجع المستقلة

قد يكون. وجود ألف قطعة من الأدلة لا يتطلب الكشف العام عن هويات ألف شخص.

46.2. مخاطر الدول الصغيرة الحساسة

إذا كان هناك مشارك واحد فقط في الدولة الصغيرة:

• الجهاز،
• الوقت،
• اللغة،
• خطة

عند جمعهم معًا، قد يصبح من الأسهل إعادة التعرف على الشخص. يجب تقليل مستوى التفاصيل في التقارير العامة. يمكن الحفاظ على سلامة الأدلة في نظام يتم التحكم في الوصول إليه.

47. موافقة المشارك

يجب أن يعرف المشارك على الأقل ما يلي:

• أي مهمة سيؤديها
• أي البيانات ولقطات الشاشة التي سيتم جمعها
• ما هي المعلومات الشخصية التي لن يتم جمعها
• مدة تخزين البيانات
• من سيكون لديه الوصول
• كيفية نشر النتيجة
• كيفية تقديم المكافأة
• أن المشاركة طوعية
• الحق في الانسحاب أو الاعتراض
• لن يُطلب كلمة مرور الحساب
• لا يُتوقع انتهاك شروط منتج الذكاء الاصطناعي

يجب ألا يكون الموافقة مخفية في نص طويل وغير مفهوم. [K06; K22]

48. سلامة المشترك

من المشترك:

• تقديم معلومات صحية أو قانونية أو مالية شخصية للذكاء الاصطناعي،
• استخدام بيانات عملاء حقيقية،
• مشاركة معلومات سرية لصاحب العمل،
• إضعاف أمان الحساب،
• تجاوز حدود الاستخدام،
• انتهاك القانون أو شروط المنتج

لا يمكن طلب ذلك. يجب أن تحتوي المُدخلات التجريبية على سياق عام وغير شخصي قدر الإمكان.

49. يحمِل المشارك التنوع البشري، ليس الجودة

المستخدم غير المتمرس:

• يمكن أن يُكمل المهمة ببطء أكثر،
• أصعب،
• مع مزيد من الدعم

هذا الشخص ليس تلقائيًا مشاركًا منخفض الجودة. هم جزء حقيقي من الفئة المستهدفة. إذا كان تصميم البحث معقدًا جدًا بحيث لا يمكن إلا للأشخاص ذوي المهارات الرقمية العالية إكماله: قد لا تكون المشكلة في المشارك، بل في أداة القياس. البروتوكول:

• يجب أن يكون مفهومًا،
• متاحًا،
• طبيعيًا لغويًا،
• العبء التقني محدود

يجب أن تكون.

50. بطاقة النتيجة العامة لاختيار المشاركين

يجب أن يتضمن التقرير العام للمرشح المجالات التالية:

موارد اللوحة

احتمالية مشاركة اللوحة مشاركة المتطوعين المحترفين مشاركة الدعوة المفتوحة مشاركة الجامعة/المؤسسة مشاركة العملاء أو اللوحة التابعة

قمع المشاركة

الشخص في الإطار مختار مدعو مقبول بدأ مكتمل إنتاج ملاحظة صالحة

الأهلية والنزاهة

مستويات التحقق من الدولة مستويات التحقق من اللغة معدل تكرار الشخص معدلات التسجيل المشبوهة معدل الاحتيال المؤكد معدل الملاحظات غير الصالحة

تركيب اللوحة

تكرار استخدام الذكاء الاصطناعي الخطة والواجهة معرفة العلامة التجارية علاقة العميل/الموظف المستخدمون الجدد والعائدون للوحة تغطية إمكانية الوصول

تشخيصات الوزن

يمكن نشر ما يلي دون الكشف عن هوية المشاركين: الدرجات الخام والمرجحة؛ الحد الأدنى والأقصى للأوزان؛ معامل اختلال الأوزان؛ حجم العينة الفعّال؛ الحساسية تجاه الأوزان؛ وتحذيرات التغطية.

51. الأحكام الإلزامية المعيارية

CH08-N01

يجب أن تحمل كل ملاحظة صالحة GEO-1000 سلسلة اختيار المشاركين قابلة للتتبع من المجتمع المستهدف إلى سجل التحليل.

CH08-N02

لا يمكن تقديم الاختيار العشوائي داخل اللوحة على أنه اختيار عشوائي من المجتمع العالمي المستهدف.

CH08-N03

يجب شرح مصدر المشاركين، وطريقة الاختيار، وحالة اللوحة في سجل الطريقة العام.

CH08-N04

لا يمكن تعريفها كعينة احتمالية غير محتملة أو تطوعية من السكان ضمن اللوحة.

CH08-N05

لا يمكن إدراج المشاركين الذين اقترحتهم المؤسسة التي تم تدقيقها في اللوحة السكانية المستقلة الرئيسية دون توضيح.

CH08-N06

يجب تسجيل علاقات العملاء والموظفين والشركاء والمنافسين ومزودي الذكاء الاصطناعي بشكل منفصل.

CH08-N07

يجب التحقق من معايير أهلية المشاركين قبل رؤية استجابة الذكاء الاصطناعي.

CH08-N08

يجب تحديد أهلية البلد واللغة والمنتج والخطة والواجهة قبل تعيين المهمة المتعلقة بها.

CH08-N09

لا يمكن تكرار نفس الشخص كوحدة سكانية بسبب تعدد الحسابات أو الأجهزة أو اللغات أو اللوحات أو منتجات الذكاء الاصطناعي.

CH08-N10

يجب إجراء التحقق من الشخص الفريد وفقًا لمبادئ تقليل البيانات والخصوصية.

CH08-N11

لا يمكن اعتبار إشارة تقنية واحدة بمفردها كافية لاتخاذ قرار محدد تلقائيًا بأن المشارك مزيف.

CH08-N12

لا يمكن ربط مكافأة المشارِك بكون رد الذكاء الاصطناعي إيجابياً أو طويلًا أو يحتوي على مراجع أو مفيدًا للعلامة التجارية.

CH08-N13

يمكن ربط علاوة الجودة فقط بنزاهة البروتوكول المحددة مسبقًا.

CH08-N14

لا يمكن لنص الدعوة والمعلومات توجيه المشارك للبحث عن نتيجة إيجابية أو سلبية.

CH08-N15

يجب تعيين منتج الذكاء الاصطناعي أو عشوائيته قبل رؤية النتيجة الخاصة بالمُدخل وتسلسل المهمة.

CH08-N16

لا يمكن استخدام اختيار المنتج وصياغة المُدخل بناءً على تفضيل المشاركين دون توضيح في اللوحة السكانية الرئيسية.

CH08-N17

يجب تسجيل تهيئة اللوحة، التعرض للاختبار السابق، والمشاركة المتكررة.

CH08-N18

يجب تحليل نتائج المشاركين الجدد والمشروطين بشكل منفصل عند الضرورة.

CH08-N19

لا يمكن أن يستند تضمين المشارك في العينة أو احتفاظه بها أو استبعاده أو استبداله ببديل إلى محتوى استجابة الذكاء الاصطناعي.

CH08-N20

يجب الحفاظ على مخرجات الذكاء الاصطناعي غير الصحيحة أو السلبية أو المرفوضة أو النقدية وفقًا لبروتوكول صالح.

CH08-N21

يجب تقييم صلاحية المشاركين بشكل أعمى قدر الإمكان وقبل تقييم الدقة الجوهرية للإجابة.

CH08-N22

يجب الإبلاغ عن معدلات الدعوة والقبول والبدء والانتهاء والملاحظة الصحيحة بشكل منفصل.

CH08-N23

يجب أن يكون إعداد الاستجابة قائمًا فقط على المتغيرات المحددة والمهمة.

CH08-N24

لا يمكن للتوزين أن يجعل المستخدمين غير الموجودين في إطار العينة ممثلين.

CH08-N25

لا يمكن أن تعتمد متغيرات الوزن على نتيجة استجابة الذكاء الاصطناعي أو الدرجة أو المصلحة التجارية للمؤسسة المنظمة.

CH08-N26

لا يمكن تقديم أوزان لوحة غير احتمالية على أنها أوزان تصميم.

CH08-N27

يجب الإفراج عن متغيرات المعايرة والإجماليات المستهدفة قبل عرض النتائج.

CH08-N28

يجب تخزين النتائج غير الوزنية والنتائج الوزنية الرئيسية معًا.

CH08-N29

يجب أن تكون تشخيصات التوزين وحجم العينة الفعال مرئية في التقرير الرئيسي.

CH08-N30

إذا تم استخدام تقليم الأوزان، يجب الاحتفاظ بالنتيجة غير المقلصة وتحليل الحساسية.

CH08-N31

يجب الاحتفاظ بتأثيرات مزود اللوحة ومصدر المشارك كمتغيرات منفصلة.

CH08-N32

في لوحة متعددة المصادر، يجب إجراء فحوصات تكرار الشخص بين المصادر.

CH08-N33

يجب أن تشمل كشف الاحتيال إشارات متعددة، ومراجعة بشرية متناسبة، وعملية استئناف.

CH08-N34

لا ينبغي اعتبار استخدام VPN أو جهاز مشترك أو شبكة مؤسسية أو تقنية مساعدة احتيالاً تلقائيًا.

CH08-N35

لا يمكن تقديم تقدير المنطقة الصغيرة القائم على النموذج مباشرة مثل درجة دولة أو لغة مُلاحظة.

CH08-N36

يجب أن تحمل لقطات شاشة المشارك والأدلة تقليل البيانات الشخصية، والتحرير، والتحكم في الوصول.

CH08-N37

لا يمكن طلب كلمات مرور الحسابات أو سجل الدردشة الخاص أو المعلومات الحساسة غير الضرورية من المشاركين.

CH08-N38

لا يمكن طلب من المشاركين تجاوز قيود المنتج أو العمر أو الهوية أو البلد أو الحساب.

CH08-N39

لا يمكن تسجيل الأطفال أو المستخدمين الذين يحتاجون إلى حماية خاصة في اللوحة بدون بروتوكولات أخلاقية وأمنية منفصلة.

CH08-N40

يجب أن يكون لسجلات اختيار المشاركين وتوزانهم مالك بشري أو مؤسسة يمكن محاسبته.

52. أشكال الفشل

CH08-F01— عد العشوائية داخل اللوحة كعشوائية من العالم

يتم تقديم الاختيار العشوائي داخل اللوحة التطوعية كما لو كان اختيارًا عشوائيًا من سكان العالم.

CH08-F02— الامتثال لحصص العد كممثل

يُدعى أنه تم حل جميع الانحيازات السلوكية والتكنولوجية لأن حصص العمر والبلد قد تم تلبيةها.

CH08-F03— عد العملاء على أنهم عامة السكان

تُستخدم قائمة مستخدمي المؤسسة المراقبة كما لو كانت لوحة مستخدمين عالمية.

CH08-F04— إخفاء الموظفين والشركاء

يتم عرض المستخدمين المرتبطين بالمؤسسة كمشاركين عامين مستقلين.

CH08-F05— عد مزود لوحة واحد على أنه عالمي

لا يتم فحص تأثير المزود وسلوكية اللوحة المسجلة.

CH08-F06— احتساب الدعوة المفتوحة كعينة محتملة

تم الحفاظ على الاختيار الذاتي.

CH08-F07— تحديد البلد فقط من خلال IP

يتم تجاهل اختلافات السفر، وVPN، والشبكة المؤسسية، ومنطقة الحساب.

CH08-F08— احتساب الجنسية كبلد الاستخدام

يتم تصنيف الحالة الجغرافية الفعلية لتجربة المنتج بشكل خاطئ.

CH08-F09— احتساب إعلان اللغة كنهائي دون اختبار

يظل المشارك في خلية اللغة رغم أنه لا يفهم المُدخل أو الاستجابة.

CH08-F10— تحويل اختبار اللغة إلى اختيار نخبة

يبقى فقط الأشخاص المتعلمون تعليماً عالياً في العينة.

CH08-F11— احتساب عدد الحسابات كأشخاص

يزيد الشخص الواحد الوزن السكاني باستخدام عدة حسابات.

CH08-F12— اعتبار الحساب المشترك كشخص واحد

يتم تفسير الحساب الذي يستخدمه عدة أشخاص كمستخدم واحد.

CH08-F13— الدفع اعتماداً على النتيجة

يتم منح مكافأة على الإجابة الإيجابية أو الصحيحة أو المرجعية.

CH08-F14— كسر البروتوكول مع مكافأة السرعة

يأخذ المشارك لقطة شاشة أو يسرع في أداء المهمة قبل إكمال الرد.

CH08-F15— شرح النتيجة في الدعوة

يُطلب من المشارك العثور على خطأ أو نجاح.

CH08-F16— السماح للمشارك باختيار المنتج

المستخدمون الذين يختارون فقط منتج الذكاء الاصطناعي الذي يمكنهم الوصول إليه أو الذي يعجبهم يحددون اللوحة.

CH08-F17— إخفاء تأثير ترتيب صياغات المُدخل

الإجابات السابقة تؤثر على المهام اللاحقة.

CH08-F18— اعتبار تهيئة اللوحة استخدامًا طبيعيًا

يتم تقديم المستخدم الذي يرى الاختبار نفسه عدة مرات كمستخدم جديد.

CH08-F19— تجاهل مشاركة النتائج

نقل المشاركون المهام والاستجابات لبعضهم البعض.

CH08-F20— احتساب عدم الاستجابات كبيانات مفقودة

لا يتم فحص الفرق المنهجي للمشاركين غير الموجودين.

CH08-F21— احتساب فقدان اللوحة كتحسن في النتائج

تزداد الدرجات لأن المستخدمين الضعفاء أو عديمي الخبرة ينسحبون في المراحل التالية.

CH08-F22— إبطال الاستجابات السلبية

يتم استبدال المشارك لأن الذكاء الاصطناعي قدم استجابة غير صحيحة.

CH08-F23— التحقق من الاستجابة الصحيحة

حتى إذا قام المشارك بتحديث الاستجابة، يظل السجل محفوظًا لأن النتيجة صحيحة.

CH08-F24— تجاهل الروبوتات والمشاركة المتكررة

نفس الشخص أو الأتمتة ينتج عددًا كبيرًا من الملاحظات.

CH08-F25— الاستبعاد الجماعي بإشارة واحدة

تسبب الشبكة الخاصة الافتراضية أو الجهاز أو السرعة في اعتبار المستخدمين الحقيقيين مزيفين.

CH08-F26— إجراء مراجعة الاحتيال بناءً على النتائج

يتم فحص السجلات ذات الدرجات المنخفضة بشكل أكثر تكرارًا.

CH08-F27— إنشاء مجموعة غير مرئية بشكل كبير

يُزعم أن المستخدمين الذين ليسوا موجودين في العينة يتم تمثيلهم.

CH08-F28— اختيار المعايرة بعد النتيجة

يتم بعد ذلك اختيار متغيرات الوزن التي تنتج أفضل نتيجة مناسبة.

CH08-F29— حساب حصة اللوحة الخام كحصة سكانية

يحدد مستخدمو الذكاء الاصطناعي المكثفون النتيجة العالمية بالأرقام الخام.

CH08-F30— حساب الوزن غير العادي كوزن تصميم

يتم إجراء استدلال دقيق للسكان على الرغم من أن احتمال الاختيار الحقيقي غير معروف.

CH08-F31— إخفاء النتيجة غير المرجحة

تأثير نموذج الوزن غير مرئي.

CH08-F32— إخفاء العينة الفعالة

على الرغم من أن سجلات 1,000 الخام تحمل وحدات المعلومات 300–400، فإنه يتم المطالبة بالدقة الكاملة.

CH08-F33— إزالة المجموعات الضعيفة عن طريق تقليم الوزن

يتم تقليم المجموعات الصغيرة ذات الوزن العالي لأنها تقلل النتيجة.

CH08-F34— عد الدرجات المقدرة بناءً على النموذج

يتم إعطاء دولة دون مثال درجة محددة.

CH08-F35— الكشف عن الهوية من أجل الأدلة

يتم نشر لقطات الشاشة علنًا مع المعلومات الشخصية.

CH08-F36— جعل مشارك من دولة صغيرة قابل لإعادة التعريف

معلومات البلد والوقت والجهاز والخطة تكشف عن شخص واحد.

CH08-F37— يطلب من المشارك كلمة المرور أو الدردشة الخاصة

جمع الأدلة ينتهك أمان الحساب.

CH08-F38— احتساب مهارة رقمية منخفضة على أنها عدم لياقة

يتم إزالة المستخدمين المستهدفين الفعليين من العينة.

CH08-F39— الإخلال بالاختيار الطوعي بالمكافأة

المشارك تحت ضغط لا يمكنهم رفضه على نحو معقول.

CH08-F40— ترك اختيار المشارك للعميل

الكيان الذي يتم تدقيقه يحدد الأشخاص الذين يمكنهم تحديد نتيجة العينة.

53. إجراء التدقيق

الخطوة 1— رسم خريطة مصادر المشاركين

يتم تسجيل كل لوحة بشكل منفصل للشريك، الدعوة المفتوحة، ومصدر العميل.

الخطوة 2— تحديد حالة الاختيار

يتم تحديد الحالة المناسبة بين PSI-0 و PSI-5 لكل مصدر.

الخطوة 3— مقارنة التغطية مع الفئة المستهدفة

تحديد المستخدمين المستهدفين الذين لا يتواجدون في اللوحة.

الخطوة 4— حفظ احتمالية اختيار المشاركين أو النموذج

يتم شرح الاحتمال المعروف، الحصة، أو الاختيار الطوعي.

الخطوة 5— تثبيت قواعد المطابقة

العمر الدولة اللغة المنتج خطة الواجهة التفرد الاستخراج العلاقة الشروط تم إصدار إصدارات لها.

الخطوة 6— مراجعة نص الدعوة

يتم تقييم ما إذا كان هناك توجيه إيجابي أو سلبي.

الخطوة 7— فحص هيكل المكافأة

يتم التأكد من أن المكافأة مستقلة تمامًا عن النتيجة.

الخطوة 8— التحقق من دولة المشارك، واللغة، والوصول إلى المنتج

يتم تعيين مستويات تحقق تحمي الخصوصية.

الخطوة 9— إجراء فحص الإنسان الفريد

يتم فحص التكرارات داخل المصدر وبين المصادر.

الخطوة 10— تسجيل مجالات العلاقة والألفة

يتم تحديد معرفة العميل والموظف والمنافس ومزود الذكاء الاصطناعي والعلامة التجارية.

الخطوة 11— توزيع المهام وفقًا لخطة التعيين

يتم التحقق من المنتجات وصياغات المُدخل والطابور والتخصيصات الموجية.

الخطوة 12— تسجيل تهيئة اللوحة

يتم فصل المستخدمين الجدد والمتكررين والمشاركين مسبقًا في نفس الاختبار.

الخطوة 13— إعداد قمع المشاركة

يتم حساب أرقام الدعوة والقبول والبدء والإكمال والصلاحية.

الخطوة 14— إخفاء مراجعة الصلاحية

يتم تحديد صحة البروتوكول دون أن يُنظر إلى درجة استجابة الذكاء الاصطناعي قدر الإمكان.

الخطوة 15— فحص إشارات الاحتيال

يتم استخدام إشارات متعددة وتقييم بشري.

الخطوة 16— تحليل عدم استجابتي وخسارة اللوحة

يتم مقارنة الخصائص المعروفة لأولئك الذين يشاركون وأولئك الذين لا يشاركون.

الخطوة 17— توليد أوزان التصميم والمواءمة

يتم التعامل مع المصادر الاحتمالية وغير الاحتمالية بطرق منفصلة.

الخطوة 18— حساب تشخيصات الوزن

توزيع الوزن تأثير التصميم العينة الفعالة يتم حساب تأثير التشذيب.

الخطوة 19— إجراء تحليل الحساسية

يتم مقارنة النتائج الخام والرئيسية الثقيلة والبديلة المعقولة.

الخطوة 20— إنشاء سجل الخصوصية والأدلة

الدليل الكامل موجود في مستودع آمن؛ تُحفظ هويات الأدلة المجهولة في سجل عام.

الخطوة 21— نشر بطاقة الانتخابات العامة

مصادر اللوحة، قمع المشاركة، الانحيازات، وتأثير الوزن يتم جعلها مرئية.

54. الأدلة المطلوبة

سجل الفئة المستهدفة؛ إطار العينة؛ مقدمو اللوحات؛ مصادر المشاركين؛ حالة الاختيار؛ فئة اللوحة الاحتمالية أو غير الاحتمالية؛ طريقة تسجيل اللوحة؛ نص الدعوة؛ قواعد قبول المشاركين؛ التحقق من بلد المشارك؛ سجل كفاءة اللغة؛ سجل الوصول إلى منتج الذكاء الاصطناعي؛ الخطة و واجهة المستخدم؛ التحقق من الشخص الفريد؛ فحوصات التكرار عبر المصادر؛ معرفة العلامة التجارية؛ تكرار استخدام الذكاء الاصطناعي؛ العلاقة مع الجهة التي تخضع للتدقيق؛ العلاقة مع مزود الذكاء الاصطناعي؛ تعويض المشاركين؛ شروط المكافأة؛ طريقة تعيين المهام؛ سجل العشوائية والتقسيم؛ ترتيب المنتجات والتعليمات؛ تكييف اللوحة؛ المشاركة التجريبية السابقة؛ عدد المدعوين؛ عدد الذين وافقوا؛ الرقم الذي يبدأ المهمة؛ الرقم الذي يكملها؛ عدد الملاحظات الصالحة؛ أسباب عدم الاستجابة؛ تآكل اللوحة؛ أسباب عدم الصلاحية؛ ومؤشرات الاحتيال.

سجلات المراجعة والاعتراض الأوزان التصميمية إعدادات عدم الاستجابة متغيرات المعايرة نموذج الميل، إذا وُجد سجل تقليم الوزن حجم العينة الفعّال نتائج الحساسية تأثير مزود اللوحة الدرجات غير الموزونة والموزونة سجل الموافقة سياسة تخزين البيانات والوصول إليها قواعد التنقيح بيان الأدلة العامة الشخص أو المؤسسة المسؤولة

55. قائمة تدقيق التدقيق

من أي مصادر جاء المشاركون؟ هل كان كل مصدر عشوائيًا، طوعيًا، أم دعوة مفتوحة؟ هل تم تقديم العشوائية داخل اللوحة مثل عشوائية سكان العالم؟ هل تدخلت المؤسسة المشرفة في اختيار المشاركين؟ هل المشاركون من العملاء والموظفين منفصلون؟ هل تم توثيق العلاقات مع مزود الذكاء الاصطناعي أو المنافسين؟ كيف تم التحقق من أهلية البلد؟ هل إجادة اللغة على مستوى الاستخدام الفعلي؟ هل تم استخدام المنتج الصحيح للذكاء الاصطناعي والخطة والواجهة المناسبة؟ كم عدد الحسابات أو اللوحات التي شارك فيها نفس الشخص؟ هل تم إجراء التحقق المتبادل بين المصادر؟ هل نص الدعوة وجه النتيجة؟ هل تعتمد المكافأة على محتوى استجابة الذكاء الاصطناعي؟ هل قللت حوافز السرعة من جودة البروتوكول؟ هل كانت مهمة التعيين عشوائية أم بناءً على القواعد المسبقة؟ هل اختار المشارك المنتج أم قام بإدخال المُدخل بنفسه؟

هل كان المنتج والطلب الفوري متوازنين؟ هل تم تسجيل تكييف اللوحة؟ هل شارك المشاركون نتائج المهام؟ هل يمكن رؤية مسار الدعوة–القبول–البدء–الاكتمال–الصلاحية؟ هل يختلف غير المستجيبين في الخصائص المعروفة؟ هل يؤثر انسحاب المشاركين من اللوحة على اتجاه الوقت؟ هل تم اتخاذ قرار الصلاحية قبل تقييم استجابة الذكاء الاصطناعي؟ هل تم اعتبار الردود السلبية أو النقدية غير صالحة في كثير من الأحيان؟ هل يحتوي اكتشاف الاحتيال على إشارات متعددة؟ هل تسبب استخدام VPN أو أجهزة مشتركة في الاستبعاد التلقائي؟ هل تم توفير مسار للاستئناف للمشارك؟ هل تم تعريف متغيرات الوزن قبل النتيجة؟ هل تم تصنيف أوزان اللوحة غير المحتملة بشكل صحيح؟ هل المجموعات المستهدفة موثوقة؟ هل تُعرض النتائج غير الموزونة والموزونة معًا؟ هل حجم العينة الفعّال واضح؟ هل تم عرض تأثير تقليم الأوزان؟

هل تم إظهار مجموعات لم يتم ملاحظتها على أنها ممثلة بشكل كبير؟ هل تم تقديم التنبؤات المستندة إلى النماذج كما لو كانت ملاحظات مباشرة؟ هل هناك تفاصيل شخصية في لقطات الشاشة الخاصة بالمشاركين؟ هل يمكن إعادة تحديد هوية المستخدمين من دول صغيرة؟ هل تم طلب كلمات مرور الحسابات أو الدردشات الخاصة؟ هل موافقة المشاركين واضحة ومفهومة؟ هل هناك مالك مسؤول بوضوح عن اختيار المشاركين وسجلات التوزين؟

56. الاعتراضات والردود

الاعتراض 1— "إذا استخدمنا عينة بحثية محترفة، لماذا نزال نتحدث عن التحيز؟"

يمكن للوحة مهنية أن تعزز جودة البيانات وإدارة الميدان. كما أن أعضاء اللوحة هم:

• تطوعي،
• معتاد على البحث،
• مختلف في استخدام التكنولوجيا

من الممكن. الاحترافية لا تقضي على الانحياز. إنها تجعل القياس والإدارة أسهل.

اعتراض 2— "إذا تم تلبية حصص العمر والبلد، لماذا لا يُعتبر الفريق تمثيليًا؟"

المشاركون:

• تكرار استخدام الذكاء الاصطناعي،
• الجهاز،
• الخطة،
• الوعي بالعلامة التجارية،
• المهارة الرقمية

قد يختلف فيما يتعلق بالصيانة. الحصص توازن فقط المناطق التي تغطيها.

اعتراض 3— "ألا يمكن للأوزان تصحيح هذه الفروقات؟"

يمكنه تصحيح الفروقات جزئيًا عندما تكون هناك إجماليات هدف مقاسة وموثوقة. لا يمكنه تصحيح الفروقات بشكل قطعي التي لم يتم ملاحظتها أو قياسها أبدًا.

الاعتراض 4— "عملاء المؤسسة هم مستخدمون حقيقيون؛ لماذا لا يجب تضمينهم في اللوحة الرئيسية؟"

يمكن أخذهم. ومع ذلك، يجب أخذهم بالنسبة الفعلية وحالة العلاقة التي يحملونها في السكان العامين. قائمة العملاء الكاملة ليست لوحة للسكان العام.

الاعتراض 5— "لماذا سيكون هناك مشكلة إذا كان المشارك يعرف العلامة التجارية؟"

لا يجب أن تكون مشكلة. فهم جزء من مستخدمي النظام الطبيعيين. إذا كان الإلمام غير متوازن، فقد تختلف النتيجة. لذلك، يتم تسجيلها وتحليلها عند الضرورة.

اعتراض 6— "المستخدمون الكثيفون للذكاء الاصطناعي يؤدون المهمة بدقة أكبر؛ ألن يكون من الأفضل اختيارهم؟"

قد يكون اختبار البروتوكول أسهل. ومع ذلك، إذا أردنا قياس تجربة السكان الواقعية، فإن المستخدمين غير المتمرسين مهمون أيضًا. إذا كانت المهمة معقدة جدًا، فيجب تصحيح أداة القياس. لا ينبغي تبسيط السكان.

اعتراض 7— 'إذا أساء المشارك فهم الاستجابة، لماذا يجب علينا الاحتفاظ بالملاحظة؟'

مهمة المشارك ليست تقييم الرد، بل التقاطه بشكل صحيح. إذا تم تطبيق بروتوكول الالتقاط بشكل صحيح، يتم الحفاظ على ردود الذكاء الاصطناعي. تقييم المواد هو مسؤولية المحكمين.

اعتراض 8— "ألا ينبغي استخدام فلتر تلقائي صارم لمنع المشاركة المزيفة؟"

الفلترة التلقائية مفيدة. إذا أصبحت القرار النهائي الوحيد، فقد تستبعد المستخدمين الحقيقيين بشكل غير عادل. هناك حاجة إلى إشارات متعددة ومراجعة بشرية متناسبة.

اعتراض 9— 'إذا لم نجعل ألف لقطة شاشة عامة، هل يمكن اعتبار الطريقة مثبتة؟'

صور كاملة للشاشة:

• المعلومات الشخصية،
• أمان الحساب,
• إعادة التعريف

قد تحمل خطراً. للجمهور:

• أمثلة معدلة،
• ملاحظات العرض،
• تجزئات النزاهة،
• يمكن توفير الوصول إلى التدقيق المستقل

الإثباتية ليست كشف الهوية.

اعتراض 10— “إذا كانت النتيجة الموزونة مختلفة جداً عن النتيجة الأولية، أيهما صحيح؟”

تجيب نتيجتان عن سؤالين مختلفين. النتيجة الأولية هي نتيجة الأشخاص في العينة. النتيجة الموزونة هي تقدير السكان الهدف. يشير الفرق الكبير إلى أن تكوين العينة مهم. يجب نشر كلتا النتيجتين.

اعتراض 11— "إذا انخفضت العينة الفعالة إلى 349، هل كان جمع 1,000 ملاحظات مضيعة للوقت؟"

قد تكون المجموعات المفرطة في أخذ العينات قد عززت تحليل الفئات الفرعية. ومع ذلك، قد تكون حساسية التنبؤ العالمي أقل من العدد الخام لـ 1,000. لا ينبغي إخفاء هذه الحقيقة.

اعتراض 12— "هل يمكن عدم استخدام لوحة غير الاحتمالية على الإطلاق؟"

يمكن استخدامها. على وجه التحديد:

• تجريبية،
• لغة منخفضة الموارد،
• دولة صغيرة،
• اكتشاف سريع

إنها مفيدة لـ. يجب نشرها بالحالة الصحيحة والقيود المناسبة.

الاعتراض 13— "أليس من الأكثر موثوقية اختيار جميع المشاركين من أشخاص جدد؟"

قد يكون قويًا لتقدير السكان العرضي. المستخدمون المتكررون ذو قيمة لقياس التغير الطولي. يجب الحفاظ على أدوار اللوحة الجديدة والمتكررة منفصلة.

اعتراض 14— "ألا يزيد جمع البيانات من هذا العدد الكبير من المشاركين من خطر الخصوصية؟"

يمكنه ذلك. لذلك:

• تقليل البيانات
• هوية مجهولة
• تحرير,
• التحكم في الوصول
• مدة التخزين

هي أجزاء إلزامية من البروتوكول. لا ينبغي جمع المعلومات غير الضرورية.

البند الشائع في القسم 59

أسهل رقم في دراسة GEO:

1,000

هذا ممكن. أصعب سؤال هو:

أي 1,000؟

يمكن لمجموعتين لهما نفس الحصص حسب الدولة والعمر أن تنتجا نتائج مختلفة تمامًا. في إحداهما:

• المستخدمون المكثفون للذكاء الاصطناعي،
• المشتركون في الخطط المدفوعة،
• عمال التكنولوجيا

هم الأغلبية. في الأخرى:

• المستخدمون غير المتكررون،
• مستخدمو الهواتف المحمولة،
• الأشخاص ذوو المهارات الرقمية المنخفضة

إنه أكثر وضوحًا. كلاهما من أشخاص 1,000. إنها ليست نفس العينة السكانية. إذا أخفيت من أين جاء المشاركون ونشرت فقط النتيجة المرجحة، فإنك تحول الترجيح إلى ستار من الثقة وليس إلى طريقة للتحكم. لا يمكنك ترجيح شخص غير موجود في العينة. لا يمكنك تغيير إجابة المستخدم لأنها خاطئة. الإجابة الخاطئة ليست فشلًا للبحث. إنها الحدث الذي يحاول البحث قياسه. إذا اتبع المشارك البروتوكول بشكل غير صحيح رغم إعطاءه الإجابة الصحيحة، لا يمكنك الحفاظ على السجل. الإجابة الصحيحة لا تجعل من الملاحظة المزيفة حقيقة. يمكنك دفع مبلغ أكبر لشخص واحد. لكن ليس لإنتاج الإجابة التي تريدها. يمكنك الدفع وفقًا لظروف المعيشة في الدولة. لكن لا يمكنك شراء استعداد المشارِك. يمكن أن تكون ألف لقطة شاشة دليلًا. لست مُلزَمًا بالكشف عن هوية ألف شخص للعامة.

يمكن حماية نزاهة الأدلة وخصوصية الإنسان معًا. لذلك، فإن قانون القياس الثامن لـ NOMOS هو كما يلي:

تُحدّد قوة العينة ليس فقط بعدد الأشخاص الذين تتكوّن منهم، بل أيضًا بسبب وكيفية اختيار هؤلاء الأشخاص.

القانون التاسع هو كما يلي:

إعادة الوزن تُعيد توازن السكان المرصودين؛ لكنها لا تخلق الإنسان غير المرصود.

القانون العاشر هو:

يمكن أن يكون جواب الذكاء الاصطناعي غير الصحيح بيانات صالحة؛ ويمكن أن يكون جواب الذكاء الاصطناعي الصحيح بيانات غير صالحة.

القانون الحادي عشر هو كما يلي:

يجب منح المكافأة للمشارك ليس لاكتشاف النتيجة المرغوبة، بل لإثبات النتيجة المرصودة دون تغييرها.

القانون الثاني عشر هو كما يلي:

إمكانية الإثبات لا تتطلب من المشارك التنازل عن الخصوصية.

وصية الفصل 8 لـ NOMOS

لا تحضر لي ألف شخص بمفردهم. / أرني من أي عالم يأتي هؤلاء الألف شخص.

لا تعامل عينة المتطوعين كعينة عشوائية من السكان، أو قائمة العملاء كالجمهور العام، أو الموظف كمستخدم مستقل.

لا تظن أن جميع الفروقات التي لم تقم بقياسها قد تحسنت لمجرد أن الحصص الخاصة بالبلد والعمر قد تم تحقيقها.

لا تضاعف شخصًا واحدًا بعدد حساباته أو أجهزته أو لغاته أو عضوياته في اللوحات.

لا تضع أولئك الذين يحبون العلامة التجارية، وأولئك الذين يكرهون العلامة التجارية، وأولئك الذين لا يعرفون العلامة التجارية على الإطلاق في نفس الصندوق غير المرئي.

ادفع للمشارك ليس ليجد الإجابة الصحيحة، بل ليحفظ أول إجابة مناسبة يراها دون تغييرها.

لا تغير المستخدم عندما يقدم الذكاء الاصطناعي إجابة خاطئة. / لا تتحقق مما إذا كانت الإجابة صحيحة عندما يخالف المستخدم البروتوكول.

لا تجعل شخصًا غير موجود في العينة يبدو وكأنه مهم أو موجود.

لا تخفِ النتيجة الخام. / لا تعلن فقط النتيجة المرجحة كحقيقة. / أظهر العينة الفعّالة. / أظهر حساسيتها.

لا تعلن عن شخص يستخدم شبكة افتراضية خاصة على أنه مزيف، أو شخص يستخدم جهازًا مشتركًا على أنه بوت، أو شخص يستخدم تقنية مساعدة على أنها أتمتة.

تحقيق في الاحتيال. / لكن لا تحول التحقيق نفسه إلى تحيز استبعادي جديد.

احتفظ بلقطة شاشة. / احمِ اسم الشخص، حسابه، وحياته الخاصة.

أولاً، حدد السكان. / ثم اعرض الإطار. / ثم اشرح من اخترت، ومن لم يحضر، ومن لم يتمكن من إكماله، ولماذا استبعدت شخصًا ما. / وفقط بعد ذلك، قرر مقدار ما يمكن لدرجتك أن تعبر عن الإنسانية.

جملة ختام الفصل

في GEO-1000، المشارك هو أكثر من مجرد شخص يحمل ردًا. المشارك هو وحدة أخذ عينات بشرية يجب تبرير قدرتها على تمثيل الآخرين في السكان المستهدفين من خلال مسار الاختيار، والوزن، والاستقلالية، وإجراءات حماية الخصوصية.

النواة المعيارية

يجب أن تحتفظ كل ملاحظة GEO-1000 بمسار قابل للتدقيق لاختيار المشاركين من السكان المستهدفين وإطار أخذ العينات عبر الاختيار، والدعوة، والموافقة، والتعيين، والإكمال، والتحقق من البروتوكول، والاستبعاد، والتوزين النهائي. لا يجوز تمثيل الاختيار العشوائي داخل اللوحة كاختيار عشوائي من السكان المستهدفين العالميين ما لم يكن آلية شمول كامل السكان تدعم هذا الادعاء. يجب أن يظل تجنيد المشاركين، والتعيين، والتعويض، والتحقق، والاستبدال، والاستبعاد، والتوزين مستقلاً عن ما إذا كانت استجابة الذكاء الاصطناعي إيجابية، سلبية، صحيحة، غير صحيحة، مرفوضة أو حرجة، أو مؤاتية تجارياً. يجب أن يظل الأشخاص والحسابات والأجهزة والجلسات واللغات والعضويات في اللوحة والملاحظات المتعلقة بمنتجات الذكاء الاصطناعي وحدات مميزة. يجب تحديد مصادر المشاركين الاحتمالية، والموافقة الطوعية، والدعوة المفتوحة، والمقدمة من العميل، والمؤسسية، والهجينة بشكل منفصل. قد يقلل الوزن من الاختلال الملحوظ، لكنه لا يجب أن يُمثل على أنه يخلق ملاحظات للفئات الغائبة عن إطار العينة أو يصحح الاختيار غير المقاس بيقين. يجب أن تظل النتائج غير المرجحة، والنتائج المرجحة، وتشخيصات الوزن، والفجوات في التغطية، وعدم الاستجابة، وحجم العينة الفعّال، وتحليلات الحساسية مرئية. يجب أن تستخدم قرارات الاحتيال والتكرار مراجعة متعددة الإشارات متناسبة ويجب ألا تُعامل استخدام الشبكات الخاصة الافتراضية (VPN)، أو الأجهزة المشتركة، أو الشبكات المؤسسية، أو أدوات الوصول تلقائيًا على أنها تزييف. يجب أن تبقى الأدلة المقدمة من المشاركين قابلة للتحقق دون الكشف عن الهوية أو بيانات الحساب أو المحادثات الخاصة أو الموقع الدقيق بشكل غير ضروري. يجب أن يتم توثيق كل قرار بشأن اختيار المشاركين وتوزينهم وإسناده إلى إنسان أو منظمة مسؤولة.