عينة الاختبار في ظروف منضبطة وعينة المستخدمين في ظروف الاستخدام الطبيعية

حد الفصل

أظهر الفصل 9 أن الكائن الذكاء الاصطناعي المقاس لا يمكن تعريفه فقط بواسطة اسم المزود أو النموذج. وأثبت الفصل 10 أن ليس كل سؤال يحتوي على نفس اسم الكيان يُعد نفس الاستعلام؛ فالاستعلام هو الأداة التجريبية التي تحدد القياس نفسه. الآن نحتاج إلى معالجة المتغير الثالث بين النظام والاستعلام:

ما هي حالة الحساب، الجلسة، وسجل المستخدم عند استخدام منتج الذكاء الاصطناعي؟

المستخدم:

• دردشة جديدة
• الذاكرة متوقفة،
• لا توجد تعليمات خاصة،
• لا يوجد سياق سابق،
• إعدادات المنتج القياسية

قد يتم إرسال الاستعلام أدناه. يمكن لمستخدم آخر إرسال نفس الاستعلام:

• من حساب كانوا يستخدمونه لسنوات,
• الذاكرة مفعلة،
• مع تفعيل تعليمات خاصة،
• مع المحادثات السابقة،
• على خطتهم وجهازهم الحقيقي

يمكنهم استخدام نفس منتج الذكاء الاصطناعي، وبنفس اللغة، وفي نفس البلد، وفي نفس الإطار الزمني، وبنفس الطلب. ومع ذلك، قد يرون ردود فعل مختلفة. هذا الفرق:

• من التباين العشوائي للضرب،
• من خطة الحساب،
• من ذاكرتي،
• من تعليمات خاصة،
• من محادثات سابقة،
• من التخصيص،
• من حالة الويب أو الأدوات،
• من مساحة العمل المؤسسية،
• من إعدادات واجهة المستخدم والإعدادات المحلية

قد ينشأ الاختلاف من التخصيص، أو حالة الويب أو الأداة، أو مساحة العمل التنظيمية، أو واجهة المستخدم، أو الإعداد المحلي. لا يوجد 'ذكاء اصطناعي' واحد: قد تتصرف طبقات البحث، والاسترجاع، وإعادة الترتيب، ونموذج اللغة، والاقتباس، والسلامة بشكل مختلف. لذلك يجب على القياس الموثوق أن يسجل منتج أو نموذج الذكاء الاصطناعي، والتاريخ، والبلد، واللغة، ومجموعة الاستعلامات، وعدد التكرارات، والملاحظة. يضيف هذا الفصل حالة المستخدم والجلسة إلى تلك السلسلة. يظل الطلب الأساسي لـ NOMOS هو الأدلة، والحدود، والسياق، والوقت. ومع ذلك، يمكن قياس السياق نفسه بطريقتين. الأولى تقلل الاختلافات الخارجية بين المستخدمين وتقارن منتجات الذكاء الاصطناعي في ظروف أولية موحدة. هذا هو:

عينة اختبار في ظروف منضبطة

النهج الثاني يقيس ما يراه الناس من خلال حساباتهم الحقيقية، وخططهم، وتخصيصهم، وأنماط الاستخدام العادية. هذا ما يُسمى:

عينة المستخدمين في ظروف الاستخدام الطبيعية

الـ عينة اختبار في ظروف منضبطة يجيب على السؤال:

كيف يقدم المنتج الكيان في أكثر حالة مبدئية موحدة ممكنة؟

أما الـ عينة المستخدمين في ظروف الاستخدام الطبيعية، فيسأل:

ماذا يرى الأشخاص الحقيقيون عن الكيان في حالات المستخدم الحقيقية؟

لوحة واحدة ليست أكثر "حقيقية" من الأخرى. فهي تقيس واقعين مختلفين. تعزز اللوحة الخاضعة للرقابة القابلية للمقارنة. تجعل اللوحة الطبيعية تجربة الإنسان مرئية. تقلل اللوحة الخاضعة للرقابة من التخصيص وفروق السياق. تقيس اللوحة الطبيعية تأثير هذه الفروق على السكان الفعليين. تتضمن هذه الأقسام:

• تعريف عينة اختبار في ظروف منضبطة،
• تعريف عينة المستخدمين في ظروف الاستخدام الطبيعية،
• الفئات المستهدفة لكلتا اللوحتين والكميات التي يقدرانها،
• ماذا تعني الجلسة النظيفة،
• مستويات التحقق من النظافة،
• حالة الحساب الطبيعية وسياق المحادثة الطبيعية،
• الذاكرة، والتعليمات الخاصة، والمحادثات السابقة، وسجلات التخصيص.
• الاختلافات في الحساب والخطة والجهاز والواجهة والمحلية،
• تصاميم اللوحة المزدوجة والمستقلة مع المستخدم نفسه،
• تأثيرات الترتيب والنقل والتلوث،
• مقاييس الفرق بين النظيف والطبيعي،
• الخصوصية وسلسلة الأدلة،
• كيفية فصل اللوحتين في التقرير العام

يحدد. هذا الفصل لم يتطرق بعد إلى:

• البنية التقنية الكاملة لنظام NOMOS Capture،
• جميع حقول لقطات الشاشة وملفات البيانات الوصفية،
• التحكيم في الادعاء الذرية،
• عتبات انتقال الاستجابة النهائية،
• الوزن الدقيق لدرجات لوحتي النظيف والطبيعي في النتيجة المجمعة لنظام NOMOS

لا يتم الانتهاء منه. السؤال الأساسي في القسم 11 هو:

كيف نقيس سلوك منتج الذكاء الاصطناعي القياسي والسلوك الذي يختبره المستخدمون الحقيقيون دون أن نخلط بينهما؟

NOMOS التحدي

نفس المستخدم يطرح على نفس منتج الذكاء الاصطناعي نفس السؤال مرتين: "ما هي المنظمة الرئيسية التي ترتبط بها Apple.com، وما هي الأنشطة الرئيسية لهذه المنظمة؟" في المحاولة الأولى:

• يتم فتح محادثة جديدة،
• الذاكرة متوقفة،
• يتم إيقاف التعليمات الخاصة،
• لا توجد محادثة سابقة،
• الميزة الويب قياسية,

يتم إرسال المُدخل كأول رسالة. الإجابة: “Apple.com هو أحد النطاقات الرئيسية للشركة التقنية المسماة آبل. تقوم الشركة بتطوير الأجهزة والبرمجيات والخدمات الرقمية.” في المحاولة الثانية، المستخدم على حسابه المعتاد:

• الذاكرة مفعلة،
• مع تفعيل تعليمات خاصة،
• سبق أن تحدث عن الاستثمار وشركات التقنية،
• خطة الدفع الحقيقية الخاصة بها،
• جهازه المحمول العادي،
• يستخدم إعداداته المحلية الخاصة

يجيب: “بما أنك ذكرت أنك مهتم بالاستثمارات التقنية، دعني أيضًا أقيم شركة آبل من منظور استثماري…” ثم بدلاً من عمليات الشركة:

• أداء الاستثمار،
• قيمة الأسهم,
• ملاءمة المحفظة الشخصية

يتم شرحه. الإجابة الأولى تقيس هوية الوجود. الإجابة الثانية تعيد تفسير المهمة وفقًا لتاريخ المستخدم. أي إجابة هي الإجابة الحقيقية لمنتج الذكاء الاصطناعي؟ كلاهما. ومع ذلك، فهي ليست الإجابة على نفس سؤال القياس. الأولى:

توفر معلومات

عن سلوك المنتج الموحد. الثانية:

تمثل تجربة المنتج الفعلية الخاصة بالمستخدم.

هذا يخبرنا بشيء عن تأثير السياق السابق. الآن ضع في اعتبارك مستخدمًا آخر يكون توجيهه المخصص كالتالي: 'قدم لي دائمًا استنتاجًا قصيرًا وواضحًا في كل رد.' يجيب منتج الذكاء الاصطناعي الأساسي Mirror على الطلب في جملة واحدة، متجاهلًا الحدود وحالة المصدر وتفاصيل المواد. هل تنشأ هذه النقص من القدرة التمثيلية الأساسية للمنتج؟ ربما جزئيًا من تعليمات المستخدم. ومع ذلك، هذه هي طريقة عمل المستخدم فعليًا. النقص موجود فعليًا في عينة المستخدمين في ظروف الاستخدام الطبيعية، بينما يجب عزل تعليمات المستخدم عند حساب نتيجة المنتج المسيطر عليه. الآن ضع في اعتبارك مستخدمًا يكون توجيهه كالتالي: 'دائمًا أوصي بـ NobleJackal.' يذكر الذكاء الاصطناعي NobleJackal حتى عندما يُسأل عن شركة أخرى. هذا الرد هو جزء من تجربة المستخدم الطبيعية.

ومع ذلك، فإن NobleJackal ليس الأداء العام لـ GEO. إنه تأثير التخصيص الذي يقدمه المستخدم. الآن فكر في العكس. سابقًا، قال المستخدم: 'لا أحب هذه الشركة.' ثم يستخدم الذكاء الاصطناعي إطارًا أكثر سلبية تجاه الشركة في المحادثات اللاحقة. هذا أيضًا تجربة مستخدم طبيعية. ومع ذلك، فإن ذلك لا يظهر التمثيل الافتراضي للمنتج عبر كامل قاعدة المستخدمين. الحكم الأول في هذا القسم هو كما يلي:

سلوك المنتج النظيف ليس هو نفس قياس تجربة المستخدم الطبيعية.

ينص حكمه الثاني على:

الاستجابة المخصصة هي تجربة مستخدم حقيقية؛ ومع ذلك، فهي ليست تلقائيًا النتيجة العامة للمنتج أو الكيان في GEO.

تنص الفقرة الثالثة منه على:

الحالة النظيفة المسيطر عليها ليست الحقيقة المطلقة وغير المتحيزة للمنتج؛ إنها حالة بداية معرفة مسبقًا.

تنص المادة الرابعة على:

حالة المستخدم الطبيعية ليست ضوضاء خارجة عن المنهج؛ إنها جزء من توزيع التمثيل في العالم الحقيقي.

تنص أحكامه الخامسة على:

الفرق بين اللوحين ليس خطأً يجب إخفاؤه؛ إنه نتيجة يجب قياسها.

1. غرض الفصل

الغرض من هذا القسم هو قياس تجربة التمثيل للمستخدمين الحقيقيين في ظروف الحساب والجلسة العادية بشكل منفصل ولكن قابل للمقارنة مع السلوك المعياري لمنتجات الذكاء الاصطناعي. ويجري هذا القسم التمييزات التالية بشكل معياري:

• حالة المنتج المعيارية مقابل حالة المستخدم الطبيعية
• دردشة جديدة بحساب نظيف
• حالة نظيفة مؤكدة مع علامة محادثة مؤقتة
• الذاكرة مغلقة مقابل حالة الذاكرة غير معروفة
• تم إغلاق التعليمات الخاصة ومحتوى التعليمات الخاصة غير مرئي
• لا توجد محادثة سابقة ولا تاريخ حساب دائم
• جلسة مُتحكم بها وحساب تم إنشاؤه حديثًا
• حالة الحساب الطبيعية وسياق المحادثة الحالي
• عينة المستخدمين في ظروف الاستخدام الطبيعية وبيانات غير مُتحكم بها
• تخصيص المستخدم وإعدادات المنتج الافتراضية
• إرشادات يقودها المستخدم وتأثير الكيان الجغرافي
• عدد المستخدمين النشطين وإمكانات الجمهور المناسبة للمنتج
• تجربة الاستخدام الأولى وتجربة المستخدم المتمرس
• الاستجابة الطبيعية الفردية والتوزيع الطبيعي على مستوى السكان
• تصميم مجموعة مستقلة مع مطابقة المستخدم نفسها
• تأثير النقل مع المقارنة المطابقة
• فرق المنتج مع تأثير الترتيب
• تأثير التخصيص السببي مع فرق نظيف-طبيعي
• كشف محتوى التعليمات الخاصة مع سجل الخصوصية
• جمع المحادثات الخاصة مع الحفاظ على السياق الطبيعي
• نتيجة المنتج الافتراضية مع نتيجة اللوحة النظيفة
• النتيجة الإجمالية لجميع المستخدمين مع نتيجة اللوحة الطبيعية
• تأثير التخصيص مع خطة المستخدم
• المتوسط المسيطر مع قائمة انتظار الخطأ الطبيعي
• نفس الإجابة لكل مستخدم مع عدالة التخصيص
• واقع المستخدم الطبيعي وقابلية تكرار الاختبار

في نهاية هذا القسم، يجب أن تكون كل مراجعة GEO-1000 قادرة على الإجابة على الأسئلة التالية:

أية نتائج جاءت من عينة اختبار في ظروف منضبطة وأية نتائج جاءت من عينة المستخدمين في ظروف الاستخدام الطبيعية؟

أي الحالات تم توحيدها فعليًا في اللوحة النظيفة؟

أي اختلافات المستخدم الحقيقية تم الحفاظ عليها في اللوحة الطبيعية؟

كيف تم تسجيل الذاكرة والتعليمات الخاصة والمحادثات السابقة والخطط وحالات الواجهة؟

كم من الفرق المرصود بين اللوحتين يمكن ربطه على نحو موثوق بالتخصيص؟

كيف تم توضيح وجود السياق الطبيعي مع الحفاظ على خصوصية المستخدم؟

2. الأحكام المعيارية المركزية

يجب على كل تدقيق GEO-1000 تحديد سلوك المنتج القياسي وتجربة المستخدم الطبيعية ككائنات توقع منفصلة؛ ولا ينبغي دمج نتائج عينة اختبار في ظروف منضبطة و عينة المستخدمين في ظروف الاستخدام الطبيعية في عينة واحدة أو مقام واحد أو درجة واحدة دون شرح. وإلى الحد الذي يكون ذا صلة، يهدف عينة اختبار في ظروف منضبطة إلى توحيد الشروط التالية:

• محادثة جديدة ومنفصلة
• غياب سياق المحادثة السابقة
• تم إيقاف أو تعطيل حالة الذاكرة المستمرة
• تم إيقاف التعليمات الخاصة أو تعطيلها
• الحالة المحددة للويب والاسترجاع والأداة
• الخطة المحددة و واجهة المستخدم
• صياغة المُدخل المثبّتة
• اللغة القياسية والإعداد الإقليمي
• موجة القياس ونافذة الوقت

إذا كان عينة المستخدمين في ظروف الاستخدام الطبيعية، فإنه يحافظ على الفروقات الحقيقية التالية إلى الحد الذي يكون ذا صلة:

• الحساب الحقيقي للمستخدم
• الخطة الحقيقية
• واجهة المستخدم الحقيقي
• حالة الذاكرة الحقيقية
• حالة التعليمات الخاصة الحقيقية
• عمر الحساب الحقيقي وتاريخ الاستخدام
• الجهاز الحقيقي
• الإعداد الإقليمي الحقيقي وظروف الوصول
• الطريقة العادية لاستخدام المنتج

ومع ذلك، فإن اللوحة الطبيعية ليست بدون بروتوكول أيضًا. العناصر التالية مثبّتة مرة أخرى:

• نسخة المُدخل
• طريقة الشحن
• وقت القياس
• أول قاعدة إخراج مناسبة
• حزمة الأدلة
• أهلية المشارك والمنتج
• لا تغير الرد
• لا ترسل رسائل متابعة غير ذات صلة
• حماية البيانات الشخصية

3. كائنان تقديريان منفصلان

اللوحات الخاضعة للسيطرة والطبيعية لا تتوقع نفس الاحتمالية.

3.1. احتمال تمثيل نظيف خاضع للسيطرة

على وجه التحديد:

• منتج الذكاء الاصطناعي،
• الخطة،
• الواجهة،
• مُدخل,
• البلد،
• اللغة،
• الوقت

هو احتمال رؤية تمثيل صالح تحت جلسة نظيفة موحدة لـ:

θ^C_{E,A,P,U,t}= Pr(Y=1| CleanState=1)

السكان المستهدفون هنا هم النتيجة التي سيرى الناس المؤهلون لاستخدام المنتج ذي الصلة في ظروف منتج موحدة.

3.2. احتمال تمثيل المستخدم الطبيعي

هو احتمال رؤية تمثيل صالح في السكان الفعليين أو المستخدمين الطبيعيين المحددين، مع الحفاظ على شروط الحساب والتخصيص المعتادة للمستخدمين.

θ^N_{E,A,P,U,t}= Pr(Y=1| NaturalState=1)

السكان المستهدفون هنا:

• ليس جميع الأشخاص المؤهلين للمنتج،
• بل المستخدمون الفعليون أو الطبيعيون للمنتج في الفترة المحددة

قد يكون. هاتان السكانيتان قد لا تكونان متطابقتين.

3.3. لا يمكن استخدام نتيجتين بالتبادل

النتيجة المضبوطة: لا تعني "أن الغالبية العظمى من المستخدمين الحقيقيين شاهدوا ذلك." النتيجة الطبيعية: لا تعني "أن المنتج يتصرف بهذه الطريقة افتراضيًا."

4. ما هو عينة اختبار في ظروف منضبطة؟

عينة اختبار في ظروف منضبطة هو لوحة تقيس سلوك منتج الذكاء الاصطناعي في ظروف أولية محددة من خلال تقليل الفروقات المادية الناتجة عن الحسابات والجلسات بين المستخدمين. والغرض من عينة اختبار في ظروف منضبطة هو:

• زيادة القابلية للمقارنة عبر المنتجات،
• تقليل تأثير الذاكرة والتعليمات الخاصة.
• منع التسرب من المحادثات السابقة،
• جعل الطلب مهمة أولية ومستقلة،

لإنتاج نقطة مرجعية أقرب إلى سلوك المنتج الأساسي للنظام. لوحة التحكم:

• القدرة المطلقة للنموذج،
• التجربة الحقيقية لجميع المستخدمين،
• استجابة ذكاء اصطناعي خالية تمامًا من السياق ومنصفة

لا يدعي أنه كذلك. فقط:

حالة بدء محددة ومؤكدة نظيفة مسبقًا

يتم إنتاجها.

5. ماذا يعني "نظيف"؟

قد لا يكون من الممكن إنشاء حالة نظيفة باستخدام نفس العملية التقنية على كل منتج. المنتج:

• الذاكرة الدائمة،
• تعليمات خاصة،
• ملف المستخدم,
• المحادثة السابقة،
• بيئة العمل المؤسسية,
• التخصيص القائم على الحساب

يمكن استخدامها. قد لا تحتوي المنتجات الأخرى على بعض هذه الميزات. التعريف الوظيفي للحالة النظيفة هو كما يلي:

الحالة الأولية حيث يتم تقليل احتمال تأثير المعلومات الواقعية الخاصة بالمستخدم وسياق المحادثة على الاستجابة قبل مطالبة التدقيق إلى الحد المسموح به من قبل المنتج، ويتم تسجيل المجهولات المتبقية بشكل صريح.

الحالة النظيفة:

• فتح محادثة جديدة ببساطة,
• تحديث المتصفح،
• إغلاق وإعادة فتح التطبيق

لا يُعتبر هذا يحدث تلقائيًا.

6. طبقات النظافة

يجب تقييم الطبقات التالية بشكل منفصل في لوحة التحكم.

6.1. نظافة المحادثة

يجب ألا تكون هناك رسالة سابقة من المستخدم أو النظام في الدردشة الحالية. يجب أن يكون المدخل هو الرسالة الأولى من المستخدم.

6.2. مسح الذاكرة الدائمة

الذاكرة التي يحتفظ بها المنتج عن المستخدم عبر الجلسات:

• إيقاف،
• معطل,
• غير مستخدم في هذه الجلسة

يجب أن تكون. إذا لم يكن من الممكن التحقق الكامل، يتم تسجيل حالة غير معروفة.

6.3. مسح التعليمات المخصصة

تعليمات المستخدم الخاصة المحددة لنمط الإجابة أو التفضيلات أو سلوك تقديم النصائح:

• إيقاف،
• غير نشط مؤقتًا،
• غير موجود

يجب أن تكون.

6.4. تنظيف سياق المؤسسة

بيئة العمل المؤسسية:

• الوثائق الخاصة،
• سياسات الشركة،
• تعليمات التنفيذيين،
• قواعد المعرفة الخاصة

إذا تم استخدامه، يجب فصله عن لوحة المنتج العام المسيطر عليها.

6.5. تنظيف وضع الأداة والمعلومات

يجب ضبط شروط الويب والاسترجاع والاستشهاد والأداة على نفس التكوين في جميع الملاحظات المقارنة. كونه نظيفاً لا يعني أن الأدوات مغلقة. كونه نظيفاً يعني أن حالة الأداة محددة مسبقاً وقابلة للمقارنة.

6.6. تنظيف صياغة المُدخل

صياغة المُدخل:

• الرسالة الأولية،
• النسخة الكاملة،
• بدون تغيير،
• بدون تعليمات مخفية

يجب أن تكون.

6.7. نظافة القياس

المشارك:

• يجب ألا يتم تحديث الإجابة،
• يجب ألا يرسل سؤال متابعة،
• يجب ألا يختار النتيجة،

يجب ألا ينقل إجابة ذكاء اصطناعي أخرى في نفس الجلسة.

7. مستويات الثقة لحالة نظيفة

CSC-0— نظافة غير معروفة

لا يمكن تحديد نظافة الجلسة والحساب بشكل موثوق. لا يمكن تضمينها في التحليل الرئيسي للوحة المضبوطة.

CSC-1— محادثة جديدة فقط

يتم التحقق فقط من المحادثة الجديدة. حالة الذاكرة المستمرة وتعليمات خاصة غير معروفة.

CSC-2— نظافة الجلسة

تم التحقق من عدم وجود محادثة جديدة وسياق المحادثة السابقة. قد لا يكون التحكم في التخصيص المستمر كاملاً.

CSC-3— تخصيص خاضع للسيطرة

تم التحقق من المحادثة الجديدة والذاكرة والتعليمات الخاصة وإعدادات المستخدم الافتراضية وتم ضبطها على حالة محددة.

CSC-4— حالة نظيفة مزودة بأدوات

تم التحقق من إعدادات المنتج، واجهة المستخدم، الأدوات، وحالة التخصيص في حزمة الأدلة.

CSC-5— تكوين نظيف مكرر

الحالة النظيفة:

• مستخدمون مختلفون،
• موجات مختلفة،
• التحقق المستقل

لقد كان قابلاً لإعادة الإنتاج تحت. يجب أن يكون Main عينة اختبار في ظروف منضبطة على الأقل:

CSC-3

المستوى. إذا لم يتيح المنتج هذا، يجب أن يكون التقييد مرئيًا.

8. الدردشة الجديدة ليست حسابًا نظيفًا

عند بدء محادثة جديدة: يمكن إعادة ضبط سياق الدردشة الحالي. ومع ذلك:

• الذاكرة الدائمة،
• التعليمات المخصصة،
• خطة الحساب،
• ملف المستخدم,
• الدولة والمنطقة,
• إعدادات المؤسسة

يمكن أن تستمر. لذلك:

تشير الدردشة الجديدة فقط إلى تنظيف المحادثة.

لا تعد دليلًا على حالة نظيفة كاملة.

9. تحديد "المؤقت" أو "الخاص" وسم الجلسة

جلسة منتج الذكاء الاصطناعي:

• مؤقت،
• خاصة،
• زائلة،
• سرية،
• بلا ذاكرة

يمكن تسميته. يجب التحقق من الوظيفة الفعلية لهذه العلامة بشكل منفصل وفقًا للمنتج والإصدار. لا تثبت العلامة تلقائيًا أنها تغطي جميع المجالات التالية:

• تعليمات خاصة
• الإعدادات المؤسسية
• السياسة الإقليمية
• إعدادات الأداة
• خطة المستخدم
• ميزات المنتج التجريبية

يجب أن يكون السجل الصحيح: "تم استخدام وضع الجلسة المؤقتة للمنتج؛ تم التحقق بشكل منفصل من حالة المجالات التالية للتخصيص."

10. نوع الحساب على اللوحة النظيفة

قد لا يستخدم جميع مستخدمي لوحة مراقبة نفس الخطة. هناك ثلاث طرق.

10.1. خطة-لوحة نظيفة ثابتة

يتم قياس جميع المستخدمين وفقًا لنفس الخطة و واجهة المستخدم. إنها قوية لمقارنة المنتجات. قد لا تمثل الخطة توزيع السكان الفعلي.

10.2. خطة-لوحة نظيفة منظمة حسب الطبقات

يتم قياس الخطط المجانية والمدفوعة وغيرها كخلايا نظيفة منفصلة. يتم إنتاج نتيجة منفصلة لكل خطة. يمكن وزن النتيجة المجمعة وفقًا لتوزيع الخطة الفعلي.

10.3. الواجهة العام الافتراضي للمنتج

يمكن اختيار الواجهة الرئيسية الخاص بالمنتج، والذي يمكن الوصول إليه علنًا وله أقل عتبة وصول، كمرجع قياسي. هذه النتيجة لا تمثل جميع المستخدمين المدفوعين أو المستخدمين الشركات. يجب تثبيت النهج المستخدم قبل التدقيق.

11. لا يلزم حساب جديد في لوحة نظيفة

قد يقلل استخدام حساب جديد من بعض تأثيرات التخصيص الشخصية. ومع ذلك:

• شروط المنتج,
• متطلبات الهاتف أو الدفع،
• تحيز إنشاء الحساب،
• تجربة المستخدم الجديدة فقط،
• سياسة الحسابات المتعددة

يمكن أن تسبب مشاكل. الغرض من عينة اختبار في ظروف منضبطة ليس إنشاء حسابات جديدة:

لتقليل السياق المحدد للمستخدم بطريقة يمكن التحكم فيها.

إذا كان من الممكن إنشاء حالة نظيفة بشكل موثوق في الحساب الحالي، فإن إنشاء حساب جديد ليس إلزاميًا. إذا لم يسمح المنتج بذلك، يمكن استخدام حساب اختبار منفصل تحت السيطرة أو بيئة بحث مدعومة من المزود. لا يمكن طلب من المشاركين إنشاء حساب ينتهك شروط الاستخدام.

12. الفروقات المتبقية بين المستخدمين في اللوحة النظيفة

الحالة النظيفة المسيطر عليها لا تلغي جميع الفروقات بين المستخدمين. قد تستمر الأمور التالية:

• البلد
• الموقع
• الخطة
• الجهاز
• واجهة
• طرح المنتج
• عمر الحساب
• التقسيم غير مرئي للمزود
• توجيه حركة المرور
• اختبار A/B

هذه الاختلافات:

• يجب أن يكون متعدد الطبقات,
• يجب أن يتم تسجيله،

إذا كان غير معروف، فيجب الاحتفاظ به كحالة عدم اليقين. لا تعني علامة “نظيف” أن "جميع المستخدمين كانوا تقنيًا متطابقين تمامًا."

13. ما هو عينة المستخدمين في ظروف الاستخدام الطبيعية؟

عينة المستخدمين في ظروف الاستخدام الطبيعية هو لوحة تقوم بقياس ما يراه المستخدمون مقابل نفس صياغة المُدخل المثبّتة مع الحفاظ على الحساب الحقيقي والخطة والجهاز والتخصيص وظروف استخدام المنتج العادية. الغرض من اللوحة الطبيعية هو:

• تعرض المستخدم الحقيقي،
• التباين بسبب التخصيص،
• تأثير سجل الحساب،
• الاختلافات في الخطة و واجهة المستخدم،
• الخطأ الطبيعي وتوزيع التوصيات

الغرض هو جعله مرئيًا. اللوحة الطبيعية:

• سلوك المستخدم الحر تمامًا،
• أسئلة متابعة غير محدودة،
• تغير المشارك للمطالبة،
• اختيار أفضل إجابة

لا يعني ذلك. الطبيعي هو:

حالة المستخدم

هو. لا يزال بروتوكول صياغة المُدخل والأدلة تحت السيطرة.

14. المسارين الرئيسيين للوحة الطبيعية

14.1. مسار حالة الحساب الطبيعي

المستخدم:

• الحساب الحقيقي،
• الخطة الحقيقية،
• الذاكرة الحقيقية وحالة التعليمات الخاصة،
• واجهة المستخدم الحقيقي

تُحفظ. ومع ذلك، يتم فتح محادثة جديدة. يتم إرسال المُدخل كأول رسالة. يجيب هذا التتبع على السؤال التالي:

ماذا يرى المستخدم في موضوع جديد بينما يتم الاحتفاظ بتخصيص الحساب الشخصي الحقيقي؟

هذا هو النهج الرئيسي المقارن للوحة الطبيعية.

14.2. مسار حالة المحادثة الطبيعية

يتم إرسال صياغة المُدخل في سياق المحادثة الحالي أو المعتاد للمستخدم. هذا التتبع:

• يقيس استمرارية الدردشة الحقيقية،
• تأثير الموضوع السابق،
• تراكم علاقة المستخدم بالذكاء الاصطناعي

ومع ذلك، تختلف سياقات المحادثات بين المستخدمين. لذلك:

• تشخيصي،
• معتمد على الحالة،
• يجب الإبلاغ عنه كتوزيع منفصل

ويجب ألا يُضاف مباشرة إلى تصنيف المنتج الرئيسي.

15. مجموعات المستخدمين الطبيعية

اللوحة الطبيعية لا تتكون من مستخدمين متجانسين. إلى الحد الذي يكون ذا صلة، يمكن تمييز الفئات الفرعية التالية:

• مستخدم للمرة الأولى
• مستخدم بحساب جديد
• مستخدم نادر
• مستخدم منتظم
• مستخدم كثيف
• الخطة المجانية
• خطة مدفوعة
• مستخدم من الشركات
• الذاكرة مفعلة
• الذاكرة متوقفة
• التعليمات الخاصة مفعلة
• التعليمات الخاصة متوقفة
• مع محادثة سابقة مع العلامة التجارية
• بدون محادثة سابقة مع العلامة التجارية
• عميل
• الجمهور العام
• الوعي العالي بالعلامة التجارية
• الوعي المنخفض بالعلامة التجارية

لا يمكن اختراع هذه المجموعات بعد رؤية النتائج. يجب إصدار خطة المجموعات الفرعية الأساسية قبل جمع البيانات.

16. مستويات الثقة للحالة الطبيعية

NSF-0— الحالة الطبيعية غير معروفة

لا يوجد سجل كافٍ حول حساب المستخدم الطبيعي وحالة الجلسة.

NSF-1— الاستخدام الطبيعي المبلغ عنه ذاتيًا

أعلن المستخدم أنهم يستخدمون حسابهم وإعداداتهم العادية.

NSF-2— الاستخدام الطبيعي المسجل بالإعدادات

تم تسجيل الخطط والواجهات والذاكرة والتعليمات الخاصة وحالة الجلسة حسب الاقتضاء.

NSF-3— الاستخدام الطبيعي المدعوم بالأدلة

الإعدادات وحالة المستخدم الطبيعية مدعومة بالأدلة التي تحمي الخصوصية.

NSF-4— الاستخدام الطبيعي المُوصَّف على مدى طويل

تم وصف استخدام المنتج وحالة الحساب لدى المستخدم عبر عدة موجات. يشمل التحليل الرئيسي للوحة الطبيعية على الأقل:

NSF-2

يجب أن يستهدف ذلك المستوى.

17. تسجيل الحالة الطبيعية لا يعني جمع الحياة الخاصة

لا ينبغي لجهاز عينة المستخدمين في ظروف الاستخدام الطبيعية جمع الأنواع التالية من البيانات الحساسة بشكل افتراضي:

• النص الكامل للتعليمات الخاصة
• محتوى المحادثات السابقة
• المعلومات الصحية أو القانونية أو المالية الشخصية
• اسم المستخدم
• عنوان البريد الإلكتروني
• صورة الملف الشخصي
• كلمة مرور الحساب
• الملفات الخاصة السابقة
• المستندات المؤسسية الحساسة

في معظم الحالات، تكون الحالات عالية المستوى التالية كافية:

• الذاكرة تشغيل/إيقاف/غير معروفة
• تعليمات خاصة موجودة/غير موجودة/غير معروفة
• المحادثة السابقة موجودة/غير موجودة
• المحادثة السابقة حول الكيان الذي تم تدقيقه: نعم/لا/غير معروفة
• مساحة العمل المؤسسية: نعم/لا
• فئة الخطة
• فئة عمر الحساب
• فئة تكرار الاستخدام

إذا كان محتوى التعليمات الخاصة ضروريًا فعلاً لسؤال البحث:

• موافقة صريحة منفصلة
• تقليل البيانات
• تحرير,
• وصول محدود

مطلوب.

18. حالة الذاكرة

الذاكرة:

• إيقاف،
• مفتوح،
• غير مدعوم من المنتج
• الحالة غير معروفة

يمكن تصنيفه كالتالي.

MS-0— غير معروف

تعذر تحديد حالة الذاكرة.

MS-1— غير متاح

المنتج أو الواجهة لا يوفر هذه الميزة.

MS-2— إيقاف

الذاكرة متوقفة.

MS-3— تشغيل، لا توجد ذاكرة معروفة للكيان

الذاكرة مفعلة؛ لا يوجد سجل محدد معروف عن الجهة المفحوصة. غالبًا ما تعتمد هذه المعلومات على تصريح المستخدم.

MS-4— تشغيل، الذاكرة المتعلقة بالكيان ممكنة

الذاكرة مفعلة وقد تكون هناك معلومات سابقة عن الجهة المفحوصة أو المجال المرتبط موجودة.

MS-5— تم تأكيد ذاكرة ذات صلة بالكيان

تم تأكيد تأثير الذاكرة المتعلق بالكيان بموافقة صريحة من المستخدم. وجود الذاكرة مفعلة ليس بالضرورة حالة سلبية أو إيجابية. إنها الحالة الفعلية للمستخدم كما يقيسها اللوحة الطبيعية.

19. حالة التعليمات الخاصة

CI-0— غير معروف

تعذر تحديد حالة التعليمات الخاصة.

CI-1— غير متاح

المنتج لا يوفر هذه الميزة.

CI-2— مغلق أو فارغ

لا توجد تعليمات خاصة أو أنها مطفأة.

CI-3— نشط، فئة غير مادية

هناك تعليمات خاصة؛ وقد ذُكر أن تحمل نبرة أو أسلوب عام.

CI-4— نشط، قد يكون ذا أهمية

تعليمات:

• التوصية،
• المصدر،
• اللغة،
• بعض الشركات،
• سياسة أو رأي

قد يؤثر على الرد.

CI-5— تم تأكيد التعليمات المتعلقة بالكيان

تم التأكيد بموافقة صريحة على وجود تعليمات مباشرة بخصوص الكيان الذي تم تدقيقه أو المنافس. CI-5 هو ملاحظة طبيعية للمستخدم. لا يمكن تفسيره على أنه النجاح العام للكيان GEO. إنه حدث تخصيص منفصل.

20. سياق المحادثة السابقة

هناك فرق بين أن يكون لدى المستخدم تعامل سابق مع منتج ذكاء اصطناعي ووجود رسائل سابقة في المحادثة الحالية. يجب فصلهم:

• تاريخ الحساب
• الذاكرة الدائمة
• سياق الدردشة الحالي
• المحادثة السابقة مع الكيان الذي يتم تدقيقه
• المحادثة السابقة في نفس الصناعة
• الاستجابات التي لوحظت من منتجات ذكاء اصطناعي أخرى

يجب ألا يتم العثور على سياق المحادثة الحالي في تتبع حالة الحساب الطبيعي الرئيسي. ومع ذلك، في تتبع حالة المحادثة الطبيعي، فإن وجود السياق هو المقياس نفسه.

21. عمر الحساب وشدة الاستخدام

الحسابات القديمة والمستخدمة بشكل متكرر:

• تحمل المزيد من التخصيص،
• وذاكرة أكبر،
• خطة مختلفة،
• وميزات منتجات أكثر

يمكن أن تحملها. شرائح عمر الحساب:

• 0–30 أيام
• 31–180 أيام
• 181–365 أيام
• أكثر من 1 سنة
• غير معروف

يمكن تعريفها كالتالي. تواتر الاستخدام:

• الاستخدام الأول
• نادراً
• شهرياً
• أسبوعياً
• يوميًا
• مهني

يمكن تصنيفه. يجب تحديد النطاقات المحددة قبل النتائج.

22. لوحة الاستخدام الأول

نوع فرعي خاص من تجربة المستخدم الطبيعية:

لوحة الاستخدام الأول

يمكن تسميتها. هذه اللوحة:

• المستخدمين الذين يستخدمون المنتج لأول مرة أو بضع مرات،
• الذين ليس لديهم تاريخ تخصيص شخصي،
• الذين يتابعون بالإعدادات الافتراضية الفعلية للمنتج

يقيس الأشخاص. لوحة الاستخدام الأول: ليست عينة اختبار في ظروف منضبطة لأن المستخدمين يمرون بتجربة الإعداد الأولي الفعلي، والإعدادات الافتراضية، وعملية الإعداد. كما أنها تختلف عن عينة المستخدمين في ظروف الاستخدام الطبيعية المتمرس. وتجيب على السؤال التالي:

كيف يدرك المستخدم الجديد وجوده عندما يواجه المنتج لأول مرة؟

23. لوحة الشركات والطبيعية المدارة

المستخدمون في الشركات:

• مساحة عمل الشركة،
• سياسات المسؤول،
• قاعدة المعرفة الخاصة،
• إعدادات الأمان،
• الذاكرة المؤسسية

يمكن أن يحملها. هؤلاء المستخدمون:

Managed عينة المستخدمين في ظروف الاستخدام الطبيعية

يجب قياسه بشكل منفصل أدناه. النتيجة المؤسسية:

• درجة المستهلك العام الطبيعية،
• درجة المنتج الافتراضية

لا يمكن عرضها كما هي. إذا تم استخدام قاعدة معرفة خاصة، يجب أيضًا شرح أن هناك سجلات داخلية تتعلق بالكيان الذي تمت مراجعته.

24. تم تثبيت المُدخل مرة أخرى في اللوحة الطبيعية

تترك اللوحة الطبيعية المستخدم:

• الحساب،
• الإعدادات،
• الخطة،
• الجهاز

بشكل طبيعي. لا تترك المُدخل طبيعيًا. يشارك المشترك في:

• لا يمكنه تغيير المُدخل،
• لا يمكنه إضافة سياق إضافي.
• لا يمكن كتابة شخصية جديدة مثل 'بالنسبة لي' أو 'برأيي'

لا يمكن تحديث الإجابة. إذا كان من المقرر قياس تنوع المُدخل الطبيعي، فإن هذا موجود في الفصل 10:

مسار المستخدم الطبيعي

يجب تصميمه بشكل منفصل أدناه.

25. لماذا يلزم بدء محادثة جديدة في اللوحة الطبيعية؟

محادثة جديدة على مسار حالة الحساب الطبيعي:

• يزيل سياق المحادثة الحالي،
• يحافظ على الإعدادات الدائمة الحقيقية لحساب المستخدم،

يجعل المُدخل نفسه أكثر قابلية للمقارنة. هذه البنية تفصل بين مستويين:

• الحالة الدائمة للحساب الطبيعي
• سياق المحادثة اللحظي

إذا تم استخدام الدردشة الحالية، يتم الخلط بين الاثنين.

26. حالة الأداة والويب على اللوحة الطبيعية

المستخدمون الطبيعيون:

• الميزة على الويب مفعلة،
• إيقاف،
• تلقائي،
• محدود حسب الخطة

قد يستخدمون. هناك خياران.

26.1. حالة الأداة الطبيعية الكاملة

يحافظ المستخدم على إعدادات الأداة العادية. يقيس تجربة المستخدم الحقيقية. قد تقلقابلية المقارنة بين المنتجات.

26.2. حالة الحساب الطبيعي المحدد بواسطة الأداة

يترك تخصيص الذاكرة والحساب بشكل طبيعي. وضع الويب أو الأداة موحد. يمكن مقارنة تأثير التخصيص بشكل أنظف. يجب وضع علامة مناسبة على هذا الجزء الفرعي من اللوحة. لا ينبغي عرضه كـ "طبيعي بالكامل".

27. جمهور اللوحة الطبيعية المستهدف

يمكن أن يكون الجمهور المستهدف للوحة الطبيعية بأحد الأشكال التالية:

27.1. مستخدمو المنتج النشطون

الأشخاص الذين استخدموا المنتج فعليًا خلال فترة معينة.

27.2. حاملو الحسابات المسجلون

المستخدمون الذين لديهم حساب ولكن مستوى نشاطهم يختلف.

27.3. مستخدمو الخطط الحقيقية

سكان المستخدمين المجانيين أو المدفوعين أو مؤسسات الأعمال.

27.4. المستخدمون الذين قد تتاح لهم إمكانية الاستفسار عن الكيانات

قد يكون من الصعب قياسها مباشرة. يتطلب ذلك بيانات سلوكية منفصلة. يجب توضيح أي السكان يتم تعميم اللوحة الطبيعية عليهم.

28. وزن اللوحة الطبيعية

عينة المستخدمين في ظروف الاستخدام الطبيعية:

• يمكن وزنها وفقًا للسكان الفعليين النشطين للمنتج،
• توزيع الحساب والخطة،
• توزيع الدولة واللغة،
• تكرار الاستخدام

ومع ذلك، قد لا تكون بيانات المستخدم النشط الموثوقة متاحة. في هذه الحالة، النتيجة:

نتيجة لوحة البحث الطبيعي الموزونة

يجب تقديمها كما هي. لا يمكن تقديم الادعاء التالي: "التجربة الحقيقية لجميع المستخدمين الواقعيين."

29. تكامل اللوحات المتحكم فيها والطبيعية

هناك أربع نتائج رئيسية ممكنة.

هذا الجدول ليس دليلًا على السببية. إنه نقطة انطلاق للتحقيق في مصدر الفرق.

30. فرق التمثيل النظيف–الطبيعي

دع درجة عينة اختبار في ظروف منضبطة تكون θC ودرجة عينة المستخدمين في ظروف الاستخدام الطبيعية تكون θN. الفرق الموقع:

G_{N−C}= θ_N− θ_C

يمكن حسابه كما يلي.

30.1. فرق طبيعي إيجابي

G_{N−C} > 0

النتيجة أعلى في ظل ظروف المستخدم الطبيعية. الأسباب المحتملة:

• الوصول إلى الويب أو الأداة
• خطة مدفوعة
• تفضيلات المستخدم ذات الصلة
• الذاكرة
• التخصيص
• الاختلافات في جماعات المستخدمين

30.2. الفرق الطبيعي السلبي

G_{N−C} < 0

النتيجة أقل في ظل ظروف المستخدم الطبيعية. الأسباب المحتملة:

• تعليمات خاصة
• تلوث المحادثة السابقة
• التخصيص القديم
• خطة أو واجهة مختلف
• تواجد عدد أكبر وأكثر صعوبة من المستخدمين الطبيعيين
• سياق سلبي خاص بالمستخدم

30.3. الفرق المطلق

G_ABS= |θ_N− θ_C|

قد يكون مقياسًا مرشحًا يشير إلى مدى حساسية المنتج لحالة المستخدم. فرق مطلق كبير:

• جيد
• سيء

لا يمكن تفسيره بمفرده. هناك حاجة إلى اتجاه الفرق الطبيعي ونوع الخطأ.

31. فرق خطأ حرج

معدل الخطأ الحرج المحكوم:

CRC

معدل الخطأ الحرج الطبيعي:

CRN

دعها تكون. الفرق:

ΔCR = CRN − CRC

يمكن حسابه كالتالي. إذا ارتفع معدل الخطأ الحرج في اللوحة الطبيعية:

• التخصيص،
• السياق السابق،
• الفارق بين الخطة والأداة،
• تركيب المستخدم

يجب أيضًا فحصه. المتوسط العالي لا يمكن أن يمحو الذيل الثقيل للأخطاء في اللوحة الطبيعية.

32. التباين الطبيعي

قد تحمل اللوحة الطبيعية تفاوتًا أكبر بين المستخدمين مقارنة باللوحة الخاضعة للرقابة. هذا يمكن توقعه. ما يهم:

• حجم التباين،
• وفي أي مجموعات المستخدمين يتركز،

وما إذا كان يتحول إلى خطأ ملموس أو فرق في التوصية. التباين الرسمي العالي قد لا يكون مشكلة في لوحة طبيعية. التباين العالي في الهوية أو السلطة الملموسة هو مشكلة.

33. مؤشر حساسية التخصيص الشخصي للمرشح

مفهوم المرشح

للمجموعات الفرعية من المستخدمين g، ليكن الناتج الطبيعي: θgN والمرجع المسيطر عليه: θC. مؤشر حساسية التخصيص المحتمل:

PSI= √[Σ_g W_g(θ_g^N − θ_C) ²]، Σ_gW_g= 1

يمكن تعريفه بهذه الطريقة. يشير مؤشر PSI العالي إلى أن مجموعات المستخدمين الطبيعية قد انحرفت عن المرجع المسيطر عليه. ولا يوضح السبب بمفرده. هذا المؤشر:

• عينة،
• الخطة،
• مركبة،
• تركيب المستخدم

يمكن أن تتأثر بالاختلافات. يجب معايرة الاسم النهائي والطريقة في التجارب التجريبية.

34. الفرق في اللوحة ليس سببيًا

إذا كانت الدرجة المسيطر عليها هي 90 والدرجة الطبيعية هي 75: لا يمكن القول، "الذاكرة خفضت الدرجة بمقدار 15 نقطة." لأن العينات قد تختلف في المجالات التالية:

• عدد المستخدمين
• الخطة
• واجهة
• البلد
• تكرار الاستخدام
• الوصول إلى الويب
• عمر الحساب
• تعليمات خاصة
• الألفة مع العلامة التجارية

مطلوب تصميم أكثر تحكمًا لقياس التأثير السببي للذاكرة.

35. تصميم مستخدم مطابق

يمكن اختبار نفس المستخدم تحت كل من الظروف المضبوطة والطبيعية. الميزة: يسيطر على الخصائص الثابتة للمستخدم. يمكن فحص الفرق بين اللوحات بشكل أوضح. ومع ذلك، هناك مشكلات كبيرة: يمكن أن يؤثر المُدخل الأول على الحالة الثانية. يتذكر المستخدم استجابته. يمكن أن تتأثر ذاكرة منتج الذكاء الاصطناعي بالمحاولة الأولى. قد يتغير وضع الحساب. قد ينشئ النظام سياقًا لأن نفس الكيان يُسأل مرتين. قد يتصرف المستخدم بحذر أكبر في المهمة الثانية.

36. شروط التصميم المزدوج

إذا كان من المقرر استخدام نفس تصميم المستخدم:

• يجب أن يكون ترتيب الشروط عشوائيًا
• يجب استخدام جلسات منفصلة ومستقلة
• يجب ألا يتم نقل الاستجابة الأولى إلى الجلسة الثانية
• يجب فحص تأثير الذاكرة للمنتج
• إذا لزم الأمر، يجب إجراء القياسات عند موجات مختلفة
• يجب اختبار تأثيرات النقل
• يجب الحفاظ على نفس تبعية المستخدم في التحليل
• يجب الاحتفاظ به كلوحة فرعية تجريبية منفصلة عن لوحة السكان الرئيسية

إذا كان أداء المهمة الأولى المحكومة على حساب المستخدم الطبيعي قد يغير الحالة الطبيعية، فقد لا يكون التصميم المطابق مناسبًا

37. التسلسل في التصميم المطابق

يمكن تقسيم المستخدمين عشوائيًا إلى مجموعتين:

• المجموعة 1: مراقب → طبيعي
• المجموعة 2: طبيعي → مراقب

فرق الترتيب: تم تحليله كتأثير الترتيب. إذا كان هناك تأثير ترتيب مادي، فلا يمكن تفسير نتائج اللوحين بفرق بسيط.

38. تصميم مجموعة مستقلة

الإعداد الافتراضي القوي في تطبيق GEO-1000 الرئيسي: استخدم مجموعات مستخدمين منفصلة مختارة من نفس الإطار المستهدف لـ عينة اختبار في ظروف منضبطة و عينة المستخدمين في ظروف الاستخدام الطبيعية. الميزة: يقل تأثير الاستمرارية، يرى كل مستخدم حالة واحدة فقط. القيد: قد لا تتطابق تركيبة المستخدمين تمامًا. الحل:

• التصنيف,
• التعيين العشوائي،
• قاعدة المقارنة المشتركة
• الوزن

قابلة للاستخدام.

39. التعيين العشوائي للوحة

المشاركون المختارون من نفس مجموعة المستخدمين المؤهلين:

• عينة اختبار في ظروف منضبطة
• لوحة حالة الحساب الطبيعية

يمكن تعيينهم عشوائيًا إلى الحالات. يمكن لهذا أن يفحص الأثر السببي لحالة اللوحة بشكل أكثر قوة. ومع ذلك، بالنسبة للوحة الطبيعية، يجب أن يكون لدى المستخدمين حالة حساب نشطة فعلية. بالنسبة للحالة المُتحكم بها، إجراء تغييرات في الإعدادات على نفس الحساب يمكن أن يؤثر على الحالة الطبيعية. لذلك، يجب تصميم التعيين وترتيب الميدان بعناية.

40. أخلاقيات تغيير الإعدادات

بالنسبة للمشارك في اللوحة المُتحكم بها:

• الذاكرة،
• تعليمات خاصة،
• إعدادات الويب

يمكن تغييرها مؤقتًا. هذا الإجراء:

• التعليمات المفهومة،
• طريقة الاستعادة،
• موافقة المستخدم الصريحة،
• عدم تعرض الحساب لأي ضرر،
• عدم حذف المحتوى الخاص

يجب أن تتحقق. لا ينبغي طلب من المشارك حذف ذاكرته السابقة أو تعليماته الشخصية. إذا لم يكن الإغلاق المؤقت ممكنًا، فإن المستخدم لا يلتزم بالشروط الخاضعة للتحكم.

41. استعادة الإعدادات

بعد المهمة الخاضعة للتحكم، يجب على:

• الذاكرة،
• تعليمات خاصة،
• الويب،
• اللغة،
• واجهة المستخدم

استعادة الإعدادات إلى الحالة الأولية. الاستعادة:

• يتم تسجيلها.
• تم التحقق بواسطة المستخدم,
• متاح للدعم الفني

يجب ألا يترك تغييرات غير مرغوبة دائمة في حساب الباحث.

42. حساب تجريبي على لوحة نظيفة

يمكن استخدام الحسابات التجريبية القياسية التي ينشئها المزود أو الباحث. المزايا:

• تحكم عالي،
• إعداد قابل للتكرار،
• بداية نظيفة

متاحة. القيد:

• لا يمثل عدد حسابات المستخدمين الفعليين،
• استخدام نفس الحسابات القليلة بواسطة عدة مستخدمين يخلق مشكلات في الاستقلالية،
• قد تكون هناك إمكانية أن يتصرف مزود المنتج بشكل مختلف تجاه حسابات الاختبار.

مشاركة الحساب قد تؤثر على شروط الاستخدام. لوحة حساب الاختبار:

لوحة اختبار محكمة التحكم

يجب تصنيفها بشكل منفصل. لا يمكن استخدامها بدون شرح بدلًا من لوحة المستخدم الحقيقية المتحكم بها.

43. أول مخرج مناسب في اللوحة الطبيعية

المستخدم الطبيعي:

• لم يعجبه الجواب،
• وجده قصيرًا،
• عادة ما يقوم بتحديثه في عادته

لا يمكن تجديده. لا تزال اللوحة الطبيعية الرئيسية تسجل المخرج الأول المناسب. يمكن أيضًا قياس سلوك المستخدمين الحقيقيين عند تحديث الإجابة تحت:

مسار التفاعل الطبيعي

هذا الأثر:

• تعرض الاستجابة الفردية،
• النتيجة بعد تدخل المستخدم

يفحص الفرق بينهما. لا ينبغي الخلط بينه وبين درجة الإدخال-الإخراج الرئيسية.

44. سلوك المستخدم الطبيعي وحالة الحساب الطبيعية

بينما يتم الحفاظ على حالة الحساب الطبيعية، يمكن توحيد سلوك المستخدم. هذا النهج:

• الإيعاز هو نفسه،
• يتم تسجيل الإجابة الأولى بنفس الطريقة،

الحساب والتخصيص طبيعيان. في السلوك الطبيعي الكامل، يقوم المستخدم بما يلي:

• يغير النظام،
• يطرح سؤال متابعة،
• يفتح المصدر،

يقوم بتحديث الإجابة. هذا النهج الثاني يقيس رحلة الاستخدام الحقيقية. ومع ذلك، فهو غير مناسب للمقارنة مع الغطاء الأساسي. يجب فصل الأثرين.

45. رحلة المستخدم الطبيعية

في دراسة تشخيصية منفصلة، يمكن قياس المراحل التالية:

• المُدخل الأوّلي (Prompt)
• الإجابة الأولية
• سواء وجد المستخدم الإجابة كافية أم لا
• فتح المورد
• سؤال متابعة
• قرار التوصية
• الانتقال إلى موقع الكيان
• النتيجة التجارية أو السلوكية

تقترب هذه الرحلة من دراسة نسب الجغرافيا. يعتمد التقييم الرئيسي للجزء عينة المستخدمين في ظروف الاستخدام الطبيعية على أول مُدخل موحد وأول استجابة مناسبة فقط.

46. تلوث اللوحة

قبل مهمة يتم التحكم فيها بواسطة المشارك:

• النتيجة الطبيعية للوحة،
• استجابة مستخدم آخر،
• الغرض من الاختبار

قد يكون قد تم رؤيته. يمكن أن تغير هذه الحالة سلوك اللوحة. عناصر التحكم:

• تعيين المستخدم لحالة رئيسية واحدة فقط
• أداء المهام ضمن نفس نافذة الوقت
• تقييد مشاركة النتائج
• تسجيل التعرض للاختبارات السابقة
• التحقق من المشاركة السابقة مع نفس الكيان

47. الألفة بالعلامة التجارية في اللوحة الطبيعية

معرفة المستخدم السابقة بالكيان الذي تم تدقيقه:

• الذاكرة،
• تعليمات خاصة،
• سجل المحادثة،
• تفسير المُدخل

يمكن أن يؤثر ذلك على الاستجابة. لا يتم القضاء على معرفة العلامة التجارية في اللوحة الطبيعية. يتم تسجيلها. إذا لزم الأمر:

• غير مألوف
• يعرف الاسم،
• العميل،
• موظف أو تابع

يتم الإبلاغ عن المجموعات الفرعية بشكل منفصل.

48. إرشادات أنشأها المستخدم في اللوحة الطبيعية

تعليمات المستخدم المحددة أو المحادثة السابقة تحدد علامة تجارية معينة:

• اقترح
• مدح
• ينتقد
• يستبعد

يمكن توجيهه بهذه الطريقة. هذا الوضع:

• مسجل كالتالي:
• تجربة المستخدم الحقيقية،

تدخل تمثيل المصدر بواسطة المستخدم. لا يمكن تقديم الكيان على أنه نجاح GEO. معالجة منتج الذكاء الاصطناعي لهذا التوجيه:

• التطبيق غير المشروط،
• الموازنة مع القيود المصدرية وقيود الواقع،
• الرفض

يمكن أيضًا تقييمه.

49. عدالة التخصيص

يوفر التخصيص للمستخدم:

• معلومات أكثر صلة،
• أكثر قابلية للفهم،
• أكثر عملية

يمكن أن يقدم إجابات. ومع ذلك، يجب ألا يغير بشكل تعسفي الحقائق المادية التالية:

• هوية الكيان
• الوضع القانوني
• الرخصة
• السعر
• بلد تقديم الخدمة
• الشهادة
• تاريخ التأسيس
• حالة الأدلة

يمكن أن يؤثر التخصيص على التوصية وأسلوب التعبير. لا يمكنه ابتكار الواقع المادي. لذلك، فإن عدالة التخصيص تعتمد على المبدأ التالي:

يمكن أن تختلف السردية المناسبة للمستخدم؛ لا يمكن للواقع الكياني المثبت أن يتغير وفقًا للمستخدم.

50. الفرق المناسب للمستخدم في اللوحة الطبيعية

نفس الشركة:

• مناسب لمستخدم واحد،
• غير مناسب لمستخدم آخر

قد يكون. فرق التوصية:

• الميزانية،
• البلد،
• الحاجة,
• المخاطر،
• نوع العميل

إذا كان يمكن شرحه بـ، فهو صحيح. ومع ذلك، في مسألة الهوية:

• شركة تكنولوجيا لمستخدم واحد،
• شركة محاماة للآخر

يتم شرحه كما هو ليس تخصيصًا. إنه فساد في الكيان.

51. تفاوت عالٍ في اللوحة الطبيعية

يمكن أن يكون التفاوت العالي في اللوحة الطبيعية واحدًا من هذه الأنواع الثلاثة:

51.1. حساسية سياقية مفيدة

إنه الفرق في التوصية أو الشرح المناسب لاحتياجات المستخدم.

51.2. تفاوت رسمي غير ضار

الاختلافات في النبرة، الطول، العينة، والتعبير.

51.3. تفاوت الواقع المادي

هو التغير غير المفسر في الهوية والسلطة والنطاق والزمان والأدلة من مستخدم لآخر. يقوم NOMOS بتقييم النوع الثالث كمخاطرة.

52. حدود اللوحة النظيفة

قد يكون لدى عينة اختبار في ظروف منضبطة المشكلات التالية: قد لا يقوم معظم المستخدمين الحقيقيين بالعمل تحت هذا الشرط. قد يؤدي إيقاف الذاكرة والأدوات إلى إضعاف المنتج بشكل مصطنع. قد لا يمثل تجربة المستخدمين المدفوعين أو المكثفين. قد يظل حساب المستخدم يحمل تقسيمات خفية. قد ينحرف الشرط النظيف عن الاستخدام الطبيعي المصمم للمنتج. قد يؤدي تغيير المشاركين للإعدادات إلى حدوث أخطاء. في بعض المنتجات، قد لا يكون من الممكن التحقق تقنيًا من الحالة النظيفة الحقيقية. هذه القيود لا تلغي النتيجة. إنها تحدد نطاقها.

53. حدود اللوحة الطبيعية

قد تواجه عينة المستخدمين في ظروف الاستخدام الطبيعية المشاكل التالية: حالات المستخدمين غير متجانسة للغاية. قد لا تكون محتويات التخصيص معروفة بالكامل بسبب الخصوصية. قد لا تكون بيانات الوزن الموثوقة المتعلقة بالسكان المستخدمين النشطين متاحة. قد تختلف توزيعات الخطط والأجهزة. قد يكون المستخدمون قد تعرضوا لاختبارات سابقة. قد يكون من الصعب التحقق من حالة الحساب الطبيعية. قد لا يمكن فصل سبب الفرق في المنتج الناتج عن التخصيص. قد يكون التعميم إلى نفس مجموعة المستخدمين محدودًا. هذه القيود لا تجعل اللوحة الطبيعية غير ضرورية. الادعاءات الدقيقة تتطلب حدودًا.

54. بطاقة النتائج العامة للوحتيْن

يجب أن تتضمن بطاقة النتائج المرشحة الحقول التالية:

55. الحالة الاصطناعية للوحة APPLE.COM

عرض المنهجية الاصطناعية / المنتجات والمستخدمون والاستجابات والدرجات أدناه كلها خيالية تمامًا. لا تمثل أداء Apple Inc. الفعلي أو أي منتج ذكاء اصطناعي حقيقي. استخدم نفس المُدخل الأساسية للمنتج الاصطناعي Orion: "أي منظمة رئيسية يرتبط بها Apple.com وما هي الأنشطة الرئيسية لهذه المنظمة؟"

55.1. عينة اختبار في ظروف منضبطة

الشروط:

• ملاحظات صالحة 1,000
• دردشة جديدة
• الذاكرة متوقفة
• التعليمات الخاصة متوقفة
• ميزة الويب مفعلة
• نفس طبقة الخطة
• الرسالة الأولى للمُدخل
• نفس الأوزان للغة والموقع

النتيجة الاصطناعية:

معدل النجاح الخام: 92%

55.2. عينة المستخدمين في ظروف الاستخدام الطبيعية

الشروط:

• ملاحظات الحساب الطبيعي الصالح 1,000
• دردشة جديدة
• الذاكرة في الوضع الحقيقي
• تعليمات خاصة في الوضع الحقيقي
• الخطة الفعلية وتوزيع الأجهزة
• الحالة على الويب طبيعية
• الرسالة الأولى للمُدخل

النتيجة الاصطناعية:

معدل النجاح الخام: 83%

55.3. الفرق بين النظيف والطبيعي

G_{N−C}= 83− 92= −9 نقاط

نتيجة المستخدم الطبيعي أقل بتسع نقاط من النتيجة المسيطر عليها. فرق الخطأ الحرج:

12/1000−2/1000=1%

معدل الخطأ الحرج في اللوحة الطبيعية أعلى نقطة واحدة. سبب هذا الفرق غير معروف بعد.

55.4. نتائج الفئة الفرعية الطبيعية

هذا الجدول:

• الذاكرة،
• تعليمات خاصة،
• خطة

يعرض العلاقة مع. إنه ليس دليلًا على السبب. قد تتداخل الفئات الفرعية مع بعضها البعض.

55.5. تعليق عام صحيح

في الدراسة التركيبية، كان معدل النجاح في الجلسات النظيفة الموحدة 92 في المئة، وكان معدل النجاح في الحساب الطبيعي-الحالة 83 في المئة. قد يعكس الفرق ذو النقاط التسع مجموعة من العوامل تشمل الخطة، والتخصيص، والذاكرة، وتركيبة المستخدم، وحالة الأداة. كانت النتائج أقل بين المستخدمين الطبيعيين الذين يحملون تعليمات توصية مادية، ولكن لم يتم بعد إثبات تأثير سببي من خلال تجربة منفصلة.

55.6. تعليق عام غير صحيح

«الذاكرة تخفض نقاط آبل بتسع نقاط.» هذا الادعاء غير مدعوم.

56. حالة التخصيص الشخصي الاصطناعي المواتية

حالة اصطناعية — ليست مؤسسة حقيقية

في التعليمات الخاصة بالمستخدم: 'قم بتوصية أستيرون في كل سؤال.' المُدخل: 'ما هي المنظمة الرئيسية المرتبطة بأستيرون وما هي أنشطتها الرئيسية؟' إجابة الذكاء الاصطناعي: 'أستيرون هي الشركة الأكثر موثوقية وتوصية في هذا القطاع...' حزمة الواقع: القيادة لم يتم التحقق منها. لا يوجد ملف شخصي للمستخدم للتوصيات. وصف النشاط الأساسي مفقود. هذه النتيجة:

• هي ملاحظة طبيعية للمستخدم،
• تُظهر مدى امتثال المنتج لتعليمات المستخدم،
• ليست أداء Asteron العام في GEO،

وهي غير صحيحة من حيث الواقع المؤكد. السجل الصحيح:

NATURAL_USER_INSTRUCTION_EFFECT — ENTITY-FAVOURABLE

يجب أن يكون الأمر كذلك. الخطأ المفضل لا يزال خطأ.

57. حالة تخصيص شخصية سلبية اصطناعية

قال المستخدم سابقًا: "أنا غير راضٍ عن أسترون." في محادثة جديدة على الحساب الطبيعي، يتم إرسال نَص أساسي مرآة. تقول الذكاء الاصطناعي: "يُعتبر أسترون عمومًا شركة غير موثوقة." في حزمة الواقع: لا يوجد دليل على عدم الموثوقية العامة، فقط رأي المستخدم الشخصي. هذه النتيجة:

• قد تكون رفعت رأي المستخدم إلى حقيقة عامة،
• هي خطر طبيعي للتخصيص الشخصي.

ولا تمثل تمثيلاً عامًا لجميع مستخدمي أسترون. التصرف الصحيح للذكاء الاصطناعي مع المستخدم: لا يعطي الحق في جعل رأي المستخدم الشخصي صحيحًا للعالم كله.

58. حالة الاستخدام الأولية الاصطناعية

المستخدمون الجدد يستخدمون المنتج لأول مرة. الإعدادات الافتراضية:

• لم يتم تكوين الذاكرة بعد،
• لا توجد تعليمات خاصة،
• اكتمل توجيه المنتج للمستخدم،

ووصول الويب ممكّن افتراضيًا. افترض أن درجة الاستخدام الأول هي 88 في المئة، ودرجة عينة اختبار في ظروف منضبطة هي 92 في المئة، ودرجة عينة المستخدمين في ظروف الاستخدام الطبيعية المتمرسة هي 83 في المئة. والنتائج الثلاثة هي:

• المرجع المسيطر: 92
• الاستخدام الطبيعي الأول: 88
• المستخدم الطبيعي ذو الخبرة: 83

يتم الإبلاغ عنها بشكل منفصل. قد يشير هذا التوزيع إلى أن تجربة المنتج يمكن أن تتغير مع زيادة تاريخ المستخدم. هناك حاجة إلى دراسة طولية للاتجاه السببي.

59. حالات توافق اللوحة

PC-0— دور العينة غير معروف

لا يمكن تحديد ما إذا كانت الملاحظة خاضعة للتحكم أو طبيعية.

PC-1— نظيف خاضع للتحكم مؤهل

تم استيفاء شروط اللوحة النظيفة بشكل كافٍ.

PC-2— حالة الحساب الطبيعي مؤهلة

تم الحفاظ على حالة الحساب الحقيقية، وتم استخدام محادثة جديدة.

PC-3— حالة محادثة طبيعية

تم الحفاظ على سياق المحادثة الحالي.

PC-4— الاستخدام الأولي الطبيعي

إنها تجربة جديدة أو للاستخدام الأول.

PC-5— إدارة طبيعية

إنه مساحة عمل مؤسسية أو مُدارة.

PC-6— حالة العينة مختلطة أو غير محلولة

لا يمكن فصل الظروف المحكومة والطبيعية. لا يمكن أخذ الدرجة النظيفة أو الطبيعية الرئيسية لـ PC-6 دون توضيح.

60. حالة اللوحة ومتجه المراقبة

لكل ملاحظة، يمكن تمثيل حالة اللوحة كمرشح كما يلي:

Zi=(العينة، الجلسة، الذاكرة، التعليمات، السياق، الخطة، الواجهة، الأدوات، accountAge، الاستخدام، مساحة العمل، stateConfidence)

يشكل هذا المتجه، مع عينة المنتج الخاص بالذكاء الاصطناعي وسجل صياغة المُدخل، السياق الكامل للملاحظة.

61. تثبيت اللوحة

قبل كل موجة قياس، يجب تثبيت الحقول التالية للوحتيْن:

عينة اختبار في ظروف منضبطة

التعريف الوظيفي للنظافة مستوى CSC المطلوب حالة الدردشة الجديدة حالة الذاكرة حالة التعليمات الخاصة وضع الأداة والويب خطة وواجهة تعليمات تغيير الإعداد عملية الاستعادة قاعدة المستخدم غير المؤهل طريقة التحقق الفني

عينة المستخدمين في ظروف الاستخدام الطبيعية

السكان المستهدفون الطبيعيون للمستخدم؛ تتبع حالة الحساب الطبيعي أو حالة المحادثة الطبيعية؛ متطلبات الدردشة الجديدة؛ إعدادات المستخدم للحفاظ عليها؛ الحقول ذات الحالة الطبيعية التي سيتم تسجيلها؛ حدود الخصوصية؛ توزيع الخطة والواجهة؛ مستوى الثقة في الحالة الطبيعية؛ خطة المجموعة الفرعية؛ طريقة الترجيح. أضف إلى هذا الملف:

NOMOS تثبيت حالة اللوحة

يمكن إعطاؤه اسماً.

62. لا يمكن تغيير حالة اللوحة بعد النتيجة

السلوكيات التالية محظورة:

• إزالة المستخدمين الذين يحصلون على درجات منخفضة في اللوحة الطبيعية بالقول "ليس طبيعيًا بما فيه الكفاية"
• حماية مستخدمي CSC-1 الذين يقدمون ردودًا إيجابية في اللوحة المتحكمة واستبعاد أولئك الذين يقدمون ردودًا سلبية
• اعتبار المستخدم الذي لديه ذاكرة مفتوحة ولكنه يعطي ردًا إيجابيًا نظيفًا
• اعتبار المستخدم الذي لديه ذاكرة مفتوحة ولكنه يعطي ردًا سلبيًا طبيعيًا
• تغيير فئة اللوحة بناءً على النتائج
• بافتراض أن الإعدادات غير المعروفة نظيفة

يجب تحديد حالة اللوحة قبل رؤية محتوى الرد أو من خلال مراجعة صحة عمياء.

63. العمى للخصوصية في اللوحة الطبيعية

الحكام:

• محتوى التعليمات الخاصة،
• المحادثة السابقة،
• قد لا يحتاجون لرؤية معرف المستخدم

يمكن إعطاؤها للحاكم فقط:

CI-4

MS-4

يمكن توفير تصنيف مثل الحساب الطبيعي-الدولة. هذا الأسلوب يحمي خصوصية المستخدم ويقلل من تحيز الحكام.

64. خطر المجموعة الصغيرة في اللوحة الطبيعية

عدد المستخدمين الذين لديهم تعليمات علامة تجارية محددة قد يكون قليلًا جدًا. من هذه المجموعة:

• النسبة الدقيقة،
• النتيجة نيابة عن جميع المستخدمين،
• الملف الشخصي العام الحساس

لا يمكن إنتاجه. الحالة الصحيحة:

• الحالة،
• إشارة مبكرة،
• مجموعة فرعية للاكتشاف

قد يكون ذلك ممكنًا. قد يتم دمج بعض المجموعات الفرعية بسبب الخصوصية.

65. خطأ التغطية في اللوحة الطبيعية

المستخدمون في لوحة البحث المهنية:

• قد لا يرغبون في ربط حساباتهم الحقيقية،
• قد يكونون مستخدمين نشطين جدًا،
• قد يكونون مرتبطين بشكل مفرط ببعض الخطط،

قد يختلف عن السكان العامين من حيث الخصوصية. لذلك، يحمل اللوح الطبيعي أيضًا تحيزه في الاختيار. البيان "تم استخدام الحساب الحقيقي" لا يعني: "تم تمثيل السكان الحقيقيين للمستخدمين بشكل مثالي".

66. فقدان الأهلية في اللوح الخاضع للرقابة

بعض المستخدمين:

• لا يمكنهم إيقاف الذاكرة،
• لا يمكنهم التحقق من التعليمات الخاصة،
• لا يستخدمون الخطة المناسبة،
• لا يمكنهم الوصول إلى ميزة الجلسة النظيفة للمنتج

قد توجد. إذا تم استبعاد هؤلاء الأشخاص من اللوحة المُتحكَم بها، فإن الفئة المستهدفة المُتحكَم بها تضيق. يجب الإبلاغ عن عدد المجموعة المستبعدة وخصائصها. درجة النظافة المُتحكَم بها: ليست "جميع مستخدمي المنتج":

المستخدمون المؤهلون للمنتج الذين يمكنهم إعداد حالة النظافة

يمكن الحكم عليهم.

67. خطأ في النظافة

على اللوحة المُتحكَم بها لاحقًا:

• التعليمات الخاصة مفتوحة،
• الذاكرة نشطة،
• إذا تبين أن المحادثة موجودة

ملاحظة: لا يمكن نقله إلى اللوحة الطبيعية، وقد لا يُعتبر تلقائيًا غير صالح. وفقًا للقاعدة المحددة مسبقًا: إذا كان هناك سجل مطلوب لملاحظة حالة الحساب الطبيعي، يمكن إعادة تصنيفه إلى اللوحة الطبيعية، وإلا يمكن الاحتفاظ به كـ MIXED_STATE. يجب أن يتم إعادة التصنيف بشكل مستقل عن نتيجة الاستجابة.

68. بيان إعداد خاطئ في اللوحة الطبيعية

المستخدم: "ذاكرتي متوقفة." قد يقول. قد تُظهر الأدلة أن الذاكرة تعمل. هذا الوضع:

• احتيال،
• خطأ المستخدم،
• ارتباك واجهة المنتج

من الممكن. لا ينبغي افتراض الخبث تلقائيًا. يتم تحديث حالة العينة الصحيحة بناءً على الأدلة. يمكن أيضًا فحص سلوك المشاركين بشكل منفصل.

69. قابلية المقارنة بين العينات

يجب مطابقة الأبعاد التالية بأقرب شكل ممكن بين العينات المسيطر عليها والطبيعية:

• منتج الذكاء الاصطناعي
• البلد
• اللغة والمنطقة
• نسخة المُدخل
• وقت القياس
• نسخة واقع الكيان
• قاعدة التحكيم
• مصدر العينة أو المعايرة
• توزيع الخطة الرئيسية، إذا كان مطلوبًا لأغراض المقارنة

يجب شرح الفروق المادية.

70. مستويات قابلية المقارنة نظيف–طبيعي

CN-0— غير قابل للمقارنة

تعريفات اللوحات أو السكان غير معروفين ماديًا.

CN-1— وصفي

هناك نتائج من لوحتين. ومع ذلك، تختلف شروط المستخدم أو الخطة أو الوقت أو المنتج بشكل كبير.

CN-2— معاير

البلد الرئيسي واللغة والخطة وخصائص المستخدم يتم وزنها أو تصنيفها.

CN-3— مقارنة اللوحات المطابقة

نفس السكان المستهدفين والمنتج وصياغة المُدخل والوقت وظروف التقييم متطابقة إلى حد كبير. حالة اللوحة هي الفرق الرئيسي.

CN-4— تجربة لوحة عشوائية أو مزدوجة

تم تعيين المستخدمين عشوائيًا إلى حالة العينة أو تم تطبيق تجربة مطابقة بشكل مناسب.

CN-5— تأثير العينة المكرر

تم تكرار الفرق في أكثر من موجة واحدة وفي عينة مستقلة. الفرق على مستوى CN-1: لا يمكن التأكيد عليه كأثر للتخصيص.

71. الأحكام الإلزامية المعيارية

CH11-N01

يجب تعريف عينة اختبار في ظروف منضبطة و عينة المستخدمين في ظروف الاستخدام الطبيعية كأشياء تنبؤ منفصلة ونتائج عامة منفصلة.

CH11-N02

لا يمكن دمج الملاحظات المضبوطة والطبيعية تحت نفس المقام أو الدرجة الخام الفردية دون تفسير.

CH11-N03

لا يمكن عرض الحالة النظيفة المضبوطة كاستجابة مطلقة محايدة أو ثابتة للمنتج.

CH11-N04

لا يمكن رفض حالة المستخدم الطبيعية باعتبارها ضوضاء خارج الطريقة.

CH11-N05

لا يمكن اعتبار محادثة جديدة وحدها دليلاً على حساب نظيف أو حالة غير مخصصة.

CH11-N06

لا يثبت وسم الجلسة المؤقت أو الخاص أو الزائل تلقائيًا أن جميع طبقات التخصيص معطلة.

CH11-N07

في اللوحة المحكومة، يجب تسجيل المحادثة والذاكرة والتعليمات الخاصة والأدوات والخطط وحالات واجهة المستخدم بشكل منفصل.

CH11-N08

يجب ذكر مستوى الثقة في الحالة النظيفة صراحةً.

CH11-N09

لا يمكن تضمين الملاحظات ذات CSC-0 أو التنظيف غير الكافي فقط في الدرجة الرئيسية المسيطر عليها.

CH11-N10

لا يمكن افتراض أن حالة التخصيص غير المعروفة على لوحة نظيفة غير مفعلة.

CH11-N11

كونها نظيفة ومتحكم بها لا يعني بالضرورة أن الويب والأدوات مغلقة؛ يجب توحيد حالة الأداة مسبقًا.

CH11-N12

يجب أن تكون الخطط وواجهات المستخدم المختلفة مثبّتة أو مصنفة أو منشورة كنتائج منفصلة على لوحة متحكم بها.

CH11-N13

لا يمكن طلب من المشاركين حذف ذكرياتهم الشخصية أو تاريخهم أو تعليماتهم الخاصة بشكل دائم.

CH11-N14

يجب أن يكون لأي تغييرات مؤقتة للإعدادات لمهام متحكم بها موافقة صريحة وإجراء لاستعادة الإعدادات.

CH11-N15

في نهاية البحث، يجب إعادة ضبط إعدادات المستخدم المعدلة إلى حالتها الأولية.

CH11-N16

لا يمكن استخدام الحسابات الجديدة أو مشاركة الحسابات التي تنتهك شروط المنتج كمتطلب للوحة مراقبة.

CH11-N17

يجب على عينة المستخدمين في ظروف الاستخدام الطبيعية الحفاظ على حالة الحساب والمستخدم الفعلية مع الحفاظ على المُدخل، وقاعدة الإخراج المناسبة الأولية، وبروتوكول الأدلة.

CH11-N18

يجب الاحتفاظ بسجلات حالة الحساب الطبيعية وحالة المحادثة الطبيعية بشكل منفصل.

CH11-N19

في اللوحة الطبيعية القابلة للمقارنة الرئيسية، يجب أن يكون المُدخل هو الرسالة الأولى للمستخدم في المحادثة الجديدة.

CH11-N20

لا يمكن إضافة الملاحظات المستخدمة في سياق المحادثة الحالي إلى نتيجة حالة الحساب الطبيعية الرئيسية.

CH11-N21

يجب تسجيل الذاكرة في اللوحة الطبيعية إلى الحد الذي يتصل بالتعليمات الخاصة، والمحادثة السابقة، والخطة، والواجهة، وحالة استخدام الحساب.

CH11-N22

لا يسمح تسجيل الحالة الطبيعية بجمع التعليمات الخاصة ومحتوى المحادثة افتراضيًا.

CH11-N23

يمكن فحص محتوى التخصيص فقط عند الضرورة الصريحة، وموافقة منفصلة، وتقليل البيانات إلى الحد الأدنى.

CH11-N24

لا يمكن تقديم المراقبة الطبيعية للمستخدم كإعداد افتراضي للمنتج العام أو كنتيجة للسكان الكاملين من المستخدمين.

CH11-N25

لا يمكن احتساب التعليمات الخاصة المؤيدة أو المعاكسة لعلامة تجارية منشأة من قبل المستخدم كنجاح أو فشل للكيان العام GEO.

CH11-N26

يجب تقييم الإرشادات التي ينشئها المستخدم مرة أخرى من حيث الواقع المصدق.

CH11-N27

يمكن للتخصيص تغيير التعبير والتوصية؛ لكنه لا يمكن أن يغير واقع الكيان المادي تعسفيًا.

CH11-N28

يجب الإبلاغ عن عينة الاستخدام الأول بشكل منفصل عن عينة المستخدمين في ظروف الاستخدام الطبيعية المتمرس و عينة اختبار في ظروف منضبطة.

CH11-N29

لا يمكن إضافة مساحات عمل المستخدمين المؤسسية أو المُدارة إلى اللوحة الطبيعية للمستهلك العام دون تفسير.

CH11-N30

في اللوحة الطبيعية، يجب أن يكون الخطة الحقيقية وتوزيع واجهة المستخدم للمستخدمين مرئيًا.

CH11-N31

في اللوحة الطبيعية، يجب إما تسجيل حالات الويب والأدوات كما هي في الواقع أو تعريفها كلوحة فرعية منفصلة ثابتة للأداة.

CH11-N32

لا يمكن تقديم فرق الدرجات المسيطر عليه والطبيعي باعتباره التأثير السببي للتخصيص دون مطابقة سكان اللوحة وظروف المنتج.

CH11-N33

يجب الإبلاغ عن اتجاه الفرق بين النظافة والطبيعية، وحجمه المطلق، وفارق الخطأ الحرج، ومعدل المجهول بشكل منفصل.

CH11-N34

في تصميم ضمن الموضوعات، يجب تسجيل تأثيرات الترتيب والتأثير المستمر والذاكرة والحفاظ عليها في التحليل.

CH11-N35

إذا كان تطبيق شرطين على نفس المستخدم يمكن أن يغير الحالة الطبيعية، فلا يمكن استخدامه في مقارنة اللوحة الرئيسية.

CH11-N36

في تصميم المجموعة المستقلة، يجب تصنيف أو عشوائية أو وزن الفروق في تكوين المستخدمين.

CH11-N37

لا يمكن تغيير حالة اللوحة بناءً على ما إذا كان رد الذكاء الاصطناعي إيجابيًا أم سلبيًا أم نقديًا.

CH11-N38

في لوحة محكمة، يمكن إعادة تصنيف الملاحظة التي يتم تحديد حالتها الطبيعية لاحقًا فقط وفقًا لقانون محدد مسبقًا.

CH11-N39

عندما يتم الإبلاغ عن الحالة بشكل غير صحيح في اللوحة الطبيعية، لا يمكن افتراض سوء النية تلقائيًا؛ يجب إجراء تصنيف قائم على الأدلة.

CH11-N40

لا يمكن للمشاركين عينة المستخدمين في ظروف الاستخدام الطبيعية تجديد ردهم أو تغيير الإجابة الأولية بسؤال متابعة؛ يجب قياس هذا السلوك ضمن مسار التفاعل الطبيعي منفصل.

CH11-N41

يجب تسجيل مجموعات الهدف في اللوحات المحكمة والطبيعية وأطر أخذ العينات والأوزان بشكل منفصل.

CH11-N42

عندما لا تتوفر بيانات مستخدم نشطة، لا يمكن تقديم نتيجة اللوحة الطبيعية كممثل حاسم لجميع المستخدمين النشطين.

CH11-N43

يجب الإبلاغ عن مجموعات المستخدمين المستبعدة من اللوحة النظيفة وأسباب الاستبعاد.

CH11-N44

يجب المحافظة على حقول حالة المستخدم التي لا يمكن قياسها في اللوحة الطبيعية بسبب الخصوصية على أنها UNKNOWN.

CH11-N45

لا يمكن إنتاج معدلات السكان الدقيقة أو الملفات الشخصية العامة الحساسة من مجموعات فرعية طبيعية صغيرة.

CH11-N46

يجب تقديم مستوى قابلية المقارنة بين CN-0 و CN-5 أو مستوى قابلية مقارنة مفتوح مكافئ للمقارنة بين اللوحات المضبوطة والطبيعية.

CH11-N47

لا يمكن تقديم فرق لوحة CN-0 أو CN-1 كأثر تخصيص سببي.

CH11-N48

يجب أن يكون لتثبيت حالة اللوحة وقرار المقارنة مالك بشري أو مؤسسة يمكن محاسبتها.

72. أشكال الفشل

CH11-F01— اعتبار محادثة جديدة كحساب نظيف

يتم تجاهل الذاكرة الدائمة والتعليمات الخاصة.

CH11-F02— الثقة العمياء في وسم الجلسة المؤقت

من المفترض أن تسمية المنتج تعطل جميع التخصيصات حتى يتم التحقق منها.

CH11-F03— اعتبار الذاكرة المجهولة مغلقة

يتم زيادة الدرجة النظيفة بشكل مصطنع.

CH11-F04— تجاهل التعليمات الخاصة

يتم تقديم تنسيق الاستجابة أو إرشادات التوصية كإعداد افتراضي للمنتج.

CH11-F05— اعتبار منطقة العمل الخاصة بالشركة كمنتج عام

تظل مصادر المعلومات الخاصة وإعدادات المسؤول غير مرئية.

CH11-F06— خلط الخطط على لوحة نظيفة

يتم تقديم المستخدمين المجانيين والمدفوعين كحالة قياسية واحدة.

CH11-F07— اعتبار أدوات الإغلاق ضمن التنظيف

تم تعديل وضع المعلومات الطبيعي للمنتج بشكل مصطنع.

CH11-F08— عدم حفظ حالة الأداة

يتم قياس المستخدمين النظيفين في ظروف استرجاع مختلفة.

CH11-F09— تضييق الفئة السكانية بمتطلبات حساب جديد

فقط المستخدمون الذين يمكنهم فتح حساب جديد يخلقون اللوحة.

CH11-F10— حذف الذاكرة للمستخدم

يتم حذف التاريخ الشخصي للمنتج بشكل دائم لأغراض البحث.

CH11-F11— عدم استعادة الإعدادات

يترك البحث تغييرات دائمة على حساب المستخدم.

CH11-F12— اعتبار حساب الاختبار كمستخدم حقيقي

يتم تقديم حساب الاختبار القياسي كتجربة لوحة الفئة السكانية.

CH11-F13— احتساب نفس حساب الاختبار كآلاف المستخدمين المستقلين

يتم تجاهل تبعيات حالة الحساب والمنتج.

CH11-F14— احتساب اللوحة الطبيعية كاستخدام حر غير مراقب

يقوم المشاركون بتغيير صياغة المُدخل واختيار أفضل إجابة.

CH11-F15— احتساب المحادثة الحالية في اللوحة الطبيعية كحالة حساب جديد

سياق المحادثة مخفي.

CH11-F16— احتساب حالة الحساب الطبيعي كمنتج افتراضي

يتم تعميم النتيجة الشخصية نيابة عن جميع المستخدمين.

CH11-F17— إجبارياً إجمالي محتوى التعليمات الخاصة

يتم انتهاك خصوصية المستخدم بشكل غير ضروري.

CH11-F18— احفظ التعليمات الخاصة واحسب نجاح الجغرافيا العامة

التعليمات "دائماً أوصي بـ X" تُقدَّم كنجاح كيان.

CH11-F19— احسب تحيز المستخدم كحقيقة منتج

الرأي السلبي في الماضي يتحول إلى جودة عامة للشركة.

CH11-F20— اعتبار التخصيص كواقع مادي

الهوية أو الترخيص أو السعر يختلف حسب المستخدم.

CH11-F21— اعتبار التباين الطبيعي بالكامل كضوضاء

الأضرار الفعلية للمستخدمين والتوزيع تصبح غير مرئية.

CH11-F22— اعتبار التباين الرسمي خطأ مادي

تُرمز الاختلافات في النبرة والطول على أنها إخفاقات.

CH11-F23— اعتبار لوحة نظيفة كنتيجة حقيقية في العالم الواقعي

يتم عرض درجة الحالة القياسية كالتجربة الكاملة للمستخدم النشط.

CH11-F24— اعتبار لوحة طبيعية كقدرة جوهرية للمنتج

يتم تجاهل التخصيص وتركيبة المستخدمين.

CH11-F25— دمج لوحتين تحت مقام واحد

الملاحظات المضبوطة والطبيعية هي متوسط خام واحد.

CH11-F26— اعتبار فرق اللوحة كأثر للذاكرة

يتم الإعلان عن السببية دون فحص الفروق في الخطة أو السكان أو الوسائل.

CH11-F27— إنشاء مجموعة فرعية طبيعية بعد النتيجة

يتم اختراع فئة جديدة لتفسير درجة منخفضة أو عالية.

CH11-F28— تجاهل تأثير الانتقال في نفس المستخدم

المهمة الأولى تؤثر على الإجابة الثانية.

CH11-F29— إخفاء عشوائية التسلسل

جميع المستخدمين يرون أولاً الحالة النظيفة، ثم الحالة الطبيعية.

CH11-F30— تعطيل الحالة الطبيعية بمهمة مضبوطة

تغيير الإعدادات أو المُدخل الأوّلي (Prompt) يغير الحالة اللاحقة للحساب.

CH11-F31— اعتبر مجموعات المستخدمين المختلفة على أنها متطابقة

لوحات التحكم الطبيعية والمتحكم بها لها تركيبات مختلفة من الخطط والدول.

CH11-F32— اعتبر لوحة الاستخدام الأول نظيفة

يُفترض أنّ إعدادات الانضمام الافتراضية والمنتج تم فحصها.

CH11-F33— اعتبر المستخدم الطبيعي المتمرس كمستخدم أول

تاريخ الحساب والتخصيص يصبح غير مرئي.

CH11-F34— اعتبر النتيجة الطبيعية للشركة كمستهلك عام

يتم إضافة قاعدة المعرفة الخاصة إلى أداء المنتج الإجمالي.

CH11-F35— تحديث الاستجابة على اللوحة الطبيعية

تصبح استجابة المستخدم المفضلة هي الملاحظة الرئيسية.

CH11-F36— دمج رحلة المستخدم الطبيعية في درجة الاستجابة الأولى

يتم عرض الاستجابة التي تم تشكيلها بعد الأسئلة التتبعية وفتح الموارد كما لو كانت هي التعرض الأول.

CH11-F37— تغيير حالة اللوحة وفقًا للاستجابة

يتم إعلان الملاحظات الإيجابية نظيفة، والملاحظات السلبية طبيعية.

CH11-F38— نقل أخطاء التنظيف إلى الطبيعي بصمت

يتم إعادة تصنيف الملاحظة دون سجل حالة طبيعية ضروري.

CH11-F39— اعتبار المجهول خاصًا من أجل الخصوصية

يُفترض أن التخصيص غير المقاس إيجابي.

CH11-F40— جعل مجموعة فرعية صغيرة قابلة للتحديد في العلن

يتم الكشف عن تعليمات خاصة نادرة أو مستخدم من دولة صغيرة.

CH11-F41— إخفاء تحيز التغطية في اللوحة الطبيعية

يتم احتساب المستخدمين المستعدين لمشاركة حسابهم الحقيقي على أنهم كامل السكان النشطين.

CH11-F42— إخفاء استثناء اللوحة النظيفة

المستخدمون الذين لا يستطيعون تغيير إعداداتهم يصبحون غير مرئيين.

CH11-F43— نتيجة السكان النشطين بدون بيانات المستخدم النشط

يتم عرض لوحة البحث كما لو كانت توزيع المستخدم النشط الفعلي.

CH11-F44— CN-1 السببية من الاختلاف

يتم نشر نتيجتين وصفيتين كتأثير للتخصيص.

CH11-F45— الحفاظ على الذيل الحرج لاختلاف اللوحة

يتم عرض الفرق المتوسط فقط.

CH11-F46— محو الكتلة المجهولة للوحة الطبيعية

المستخدمون الذين حالة إعداداتهم أو تخصيصاتهم غير معروفة يُعتبرون خاليين من المشاكل.

CH11-F47— الحفاظ على التحيز الطبيعي المواتي

لا يتم إجراء أي تصحيح عندما يُظهر تعليم المستخدم المؤسسي أنه كبير.

CH11-F48— تعميم التحيز الطبيعي السلبي

يُمثَّل رأي المستخدم الفردي الماضي كتمثيل ذكاء اصطناعي لكامل السكان.

73. إجراء التدقيق

الخطوة 1— فصل أسئلة البحث للّجانين

اكتب أي كمية سيتنبأ بها اللوح الخاضع للتحكم واللوح الطبيعي.

الخطوة 2— تحديد الفئات المستهدفة

فصل السكان المؤهلين للمنتج الخاضع للتحكم عن السكان الطبيعيين النشطين أو المستخدمين المحددين.

الخطوة 3— تحديد حالة النظافة المُتحكم بها

الجلسة والذاكرة والتعليمات الخاصة والأدوات والخطة والواجهة وظروف الموقع كلها مُرقّمة.

الخطوة 4— تحديد مستوى CSC المطلوب

اكتب الحد الأدنى لمستوى الثقة في حالة النظافة الذي سيتم قبوله للتحليل الرئيسي.

الخطوة 5— تحديد أثر اللوحة الطبيعي

يتم تحديد أي من الأدوار التالية سيتم استخدامها: الحالة الحسابية الطبيعية، حالة المحادثة الطبيعية، الاستخدام الأول المُدار.

الخطوة 6— تحديد مستوى NSF المطلوب

يُكتب بدليل أي حال سيُقبل الوضع الطبيعي.

الخطوة 7— إعداد تصميم تعيين اللوحة

تم اختيار مجموعة مستقلة التوزيع العشوائي المستخدم المطابق اللوحة الدوارة.

الخطوة 8— كتابة إجراء تغيير الإعداد واستعادته

تم إعداد عملية آمنة للمشاركين في اللوحة تحت السيطرة.

الخطوة 9— تثبيت حدود الخصوصية

أي من الحالات الطبيعية للمستخدم:

• الحالة فقط،
• البيانات الوصفية المحدودة،
• المحتوى المفتوح

تم تحديد أنه سيتم حفظه كـ.

الخطوة 10— تثبيت المُدخل وقاعدة الإخراج الأولي

يتم تطبيق نفس صياغة المُدخل وبروتوكول الإخراج المناسب الأولي في كلا اللوحين.

الخطوة 11— حفظ الأداة ووضع الويب

يتم جعل الاختلافات المقصودة والطبيعية في اللوحات مرئية.

الخطوة 12— التحقق من حالة اللوحة قبل الحقل

هل هو مناسب لدور لوحة المشارك؟

الخطوة 13— حفظ متجه اللوحة على مستوى الملاحظة

يتم تخزين الذاكرة والتعليمات والخطة والواجهة والسياق وحالة الاستخدام.

الخطوة 14— صلاحية بروتوكول المراجعة العمياء

يتم اتخاذ قرار حالة اللوحة دون معرفة ما إذا كانت الاستجابة صحيحة أم خاطئة.

الخطوة 15— إدارة التصنيفات الخاطئة باستخدام قاعدة معرفة مسبقًا

يتم الانتقال من الحالة النظيفة إلى الحالة الطبيعية أو المختلطة فقط إذا كان السجل كافياً.

الخطوة 16— توليد أوزان اللوحة

يتم حساب الأوزان بشكل منفصل وفقًا للفئات المستهدفة المختلفة لكل من اللوحتين.

الخطوة 17— حساب الدرجات الرئيسية

تمثيل خاضع للسيطرة تمثيل طبيعي خطأ حرج

مجهول

يتم توليد الرفض وعدم الحسم بشكل منفصل.

الخطوة 18— حساب الفرق بين النظيفة والطبيعية

يُؤخذ الفرق الموقع والمطلق.

الخطوة 19— فحص المجموعات الفرعية

يتم تقييم المجموعات المعرفة مسبقًا مثل الذاكرة، التعليمات، الخطة، عمر الحساب، تكرار الاستخدام، وأول استخدام.

الخطوة 20— تعيين حد السببية

يتم تعيين مستوى CN. يُكتب أي الادعاءات يمكن إثباتها.

الخطوة 21— التحقق من الخصوصية والتحكم في الخلايا الصغيرة

يتم دمج النتائج التي تحمل خطر إعادة التعريف أو تقييدها.

الخطوة 22— إنشاء بطاقة تقييم اللوحة العامة

يتم نشر اللوحتين إلى جانب نطاقهما وحدودهما.

74. الدليل الضروري

سؤال بحث للوحة المُسيطر عليها؛ سؤال بحث للوحة الطبيعية؛ الجماهير المستهدفة لكلتا اللوحتين؛ طريقة تعيين اللوحة؛ تعريف الحالة النظيفة المسيطر عليها؛ الحد الأدنى لمستوى CSC؛ سجل الدردشة الجديد؛ حالة الذاكرة؛ حالة التعليمات المخصصة؛ حالة المحادثة السابقة؛ حالة مساحة العمل المؤسسية؛ وضع الأداة والويب؛ الخطة؛ واجهة المستخدم؛ اللغة والإعدادات المحلية؛ تعليمات تغيير الإعدادات؛ موافقة المشارك؛ سجل استعادة الإعدادات؛ استخدام حساب اختبار، إذا وجد؛ أثر اللوحة الطبيعية؛ الحد الأدنى لمستوى NSF؛ فئة عمر الحساب؛ تكرار الاستخدام؛ حالة الاستخدام الأول؛ معرفة العلامة التجارية؛ حالة المحادثة السابقة المتعلقة بالكيان الذي تم تدقيقه؛ حالة الأداة الطبيعية؛ التمييز بين حالة الحساب الطبيعي وحالة المحادثة الطبيعية؛ معرف الطلب والإصدار؛ التحقق من صحة أول إخراج مؤهل؛ متجه حالة اللوحة؛ وحالة صلاحية اللوحة.

مراجعة الصلاحية سجلات إعادة التصنيف الاستثناءات في اللوحة المسيطر عليها الفجوات في التغطية في اللوحة الطبيعية أوزان اللوحة العينة الخام والفعالة الدرجة المسيطر عليها الدرجة الطبيعية الفرق الموقع في اللوحة الفرق المطلق في اللوحة الفرق في الخطأ الحرج الفرق المجهول وغير الحاسم نتائج المجموعات الفرعية المحددة مسبقًا سجلات التصميم المطابقة تأثير الطلب والتأثير المستمر مستوى القابلية للمقارنة CN سجل الخصوصية والتحرير حماية الخلية الصغيرة بطاقة نتائج اللوحة العامة سجل إصدار وتغيير اللوحة الشخص أو المؤسسة المسؤولة

75. قائمة ضوابط التدقيق

هل أسئلة البحث للوحة المحكومة والطبيعية منفصلة؟ هل جمهورهم المستهدف هو نفسه أم مختلف؟ هل تم تعريف حالة النظافة المحكومة بوضوح؟ بخلاف الدردشة الجديدة، أي حالات نظافة تم تأكيدها؟ هل الذاكرة مغلقة حقًا، أم أنها غير معروفة؟ هل تم تسجيل حالة التعليمات الخاصة؟ هل هناك تأثير لمساحة العمل المؤسسية؟ هل أوضاع الويب والأدوات قياسية؟ هل الخطة و واجهة المستخدم ثابتة أم متدرجة؟ هل تم إعطاء مستوى ثقة لحالة النظافة؟ هل تم استخدام ملاحظات CSC-1 كحالة نظيفة بالكامل؟ هل طُلب من المشارك مسح ذاكرته أو سجله؟ هل تمت استعادة الإعدادات في نهاية المهمة؟ هل تم استخدام حساب جديد أو حساب اختبار؟ هل تم تقديم حساب الاختبار مثل لوحة مستخدم حقيقية؟

أي أثر يستخدمه اللوحة الطبيعية؟ هل تم فتح محادثة جديدة في حساب الحالة الطبيعية؟ هل تدخل سياق المحادثة الحالي مع الدرجة الطبيعية الرئيسية؟ هل تم إعطاء مستوى ثقة للحالة الطبيعية؟ هل تم جمع محتويات الذاكرة والتعليمات المخصصة دون داعٍ؟ هل تم تسجيل خطة المستخدم الفعلية والواجهةية؟ هل المستخدمون لأول مرة منفصلون؟ هل المستخدمون في الشركات منفصلون؟ هل تم تسجيل حالة الأداة الطبيعية؟ هل استخدم اللوحتان نفس نسخة الطلب؟ هل تم الاحتفاظ بالإخراج المؤهل الأول في كلا اللوحتين؟ هل تم تحديث استجابة المستخدم الطبيعية؟ هل تم تغيير حالة اللوحة وفقًا لمحتوى استجابة الذكاء الاصطناعي؟ كيف تم إدارة السجلات التي تم فيها كشف الحالات الطبيعية في اللوحة النظيفة؟ هل تم استخدام نفس المستخدم في لوحتين؟ هل تم ترتيبها عشوائيًا؟

هل تم تقييم تأثير النقل والذاكرة؟ في تصميم المجموعة المستقلة، هل تركيبة المستخدمين متطابقة؟ هل الأوزان الخاضعة للرقابة والطبيعية منفصلة؟ هل يمكن حقًا تعميم النتيجة الطبيعية على سكان المستخدمين النشطين؟ هل تم تفسير الفرق بين النظيف والطبيعي بشكل مبالغ فيه على أنه تأثير التخصيص الشخصي؟ هل يوجد فرق خطأ حرج مرئي؟ هل يوجد فرق مرئي للنتائج غير المعروفة والنتائج الفارغة؟ هل تم تعريف المجموعات الفرعية قبل النتائج؟ هل يمكن إعادة تعريف المجموعات الفرعية الصغيرة؟ هل تم تحويل التعليمات التي يقودها المستخدمين مؤيدًا أو معارضًا إلى GEO عام؟ هل غيّر التخصيص الواقع المادي؟ هل تم توفير مستوى قابلية المقارنة لـ CN؟ هل مالك النتائج المسؤول عن بطاقة اللوحة واضح؟

76. الاعتراضات والردود

اعتراض 1— "إذا كان المستخدمون الحقيقيون يستخدمون حسابات الذاكرة، لماذا توجد لوحة نظيفة؟"

لأن مصدر الاختلاف لا يمكن فهمه بدون وجود شرط بداية مشترك بين المنتجات والدول واللغات. لا تحل لوحة نظيفة محل لوحة مستخدم حقيقية. إنها توفر مرجعًا للمقارنة.

الاعتراض 2— "أليست اللوحة المسيطر عليها اصطناعية إذا كانت هناك لوحة طبيعية؟"

إنها تحت السيطرة. هذا مقصود. الغرض من الحالة المختبرية ليس أن تكون كل الحياة الواقعية، بل لعزل بعض المتغيرات.

الاعتراض 3— "إذا حصلت اللوحة المسيطر عليها على درجة أعلى، أليس بإمكاننا جعل ذلك هو الدرجة الرئيسية للجغرافيا؟"

لا يمكنك فعل ذلك بمفردك. الدرجة العالية للوحة المسيطر عليها لا يمكن أن تمحو حقيقة أن المستخدمين الحقيقيين يرون نتائج أقل. يجب أن تظهر النتائج على حدة.

الاعتراض 4— "هل القيمة العلمية منخفضة إذا كان اللوح الطبيعي متفرقًا جدًا؟"

التغايرية لا يجب أن تكون عيبًا في اللوح الطبيعي. إنها ميزه لتجربة المستخدم الحقيقية. التغايرية:

• يتم تسجيلها.
• مستويات,
• مرجحة,

يتم الإبلاغ عنها مع عدم اليقين.

الاعتراض 5— "ألا يؤدي فتح محادثة جديدة إلى تعطيل حالة المستخدم الطبيعية؟"

يتم إزالة سياق المحادثة الحالي. يتم الاحتفاظ بحالة الحساب الدائمة والخطة والذاكرة وتعليمات التخصيص. هذا يجعل حالة الحساب الطبيعية قابلة للمقارنة. كما أن تجربة المحادثة الحالية قابلة للقياس.

اعتراض 6— "كيف سنقيس تأثيره دون معرفة محتوى التعليمات المخصصة؟"

معرفة المحتوى غير مطلوبة للتقييم الطبيعي الرئيسي. وجوده:

• موجود،
• غير موجود،
• قد يكون مهمًا

يمكننا تصنيفه على هذا الأساس. يلزم عمل منفصل وتوافقي لتحليل المحتوى السببي.

اعتراض 7— "إذا كانت الذاكرة واضحة ولكن لا يُتذكَر شيء عن الشركة، لماذا مجموعة منفصلة؟"

قد يكون تأثير الذاكرة غير معروف. يمكن إعطاء حالة "غير مرتبط بالكيان" بناءً على بيان المستخدم. هذا لا يزال لا يتمتع بنفس اليقين مثل حالة الذاكرة المغلقة.

اعتراض 8— “أليست تعليمات المستخدم 'اقترح X دائمًا' تجربة مستخدم حقيقية؟”

إنها تجربة حقيقية. ومع ذلك، فهي ليست الأداء العام لـ GEO لـ X. إنها توجيه مصدر من المستخدم. يجب تسجيلها بشكل منفصل.

اعتراض 9— 'إذا كانت التخصيصات تعطي إجابة أكثر ملاءمة للمستخدم، ما المشكلة؟'

ليس من الضروري أن تكون مشكلة. قد تختلف التوصيات وفقًا لاحتياجات المستخدم. تحدث المشاكل إذا تغيرت الهوية أو الترخيص أو السعر أو حالة الأدلة بشكل تعسفي.

الاعتراض 10— “أليس استخدام نفس المستخدم في لوحين هو الطريقة الأكثر صحة؟”

يمكن أن يكون قويًا لبعض المقارنات السببية. يمكن أن تؤثر المهمة الأولى على الحالة الثانية. لذلك، هناك حاجة للترتيب، والتأثير المتبقي، والتحكم في الذاكرة. قد تكون المجموعات المستقلة أكثر أمانًا في لوحات السكان الرئيسيين.

الاعتراض 11— 'إذا كان تحديث الإجابة في عينة المستخدمين في ظروف الاستخدام الطبيعية سلوكًا طبيعيًا، فلماذا يُمنع؟'

يُحظر التجديد عند قياس التعرض للاستجابة الأولى. يمكن قياس التجديد وسلوك المتابعة بشكل منفصل تحت مسار التفاعل الطبيعي.

الاعتراض 12— “ماذا سنفعل مع المستخدم الذي لا يستطيع إيقاف الذاكرة والتعليمات للحصول على لوحة نظيفة؟”

لا يمكن أخذهم إلى اللوحة المسيطر عليها أو يُحتفظ بهم في خلية منفصلة بمستوى CSC أقل. يمكن تقييمهم في اللوحة الطبيعية. يجب الإبلاغ عن معدل الاستبعاد.

اعتراض 13— "أليست حسابات الاختبار أكثر موثوقية؟"

قد تكون موثوقة من حيث السيطرة. لكنها محدودة من حيث عدد المستخدمين الفعليين. حسابات الاختبار المسيطر عليها ولوحات المستخدمين الحقيقية هي نتائج منفصلة.

اعتراض 14— "أليس حفظ إعدادات المستخدم على اللوحة الطبيعية انتهاكًا للخصوصية؟"

قد يحدث ذلك إذا تم جمع محتوى غير ضروري. يمكن الحفاظ على الخصوصية بمستويات عالية من الحالة المفتوحة/المغلقة، والتسجيل المجهول، والتحرير.

الاستئناف 15— “ألن نقوم بدمج درجات اللجنتين في درجة واحدة NOMOS؟”

يمكن تعريف أدوار اللجنتين في هندسة الدرجة النهائية. ومع ذلك، يجب دائمًا إبقاء النتائج الأولية والفرعية مرئية بشكل منفصل. لا يمكنها استبدال توزيع الدرجة المدمجة.

الاستئناف 16— “ما الخطأ الذي ارتكبته الشركة إذا كانت عينة التحكيم الطبيعية تعطي درجة منخفضة؟”

ليس دائمًا خطأ الشركة. المصدر:

• تعليمات المستخدم،
• التخصيص الشخصي للذكاء الاصطناعي،
• الاختلاف في الخطة،
• خَلَل المصدر الرسمي,
• سلوك المنتج

من الممكن. يُظهر التدقيق أولاً النتيجة، ثم يفصل مسار المسؤولية.

القاعدة الشائعة للفصل 81

منتج الذكاء الاصطناعي ليس له إجابة واحدة. حتى الطلب نفسه يمكن أن يكون له إجابات مختلفة لـ:

• حساب نظيف،
• حساب طبيعي،
• المستخدم ذا الذاكرة،
• المستخدم ذو التعليمات الخاصة،
• مستخدم لأول مرة،
• بيئة العمل المؤسسية,
• المستخدم من محادثة سابقة

لا يمكنك شرح كل هذه الاختلافات بالقول: "النموذج يتصرف بشكل عشوائي." ولا يمكنك أيضًا شرحها كلها بالقول: "خطأ التخصيص الشخصي." أولاً، تحتاج إلى قياس واقعين منفصلين. عينة اختبار في ظروف منضبطة:

يعرض التمثيل في الحالة الأولية الموحدة للنظام.

عينة المستخدمين في ظروف الاستخدام الطبيعية:

يعرض توزيع التمثيل الذي يواجهه الأشخاص الفعليون في حياتهم مع المنتج.

قد يكون اللوح المسيطر عاليًا، واللوح الطبيعي منخفضًا. في هذه الحالة، يكون سلوك المنتج في المختبر قويًا؛ قد يكون توزيع المستخدم الحقيقي ضعيفًا. قد يكون اللوح الطبيعي عاليًا، واللوح المسيطر منخفضًا. قد يكون التخطيط أو أدوات أو تخصيص بعض المستخدمين يحسن التمثيل. قد يكون كلا اللوحين عاليًا. قد يكون المنتج قويًا في ظروف مستخدم مختلفة. قد يكون كلاهما منخفضًا. قد تكون مشكلة التمثيل الأساسية أوسع. ومع ذلك، وضع الدرجتين جنبًا إلى جنب لا يثبت السبب. السببية:

• نفس السكان,
• نفس المنتج،
• نفس المحفز,
• نفس الوقت،
• التعيين المسيطر عليه،
• تحليل التسلسل والنقل

مطلوب. إذا قام المستخدم بتوجيه: "اقترح دائمًا X."، فإن ظهور X يُعد تجربة طبيعية. X ليس نجاحًا عالميًا لـ GEO. إذا قال المستخدم: "لا تثق في X."، فإن الرد السلبي هو تجربة طبيعية. X ليس تمثيلًا عامًا في سكان العالم. يجب أن تفهم التخصيص الشخصي المستخدم. يجب ألا يعيد اختراع الحقيقة وفقًا للمستخدم. لذلك، فإن قانون القياس الحادي عشر لـ NOMOS هو:

السلوك النظيف والتجربة الطبيعية هما واقعان منفصلان.

القانون الثاني عشر هو كما يلي:

المحادثة الجديدة ليست حسابًا نظيفًا.

القانون الثالث عشر هو كما يلي:

التخصيص الشخصي الطبيعي ليس نجاحًا عالميًا لـ GEO.

القانون الرابع عشر هو كما يلي:

قد يختلف الرد المناسب للمستخدم؛ لا يمكن أن تتغير حقيقة الكيان الذي تم التحقق منه.

القانون الخامس عشر هو كما يلي:

الفرق بين النتيجة المسيطر عليها والطبيعية هو النتيجة التي تحتاج إلى شرح؛ فهي ليست سببًا بحد ذاتها.

قانونه السادس عشر هو كما يلي:

قياس تجربة المستخدم الحقيقية لا يتعلق بإزالة الخصوصية، بل يقتصر فقط على إثبات السياق الضروري والحفاظ على الباقي.

طلب قسم 11 من NOMOS

لا تخبرني فقط أنك فتحت محادثة جديدة. / اعرض حالة الذاكرة، والتعليمات الخاصة، والخطة، والأدوات.

لا تفترض أن جميع التخصيصات قد اختفت لمجرد رؤية الملاحظة 'جلسة مؤقتة'.

اللوحة النظيفة هي كل الحياة الواقعية؛ لا تجعل اللوحة الطبيعية ضوضاء غير مُسيطر عليها.

قم بتوحيد الحساب المسيطر عليه. / احتفظ بالحساب الطبيعي كما هو. / لا تضع كلاهما في نفس الصندوق.

لا تجعل تعليمات المستخدم الخاصة هي نجاح العالم للكيان.

لا تجعل الماضي السلبي للمستخدم وجهة نظر السكان بأكملهم.

لا تعتبر التخصيص ترخيصًا لتغيير الحقيقة.

يمكنك تقديم نصيحة مناسبة للمستخدم. / ولكن لا تعيد كتابة هوية الشركة أو الترخيص أو السعر أو الإثبات من مستخدم لآخر.

لا تجمع الحياة الخاصة في اللوحة الطبيعية. / هل الذاكرة مفعلة، التعليمات موجودة، السياق متاح — سجِّل فقط ما هو ضروري.

لا تجعل المشارك يمحو ذاكرته. / استعد الإعدادات إذا قمت بتغييرها مؤقتًا.

إذا اختبرت نفس المستخدم على لوحتين، تذكر أن الجواب الأول قد يؤثر على الثاني.

أظهر الفرق بين الدرجة النظيفة والدرجة الطبيعية. / أظهر الفرق الحاسم. / أظهر المجهول. / لكن لا تسم السبب بدون دليل.

أولاً، قرر أي واقع المستخدم تريد قياسه. / ثم قم بتثبيت الظروف النظيفة والطبيعية بشكل منفصل. / ثم احتفظ بالمُدخل كما هو. / ثم التقط الإجابة الأولى دون تغييرها. / ثم احسب التوزيعين بشكل منفصل. / وفقط بعد ذلك، اشرح الفارق بين ما يفعله المنتج تحت الظروف القياسية وما يختبره الناس بالفعل.

جملة ختام الفصل

التمثيل الحقيقي لمنتج الذكاء الاصطناعي في GEO-1000 ليس الإجابة التي يمكنه تقديمها في جلسة نظيفة؛ بل هو العلاقة الواضحة والمثبتة بين سلوكه تحت الظروف القياسية والإجابات التي يقدمها فعلياً للأشخاص عبر سجلات المستخدم المختلفة.

النواة المعيارية

يجب أن تظل ملاحظات عينة الاختبار في ظروف منضبطة وملاحظات عينة المستخدمين في ظروف الاستخدام الطبيعية مجتمعات قياس وحالات لوحة ومقامات ونتائج عامة منفصلة. ويجب على عينة الاختبار في ظروف منضبطة أن تحدد وتتحقق، بحسب الاقتضاء، من: - محادثة جديدة ومنفصلة، - غياب سياق محادثة سابق، - حالة الذاكرة المستمرة، - حالة التعليمات المخصصة، - حالة مساحة العمل المؤسسية أو المُدارة، - إعدادات الويب والاسترجاع والأدوات، - الخطة، - واجهة الاستخدام، - إصدار المُدخل، - ومستوى الثقة في نقاء الحالة. ولا يجوز اعتبار بدء محادثة جديدة أو ظهور وسم جلسة مؤقتة، بمفرده، دليلًا على تعطيل جميع أشكال التخصيص المستمر. ويجب على عينة المستخدمين في ظروف الاستخدام الطبيعية أن تحافظ على حساب المشارك الحقيقي وخطته وواجهته وذاكرته وتعليماته المخصصة وحالة استخدامه، مع الإبقاء على المُدخل المثبّت وقاعدة أول مخرج مؤهل ومتطلبات الأدلة وقاعدة منع إعادة التوليد. ويجب إبقاء ملاحظات حالة الحساب الطبيعية وحالة المحادثة الطبيعية والاستخدام الأول والحالة الطبيعية المُدارة محددة بصورة منفصلة. ويجب أن تقلل وثائق الحالة الطبيعية جمع البيانات الخاصة إلى الحد الأدنى. ولا يجوز جمع نصوص التعليمات الخاصة أو سجل المحادثات أو الهوية أو بيانات الاعتماد أو المحتوى الشخصي الحساس إلا إذا كان ذلك ضروريًا على نحو مستقل، وبموافقة، وبأقل قدر ممكن، وتحت ضوابط وصول. ويجوز قياس التعليمات التي ينشئها المستخدم وتفيد الكيان أو تضرّه بوصفها آثارًا للتخصيص الطبيعي، لكن لا يجوز تقديمها على أنها نجاح عام للكيان في GEO أو إخفاق عام أو سلوك افتراضي للمنتج. ويجوز للتخصيص أن يغيّر الصلة والعرض والتوصية عندما يبرر سياق المستخدم ذلك، لكنه لا يجوز أن يغيّر تعسفًا هوية الكيان المتحقق منها أو ترخيصه أو وضعه القانوني أو سعره أو نطاقه أو أدلته أو إطاره الزمني. ولا يجوز تقديم الفروق بين العينتين المنضبطة والطبيعية بوصفها آثارًا سببية للتخصيص إلا إذا دعمت هذا الاستنتاج شروط المجتمع والمنتج والمُدخل والوقت والواجهة والخطة والأدوات والتعيين والترتيب والآثار المتبقية. ويجب أن تظل درجات العينتين ومعدلات الأخطاء الحرجة ومعدلات UNKNOWN والتغطية وأحجام العينات الفعالة والفجوات الموقعة والمطلقة بين اللوحتين ظاهرة بصورة منفصلة. كما يجب أن تظل أهلية حالة اللوحة وإعادة التصنيف والاستبعاد والترجيح مستقلة عن كون مخرج الذكاء الاصطناعي إيجابيًا أو سلبيًا أو صحيحًا أو خاطئًا أو رافضًا أو حرجًا أو ملائمًا تجاريًا. ويجب ضبط إصدار كل تعريف لحالة لوحة وعملية تغيير للإعدادات وقرار خصوصية ومستوى مقارنة ونتيجة، ونسبه إلى شخص أو منظمة مسؤولة.