سجل أنظمة الذكاء الاصطناعي وقابلية المقارنة

حد الفصل

الفصول الثمانية الأولى أرست ما يلي: الاستجابة الفردية ليست درجة GEO؛ التمثيل هو توزيع؛ يجب التعرف على الكيان الذي تم تدقيقه قبل ملاحظة النتائج؛ يجب أن يظل التمثيل الرسمي وواقع الكيان الموثق منفصلين؛ يجب تعريف مجموعة المستخدمين المؤهلة لكل منتج ذكاء اصطناعي؛ يجب تخصيص الملاحظات الصالحة 1,000 من خلال تصميم عينة قائم على السكان؛ يجب أن تظل البلدان واللغات الأصغر مرئية من خلال لوحات تكميلية؛ ويجب أن تظل عملية اختيار المشاركين والاستبعاد والوزن مستقلة عن محتوى الاستجابة. يجب علينا الآن تعريف اعيناتب الآخر من التجربة:

أي نظام ذكاء اصطناعي يقيسه المشاركون بالفعل؟

اسم المزود؟ نموذج أساسي؟ منتج محادثة؟ واجهة ويب مجانية؟ تطبيق جوال مدفوع؟ جلسة مع تمكين البحث على الويب؟ وضع استجابة لا يستشهد بالمصادر؟ مساحة عمل للشركات مدعومة بالبيانات الداخلية؟ حساب مع تمكين الذاكرة؟ محادثة مؤقتة أم نظيفة؟ هل واجهات المستخدم المختلفة لنفس المزود هي نفس النظام؟ هل يجب قياس منتجين يستخدمان نفس عائلة النماذج بنفس الطريقة؟ حتى لو أظهر المنتج نفس اسم النموذج على الشاشة:

• الاسترجاع،
• اختيار المصادر،
• قواعد الأمان،
• التخصيص،
• الوصول إلى الأدوات،
• الميزات التجريبية

إذا تغير، هل يمكن مقارنة النتائج؟ عندما يتم تحديث منتج الذكاء الاصطناعي في منتصف موجة القياس، هل يمكن اعتبار الردود الأولى والأخيرة في الموجة أنها جاءت من نفس النظام؟ مستخدم لديه:

• البحث على الويب مفعل،
• الذاكرة مفعلة،
• لديه محادثات سابقة،
• خطة مدفوعة

الردود؛ مستخدم آخر:

• البحث متوقف،
• الذاكرة متوقفة،
• جلسة جديدة،
• خطة مجانية

هل يمكن دمجه في نفس الخلية مع إجابته؟ لا. مبدأ القياس الذي وضعته الأقسام السابقة واضح: لا يوجد "ذكاء اصطناعي" واحد؛ ففهرس البحث، ونظام الاسترجاع، وإعادة الترتيب، ونموذج اللغة، وطبقة الاقتباس، ونظام الأمان قد تتصرف بشكل مختلف. نفس الإطار يتطلب أن يحتوي كل نتيجة قابلة للمراجعة على:

• النموذج أو المنتج،
• تاريخ،
• البلد،
• اللغة،
• مجموعة الاستعلامات،
• عدد التكرارات،
• سجل القياس

هذا القسم يطبق تلك المبادئ داخل سجل نظام الذكاء الاصطناعي. هذا القسم:

• التمييز بين المزود، المنتج، النموذج، و واجهة المستخدم
• مثال منتج الذكاء الاصطناعي,
• مستويات ثقة هوية النموذج،
• استرجاع وتكوينات الأدوات،
• حالات الذاكرة والتخصيص،
• الفروق في الخطة والواجهة والميزات التجريبية،
• تغييرات المنتج،
• تكوين النظام في وقت القياس،
• مستويات القابلية للمقارنة بين المنتجات،
• مقارنات نطاق الوصول الطبيعي و قاعدة المقارنة المشتركة،
• انحراف الإصدار مع مرور الوقت،

يحدد. هذا الفصل لم يتطرق بعد إلى:

• نظام الترجمة الكاملة ومعادلة الدلالات للمحفزات،
• جميع تفاصيل لوحات المستخدمين المسيطر عليها والطبيعية,
• برمجيات NOMOS وهندسة البرمجيات الخاصة بها،
• تقييم الادعاءات الذرية للردود،
• المعاملات النهائية للنموذج وصيغة تقييم NOMOS

لا تُنهى. السؤال الرئيسي في القسم 9 هو:

قبل مقارنة ردين من نفس صياغة المُدخل، كيف نثبت أن هذه الردود تأتي فعليًا من ظروف منتج ذكاء اصطناعي قابلة للمقارنة؟

NOMOS التحدي

مستخدمان لنفس المزود يسألان نفس السؤال: "ما نوع الشركة Apple.com؟"، المستخدم الأول:

• يستخدم المنتج المجاني على الويب،
• يفتح دردشة جديدة،
• وقد أوقف الذاكرة.
• لا يمتلك الوصول إلى الويب،

يتلقى إجابة فقط باستخدام قدرة المعرفة المدمجة في المنتج. المستخدم الثاني:

• باستخدام منتج محمول مدفوع،
• الذاكرة مفعلة،
• قد تحدث سابقًا عن Apple،
• البحث على الويب مفعل،

يتلقى إجابات مع مصادر حالية واستشهادات. الإجابة الأولى: "Apple هي شركة تكنولوجيا تنتج الإلكترونيات الاستهلاكية." الإجابة الثانية: "Apple هي شركة تكنولوجيا عالمية تقدم الأجهزة والبرمجيات والخدمات الرقمية. يمكنك الاطلاع على معلومات الشركة الحالية في هذه المصادر." كلا الإجابتين تأتيان من نفس المزود.

هل هذه نتيجة لنفس النظام؟ لا. الآن فكر في مستخدمين آخرين. كلاهما يرى نفس اسم النموذج على الشاشة. في بلد أحد المستخدمين، الميزة على الويب مفعلة. في بلد المستخدم الآخر، الميزة مطفأة. في إجابة أحد المستخدمين، الروابط المصدرية مرئية. واجهة المستخدم الأخرى لا تظهر الاقتباسات حتى لو كانت تستخدم نفس المصادر. هناك نفس تسمية النموذج.

هل هناك نفس خلية القياس؟ لا. الآن ضع في اعتبارك منتجين من مزودين مختلفين. كلاهما:

• دردشة جديدة
• الذاكرة متوقفة،
• نفس اللغة،
• نفس الدولة،
• نفس نافذة الوقت،
• تم تمكين الوصول إلى الويب,
• نفس إصدار صياغة المُدخل

يتم قياسها تحت هذه الظروف. وهي مبنية على نماذج أساسية مختلفة. هل يمكن مقارنتها؟ نعم، يمكن مقارنتها من حيث نتيجة مستخدم محددة. لأن موضوع المقارنة هو:

وليس ما إذا كانت تستخدم نفس النموذج الأساسي، بل ما التمثيل الذي تنتجه تحت نفس شرط المستخدم المحدد.

الآن، دع نسخة المنتج تبقى دون تغيير لأول 500 من ملاحظات موجة القياس. خلال الملاحظات 500 التالية، يقوم المزود:

• بتغيير نظام الاسترجاع،
• قواعد الأمان،
• واجهة المستخدم

يقول التقرير وحده: "اختبر مستخدمو 1,000 نفس منتج الذكاء الاصطناعي." في الواقع، قد يكون تم قياس حالتين مختلفتين للمنتج. النص الأول من هذا القسم هو كما يلي:

اسم المزود غير كافٍ لتحديد نظام الذكاء الاصطناعي المقاس.

ينص حكمه الثاني على:

اسم النموذج ليس هو كل سلوك المنتج الذي يصل إلى المستخدم.

تنص الفقرة الثالثة منه على:

نفس المزود، نفس تسمية النموذج، أو نفس الشعار لا يضمنان القابلية للمقارنة.

تنص المادة الرابعة على:

قد تكون المزودات المختلفة قابلة للمقارنة من حيث نتائج المستخدم إذا كانت شروط القياس متطابقة بشكل كافٍ.

تنص أحكامه الخامسة على:

إذا تغير المنتج ماديًا أثناء القياس، فلا يمكن الإبلاغ عنه كنظام ثابت واحد.

1. غرض الفصل

الغرض من هذا القسم هو تحديد منتج الذكاء الاصطناعي الذي تم تدقيقه ضمن GEO-1000 مع جميع تكويناته المادية وتحديد الشروط التي يمكن بموجبها مقارنة نتائج المنتجات المختلفة. يُوحد هذا القسم التمييزات التالية:

• المزود ومنتج الذكاء الاصطناعي
• منتج الذكاء الاصطناعي والنموذج الأساسي
• عائلة النموذج والنشر المحدد
• تصنيف النموذج وهوية النموذج الموثق
• واجهة المستخدم وواجهة برمجة التطبيقات (API)
• المنتج الويب والمنتج المحمول
• الخطة المجانية والخطة المدفوعة
• المنتج الاستهلاكي والمنتج المؤسسي
• الإجابة الأساسية للنموذج والإجابة المحسّنة باسترجاع المعلومات
• البحث المباشر على الويب مع الاسترجاع
• عرض الاقتباس مع استخدام المصدر
• استخدام الأداة مع الوصول إلى الأداة
• سياق الجلسة مع الذاكرة
• سياسة النظام مع التعليمات المخصصة
• الواقع المادي مع التخصيص
• دردشة مؤقتة مع محادثة جديدة
• حالة المنتج مع مرور الوقت مع اسم المنتج الثابت
• تغير السلوك الملحوظ مع التحديث المعلن من مزود الخدمة
• مقارنة بين نطاق الوصول الطبيعي و قاعدة المقارنة المشتركة
• مثال على منتج قابل للمقارنة ضمن نفس عائلة المنتجات
• نتيجة المستخدم مقابل القدرة المجردة داخل النموذج
• غياب المنتج مقابل فشل المنتج
• الخطأ الفني مقابل الرفض الفعلي
• نفس صياغة المُدخل مقابل نفس التجربة
• نفس المتوسط مقابل نفس سلوك النظام
• لقطة فورية للمنتج مقابل أدائه على المدى الطويل

في نهاية هذا القسم، يجب أن تكون كل مراجعة GEO-1000 قادرة على الإجابة على الأسئلة التالية:

أي مزود وأي منتج، وأي واجهة، وأي خطة، وأي تكوين تم قياسه؟

إلى أي مدى تم التحقق فعليًا من اسم الطراز الذي ظهر على الشاشة؟

ما حالة الويب، والاسترجاع، والاستشهاد، والذاكرة، والتخصيص، والأدوات؟

هل ظل المنتج كما هو طوال فترة القياس؟

على أي مستوى من المقارنة تم وضع نتيجتي المنتج جنبًا إلى جنب؟

هل الشيء الذي يتم مقارنته هو الطراز الأساسي، المنتج الاستهلاكي، واجهة المستخدم، أم سلسلة النظام بأكملها؟

2. الأحكام المعيارية المركزية

يجب ربط كل ملاحظة GEO-1000 ليس فقط باسم المزود أو النموذج؛ بل يجب ربطها بسجل مسجل نظام الذكاء الاصطناعي المؤرّخ الذي يحدد مثيل منتج الذكاء الاصطناعي وقت القياس.

يجب أن يحمل مثيل منتج الذكاء الاصطناعي على الأقل الحقول التالية قدر الصلة:

• المزود
• اسم المنتج
• واجهة المستخدم
• نوع المنتج
• الخطة أو فئة الحساب
• العلامة النموذجية الظاهرة
• مستوى الثقة في معرف النموذج
• إصدار المنتج أو النشر
• الدولة والموقع
• اللغة
• الوصول عبر الويب أو الاسترجاع
• ميزة الاستشهاد
• الوصول إلى الأدوات
• حالة الذاكرة
• حالة التعليمات المخصصة
• سياق الدردشة السابقة
• نوع الجلسة
• حالة التخصيص
• وضع الأمان أو السياسة، إذا كان معروفًا
• الميزات التجريبية
• تاريخ القياس والوقت UTC
• موجة القياس
• سجل تغييرات المنتج
• الثقة في الأدلة والسجلات

عندما يتغير أي من هذه الحقول بشكل جوهري:

• نسخة جديدة من منتج الذكاء الاصطناعي,
• خلية تجريبية جديدة,
• نسخة تحليلية جديدة

قد يكون مطلوبًا.

3. "نظام الذكاء الاصطناعي" ليس كائنًا واحدًا [K02; K03]

في هذه البروتوكول، "نظام الذكاء الاصطناعي" هو مصطلح عام ومرتفع المستوى. يمكن أن ينشأ استجابة مستخدم حقيقية من خلال الجمع بين عدة طبقات. سلسلة المرشح:

R= F(M, O, K, Q, T, P, S, U, C, L, t)

هنا:

• M: نموذج أساسي أو إرشادي
• O: طبقة تنسيق المنتج
• K: طبقة استرجاع أو مصدر المعرفة
• Q: إعادة الترتيب واختيار المصدر
• T: الأدوات
• P: طبقة السياسة والأمان
• S: الجلسة، الذاكرة، والتخصيص
• U: حساب المستخدم والخطة
• C: الدولة والمنطقة
• L: اللغة
• t: الوقت

الاستجابة التي يراها المستخدم:

R

الاستجابة المرئية للمستخدم ليست بالضرورة نتيجة النموذج الأساسي وحده. لذلك، فإن الكائن الرئيسي الموجه للمستهلك الذي يتم قياسه بواسطة GEO-1000 هو:

سلوك المنتج المقدم للمستخدم، وليس تجريد النموذج.

يمكن أيضًا إجراء بحث في واجهة برمجة التطبيقات أو النموذج بشكل مُسيطر عليه. هذه ليست نفس النتيجة التي تظهر في لوحة المستهلك الرئيسية.

4. سبع طبقات لهوية نظام الذكاء الاصطناعي

يجب تعريف كل نظام ذكاء اصطناعي مُدقق عبر سبع طبقات، بقدر ما تكون كل طبقة ذات صلة.

4.1. طبقة المزود

المنظمة التي تنشر أو تدير المنتج. اسم المزود:

• ليس هو نفسه معرّف المنتج،
• معرّف النموذج،
• واجهة المستخدم

يمكن للمزود تقديم أكثر من منتج واحد. داخل نفس المنتج، يمكن استخدام أكثر من نموذج أو نظام تنظيم.

4.2. طبقة المنتج

المنتج التجاري أو الاستهلاكي أو المؤسسي أو التقني الذي يصل إليه المستخدم. أنواع أمثلة:

• منتج الدردشة العامة
• منتج الإجابة بمساعدة البحث
• مساحة عمل المؤسسات
• المنتج التعليمي
• المساعد المدمج
• واجهة برمجة التطبيقات للمطورين
• منتج مخصص قائم على المعرفة

اسم المنتج وحده لا يصف التكوين الكامل.

4.3. طبقة واجهة المستخدم

إنها الواجهة التي يتفاعل من خلالها المستخدم مع المنتج. ويب الجوال سطح المكتب امتداد المتصفح تكامل نظام التشغيل واجهة مدمجة ضمن المنصة

واجهة برمجة التطبيقات (API)

بوابة المؤسسة واجهات مختلفة لنفس المنتج:

• ميزات مختلفة
• نموذج مختلف،
• تمثيل مصدر مختلف،
• ذاكرة مختلفة

قد يتم استخدامها.

4.4. طبقة النموذج أو محرك الاستدلال

إنه النموذج أو عائلة النماذج أو نظام التوجيه المستخدم في توليد الاستجابة. معرف النموذج:

• مفتوح،
• مرئي جزئياً،
• غير معروف،
• ديناميكي

من الممكن. يمكن للمنتج توجيه استفسار المستخدم إلى نماذج مختلفة. في هذه الحالة، لا يمكن القول: 'تم قياس نموذج ثابت واحد.'

4.5. طبقة التنسيق والمعلومات

قد تتضمن ما يلي:

• الاسترجاع
• البحث المباشر على الويب
• البحث الداخلي
• تصنيف المصادر
• إعادة التصنيف
• اختيار الاستشهاد
• استدعاء مركبة
• إعادة صياغة الاستعلام
• تمزيق المستندات
• دمج الإجابات

هذه الطبقة لها أهمية أساسية لتمثيل GEO. لأنها يمكن أن تؤثر على أي سجل:

• يتم الوصول إليه،
• يتم اختياره،
• يتم تضمينه في الاستجابة،
• يتم عرضه كمرجع

يمكن التأثير عليه.

4.6. طبقة السياسة والتخصيص

قد تتضمن ما يلي:

• قواعد الأمان
• تعليمات النظام
• سياسة المنتج
• الذاكرة
• تعليمات خاصة
• تاريخ المستخدم
• القواعد الإقليمية
• العمر أو فئة الحساب
• إعدادات مسؤول الشركة

تؤثر هذه الطبقة على:

• نطاق الاستجابة،
• نغمتها،
• رفضها،
• توصيتها

يمكن أن تتغير.

4.7. طبقة التوزيع والزمن

يشير إلى أي مما يلي يكون المنتج خاضعًا له في لحظة معينة:

• ذات معنى مع
• ميزة تجريبية،
• التوزيع الإقليمي،
• قطاع المستخدمين،
• اختبار A/B

يمكن أن يكون لاسم المنتج نفسه شروط توزيع مختلفة لمستخدمين مختلفين في نفس اليوم.

5. مثال على منتج ذكاء اصطناعي

وحدة النظام الأساسية داخل GEO-1000:

مثال منتج ذكاء اصطناعي

المصطلح التشغيلي القياسي:

مثال منتج ذكاء اصطناعي

يتم تعريف مثال منتج ذكاء اصطناعي على أنه:

A_i= (v, p, s, r, m, k, t, x, u, c, l, ω)

يمكن تمثيله كالتالي. هنا:

• v: المزود
• p: المنتج
• s: واجهة المستخدم
• r: خطة أو فئة الحساب
• m: معرف النموذج أو العلامة
• k: الاسترجاع وهيكلة المعلومات
• t: تكوين الأداة
• x: الذاكرة، التخصيص، وحالة الجلسة
• u: فئة إعداد المستخدم أو المؤسسة
• c: الدولة والمنطقة
• l: اللغة
• ω: الوقت، النشر، وحالة الميزات التجريبية

ملاحظة: يجب ربط Oj بعينة منتج Ai محددة.

6. الفرق بين عينة المنتج واسم المنتج

يمكن تثبيت اسم المنتج. قد تختلف عينة المنتج. مثال: دع اسم منتج Orion AI يبقى بدون تغيير. ومع ذلك، هذان القياسان هما عينتان مختلفتان للمنتج:

عينة المنتج 1

خطة Web Free الذاكرة مغلقة الوصول إلى الويب مغلق محادثة جديدة تركية تركيا Wave 1

عينة المنتج 2

خطة Mobile Paid الذاكرة مفعلة الوصول إلى الويب مفعل سياق المحادثة السابقة متاح تركية تركيا Wave 1 يمكن أن توجد هذه تحت نفس العلامة التجارية. إنهما ليسا نفس الخلية التجريبية.

7. مستويات الثقة في هوية الطراز

لا يمكن دائمًا معرفة اسم الطراز بنفس درجة اليقين. لذلك، يمكن تسجيل هوية الطراز بالمستويات التالية.

MI-0— نموذج غير معروف

غير معروف أي طراز أو عائلة طراز يستخدمها المنتج. النتيجة تُنسب فقط إلى واجهة المنتج.

MI-1— الملصق المعروض للمستخدم

يكون ملصق الطراز مرئيًا في واجهة المستخدم. يتم تسجيل الملصق. لا يُفترض أنه يتحقق بالكامل من نشر الخلفية.

MI-2— عائلة الطراز الموثقة من قبل المزود

توصف وثائق المنتج الخاصة بالمزود عائلة نموذج محددة أو علاقة المنتج-النموذج. قد يظل من غير المعروف ما إذا كانت الملاحظة الفردية موجهة بدقة إلى ذلك النموذج.

MI-3— النشر المؤكد للجلسة

تتحقق الجلسة من توزيع محدد لواجهة برمجة التطبيقات أو بيانات المنتج الموثوقة.

MI-4— نقطة النهاية أو النشر المحدد بالإصدار

يمكن تسجيل إصدار محدد، أو نقطة نهاية، أو معرف نشر. إنه أقوى للمقارنة الخاضعة للرقابة.

MI-5— نموذج مجمد قابل لإعادة الإنتاج

هناك نموذج ثابت وقابل لإعادة الإنتاج أو هيكلية للنشر. قد يكون نادراً في المنتجات الاستهلاكية الحية. إذا كانت ثقة معرف النموذج منخفضة، يجب نسب النتيجة:

إلى سلوك المنتج

لا يمكن نسبها بشكل قاطع إلى نموذج محدد.

8. حد اسم النموذج الظاهر

رؤية اسم النموذج في واجهة المستخدم أمر ذو قيمة. ومع ذلك، قد تظل الأسئلة التالية مفتوحة: هل يتم توجيه جميع الاستفسارات إلى نفس النموذج؟ هل يتغير النموذج حسب صعوبة الاستفسار؟ هل تستخدم الأمان أو الاسترجاع نموذجًا منفصلًا؟ هل يطبق المزود نفس التصنيف على التوزيعات المختلفة؟ هل يشير تصنيف النموذج فقط إلى عائلة المنتج؟ هل المستخدم جزء من تجربة تجريبية؟ لذلك، قد يكون التقرير الصحيح: “تم عرض تصنيف النموذج X في واجهة المستخدم.” بدون دليل أقوى، لا ينبغي استخدام الجملة التالية: “جميع الاستجابات يتم إنشاؤها بالتأكيد بواسطة النموذج X وحده.”

9. نوع المنتج

يجب تصنيف كل منتج ذكاء اصطناعي بنوع أساسي وأنواع ثانوية.

PT-1— منتج المحادثة العامة

إنه منتج للمحادثة العامة والإجابة على الأسئلة.

PT-2— منتج قائم على البحث أو الاسترجاع

يُعد البحث أو الاسترجاع مكونًا أساسيًا في توليد الإجابات.

PT-3— منتج معرفة الشركات

يمكنه استخدام المستندات الداخلية أو مساحات العمل أو مصادر البيانات الخاصة.

PT-4— مساعد مدمج

إنه مدمج في منتج أو منصة أخرى.

PT-5— منتج للمطورين أو API

يستخدمه المطور أو التطبيق بدلاً من المستخدم النهائي.

PT-6— منتج متخصص في مجال معين

تم تصميمه لمهنة أو صناعة محددة.

PT-7— منتج متعدد الوسائط

تشمل المدخلات غير النصية، مثل المدخلات البصرية أو الصوتية أو المستندية، جزءًا من التجربة الرئيسية. يمكن أن يحمل المنتج أكثر من نوع واحد. يجب إجراء المقارنة ضمن نفس النوع أو ضمن نطاق صريح.

10. سجل واجهة المستخدم

يجب تسجيل السطوح المختلفة لنفس المنتج بشكل منفصل. مناطق الواجهة:

• معرّف الواجهة
• الويب / الهاتف المحمول / سطح المكتب / واجهة برمجة التطبيقات
• نسخة التطبيق
• نظام التشغيل، إن وجد
• المتصفح، إذا كان ذلك ممكنًا
• لغة المنتج
• اختيار الطراز المرئي
• توفر الأدوات
• عرض الاستشهاد
• ميزة تحميل الملفات
• إعدادات الذاكرة
• إعدادات إدارة الشركة
• الميزات التجريبية
• وقت القياس

إذا وُجد أن واجهتي الويب والجوال متشابهتان جوهريًا، يمكن دمج النتائج. لا يجب افتراض هذه المساواة؛ يجب اختبارها.

11. خطة وفئة الحساب

قد يحتوي نوع الخطة على ميزات يمكن أن تؤثر على استجابة المستخدم. حالات الخطة:

• مجاني
• فرد مدفوع
• مهني
• شركة
• التعليم
• مطور
• تجريبي
• دعوة أو وصول محدود
• غير معروف

قد تختلف الخطط في المجالات التالية:

• النموذج
• حد الاستخدام
• الوصول إلى الويب
• الذاكرة
• الأدوات
• الاستشهاد بالمصدر
• طول الاستجابة
• السرعة أو الأولوية
• بيانات المؤسسات
• إعدادات الأمان والاحتفاظ

إذا لم تتوفر معلومات عن الخطة:

PLAN_UNKNOWN

يجب استخدام الحالة. لا يمكن دمج النتائج المجانية والمدفوعة بصمت كسلوك منتج واحد.

12. الاسترجاع والوصول إلى الويب

يمكن توليد استجابة الذكاء الاصطناعي في واحدة من ثلاث حالات معرفية أساسية.

KG-0— وضع المعرفة غير المحدد

لا يمكن تحديد حالة الاسترجاع أو استخدام الويب.

KG-1— استجابة داخلية للنموذج

استجابة معروفة أو مفترض بقوة أنها لا تستخدم معلومات حية أو خارجية.

KG-2— استجابة مدعومة بالاسترجاع

قد يكون الاسترجاع قد تم استخدامه من مصادر مفهرسة مسبقًا أو من داخل المنتج.

KG-3— استجابة مباشرة عبر الويب أو بمساعدة البحث

تم استخدام الوصول إلى الويب/البحث في الوقت الفعلي أو القريب من وقت القياس.

KG-4— استجابة قائمة على المعرفة الخاصة

تم استخدام مصدر بيانات خاص قدمته المؤسسة أو المستخدم.

KG-5— استجابة هجينة أو متعددة المصادر

تم استخدام طبقات متعددة من المعلومات معًا. قد تنتج هذه الأنماط نتائج مختلفة في نفس المُدخل. يجب تمييزها بوضوح عند المقارنة.

13. الوصول للاسترجاع ليس هو نفسه استخدام الاسترجاع

قد يحتوي المنتج على ميزة البحث على الويب. ومع ذلك، قد لا يكون قد تم استخدامها في الإجابة المحددة. يجب تسجيل ثلاثة حقول بشكل منفصل: هل كانت الميزة متاحة؟ هل كانت الميزة مفعلة أو قابلة للتحديد؟ هل هناك دليل على أنه تم استخدامها في الإجابة المحددة؟ أمثلة على الحالات:

متاحة_لم تُستخدم

AVAILABLE_USAGE_UNKNOWN

مستخدمة_مؤكد

غير متاحة

معطلة

مجهول

وجود رابط مصدر بحد ذاته يمكن أن يكون مؤشراً قوياً على الاستخدام. عدم وجود رابط مصدر لا يثبت بالضرورة أن الاسترجاع لم يُستخدم.

14. طبقة الاقتباس

استخدام المصدر ليس هو نفسه عرض الاستشهاد. قد:

• يستخدم المنتج مصدرًا لكنه قد لا يعرضه،
• قد يعرض المنتج استشهادًا لكن الاستشهاد قد لا يدعم الادعاء،
• قد يربط المنتج نفس المصدر بجمل مختلفة,

يمكن للمستخدم إخفاء الاقتباس وفقًا لـ واجهة المستخدم. يجب أن يحتوي سجل الاقتباس على الحقول التالية: هل ميزة الاقتباس متاحة؟ هل تم عرض الاقتباس في الاستجابة المحددة؟ عدد الاقتباسات أسماء حقول المصدر تطابق الاقتباس–الادعاء الرؤية على واجهة المستخدم إمكانية توسيع الاقتباس إمكانية الوصول إلى المصدر وقت إنشاء الاقتباس المنتجات التي تعرض الاقتباسات والتي لا تعرضها لا يمكن مقارنتها مباشرة من حيث "عدد المصادر". أولاً، يجب شرح سلوك المنتج واختلافات الواجهة.

15. الوصول إلى الأدوات

قد يصل منتج الذكاء الاصطناعي إلى الأدوات التالية:

• بحث الويب
• المتصفح
• الآلة الحاسبة
• تنفيذ الكود
• قراءة الملفات
• خريطة
• تقويم
• قاعدة المعرفة المؤسسية
• كتالوج المنتجات
• واجهات برمجة التطبيقات الأخرى

قد يؤثر الوصول إلى الأدوات على ردك:

• مدى حداثته,
• الأدلة.
• نطاق الاستجابة،
• الدقة

سجل الأدوات:

• ما إذا كانت الأداة متاحة,
• ما إذا كانت نشطة,
• ما إذا تم استخدامها في الرد,
• ما إذا تم الاحتفاظ بنتيجة الأداة

يجب عرضها.

16. الذاكرة، التعليمات الخاصة، والتخصيص الشخصي

قد تتأثر الاستجابة المرئية للمستخدم بالحقول التالية:

• الذاكرة الدائمة
• سجل الدردشة
• تعليمات خاصة
• اسم المستخدم أو الملف الشخصي
• المحادثات السابقة مع العلامة التجارية
• التفضيلات
• الدولة والموقع
• إعدادات مساحة العمل المؤسسية
• التقسيم الذي يقوم به المزود

يجب تسجيل هذه الحقول في ثلاث طبقات منفصلة.

16.1. التخصيص الدائم

المعلومات المحمية عبر الحسابات أو الجلسات.

16.2. سياق المحادثة

الرسائل السابقة ضمن الدردشة الحالية.

16.3. النظام أو الإعداد التنظيمي

مسؤول أو تعليمات المنتج التي قد لا يراها المستخدم. المعلومات الكاملة قد لا تكون متاحة دائمًا. يجب تسجيل الحالات غير المعروفة صراحة.

17. أنواع الجلسات

حالات جلسة المرشح:

ST-1— محادثة قياسية جديدة

محادثة قياسية جديدة. يتم تسجيل الذاكرة أو التعليمات الخاصة بشكل منفصل.

ST-2— محادثة مؤقتة أو زائلة

جلسة مؤقتة يُقصد فصلها عن السجل الدائم. يجب التحقق من الميزات الفعلية في سجل المنتج.

ST-3— محادثة قائمة

هناك سياق محادثة سابقة. قد يكون ذا قيمة للوحة الطبيعية. يتم الاحتفاظ به بشكل منفصل في اللوحة المتحكمة.

ST-4— جلسة مساحة عمل للمؤسسة أو مشتركة

قد تكون هناك منطقة معلومات للمؤسسة أو مشتركة.

ST-5— حالة الجلسة غير معروفة

لا يمكن تحديد حالة الجلسة بشكل موثوق. إذا كان من المقرر دمج أنواع جلسات مختلفة في نفس الخلية، يجب توضيح الأساس والمنهجية والأهمية.

18. سياسة المنتج والرفض

قد لا يستجيب منتج الذكاء الاصطناعي لسؤال محدد بسبب:

• أمني،
• القانون،
• سياسة المنتج،
• القانون الإقليمي،
• لا يعني أي ملاءمة من حيث العمر،
• إعداد المؤسسة

السبب. الرفض:

• نقص في النموذج الأساسي،
• سياسة المنتج،
• واجهة
• قد يكون بسبب حساب المستخدم

تسجل سجلات التحكم بالمستخدم الرئيسي GEO-1000 نتيجة الرفض التي تصل إلى المستخدم. ومع ذلك، إذا كان سبب الرفض معروفًا، يتم تصنيفه إضافيًا. تعتبر طبقة سياسة المنتج أيضًا جزءًا من تجربة المستخدم.

19. الميزات التجريبية وتوزيعات A/B

قد لا تقدم منتجات الذكاء الاصطناعي الحية نفس الميزات لجميع المستخدمين في نفس الوقت. المشاركون:

• واجهة مستخدم مختلفة
• اختلاف صياغة المُدخلات باختلاف النماذج،
• ميزة ويب مختلفة،
• صيغة استجابة مختلفة

قد يُرى. مؤشرات الحالة التجريبية:

• ملصق بيتا على الواجهة
• توثيق المزود
• اختلاف الميزة
• اختلاف واجهة المستخدم النظامي بين المستخدمين
• حدوث كسر في السلوك أثناء القياس

قد يحدث. إذا كانت الميزة التجريبية غير معروفة:

EXPERIMENTAL_STATE_UNKNOWN

يجب استخدامه. الاختلاف الفعلي داخل المنتج ليس عيبًا في البيانات. إنها ميزة توزيع للنظام. ومع ذلك، يجب أخذها في الاعتبار عند المقارنة.

20. سجل نظام الذكاء الاصطناعي

يجب إنشاء سجل نظام ذكاء اصطناعي لكل منتج يتم تدقيقه. يجب أن يحمل السجل ثلاث مستويات.

20.1. سجل مقدم الخدمة والمنتج الرئيسي

يشمل المناطق الدائمة نسبيًا:

• المزود
• اسم المنتج
• نوع المنتج
• واجهات المستخدم الرئيسية
• الدول المصرح لها رسميًا بالوصول
• فئات الخطة
• سجلات اللغات المدعومة
• الخصائص العامة

20.2. سجل منتج موجة القياس

لموجة محددة:

• إصدار المنتج،
• ميزات الخطة،
• تسميات الطراز،
• ميزات الويب والأدوات،
• سلوك الذاكرة،
• حالة الوصول،
• التحديثات المعروفة

يتم تسجيلها.

20.3. سجل نظام مستوى الملاحظة

تمت الملاحظة فعليًا لكل مشارك:

• واجهة
• تسمية الطراز،
• الخطة،
• استخدام المركبة،
• استشهاد،
• الجلسة،
• التخصيص،
• الوقت

يحمل الحقول. السجل الرئيسي وحده لا يمكنه إزالة الاختلافات على مستوى الملاحظة.

21. بصمة تكوين النظام

يمكن إنشاء بصمة تكوين النظام لتسهيل قابلية المقارنة لنموذج AI معين. الحقول المرشحة:

SCF= H(canonicalise(p, s, r, m, k, t, x, c, l, w))

هنا، H هي الدالة التي تنتج قيمة النزاهة من الحقول المرقمة بالإصدار. البصمة:

• ما إذا كانت ملاحظتان تنتميان إلى نفس التكوين،
• ما إذا كانت هناك تغييرات جوهرية في الموجة

يمكن أن تساعد في التعرف عليها. البصمة: لا تثبت النموذج الخلفي الحقيقي، ولا تجعل الطبقات التي لم يكشف عنها المزود مرئية. إنها تعزز فقط ما إذا كان التكوين المسجل قد تم تغييره لاحقًا.

22. ما هي القابلية للمقارنة؟

يُعتبر نتيجتان قابلتين للمقارنة عندما:

يمكن تفسير الفرق بينهما بشكل كافٍ من خلال سلوك المنتج الذي يتم مراقبته بدلاً من الاختلافات غير ذات الصلة في تصميم القياس.

القابلية للمقارنة ليست مساواة مطلقة. منتجات الذكاء الاصطناعي المختلفة:

• النموذج،
• المزود،
• واجهة المستخدم.

ليس من الضروري أن تكون جميعها متطابقة. ومع ذلك، يجب أن تكون الشروط المادية ذات الصلة بالمقارنة:

• المعادلة،
• التصنيف الطبقي،
• التسجيل،
• النمذجة في التحليل

مطلوب.

23. يجب تحديد موضوع المقارنة مسبقًا

يمكن لنفس البيانات أن تجيب على أسئلة مقارنة مختلفة.

23.1. مقارنة منتجات المستخدم

"أي منتج استهلاكي يقدم تمثيلًا أكثر دقة تحت نفس ظروف المستخدم؟" الكائن الذي تتم مقارنته هو سلسلة المنتج بأكملها.

23.2. مقارنة النماذج

"أي نموذج يقدم استجابة أكثر دقة تحت نفس المُدخل الخاضع للرقابة والظروف الخالية من الأدوات؟" قد يكون الوصول إلى API أو النموذج الثابت مطلوبًا.

23.3. مقارنة الاسترجاع

“هل هناك فرق بين الوضع الذي يمكن الوصول إليه عبر الويب والوضع غير القابل للوصول لنفس المنتج؟” يتم الحفاظ على النموذج والظروف الأخرى ثابتة قدر الإمكان.

23.4. مقارنة الخطة

“هل يرى المستخدمون المجانيون والمدفوعون نفس تمثيل العلامة التجارية؟” الفرق في الخطة هو موضوع التدقيق.

23.5. مقارنة الواجهة

“هل ينتج المنتج على الويب والهاتف المحمول تمثيلات مختلفة تحت نفس الظروف؟”

23.6. مقارنة الوقت

«هل تغير تمثيل نفس المنتج عبر موجات مختلفة؟» يجب فصل تغييرات المنتج والتعداد السكاني. بدون تحديد سؤال المقارنة: «المنتج A أفضل من المنتج B.» هو واسع جدًا.

24. أبعاد المقارنة

عند مقارنة منتجين أو موجتين، يجب تقييم المجالات التالية:

• الكيان الذي تم تدقيقه
• إصدار حزمة الواقع
• معرّف الإصدار والإصدار
• اللغة والمنطقة
• البلد
• السكان المستهدفون
• مصدر العينة
• تركيب المشاركين
• نوع الجلسة
• الذاكرة
• تعليمات خاصة
• المحادثة السابقة
• خطة المنتج
• واجهة المستخدم
• تصنيف النموذج
• حالة الاسترجاع/الويب
• الأدوات
• ميزة الاستشهاد
• وقت القياس
• تحديثات المنتج
• قاعدة التحكيم
• حالات النتائج
• الوزن

لا تحتاج جميع الأبعاد إلى أن تكون متماثلة. الأبعاد المختلفة تحد من نطاق المقارنة.

25. مستويات القابلية للمقارنة

CP-0— غير قابلة للمقارنة

شروط قياس المادة غير معروفة أو غير متسقة بشكل كبير. لا يمكن إجراء مقارنة مباشرة للأداء.

CP-1— التواجد الوصفي المشترك

هناك نتائج من منتجين أو موجتين. ومع ذلك:

• السكان،
• مُدخل,
• الوقت،
• الجلسة

ليست متساوية. يمكن إجراء عرض على الجانب الوصفي فقط.

CP-2— متوافقة جزئيًا

بعض الحقول الأساسية متطابقة. الفروقات المادية مستمرة. يمكن إجراء مقارنة محدودة.

CP-3— مقارنة المستخدم-الواجهة المتطابقة

نفس الكيان، نفس إصدار المُدخل، نفس اللغة/البلد، مجتمع مستخدم مشابه، نفس نافذة الوقت، ميزات المنتج المسجلة متاحة. نتائج المنتجات الاستهلاكية قابلة للمقارنة.

CP-4— مقارنة متحكم بها ومتطابقة

بالإضافة إلى ذلك:

• الجلسة،
• الذاكرة،
• التخصيص،
• الاسترجاع،
• الأدوات،
• خطة

متطابقة بطريقة خاضعة للرقابة أو مفتوحة. يوفر مقارنة أقوى للمنتج أو الميزة.

CP-5— مقارنة مكررة ومعايرة

المقارنة:

• في موجات متعددة،
• مع مستخدمين أو عينات مستقلة،
• مع نفس التقييم المعياري

تم التكرار؛ لقد تم معايرة التغيرات وتغييرات المنتج. هذه المستويات ليست "درجة الدقة العلمية". إنها تشير إلى الحد الذي يمكن لادعاء المقارنة تحمله.

26. ماذا تفعل في حالة CP-0؟

إذا لم يكن بالإمكان مقارنة منتجين، فإن النتائج لا يتم تجاهلها. يمكن الإبلاغ عنها بشكل منفصل:

• «هذه هي نتيجة نطاق الوصول الطبيعي للمنتج أ.»
• هذا هو نتيجة المنتج ب تحت مستخدمين مختلفين وظروف المنتج المختلفة.

ومع ذلك: لا يمكن القول، "أ أفضل من ب بمقدار 12 نقطة." إن عدم القابلية للمقارنة ليس فشلاً، بل هو حد من حدود الطريقة.

27. القابلية للمقارنة لنفس المزود

لا يمكن مقارنة النتائج من نفس المزود تلقائيًا. قد تكون هناك الاختلافات التالية:

• المنتج
• الخطة
• النموذج
• الوصول إلى الويب
• واجهة
• الذاكرة
• بيانات المؤسسات
• توزيع الدولة
• ميزة تجريبية
• الوقت

يجب أيضًا تقييم مقارنة نفس المزود وفقًا لمستوى CP.

28. القابلية للمقارنة لمزودين مختلفين

منتجات المستخدمين التي تنتمي إلى مزودين مختلفين:

• نفس الفئة المستهدفة,
• نفس المحفز,
• نفس الوقت،
• مماثل واجهة المستخدم
• تكوين المنتج واضح

يمكن مقارنته أدناه. كونك مزودًا مختلفًا لا يمنع المقارنة. ومع ذلك، فإن الاختلافات في الميزات تحدد ما تقيسه المقارنة. على سبيل المثال: يستخدم المنتج أ الويب المباشر. المنتج ب لا يستخدمه. يمكن أن يجيب الناتج على هذا السؤال: 'أي من سلسلتي المنتجين المقدمتين للمستخدم يوفر تمثيلًا أكثر دقة؟' ولا يجيب مباشرة على هذا السؤال: 'أي نموذج أساسي أكثر معرفة؟'

29. مقارنة المنتجات المدعومة بالويب وغير المدعمة به

يمكن إجراء مقارنتين منفصلتين.

29.1. مقارنة المنتجات الطبيعية

يتم قياس كل منتج في ظروف المستخدم الحقيقي الافتراضية. المنتج الذي يستخدم الويب يستخدم الويب. والذي لا يستخدمه لا يستخدمه. النتيجة: إنها مقارنة لتجربة المنتج الحقيقي للمستهلك.

29.2. مقارنة مطابقة للميزات

إذا أمكن، كلا المنتجين:

• تم قياسهما في حالة فتح الويب،
• وحالة إغلاق الويب

كل على حدة أيضاً. هذا يمكن أن يفصل تأثير الاسترجاع بشكل أفضل. قد لا يقدم كل منتج نفس الخيارات. الوضع المفقود:

تسجَّل كغير متاح

يجب أن يظل هذا الوضع صريحًا.

30. المنتجات التي تظهر ولا تظهر الاستشهادات

بالنسبة للمنتج الذي لا يملك ميزة الاستشهاد: من الممكن إعطاء "صفر استشهاد". ومع ذلك، يجب توضيح معناه: قد يكون المنتج لا يستشهد بالمصادر. ولا يمكن التأكد من أنه لا يستخدم أي مصادر. تغطية الاستشهاد ودقة التغطية هما نتائج منفصلة. يجب عمل مقارنة الاستشهاد فقط بين المنتجات التي تدعم الاستشهاد أو مع حالة ميزة منفصلة.

31. نطاق الوصول الطبيعي المقارنة

يتم قياس كل منتج ضمن عدد السكان الفعلي الذي يصل إليه. الميزة: يظهر التأثير العالمي الطبيعي للمنتج. القيد: عدد السكان مختلف، وقد تختلف توزيعات الدول واللغات. درجات نطاق الوصول الطبيعي: توضح ما يفعله المنتج ضمن السكان الذين يصل إليهم. لا يجب استخدامها بمفردها في تصنيف تفوق المنتج مباشرة.

32. مقارنة على أساس مشترك

يتم استخدام شريحة الوصول المشتركة للمنتجات التي تمت مقارنتها. الميزة:

• نفس الدولة،
• نفس اللغة،
• نفس حالة المستخدم

يوفر مقارنة أكثر عدلاً. القيد: يحافظ على الفارق الفعلي في الوصول العالمي للمنتجات، قد يكون الكون المشترك ضيقًا جدًا. يجب نشر درجة قاعدة المقارنة المشتركة مع درجة نطاق الوصول الطبيعي.

33. مقارنة المستخدمين المزدوجة

إذا قام نفس المستخدم باختبار منتجين أو أكثر من منتجات الذكاء الاصطناعي، يمكن التحكم في خصائص المستخدم. ومع ذلك:

• ترتيب المهام,
• استدعاء الإجابة,
• الألفة مع المنتج,
• الملف الشخصي الخاص بالمستخدمين الذين يمكنهم الوصول إلى جميع المنتجات

يمكن أن يخلق تحيزًا. في تصميم مزدوج:

• يجب أن يكون ترتيب المنتج عشوائيًا،
• يجب عدم مشاركة الردود السابقة

يجب الحفاظ على نفس تبعية المستخدم في التحليل.

34. مقارنة المستخدم المستقل

يتم اختبار كل منتج بواسطة مستخدمين مختلفين، ولكن يتم اختيارهم من نفس الإطار السكاني. الميزة: يتم تقليل تلوث المهمة، ويمكن اختيار مستخدمين للمنتج أكثر طبيعية. القيد: قد لا تكون مجموعات المستخدمين متساوية تمامًا. يلزم الوزن والتصنيف. يمكن فصل نتائج المستخدمين المزدوجين والمستقلين ولكنها تظل مكملة.

35. قابلية مقارنة الوقت

عند مقارنة نتائج اليوم لمنتج ذكاء اصطناعي مع النتائج السابقة، يجب فحص التغييرات التالية:

• النموذج
• إصدار المنتج
• الويب/البحث
• الخطة
• وصول الدولة
• دعم اللغة
• مُدخل
• واقع الكيان
• التحكيم
• إطار السكان
• الوزن

قد لا ينشأ الفرق الزمني فقط من منتج الذكاء الاصطناعي.

36. أنواع تغييرات المنتج

UC-1— التغيير الصغير الموثَّق

تغيير صغير كشف عنه المزود وتم تقييمه على أنه لا يغير جوهريًا موضوع القياس.

UC-2— التغيير المادي الموثَّق

تغيير جوهري موصوف في النموذج أو الاسترجاع أو الواجهة أو الميزة.

UC-3— تغيير السلوك الملحوظ

حتى إذا لم يكن هناك إعلان رسمي، يتم ملاحظة سلوك منظم أو تغيير في الواجهة.

UC-4— تغيير الوصول أو الخطة

تغييرات في الدولة أو الخطة أو وصول المستخدم.

UC-5— حدث التغيير غير معروف

هناك انقطاع في سلوك القياس. لم يمكن التحقق من السبب.

UC-6— استبدال المنتج أو التقاعد

انتهى منتج أو نموذج قديم وتم استبداله بهيكل آخر. نوع التغيير يحد من مقارنة السلاسل الزمنية.

37. تغيير المنتج ضمن موجة القياس

إذا حدث تغيير مادي خلال الموجة، تتوفر الخيارات التالية: يمكن إيقاف الموجة وإعادة تشغيلها. يمكن عمل موجات فرعية منفصلة قبل وبعد التغيير. يمكن نمذجة التغيير كعامل تجريبي. تُصنف الموجة على أنها حالة نظام مختلط. الهيكل التالي محظور: دمج جميع الردود كما لو كانت نتيجة منتج واحد ثابت على الرغم من معرفة التغيير.

38. يمكن أن يتغير السلوك دون تغيير المنتج

حتى لو لم يعلن المزود عن تحديث صريح، قد تتغير النتيجة. الأسباب المحتملة:

• تغيير في فهرس الاسترجاع
• تحديث الموارد
• ظهور محتوى جديد على الويب
• تغيير في إعادة الترتيب
• اختبار A/B
• التوزيع الإقليمي
• سياسة الأمان
• توجيه حركة المرور

لذلك، لا يمكن القول، "لم يقم المزود بالتحديث، النظام بالتأكيد كان هو نفسه." يجب أيضًا فحص أدلة القياس وتحليل السلوك.

39. المنتج الحي والنموذج المجمد

هناك كائنان بحثيان مختلفان.

39.1. تدقيق المنتج الحي

يقيس ما يراه المستخدمون الحقيقيون على واجهة المستهلك الحقيقي. الميزة:

• يعرض التجربة الحقيقية،
• المصدر الحقيقي،
• السياسة الحقيقية،
• الواجهة الحقيقية

القيود: أنها متغيرة، وقد يكون الاستنساخ الكامل صعبًا.

39.2. تدقيق النموذج المجمد

يتم إجراء تكرار مضبوط تحت إصدار أو نقطة نهاية ثابتة. الميزة:

• يوفر إمكانية إعادة الإنتاج،
• السيطرة التجريبية

القيود: قد لا تمثل المنتج الاستهلاكي الحقيقي بشكل كامل. الطبقة السكانية الرئيسية لـ NOMOS GEO-1000 تعتمد على المنتج المستخدم مباشرة من قبل المستخدمين. تدقيق النموذج المجمد هو عمل مخبري تكميلي.

40. عدم توفر المنتج والنتائج التقنية

يجب الاحتفاظ بالحالات التالية بشكل منفصل:

AR-1— المنتج غير متوفر

المنتج غير متوفر للبلد أو لمجموعة المستخدمين. هذا نتيجة لنطاق الوصول.

AR-2— الحساب أو الخطة غير مؤهل

الخطة أو حالة الحساب المعينة للمشارك غير مؤهلة. قد يكون هناك مشكلة في العينة أو تعيين المهام.

AR-3— فشل تقني مؤقت

حدث خطأ تقني مؤقت. يجب أن يكون بروتوكول إعادة المحاولة محددًا مسبقًا.

AR-4— حد معدل الاستخدام أو التقييم

تم الوصول إلى حصة الاستخدام أو حدود المعدل. قد يكون جزءًا من تجربة المستخدم الحقيقية.

AR-5— رفض النظام

تم رفض مهمة المنتج بسبب السياسة أو المحتوى. هذا نتيجة صحيحة للنظام.

AR-6— لا يوجد مخرج قابل للاستخدام

لم يتم توليد أي استجابة قابلة للاستخدام.

AR-7— فشل الوصول غير معروف

لماذا لم يكن بالإمكان تحديد ذلك. لا يمكن دمج هذه الحالات في نفس صندوق "عدم الرد".

41. قاعدة إعادة المحاولة التقنية

يمكن إعادة المحاولة في حالة حدوث خطأ تقني مؤقت أو انقطاع في الاتصال. ومع ذلك:

• إذا لم يكن الرد من الذكاء الاصطناعي مرغوبًا،
• حدث رفض،
• تم إنتاج معلومات غير صحيحة

لا يمكن إعادة المحاولة لهذه الأسباب. إعادة المحاولة التقنية:

• نفس المستخدم،
• نفس المنتج،
• نفس التكوين،
• يجب أن تتم في الفترة المحددة مسبقًا.

يجب أيضًا تسجيل أول حادث فني.

42. مصفوفة المقارنة

يمكن أن يكون سجل المقارنة الأساسي لمنتجين ما كما يلي:

يمكن عرض هذه النتائج جنبًا إلى جنب. ومع ذلك: "النموذج الأساسي من المنتج B أفضل." لا يمكن قوله. قد تنبع الفروقات من سلسلة المنتج بأكملها.

43. حالة مقارنة APPLE.COM الاصطناعية

عرض منهجية اصطناعية / المنتجات، الردود، والنتائج أدناه كلها خيالية تمامًا. ولا تمثل أداء شركة أبل الحقيقية أو أي مزود ذكاء اصطناعي حقيقي. لنأخذ ثلاثة أمثلة اصطناعية للمنتجات.

مثال المنتج A

المزود: أوريون المنتج: أوريون تشات الواجهة: ويب الخطة: مجانية تصنيف النموذج: أوريون ستاندرد ثقة النموذج: MI-1 الوصول إلى الويب: مغلق الذاكرة: مغلقة الجلسة: جديدة اللغة: التركية المنطقة: تركيا الموجة: W1 الرد: "آبل شركة أمريكية للتكنولوجيا تنتج الهواتف وأجهزة الكمبيوتر."

عينة المنتج ب

المزود: أوريون المنتج: أوريون تشات الواجهة: موبايل الخطة: مدفوعة تصنيف النموذج: أوريون برو ثقة النموذج: MI-1 الوصول إلى الويب: مفتوح الاستشهاد: مفتوح الذاكرة: مفتوحة المحادثة السابقة: عن آبل اللغة: التركية المنطقة: تركيا الموجة: W1 الرد: "آبل شركة تكنولوجيا عالمية تقدم الأجهزة والبرمجيات والخدمات الرقمية. يمكن العثور على المعلومات الحالية عن الشركة في هذه المصادر."

عينة المنتج ج

المزود: هيليوس المنتج: هيليوس البحث الواجهة: الويب الخطة: مجانية تصنيف النموذج: غير معروف ثقة النموذج: MI-0 الوصول إلى الويب: مفتوح الاستشهاد: مفتوح الذاكرة: لا شيء الجلسة: جديدة اللغة: التركية المنطقة: تركيا الموجة: W1 الاستجابة: "آبل هي شركة تكنولوجيا أمريكية تطور أجهزة استهلاكية وأنظمة تشغيل وخدمات رقمية."

43.1. مقارنة بين A و B

هم نفس المزود. ومع ذلك:

• الخطة،
• الواجهة،
• تسمية الطراز،
• الويب،
• الذاكرة،
• المحادثة السابقة

مختلف. يمكن أن يكون مستوى المقارنة CP-1 أو CP-2. لا يمكن عزو الفرق في الاستجابة فقط إلى اختلاف النموذج الأساسي.

43.2. مقارنة بين A و C

هم مزودون مختلفون. ومع ذلك:

• جلسة جديدة،
• الخطة المجانية،
• واجهة الويب،
• نفس اللغة/البلد،
• نفس الموجة

من حيث بعض الشروط تتطابق. الوصول إلى الويب مختلف. المقارنة: يمكن القيام بها كنتيجة طبيعية لمنتج للمستهلك. لا يمكن القيام بها كقدرة أساسية للنموذج.

43.3. مقارنة بين B و C

كلا المنتجين يقدمان الوصول إلى الويب وتمكين الاستشهادات. ومع ذلك، يمتلك B ذاكرة ومحادثات سابقة، بينما C لا يمتلك ذلك. تجربة المستخدم للمنتجات قابلة للمقارنة. ليست مقارنة منتج نظيفة ومتحكم فيها.

43.4. تكرار محسوب

في المنتج B:

• تم إيقاف تشغيل الذاكرة،
• تم بدء محادثة جديدة،
• تم إيقاف التعليمات الخاصة،

الويب يظل مفعلًا. يتم قياس C تحت نفس الظروف. مستوى المقارنة: CP-3، أو CP-4 مع وجود تحكم إضافي كافٍ. يوضح هذا المثال:

المزود نفسه لا يقدم مقارنة قريبة؛ قد تكون مقدمو الخدمات المختلفون المسجلون جيدًا أكثر قابلية للمقارنة.

44. حالة تغيير المنتج الاصطناعي

مثال اصطناعي

يستهدف Orion Chat W1 موجة مراقبات 1,000. في أول مراقبات 480:

• نسخة المنتج: 6.1
• ميزة الويب: يدوي
• النسبة: محدودة

في الملاحظات التالية 520:

• نسخة المنتج: 6.2
• الميزة على الويب: تلقائية
• النسبة: موسعة

ليكن كذلك. النتيجة الفردية: إذا تم حسابها على أنها "درجة Orion Chat W1"، يتم خلط حالتين مختلفتين للنظام. الخيارات الصحيحة:

الخيار 1

W1A: أول 480 W1B: التالي 520 يتم الإبلاغ عنها بشكل منفصل.

الخيار 2

الموجة غير مستمرة. تُؤخذ ملاحظات جديدة 1,000 في الإصدار 6.2.

الخيار 3

يتم الاحتفاظ بالإصدار كعامل تجريبي صريح في التحليل الإحصائي. الخيار غير الصحيح: يتم إزالة التحديث من التقرير وتُعرض جميع الملاحظات كمنتج ثابت واحد.

45. الحد الأدنى لسجل نظام الذكاء الاصطناعي

يجب أن يحتوي كل ملاحظة على الحقول التالية على الأقل:

• NOMOS معرف نظام الذكاء الاصطناعي
• المزود
• المنتج
• الواجهة
• الخطة
• نوع المنتج
• العلامة النموذجية الظاهرة
• مستوى ثقة النموذج
• البلد
• الموقع
• اللغة
• نوع الجلسة
• حالة الذاكرة
• حالة التعليمات المخصصة
• حالة المحادثة السابقة
• ميزة الاسترجاع/الويب
• حالة استخدام الاسترجاع
• حالة الاقتباس
• حالة الأداة
• حالة الميزة التجريبية
• UTC الوقت
• الموجة
• بصمة النظام
• أحداث التغيير
• مصدر الدليل
• مالك السجل

إذا كان حقل المادة غير معروف، لا يمكن تركه فارغًا. يجب استخدام حالة غير معروف.

46. بطاقة المقارنة الدنيا

عند مقارنة منتجين أو موجتين، يجب أن يظهر السجل العام:

• سؤال مقارنة
• مستوى المقارنة
• السكان المستهدفون الشائعون
• نطاق الوصول الطبيعي الاختلافات
• مساواة المستخدمين
• اللغة والبلد
• وقت القياس
• المنتج، الخطة، والواجهة
• ثقة هوية النموذج
• الفرق بين الويب والاسترجاع
• الاختلاف في الذاكرة والتخصيص
• الاختلاف في الأداة
• الاختلاف في العينة
• طريقة التقييم
• قيود المادة
• المقاييس القابلة للمقارنة مباشرة
• المجالات غير القابلة للمقارنة

لا ينبغي نشر رقم واحد أو ترتيب بدون هذه البطاقة.

47. قاعدة القابلية للمقارنة

يجب على المدقق الإجابة على هذه الأسئلة الأربعة: هل تم سؤال الشيء نفسه؟ هل تم قياس نفس الكون البشري؟ هل تم تطبيق نفس ظروف المستخدم؟ هل تم استخدام نفس الوقت ونظام التقييم؟ كل من هذه الأسئلة:

• تمامًا،
• جزئيًا،
• لا,
• غير معروف

يتم تصنيفه على هذا النحو. يتم تحديد مستوى المقارنة وفقًا لذلك.

48. الأحكام الإلزامية المعيارية

CH09-N01

يجب ربط كل ملاحظة GEO-1000 بتسجيل مسجل نظام الذكاء الاصطناعي النسخي.

CH09-N02

لا يمكن استخدام اسم المزود كهوية كاملة لمنتج الذكاء الاصطناعي المقاس.

CH09-N03

يجب فصل المنتج واجهة المستخدم والخطة والطراز والاسترجاع والأداة والجلسة وطبقات التخصيص عن بعضها البعض.

CH09-N04

لا يمكن تقديم تسمية الطراز على واجهة المستخدم كهوية نموذج خلفية مؤكدة.

CH09-N05

يجب تسجيل مستوى الثقة في هوية الطراز من MI-0 إلى MI-5 أو من خلال حالة معرّفة علنًا مكافئة.

CH09-N06

إذا لم يمكن التحقق من هوية الطراز، يجب نسب النتيجة فقط إلى المنتج و واجهة المستخدم.

CH09-N07

المنتجات التي تنتمي إلى نفس المزود لا تُعتبر تلقائيًا نفس الخلية التجريبية.

CH09-N08

قد تكون المنتجات التي تنتمي إلى مزودين مختلفين قابلة للمقارنة عندما تتطابق المواد المستخدمة وشروط التجربة.

CH09-N09

لا يمكن دمج واجهات منتجات الويب، والهاتف المحمول، وواجهة المكتب، والمضمنة، وواجهة برمجة التطبيقات دون وصف.

CH09-N10

يجب تسجيل الخطط المجانية، والمدفوعة، والمؤسسية، والتعليمية، وخطط المطورين كمصطلحات منتج منفصلة.

CH09-N11

إذا كانت الخطة غير معروفة، يجب أن تحمل النتيجة حالة PLAN_UNKNOWN.

CH09-N12

لا يمكن اعتبار توفر ميزة الاسترجاع أو الويب دليلًا على أنه تم استخدامها في إجابة معينة.

CH09-N13

يجب تسجيل الوصول إلى الاسترجاع، واستخدام الاسترجاع، والنسب بمحددات منفصلة.

CH09-N14

لا يمكن اعتبار المنتج الذي لا يظهر نسبًا على أنه لم يستخدم أي موارد تلقائيًا.

CH09-N15

يجب فحص الاستشهادات الخاصة بالمنتج الذي يتم الاستشهاد به بشكل منفصل من حيث دعم الادعاء.

CH09-N16

يجب تسجيل الوصول إلى الأدوات واستخدام الأدوات في إجابات محددة بشكل منفصل.

CH09-N17

يجب تسجيل الذاكرة والتعليمات الخاصة والدردشات السابقة والإعدادات الخاصة بالشركة بشكل منفصل قدر الإمكان.

CH09-N18

لا يمكن افتراض أن حالة التخصيص غير المعروفة تشبه جلسة نظيفة.

CH09-N19

لا يمكن دمج الجلسات الجديدة، أو المؤقتة، أو الحالية، أو جلسات بيئة العمل المؤسسية دون تفسير.

CH09-N20

يجب أن تحمل نتائج عينة المستخدمين في ظروف الاستخدام الطبيعية و عينة اختبار في ظروف منضبطة حالة المنتج بشكل منفصل.

CH09-N21

إذا كانت ميزة تجريبية أو توزيع A/B في المنتج جوهرية، فيجب الاحتفاظ بها في سجل الملاحظة.

CH09-N22

إذا حدث تغيير جوهري في المنتج خلال الموجة، فيجب تقسيم الموجة إلى نسخ فرعية منفصلة، أو إعادة تشغيلها، أو يجب نمذجة التغيير بشكل صريح في التحليل.

CH09-N23

لا يمكن تخزين تغيير معروف في المنتج كما لو أن جميع الملاحظات جاءت من نظام ثابت واحد.

CH09-N24

لا يمكن اعتبار عدم قيام المزود بشرح تحديث ما دليلاً قاطعًا على أن المنتج لم يتغير.

CH09-N25

لا يمكن تقديم نتيجة منتج تجاري حي كما لو كانت نتيجة نموذج قاعدة بيانات مجمدة.

CH09-N26

لا يمكن تقديم نتيجة نموذج مجمد في المختبر على أنها أداء منتج يستخدمه مستخدم حقيقي.

CH09-N27

يجب تسجيل غياب المنتج، أو خطأ تقني، أو حد الاستخدام، أو رفض النظام، أو عدم وجود نتيجة بحالات منفصلة.

CH09-N28

لا يمكن أن يكون الرد الخاطئ أو السلبي للذكاء الاصطناعي سببًا لإعادة المحاولة التقنية.

CH09-N29

يجب تحديد موضوع المقارنة قبل جمع البيانات.

CH09-N30

يجب أن يكون مستوى قابلية المقارنة بين منتجين مرئيًا في النتائج العامة.

CH09-N31

لا يمكن إنشاء تصنيف محدد للمنتج من نتائج CP-0 أو CP-1.

CH09-N32

استخدام صياغة المُدخل نفسها بمفردها لا يخلق تجربة قابلة للمقارنة.

CH09-N33

في المقارنات، يجب فحص الكيان المستهدف، وحزمة الحقيقة، وصياغة المُدخل، واللغة، والبلد، والوقت، والسكان، والجلسة، والمنتج، وطريقة التقييم معًا.

CH09-N34

لا يمكن تصنيف نتائج نطاق الوصول الطبيعي مباشرة بدون شرح لأنها تنتمي إلى جماهير مستهدفة مختلفة.

CH09-N35

لا يمكن عرض نتيجة قاعدة المقارنة المشتركة كنتيجة الوصول العالمية الفعلية للمنتج.

CH09-N36

يمكن إجراء مقارنة بين المنتجات المدعومة بالويب والخالية من الويب كمقارنة منتجات من قبل المستخدم؛ لا يمكن تقديمها كأفضلية لنموذج أساسي.

CH09-N37

في المقارنات المزدوجة التي يتم إجراؤها مع نفس المستخدم، يجب الحفاظ على ترتيب المنتج واعتماد المستخدم.

CH09-N38

في المقارنات التي يتم إجراؤها مع مستخدمين مختلفين، يجب أن يكون تكوين المستخدم وفروق الوزن مرئيين.

CH09-N39

يجب تخزين بصمة إصدار المنتج أو تكوينه في كل موجة قياس.

CH09-N40

يجب أن يكون هناك مالك بشري أو مؤسسي مسؤول عن سجل النظام وقرار القابلية للمقارنة.

49. أشكال الفشل

CH09-F01— النظر في المزود كذكاء اصطناعي واحد

جميع المنتجات والنماذج والواجهات الخاصة بالمزود معروضة كنظام واحد.

CH09-F02— عد سلوك المنتج حسب اسم النموذج

يتم تجاهل الاسترجاع والأمان والواجهة والتخصيص.

CH09-F03— اعتبر بالتأكيد الملصق المرئي للنموذج كخلفية

يتم تجاهل استخدام التوجيه أو النماذج الديناميكية.

CH09-F04— اعتبار نفس المزود كمقارن

يتم إخفاء الفروق في الخطة، الواجهة، والميزات.

CH09-F05— اعتبار مزودين مختلفين كغير قابلين للمقارنة

يتم رفض مقارنة المنتجات الممكنة تحت شروط المستخدم المزدوج.

CH09-F06— دمج الويب والهاتف المحمول

تختفي الاختلافات في الواجهة والميزات.

CH09-F07— الجمع بين الخطط المجانية والمدفوعة

تصبح اختلافات الجودة أو الميزات بسبب الخطة غير مرئية.

CH09-F08— اعتبار المنتجات المؤسسية والاستهلاكية متساوية

يتم إخفاء المعلومات الخاصة وإعدادات المسؤول.

CH09-F09— التعامل مع نتيجة واجهة برمجة التطبيقات كمنتج استهلاكي

تم إلغاء الاختلافات بين التنسيق و واجهة المستخدم.

CH09-F10— إذا وجدت الاسترجاعات، اعتبرها مستخدمة

لا يمكن التحقق من مسار المعرفة الحقيقي للإجابة المحددة.

CH09-F11— إذا لم توجد اقتباسات، اعتبر أنه لا يوجد مصدر

يتم تجاهل احتمال وجود استرجاعات مخفية أو غير مرئية.

CH09-F12— إذا وُجد اقتباس، احسبه كمصدر صحيح

لم يتم فحص مطابقة الاقتباس مع الادعاء.

CH09-F13— اعتبر الوصول إلى الأداة استخدامًا للأداة

من غير المعروف أي أداة تم استخدامها في الإجابة المحددة.

CH09-F14— اعتبر الذاكرة كجلسة نظيفة

يبقى تأثير التخصيص غير مرئي.

CH09-F15— اعتبر المحادثة الجديدة غير مخصصة

يتم تجاهل إعدادات الحساب المستمرة والتعليمات الخاصة.

CH09-F16— عرض المحادثة الحالية كجلسة جديدة

يتم إخفاء السياق السابق.

CH09-F17— احتساب ميزة تجريبية كخطأ في البيانات

يتم إعلان التغير الفعلي في المنتج كملاحظة غير صالحة.

CH09-F18— إخفاء ميزة تجريبية

يتم دمج المستخدمين في توزيعات مختلفة كمنتج ثابت واحد.

CH09-F19— موجة واحدة بعد التحديث

تغيير المنتج المادي يتم نشره كنتيجة لنظام ثابت واحد.

CH09-F20— تجاهل التغييرات إذا لم يكن هناك إعلان

سلوك الانكسار الملحوظ لم يتم فحصه.

CH09-F21— احتساب المنتج الحي كنموذج مجمد

يتم الادعاء بإمكانية التكرار الكامل.

CH09-F22— اعتبار نموذج مجمد كمنتج مستخدم حقيقي

سلسلة المنتج واختلافات الواجهة مخفية.

CH09-F23— احتساب غياب المنتج كخطأ

نطاق الوصول يختلط مع دقة التمثيل.

CH09-F24— رفض خطأ تقني

يتم تصنيف مشكلة الاتصال أو الخدمة كنتيجة للسياسة.

CH09-F25— احتساب خطأ تقني كمرفوض وإعادة المحاولة

يتم إزالة نتيجة المستخدم الفعلية من المقام.

CH09-F26— إخفاء حد الاستخدام

تصبح التجربة الحقيقية للخطة المجانية غير مرئية.

CH09-F27— اعتبار نفس الطلب كأنّه نفس التجربة

يتم تجاهل الاختلافات في المنتج، والخطة، والجلسة، والويب، والوقت.

CH09-F28— اعتبار نتيجة المنتج كأفضلية للنموذج

يُعزى الفرق عبر سلسلة النظام بأكملها إلى النموذج الأساسي.

CH09-F29— الترتيب المباشر لدرجات نطاق الوصول الطبيعي

يُعتبر كون السكان المختلفون واحدًا.

CH09-F30— اعتبار قاعدة المقارنة المشتركة كنطاق عالمي

يتم عرض الكون المشترك الضيق كالوصول الكامل للمنتج.

CH09-F31— الادعاء بالريادة من نتيجة CP-1

تُستمد تفوق المنتج فقط من النتائج غير المتوافقة التي توضع جنبًا إلى جنب.

CH09-F32— الحفاظ على مستوى المقارنة

العامة ترى الترتيب فقط.

CH09-F33— تجاهل اعتماد المستخدم المزدوج

تعتبر ردود نفس الشخص على المنتجات مستقلة.

CH09-F34— تجاهل تأثير ترتيب المنتجات

التأثير الناجم عن الاستجابة الأولى يؤثر على المهام اللاحقة.

CH09-F35— التعامل مع مستخدمي اللوحة المختلفين كأنهم نفس الشخص

يتم اختبار المنتجات بمجموعات مستخدمين مختلفة.

CH09-F36— تغيير نسخة حزمة الواقع

يتم مقارنة نفس الردود مع سجلات مرجعية مختلفة.

CH09-F37— تغيير بصمة المنتج بصمت

تم تحديث سجل التكوين؛ يتم الحفاظ على القياس القديم بدلاً من الكتابة فوقه.

CH09-F38— عد منطقة غير معروفة على أنها نظيفة

يتم قبول حالة النموذج أو الذاكرة أو الأداة على أنها مضبوطة، حتى لو كانت غير معروفة.

CH09-F39— استخدام علامة المنتج التجارية بدلاً من الدليل

تحل سمعة المزود محل شروط القياس.

CH09-F40— تغطية جميع اختلافات المنتج بمعامل واحد

يتم إخفاء اختلافات الخطة والواجهة والتكوين باستخدام النموذج أو معامل السوق.

50. إجراء التدقيق

الخطوة 1— تحديد المزود والمنتج

يتم تسجيل اسم المنتج ونوعه وواجهات المستخدم الرسمية.

الخطوة 2— تثبيت واجهة القياس

الويب الجوال سطح المكتب

واجهة برمجة التطبيقات (API)

تم فصل المنتج المدمج.

الخطوة 3— التحقق من الخطة وفئة الحساب

تم تسجيل حالة الخطة سواء كانت مجانية، مدفوعة، مؤسسية، أو أخرى.

الخطوة 4— تعيين ثقة معرف النموذج

تم تحديد المستوى المناسب بين MI-0 و MI-5.

الخطوة 5— حفظ الاسترجاع وتكوين الويب

هل الميزة متاحة؟ هل هي مفعلة؟ هل تم استخدامها في استجابة معينة؟ ما هو الدليل؟

الخطوة 6— حفظ حالة المرجع والأداة

يتم فصل الاستخدام الفعلي عن الوصول إلى الميزة.

الخطوة 7— حفظ حالة الجلسة والتخصيص

تمت مراجعة تعليمات الذاكرة الخاصة والدردشة السابقة والإعدادات المؤسسية.

الخطوة 8— التحقق من تسجيل الدولة والمنطقة واللغة

يتم تحديد الحالة الإقليمية لسلوك المنتج.

الخطوة 9— مراجعة الميزات التجريبية

يتم التحقق من اختلافات واجهة المستخدم أو الميزات بين المستخدمين.

الخطوة 10— تثبيت الوقت وهوية الموجة

يتم إنشاء سجل الوقت والموجة UTC.

الخطوة 11— توليد بصمة تكوين النظام

الحقول المحفوظة مرتبطة بسجل التكامل.

الخطوة 12— مراقبة أحداث التغيير

التغييرات المعلنة والمراقبة للمنتج يتم تسجيلها.

الخطوة 13— كتابة موضوع المقارنة

أي من مقارنات واجهة خطة استرجاع نموذج المنتج للوقت يتم إجراؤها؟

الخطوة 14— مطابقة أبعاد المقارنة

يتم جدولة مناطق المواد.

الخطوة 15— تعيين مستوى CP

يتم إعطاء مستوى مناسب بين CP-0 و CP-5.

الخطوة 16— فصل الادعاءات القابلة للمقارنة وغير القابلة للمقارنة

النتائج التي يمكن وضعها جنبًا إلى جنب مكتوبة بوضوح.

الخطوة 17— فصل نتائج نطاق الوصول الطبيعي و قاعدة المقارنة المشتركة

يتم تسجيل المقارنات داخل المنتج والسكان المشتركين بشكل منفصل.

الخطوة 18— التحقق من تغيير النظام في الموجة

يتم تحديد ما إذا كان MIXED_SYSTEM_STATE أو موجة فرعية جديدة مطلوبة.

الخطوة 19— إنشاء بطاقة مقارنة عامة

يتم جعل الشروط وراء الترتيب مرئية.

الخطوة 20— الحصول على موافقة صاحب السجل

يتم إصدار سجل النظام وقرار المقارنة بالإصدار من قبل الشخص المسؤول.

51. الأدلة المطلوبة

هوية المزود؛ اسم المنتج ونوعه؛ واجهة المستخدم؛ إصدار التطبيق أو الواجهة؛ الخطة وفئة الحساب؛ تسميات النماذج المعروضة؛ دليل هوية النموذج؛ مستوى الثقة في هوية النموذج؛ وثائق المنتج؛ سجلات الوصول إلى الدولة؛ اللغة والمنطقة؛ القدرة على الويب والاسترجاع؛ دليل استخدام الاسترجاع؛ قدرة الاستشهاد؛ عرض الاستشهاد؛ رابط الاستشهاد–الادعاء؛ الوصول إلى الأداة؛ سجل استخدام الأداة؛ إعداد الذاكرة؛ التعليمات المخصصة؛ حالة الدردشة السابقة؛ نوع الجلسة؛ إعدادات مسؤول المؤسسة؛ سجل الميزة التجريبية؛ إشارات تخصيص A/B؛ الطابع الزمني UTC؛ موجة القياس؛ بصمة تكوين النظام؛ سجلات تحديث المزود؛ التغيرات في السلوك الملحوظ؛ أخطاء الوصول إلى المنتج؛ سجلات إعادة المحاولة التقنية؛ سجل السكان نطاق الوصول الطبيعي؛ سجل السكان قاعدة المقارنة المشتركة؛ وجدول أبعاد المقارنة.

مستوى CP نسخة المُدخل نسخة حزمة الواقع سجل العينة والوزن نسخة التحكيم بطاقة المقارنة العامة سجل التغييرات الشخص أو المؤسسة المسؤولة

52. قائمة تدقيق التدقيق

هل تم تسجيل المزود والمنتج بشكل منفصل؟ هل يمكن التعرف على واجهة المستخدم؟ هل تم التحقق من خطة الحساب وفئة الحساب؟ هل تسمية النموذج هي مجرد التسمية المعروضة، أم أنها تحدد نشرًا تم التحقق منه؟ هل تم تعيين مستوى ثقة لهوية النموذج؟ هل النتيجة تُنسب إلى المنتج أم إلى النموذج؟ هل كان الوصول عبر الويب أو الاسترجاع متاحًا؟ هل تم التحقق من استخدامه في الاستجابة المحددة؟ هل تم فصل قدرة الاقتباس وعرض الاقتباس؟ هل تدعم الاقتباسات بالفعل الادعاءات؟ هل تم فصل الوصول إلى الأدوات عن استخدام الأدوات؟ هل كانت الذاكرة مفعلة؟ هل كانت هناك تعليمات مخصصة؟ هل كان هناك سياق محادثة سابق؟ هل تم تسجيل نوع الجلسة؟ هل كان هناك مصدر معلومات تابع لمؤسسة أو خاص؟ هل تم التحقق من ميزات المنتج التجريبية؟ هل يمكن للبلد والموقع أن يؤثرا على سلوك المنتج؟

هل تم إنشاء بصمة النظام؟ هل تغير المنتج خلال موجة القياس؟ هل كان هناك انقطاع في السلوك خارج إعلان المزود؟ هل تم فصل الملاحظات قبل التغيير وبعده؟ هل تم تمييز الأخطاء الفنية عن الرفض؟ هل تم إجراء إعادة محاولة بسبب إجابة غير صحيحة؟ هل هدف المقارنة واضح؟ أي الشروط تتطابق بجانب نفس الطلب؟ هل السكان المستهدفون هم نفسهم؟ هل إصدارات الطلب وTruth Pack متطابقة؟ هل الاختلافات في الخطة، الواجهة، والاسترجاع مرئية؟ هل تم توفير مستوى CP؟ هل تم عمل ترتيب بناءً على نتائج CP-0 أو CP-1؟ هل تم فصل نتائج نطاق الوصول الطبيعي و قاعدة المقارنة المشتركة؟ هل تم موازنة نفس تسلسل منتج المستخدم؟ هل تم معايرة لوحات المستخدم المختلفة؟

هل تم تقديم نتيجة المنتج الحي كنموذج للتفوق الأساسي؟ هل تم اعتبار المناطق المجهولة تحت السيطرة؟ هل توجد بطاقة مقارنة عامة؟ هل صاحب التسجيل المسؤول عن النظام معروف؟

53. الاعتراضات والردود

اعتراض 1— "إذا لم يعرف المستخدم أي نموذج يعمل، هل يمكن إجراء هذا العمل بعد؟"

يمكن تنفيذ ذلك. الكائن الرئيسي GEO-1000 هو منتج المستخدم. إذا كان النموذج غير معروف، يتم الإبلاغ عن النتيجة على النحو التالي: "تم ملاحظة هذا السلوك على هذا المنتج و واجهة المستخدم." لا يتم الإشارة إلى نموذج محدد.

اعتراض 2— "لماذا نميز منتجات نفس المزود إلى هذا الحد؟"

لأن المستخدم:

• خطة مختلفة،
• النموذج،
• الاسترجاع،
• الذاكرة،
• أداة

قد يرى إجابات مختلفة في ظروف مختلفة. اسم المزود لا يحدد تجربة المستخدم بالكامل.

اعتراض 3— "أليس مقارنة مزودين مختلفين مثل مقارنة التفاح بالبرتقال على أي حال؟"

إذا تم إعداد سؤال المقارنة بشكل صحيح، فهو ليس كذلك. قد يسأل المستخدم الحقيقي: "أي منتج يزودني بالمعلومات بشكل أكثر دقة؟" السلسلة الكاملة للمنتج هي جزء من هذا السؤال. إذا كان من المقرر إعلان تفوق النموذج الأساسي، فإن تجربة أكثر تحكمًا مطلوبة.

اعتراض 4— "أليس من الطبيعي أن يكون لمنتج يستخدم الويب ميزة؟"

إنه طبيعي. في مقارنة المنتجات الطبيعية، الميزة هي الخاصية الحقيقية للمنتج. في مقارنة النماذج، يجب أيضًا فصل تأثير الاسترجاع.

اعتراض 5— "أليس من غير العادل عدم إعطاء درجة الاستشهاد لمنتج لا يظهر الاستشهادات؟"

خاصية النسب هي الوظيفة التي يوفرها المنتج للمستخدم. إذا كانت الخاصية مفقودة، يمكن عرض نتيجة النسب على النحو التالي:

تسجَّل كغير متاح

يتم أيضًا قياس دقة المواد بشكل منفصل.

اعتراض 6— "إذا كانت الذاكرة جزءًا من تجربة المستخدم الطبيعية، فلماذا نقوم بإيقافها؟"

يمكن أن يظل قيد التشغيل في اللوحة الطبيعية. يمكن إيقاف تشغيله في اللوحة المُتحكم بها لمسح المقارنات بين المنتجات. اللوحتان تجيبان عن أسئلة مختلفة.

اعتراض 7— «أليس فتح محادثة جديدة كافيًا لجلسة نظيفة؟»

ليس دائمًا. قد تستمر الذاكرة المستمرة أو التعليمات الخاصة أو إعدادات الحساب. يجب أيضًا حفظ هذه المناطق.

اعتراض 8— "ماذا يمكننا أن نفعل إذا لم يشرح المزود تغيير المنتج؟"

لوحظ:

• واجهة
• ميزة
• السلوك,
• الإسناد

يمكننا حفظ تغييراتك. إذا كان السبب غير معروف، يتم استخدام حالة تغيير غير محددة مثل UC-5.

الاعتراض 9— "إذا كانت المنتجات تتغير باستمرار، ألن تكون أي نتائج صالحة؟"

النتيجة المذكورة:

• تاريخ،
• موجة,
• عينة المنتج

إنها صالحة لـ. التغيرية لا تجعل القياس بلا معنى. إنها تمنع الحكم غير المناسب في الوقت.

الاعتراض 10— "أليس نفس المدخل ونفس اليوم قابلين للمقارنة بما فيه الكفاية؟"

قد تختلف الخطة، الواجهة، الذاكرة، الويب، الدولة، وعدد المستخدمين. قد يكون نفس المدخل مطلوبًا. إنه ليس كافيًا بمفرده.

الاعتراض 11— 'ألن يكون مستوى CP تقنيًا جدًا للجمهور؟'

يمكن استخدام تسمية قصيرة:

• وصفية
• مطابقة جزئيًا
• متوافق
• مراقبة
• مكررة

يجب معرفة مدى قوة تصنيف الجمهور.

الاعتراض 12— 'لماذا لا يمكننا التصنيف مباشرة استنادًا إلى درجات نطاق الوصول الطبيعي؟'

لأن كل منتج قد تم قياسه في دول وسكان مستخدمين مختلفين. قد ينشأ فرق في الدرجات جزئيًا من السكان الذين وصل إليهم المنتج. يوفر قاعدة المقارنة المشتركة مقارنة أكثر عدالة.

الاعتراض 13— "أليس قاعدة المقارنة المشتركة نتيجة واقعية؟"

إنها نتيجة للسكان المشتركين الفعليين. ومع ذلك، فهي لا تظهر الوصول إلى المنتجات خارج الكون المشترك. يجب قراءتها مع نطاق الوصول الطبيعي.

الاعتراض 14— "هل التفتيش على المنتج الحي أكثر أهمية، أم تفتيش النموذج المجمد؟"

الأسئلة مختلفة. المنتج الحي يقيس حقيقة المستخدم. النموذج المجمد يوفر التحكم العلمي وقابلية التكرار. NOMOS لا يستخدمهما بالتبادل.

القاعدة الشائعة للفصل 57

المستخدم:

• "ChatGPT قال ذلك."
• "Gemini اعتقد ذلك."
• “Claude أوصوا بنا.”
• “بعضهم ذكرنا.”

يمكن قول ذلك. هذه التعابير مفهومة في المحادثة اليومية. لكنها غير كافية في سجل التدقيق. لأنه تحت هذه الأسماء:

• منتجات مختلفة،
• خطط مختلفة،
• نماذج مختلفة،
• واجهات مستخدم مختلفة،
• أنظمة ويب واسترجاع مختلفة،
• ظروف ذاكرة مختلفة،
• دول مختلفة،
• أوقات مختلفة

يمكن العثور عليها. يمكن لأشخاص مختلفين رؤية تجارب ذكاء اصطناعي مختلفة تحت نفس الاسم. يمكن إنشاء تجارب مستخدم قابلة للمقارنة تحت أسماء مختلفة. يبدو أن تسمية النموذج قد أنتجت الإجابة بالكامل. لكن الواقع الذي يصل إلى المستخدم:

• اختيار المصادر،
• أمني،
• التخصيص،
• واجهة
• أدوات

قد يتأثر الناتج بضوابط الأمان، والتخصيص، والواجهة، والأدوات المتاحة. لذلك يطرح NOMOS أكثر من مجرد 'أي نموذج؟' بل يسأل: أي منتج؟ / أي واجهة؟ / أي خطة؟ / أي وضع معلومات؟ / أي جلسة؟ / أي مستخدم؟ / أي بلد؟ / أي وقت؟ / أي إصدار؟ قد يأتي نتيجتان من نفس صياغة المُدخل دون أن تأتيان من نفس التجربة. قد تأتي نتيجتان من مزودين مختلفين وما زالتا قابلة للمقارنة إلى حد كبير تحت نفس شروط المستخدم. المنتج هو نظام يعمل مباشرة: يمكن أن تتغير مصادره وواجهته ونموذه. التغيير لا يجعل النتيجة عديمة القيمة؛ إنه يربط النتيجة بزمن وحالة المنتج المحددة. لذلك فإن القانون التاسع للقياس لدى NOMOS هو:

مزود الذكاء الاصطناعي ليس منتجًا للذكاء الاصطناعي.

القانون العاشر هو:

النموذج هو جزء واحد فقط من سلسلة التمثيل التي تصل إلى المستخدم.

القانون الحادي عشر هو كما يلي:

الاسم نفسه يضمن القابلية للمقارنة؛ الاسم المختلف لا يضمن عدم القابلية للمقارنة.

القانون الثاني عشر هو كما يلي:

نفس المُدخل ليس نفس التجربة.

القانون الثالث عشر هو كما يلي:

نتيجة المنتج الحي صالحة فقط لعينة المنتج والوقت الذي يتم قياسه فيه.

القانون الرابع عشر هو كما يلي:

قوة المقارنة لا تأتي من حجم التصنيف، بل من وضوح الشروط المماثلة.

طلب قسم 9 من NOMOS

لا تعطيني اسم المزود فقط. / أظهر أي منتج تم استخدامه، على أي واجهة ومع أي خطة.

لا تجعل تسمية النموذج التي تراها على الشاشة تعتبر الهوية الدقيقة لكامل نظام الخلفية.

تم استخدامها لأنه كان هناك ميزة ويب؛ لا تفترض أنها دعمت الادعاء لمجرد وجود مرجع.

لا تعتبر وصول الأداة استخدامًا للأداة، أو محادثة جديدة كحساب نظيف، أو حالة الذاكرة غير المعروفة على أنها الذاكرة مغلقة.

لا تضع مستخدمًا مجانيًا ومستخدمًا مدفوعًا، أو منتجًا للهواتف المحمولة ومنتج ويب، أو مساحة عمل مؤسسية ودردشة عامة في نفس الخانة.

لا تعتبر تلقائيًا نتائج من نفس المزود مقارنة عادلة.

لا تتجنب مقارنة مقدمي الخدمات المختلفين لمجرد أنهم مختلفون. / أولاً، طابق الشروط. / ثم، اشرح أي سؤال أجبت عليه.

لا تقدم منتجًا حيًا كنموذج مجمد، أو API كتجربة مستهلك، أو نتيجة منتج كتفوق للنموذج الأساسي.

إذا تغير النظام في منتصف الموجة، فلا تدمج الاستجابات القديمة والجديدة كمنتج واحد.

لا تتجاهل التغير في السلوك أمامك لمجرد أن المزود لم يشرح هذا التغيير.

لا تفترض أن المجهول نظيف أو متساوٍ أو ثابت.

أولاً، سجّل النظام في السجل. / ثم ثبّت الإعدادات. / ثم راقب التغييرات. / ثم اكتب موضوع المقارنة. / ثم عرض الحالات المتطابقة وغير المتطابقة. / وفقط بعد ذلك قل أي منتج أعطى نتيجة أقوى تحت أي حالة.

جملة ختام الفصل

الـ"ذكاء الاصطناعي" المقاس في GEO-1000 ليس اسماً واحداً أو نموذجاً واحداً؛ إنه نظام تمثيلي ذو إصدارات يصل إلى مستخدم محدد في لحظة محددة ضمن سلسلة منتجات محددة.

النواة المعيارية

يجب ربط كل ملاحظة GEO-1000 بسجل ذي رقم إصدار في سجل أنظمة الذكاء الاصطناعي يصف نسخة المنتج المقاسة، ويشمل، بحسب الاقتضاء: - المزوّد، - المنتج، - واجهة الاستخدام، - الخطة، - هوية النموذج المعروضة أو المتحقق منها، - مستوى الثقة في هوية النموذج، - إعدادات الاسترجاع والويب، - إمكانات الاستشهاد واستخدامها، - الوصول إلى الأدوات واستخدامها، - حالة الجلسة، - الذاكرة، - التعليمات المخصصة، - السياق السابق، - التخصيص، - البلد، - الإعداد المحلي، - اللغة، - حالة النشر، - وقت القياس، - والتغييرات المعروفة أو المرصودة في النظام. ولا يجوز التعامل مع اسم المزوّد واسم المنتج ووسم النموذج المعروض والنموذج الأساسي ونظام الاسترجاع والمنتج المتاح للمستخدم بوصفها هويات قابلة للتبادل. ويجب الفصل بين توافر الميزة واستخدامها. ولا يجوز تقديم نتائج المنتج العامل على أنها نتائج نموذج مجمّد، كما لا يجوز تقديم نتائج نموذج مجمّد على أنها التجربة الكاملة لمنتج استهلاكي. ويجب أن تحدد كل مقارنة موضوعها وأن تُمنح مستوى معلنًا لقابلية المقارنة يستند إلى تطابق الكيان والمُدخل والمجتمع واللغة والبلد والوقت والجلسة والخطة والواجهة والاسترجاع والأدوات والسجلات المرجعية وقواعد التحكيم. ولا يكفي تطابق المزوّد أو وسم النموذج المعروض لافتراض قابلية المقارنة تلقائيًا. ويجوز مقارنة مزوّدين مختلفين إذا كانت الشروط التي يواجهها المستخدم متوافقة بما يكفي وإذا اقتصر الادعاء الناتج على سلوك المنتج المقاس. ويجب أن يؤدي أي تغيير جوهري في المنتج أثناء موجة القياس إلى إنشاء حالة نظام مستقلة أو موجة فرعية أو معامل تغيير نموذجي أو تحذير من حالة مختلطة. ويجب أن تظل حقول الإعداد المجهولة موسومة بالقيمة UNKNOWN، ولا يجوز افتراض أنها مضبوطة أو متكافئة. ويجب ضبط إصدار كل قرار متعلق بسجل النظام أو قابلية المقارنة ونسبه إلى شخص أو منظمة مسؤولة.