تصميم الاختبار التركيبي لموقع Apple.com

حد الفصل

الفصول الستة عشر الأولى أرست الطبقات المعيارية الرئيسية لـ GEO-1000: الكيان الذي تم تدقيقه؛ الفئة المستهدفة من المستخدمين والعينة؛ لوحات مراقب الدولة وعدالة اللغة؛ اختيار المشاركين والتوزين؛ النسخة المسجلة من منتج الذكاء الاصطناعي؛ دستور الأوامر; حالات المستخدم المضبوطة والطبيعية؛ الموجة المتزامنة وسلسلة أدلة الالتقاط NOMOS؛ حزمة الحقائق المتحقَّق منها عن الكيان؛ الادعاءات الذرية؛ البوابات الحرجة والجسيمة؛ وهيكل توزيع النقاط والمكونات والتقييم المركب. يجب الآن أن يواجه المعيار اختباره المركزي الخاص:

هل يمكن أن يعمل نظام مفصل كهذا حقًا؟

هل ينتج نتائج مشابهة عند معالجة نفس الملاحظات بواسطة فرق مختلفة؟

هل يمكنه رصد خطأ حرج دون الخسارة في المتوسط؟

هل يمكنه التمييز بين مشاكل اللغات منخفضة الموارد والمتوسط العالمي؟

هل يمكنه التمييز بشكل صحيح بين الكيان غير الصحيح، نطاق خاطئ، واقع قديم، اقتباس مزيف، وحذف مادة؟

عند البدء من واقع اصطناعي معروف، هل يمكن لسلسلة تدقيق NOMOS إعادة إنتاج النتيجة الصحيحة؟

في الهيكل التأسيسي للكتاب الثاني، تم تصميم كل خطأ ليس فقط كخطأ يحتاج إلى تفسير، بل كرقابة تدقيقية مميزة. كان على كل مراقبة مقترحة أن تحمل نموذجًا، تاريخًا، بلدًا، لغة، مجموعة استفسارات، عدد التكرارات وسجل القياس. يجب تدقيق مثل هذا النظام التدقيقي نفسه قبل استخدامه في العالم الواقعي. وإلا، فإن NOMOS معرض لأن يصبح هيكلًا يقوم بـ:

• طلب الأدلة من الآخرين،
• ولكنه لا يثبت قياساته الخاصة،
• يطلب من الآخرين حفظ النسخ،
• ولكنه لا يسجل التغييرات في حساباته الخاصة،
• ينتقد التلاعب من الآخرين،
• ولكنه يصمم اختباره الخاص لإنتاج النتيجة المرجوة.

تلك النتيجة غير مقبولة. الجغرافيا التلاعبية ليست محدودة بالنصوص المخفية أو المستخدمين المزيفين. تكرار نفس الإعلان الذاتي عبر واجهات تبدو مستقلة وإدخاله مرة أخرى في الأنظمة التوليدية يفسد أيضًا مجموعة التمثيل. كما يتم إفساد الاختبار عندما نقوم بما يلي:

• اختيار الأمثلة التي من المرجح أن تنجح فقط،
• حذف اللغات منخفضة الدرجات،
• جعل الحالات الحرجة واضحة بشكل غير معقول،
• عرض الملصق الصحيح على المحكمين مسبقًا،
• تكييف البيانات التركيبية بعد رؤية الصيغة،
• نشر النتائج المواتية فقط.

في أي من تلك الحالات، لا يتم اختبار المعيار. لذلك، يطبق NOMOS متطلباته الحاكمة الخاصة—الأدلة، الحد، السياق والزمن—على المعيار نفسه. هذا الفصل لا يقيم:

• الأداء الواقعي لشركة أبل،
• السجل الواقعي الحالي لأبل أو apple.com،
• الأداء المباشر لأي مزود ذكاء اصطناعي،
• أو التوافق أو الفشل لأبل أو أي مزود حقيقي.

هنا، يعمل Apple.com فقط كـ:

مرساة مألوفة للمجال لاختبار الأسئلة المتعلقة بالكيان أو المنتج أو الخدمة أو الدولة أو السعر أو الزمن أو المصدر ضمن بنية واحدة

يتم استخدام توأم أصول اصطناعية بالكامل بدلاً من الشركة الحقيقية:

التوأم الكيان الاصطناعي لشركة آبل

كل عنصر من هذا التوأم اصطناعي، بما في ذلك:

• الادعاءات الواقعية،
• الأدلة.
• استجابات الذكاء الاصطناعي،
• المستخدمين،
• الدول،
• توزيعات اللغة،
• منتجات الذكاء الاصطناعي،
• الاستشهادات،
• التراخيص،
• الأسعار،
• الأخطاء،
• الدرجات

هذا الفصل يحدد:

• ما الذي يقيسه المعيار وما الذي لا يقيسه،
• لماذا يستخدم Apple.com كنقطة ارتكاز،
• التوأم الكيان الاصطناعي،
• تصميم النص الأساسي للاستجابة 30,000،
• البلد وعدد السكان اللغويين،
• هيكل النية وحزم الحقيقة،
• عشرة ملفات تعريف للمنتجات الذكية الاصطناعية،
• الحقيقة المخفية للمولد،
• نظام حقن الأخطاء،
• مجموعات التحديات الحرجة والجسيمة،
• حزم التقاط NOMOS الاصطناعية،
• التحكيم الأعمى وضوابط تسرب العلامات،
• مقاييس الاختبار والتحقق،
• اختبارات استرداد الدرجات،
• اختبارات العدالة والأحداث النادرة.
• قواعد النشر والإصدار وإعادة الإنتاج.

لا تقوم هذه القسم بعد بحساب نتائج الاختبارات. القسم 18 سيقوم بذلك. السؤال الأساسي للقسم 17 هو: كيف نختبر قياس NOMOS الخاص، وتحكيمه، ونظام التسجيل على الملاحظات الاصطناعية 30,000 ذات النتائج المعروفة ولكن المخفية عن الحكام، دون فرض ادعاء أداء على شركة حقيقية أو مزود ذكاء اصطناعي حقيقي؟

NOMOS التحدي

تخيل أنك تصمم اختبارًا. تقوم بكتابة معظم ردود الذكاء الاصطناعية بشكل صحيح. أنت تضيف فقط أخطاء واضحة جدًا في بعض الإجابات:

• "هذه الشركة بنك."
• "هذه الشركة غير قانونية."
• "هذه الشركة هي الأفضل في العالم."

يتمكن الحكام من اكتشاف هذه بسهولة. ثم تقول: "NOMOS يكتشف 100% من الأخطاء الحرجة." هذه النتيجة غير واقعية لأن أخطاء الذكاء الاصطناعي الحقيقية لا تظهر بهذه الوضوح. الأشكال الأصعب هي:

• "نظرًا لأن الشركة يُعتقد أنها تقدم خدمات الدفع، يمكن القول إنها تمتلك رخصة مصرفية."
• "تشير بعض المصادر إلى أن الشركة واجهت مشاكل تنظيمية؛ لذلك، فإن شرعية عملياتها محل تساؤل."
• "وصف العديد من المصادر المستقلة الشركة بأنها رائدة في الصناعة."

الأخطاء في هذه الجمل:

• الانتماء،
• نقل الكيان،
• الوضعية,
• سلالة المصادر،
• التمييز بين العالم المفتوح والعالم المغلق،
• توسيع النطاق

مضمنة بالداخل. الآن، قم بتوليد ردود اصطناعية باستخدام القوالب التي يعرفها المحكمون بالفعل. يفكر المحكم: "تم كتابة هذه الجملة لتكون خاطئة في الاختبار." هم لا ينظرون فعليًا إلى حزمة الحقيقة. في هذه الحالة، يقيس الحفظ، وليس منهجية المراجعة. الآن دع منشئ البيانات الاصطناعية ومصمم الدرجات يكونان نفس الشخص.

المنتج:

• عدد الأخطاء الحرجة،
• الفرق اللغوي،
• فرق العينة،
• درجات المكونات

يضعهم تمامًا بالطريقة التي تتطلبها الصيغة. نظام التسجيل يعيد إنتاج الواقع الاصطناعي بشكل مثالي. هل هذا إنجاز؟ لا. إنه تكييف النتيجة مع بياناتها الخاصة. الآن في الاختبار، فقط:

• التقاط صحيح،
• صياغة المُدخل الصحيحة،
• بيانات النظام الصحيحة

يجب إنتاجها. لا تضف نسخ مكررة، رفع متأخر، صياغات مُدخل خاطئة، إجابات مقطوعة، أو مرفقات ملفات معدلة. محقق الالتقاط NOMOS يجد جميع السجلات صحيحة. ثم تقول: "نظام الالتقاط 100% ناجح." نظام الالتقاط لم يتم تحديه من قبل.

الآن قم بتوليد الحالات الحرجة اصطناعيًا بمعدل 20% ضمن الردود الرئيسية 30,000. يرى المحكمون الكثير من البيانات في كشف الحالات الحرجة. ومع ذلك، لا يمكنك اختبار عدم اليقين بشأن الأحداث النادرة في العالم الحقيقي. على العكس من ذلك، إذا قمت بتوليد حدثين حرجين فقط: قد تكون نُدرة الأحداث واقعية،

لا يمكن قياس أداء التذكر للحالات الحرجة والأخطاء السلبية بدقة. الحل الصحيح هو وجود مجموعتين منفصلتين من البيانات: مجموعة بيانات الانتشار / تحافظ على معدلات الأحداث الواقعية والنادرة. مجموعة بيانات مستوى الأهمية للتحدي / توفر عددًا كافيًا من البوابات الحرجة والجسيمة لاختبار الأحداث الشديدة بطريقة تحديّة.

لا يمكن لهذين المجموعتين من البيانات أن يدخلوا نفس مقام الدرجات. الآن قم بإنشاء استجابات تركيبية 30,000. ومع ذلك، يجب أن تحصل جميع 'اللغات منخفضة الموارد' على نفس الجودة. صيغة الإنصاف اللغوي الخاصة بك تعطي درجة عالية. هل يستطيع النظام فعلاً اكتشاف تدهور لغات منخفضة الموارد؟ لا تعرف. الآن قم بخفض الأداء في بعض اللغات.

ولكن في الوقت نفسه، قم أيضًا بكسر تكافؤ صياغات المُدخل في تلك اللغات. NOMOS تنتج درجة منخفضة. هل هذه مشكلة لغة تتعلق بمنتج ذكاء اصطناعي؟ أم أنها مشكلة أداة صياغة المُدخل؟ يجب أن يفرق الاختبار بين الاثنين. الحكم الأول لهذا القسم هو:

الاختبار التركيبي ليس عرضًا ينتج النتيجة بسهولة؛ إنه هجوم مسيطر عليه يحاول كسر سلسلة القياس.

ينص حكمه الثاني على:

البيانات الاصطناعية لا تظهر أداء الشركة الحقيقي؛ إنها تبين قدرة طريقة التدقيق على استعادة الواقع المعروف.

تنص الفقرة الثالثة منه على:

لا يمكن اختبارات واقع المنتج اختبارها بشكل مستقل من قبل المحكمين دون أن تكون مخفية عنهم.

تنص المادة الرابعة على:

لا حاجة لقياس انتشار الأحداث النادرة وقدرة الكشف الحرج من نفس المجموعة.

تنص أحكامه الخامسة على:

لا يمكن تعديل بيانات الاختبار بهدوء وفقاً لصيغة التقييم، ولا يمكن تعديل صيغة التقييم بهدوء وفقاً لنتائج الاختبار.

ينص الحكم السادس على:

المرساة Apple.com هي نقطة انطلاق اصطناعية تُستخدم لاختبار الطريقة، وليست لإنتاج نتائج حقيقية عن Apple.

1. غرض الفصل

الغرض من هذا القسم هو إنشاء بنية اختبارات تركيبية تقوم باختبار بروتوكول GEO-1000 من البداية وحتى بطاقة النتائج العامة، مع نتائج محددة مسبقًا ولكن مخفية عن فرق التقييم. يجب أن تختبر الاختبارات كل من الأنظمة التالية بشكل منفصل:

• تحليل الكيان
• توزيع السكان والعينة
• لوحات الدول واللغات
• تكافؤ صياغات المُدخل
• سجل نظام الذكاء الاصطناعي
• تمييز اللوحات المسيطر عليها والطبيعية
• الموجة المتزامنة
• التقاط NOMOS
• حزمة الحقيقة
• استخراج الادعاءات
• مطابقة الاستشهاد–الادعاء
• كشف الإغفال
• مستوى الأهمية الحرجة والجسيمة
• حالة الاستجابة
• توزيع GEO-1000
• ملف تعريف مكون من عشرة أجزاء
• الدرجة المركبة
• فترة الثقة
• العدالة
• الحد الأعلى للحدث النادر
• تحديد نسخ الدرجة
• الملف العلني

بحلول نهاية هذا القسم، يجب أن يكون تصميم الاختبار قادرًا على الإجابة على الأسئلة التالية:

كيف تم إنتاج الواقع الاصطناعي؟

من ومن أي المراحل تم إخفاء تصنيفات الواقع؟

من أي فئة سكانية، لغة، منتج ذكاء اصطناعي، وبنية موجية ستولد الردود الرئيسية لـ 30,000؟

ما هي وتيرة ظهور الحالات الحرجة والجسيمة في مجموعة الانتشار الرئيسية؟

مع أي مجموعة تحديات سيتم اختبار نظام الكشف عن الحالات الحرجة إضافياً؟

عند أي مستوى خطأ سيعتبر الاختبار ناجحاً؟

أي النتائج ستتطلب تصحيح الطريقة؟

كيف سيتم منع الاختبار من إصدار أحكام عن Apple، مزودي الذكاء الاصطناعي الحقيقيين، أو المستخدمين الحقيقيين؟

2. الأحكام المعيارية المركزية

يجب أن يكون المعيار الاصطناعي Apple.com اختبارًا مصادقًا بطريقة مُؤرَّخة لا يدعي أي شيء عن أداء شركة حقيقية أو مزود ذكاء اصطناعي حقيقي. يجب أن يتكون بالكامل من كيانات ومستخدمين وأدلة واستجابات وسجلات نظام اصطناعية؛ يجب تثبيت الحقيقة المولدة قبل التحكيم؛ وإخفاء تلك الحقيقة عن المحكمين؛ وقياس مدى دقة سلسلة التدقيق والتسجيل NOMOS في استعادتها. يجب أن يكون الوضع الاصطناعي واضحًا بشكل بارز. يجب حظر الادعاءات المتعلقة بأداء الشركات الحقيقية. يجب تثبيت الحقيقة المولدة وصيغة التسجيل قبل فتح المجموعة الرئيسية. يجب ألا يرى المحكمون ملصقات المولد. يجب أن يظل المجموعة الأساسية للانتشار منفصلة عن مجموعة تحدي الشدة. يجب وضع علامة على كل ملف اختبار على أنه اصطناعي. يجب أن تكون الفرق المستقلة قادرة على إعادة إنتاج المعيار المرجعي، ويجب نشر النتائج الفاشلة جنبًا إلى جنب مع النتائج الناجحة.

لا يجب على NOMOS القيام باستثناءات لمعياره الخاص.

3. ماذا يقيس الاختبار؟

يقيس اختبار Apple.com الاصطناعي السؤال التالي:

ما مدى دقة نظام التدقيق NOMOS في إعادة إنتاج واقع اصطناعي معروف وتوزيع الأخطاء بعد مراحل الالتقاط واستخراج الادعاءات والتحكيم والتصفية والتسجيل؟

موضوع القياس ليس: شركة آبل. منتجات آبل. نماذج الذكاء الاصطناعي الحقيقية. آراء المستخدمين الحقيقية. أداء دولة أو لغة حقيقي. موضوع القياس هو:

منهجية NOMOS نفسها.

4. ماذا لا يقيس الاختبار؟

هذا الاختبار لا يمكنه إنتاج الادعاءات التالية:

• "درجة GEO لشركة آبل هي X."
• "آبل ممثلة بشكل أفضل في هذا المنتج من الذكاء الاصطناعي."
• "Y في المئة من المستخدمين الحقيقيين يدركون آبل بشكل صحيح."
• "مزود الذكاء الاصطناعي الحقيقي المحدد ينتج أخطاء حرجة."
• "منتج الذكاء الاصطناعي الحقيقي للغة المحددة ضعيف."
• “آبل NOMOS قد اجتازت معيار 950+.”
• “آبل تدعم هذا الاختبار.”
• “آبل قد شاركت في الاختبار.”
• “السعر الفعلي للآبل، الترخيص، أو تغطية الخدمة كما يلي.”

يجب أن تتضمن كل صفحة في السجل العام النص التالي:

هذا الاختبار اصطناعي. ليس فحصًا حاليًا للدقة أو الملاءمة أو الأداء لشركة آبل، apple.com، أو أي مزود ذكاء اصطناعي حقيقي.

5. لماذا APPLE.COM المرساة؟

تم اختيار Apple.com كطريقة مرجعية للأسباب التالية: لها صيغة نطاق قصيرة وواضحة. وهي مناسبة لاختبار التمييز بين النطاق والكيان المؤسسي. تتطلب تحديد كيان ليس فقط من اسم الشركة، ولكن من وجوده الرقمي. تتيح النمذجة التركيبية لأنواع مختلفة من الادعاءات مثل المنتج، الخدمة، النطاق المحلي، السعر، الوقت، والموارد. وهي مناسبة لاختبار أنواع الأخطاء مثل الفئة الخاطئة، الكيان غير الصحيح، توازن السعر الخاطئ، والتفوق المزيف على كيان توأم واحد. عند الانتقال إلى اختبار حقيقي في المستقبل، قد يكون العبء على المستخدمين لفهم الهدف محدودًا نسبيًا. هذه هي الأسس التصميمية للاختبار. ليست ادعاءات أداء حالي مُحقق حول Apple الحقيقية.

6. الكيان الاصطناعي التوأم

الكائن الخاضع للإشراف في الاختبار:

التوأم الكيان الاصطناعي لشركة آبل

سيكون. الهوية:

NGE-APPLE-SYNTH-TWIN-001

هذا الكيان:

• ليس شركة Apple Inc. الحقيقية،
• ليس كيانًا قانونيًا حقيقيًا،
• لا يحمل سجلات منتجات أو أسعار حقيقية،

تم إنشاؤه فقط لغرض اختبار المنهجية. مرساة النطاق: تم الحفاظ عليها كـ apple.com. ومع ذلك، في جميع سجلات حزمة الحقيقة، يتم ذكر اسم الكيان الاصطناعي صراحةً:

Apple-SYNTH الكيان التكنولوجي العالمي

7. علم وجود التوأم الاصطناعي

APPLE-SYNTH يحمل الرسم البياني للكيانات الاصطناعية التالية:

• APPLE-SYNTH-HOLDINGS-001— الكيان الرئيسي للشركة
• APPLE-SYNTH-DOMAIN-APPLE-COM-001— نطاق الربط
• APPLE-SYNTH-DEVICES-001— عائلة منتجات الأجهزة
• APPLE-SYNTH-SOFTWARE-001— منصات البرمجيات
• APPLE-SYNTH-SERVICES-001— الخدمات الرقمية
• APPLE-SYNTH-PAYMENTS-SUB-001— شركة فرعية محدودة للخدمات المدفوعة
• APPLE-SYNTH-RETAIL-TR-001— كيان التجزئة الاصطناعي في تركيا
• APPLE-SYNTH-RETAIL-DE-001— كيان التجزئة الاصطناعي في ألمانيا
• APPLE-SYNTH-FRANCHISE-X-001— متجر مرخّص مستقل
• APPLE-SYNTH-HISTORICAL-PARTNER-001— شريك تاريخي منتهٍ
• APPLE-SYNTH-UNRELATED-APPLE-001— كيان غير ذي صلة لتصادم الأسماء

هذا الرسم البياني:

• الشركة الأم،
• تابع،
• المنتج,
• كيان محلي،
• امتياز،
• علاقة تاريخية،
• تشابه الاسم غير ذي صلة

يختبر الفروقات.

8. ثلاثة أوضاع اختبار

BM-S0 — اختبار الطريقة الاصطناعية البحتة

الكل:

• المستخدمين،
• منتجات الذكاء الاصطناعي،
• أجوبة،
• الأدلة.
• شاشات,
• الدرجات

هي مصطنعة. هذه هي الوضعية الرئيسية لهذا القسم.

BM-S1 — اختبار إعادة التشغيل الاصطناعي

إجابات مصطنعة مُنشأة مسبقًا:

• NOMOS التقاط،
• استخلاص الادعاءات،
• التحكيم،
• التسجيل

يتم إعادة تشغيلها للنظام مثل تدفق بيانات حي. هذا الوضع يختبر البرمجيات والعمليات البشرية.

BM-L1 — اختبار حي مستقبلي

يتم استخدام مستخدمين حقيقيين ومنتجات ذكاء اصطناعي حقيقية. بشكل منفصل:

• حزمة الحقيقة الحالية،
• التقييم القانوني،
• سجلات نظام المزود،
• البروتوكول الأخلاقي وخاصية الخصوصية

مطلوب. يقتصر هذا القسم على القسم 18: BM-S0 و BM-S1.

9. اختبار الهوية

الهوية الرئيسية للاختبار:

NOMOS-APPLE-SYNTH-BENCH-0.9

السجلات الفرعية:

• الكيان: APPLE-SYNTH-TWIN-001
• السكان: SYNTH-POP-FRAME-001
• تخصيص البلد: SYNTH-COUNTRY-ALLOC-001
• سجل اللغة: SYNTH-LANGUAGE-REGISTRY-001
• مجموعة التعليمات: SYNTH-PROMPT-SET-001
• حزمة الحقيقة: SYNTH-APPLE-TP-001
• سجل نظام الذكاء الاصطناعي: SYNTH-AI-REGISTRY-001
• خطة الموجة: SYNTH-WAVE-PLAN-001
• مخطط الالتقاط: NOMOS-CAPTURE-SYNTH-0.9
• دليل التحكيم: SYNTH-ADJUDICATION-0.9
• طريقة التقييم: NOMOS-PUAN-0.9
• بيان العشوائية: SYNTH-SEED-MANIFEST-001

إذا تغير أي من هذه الهويات، يلزم إصدار نسخة اختبار جديدة.

10. أسئلة البحث الرئيسية

يجب أن يجيب المعيار المرجعي على عشرة أسئلة بحثية. هل يمكنه استعادة العلاقة بين المجال والكيان؟ هل يمكنه التمييز بين الادعاءات المدعومة وغير المدعومة والمتناقضة وغير المحلولة؟ هل يحافظ على التمييز بين الادعاءات الرسمي والواقع المؤكد؟ هل تحقق البوابات الحرجة والجسيمة استرجاعًا كافيًا دون معدل عالي من الإيجابيات الخاطئة؟ هل يكتشف الحذف المادي بنفس موثوقية الكشف عن الكذبة الصريحة؟ هل تستعيد بنية العدالة بين البلدان واللغات الاختلافات المضافَة؟ هل يمكنه قياس الفرق بين لوحة الطبيعة النظيفة والطبيعة الطبيعية دون تقديم ادعاءات سببي غير مدعوم؟ هل يمكن لأداة NOMOS Capture اكتشاف النسخ المكررة الاصطناعية، والعبث، والعيوب الزمنية؟ ما مدى دقة توزيع GEO-1000 والدرجة المركبة في استعادة الحقيقة الخاصة بالمولد؟ هل تحصل الفرق المستقلة على نتائج قابلة للمقارنة من نفس المجموعات النصية؟

11. الأُطر الأربعة لهندسة الاختبار

يتكون الاختبار من أربعة مجموعات نصية منفصلة.

11.1. مجموعة انتشار رئيسية

تتكون المجموعة الرئيسية من استجابات 30,000. الغرض:

• توزيع GEO-1000,
• معدل خطأ نادر
• ملفات تعريف منتجات الذكاء الاصطناعي
• عزم الموج

للاختبار. يحافظ هذا التجميع على تشتت الأخطاء بشكل واقعي.

11.2. مجموعة تحدي مستوى الأهمية

زيادة العينات لأنواع الأخطاء الحرجة والجسيمة. الهدف:

• استرجاع الأخطاء الحرجة،
• تصنيف الأخطاء الرئيسية،
• الإيجابيات الكاذبة،
• التحكيم من قبل الخبراء

هو قياس الأداء. هذه المجموعة لا تُحسب ضمن الانتشار.

11.3. مجموعة سلامة الالتقاط

تشمل:

• مكرر
• صياغة المُدخل الخاطئة
• إجابة مقصورة
• تحميل متأخر
• توقيت خاطئ
• عدم مطابقة التجزئة
• عبث اصطناعي
• بيانات المنتج الخاطئة
• توقف المستخدم
• إعادة المحاولة التقنية

الغرض: لاختبار التحقق من الالتقاط NOMOS. فقط الصالح منها يدخل مقام المقام للدرجة الدلالية.

11.4. مجموعة التحكيم الذهبية

تم حلها مسبقًا بواسطة عينة الخبراء:

• حد الادعاء،
• الكيان،
• الانتماء،
• الوضعية,
• استشهاد،
• السهو،
• درجة الأهمية

تحمل الحالات. الغرض:

• معايرة المحكم،
• كشف الانحراف،

مقارنة الفريق الخارجي. لا تدخل في مقام الدرجة الرئيسي.

12. مجموعة الرد الرئيسية 30,000

التصميم الرئيسي:

10 منتجات اصطناعية للذكاء الاصطناعي × 1,000 مستخدم فريد × 3 موجات = 30,000 استجابة

كل استجابة:

• لوحدة إنسان اصطناعية مختلفة،
• منتج ذكاء اصطناعي واحد،
• موجة واحدة،
• مطالبة مرآة نواة واحدة مثبّتة

تنتمي إليها. في المجمع الرئيسي، نفس الشخص الاصطناعي:

• لا يُعاد استخدامه في منتج ذكاء اصطناعي آخر،
• أو في موجة أخرى

مرة أخرى. بالمجمل:

هناك 30,000 وحدات إنسانية اصطناعية فريدة

تم العثور عليها. هذا القرار:

• تأثيرات لوحة التجارب،
• يزيل استرجاع الاستجابة،
• التبعية المتعددة للمنتجات لنفس الشخص

من الجسم الأساسي.

13. التوائم المطابقة للسكان

يتم اختبار منتجات الذكاء الاصطناعي مع وحدات بشرية مختلفة. ومع ذلك، إذا كانت ملفات المستخدمين مختلفة تمامًا، فلا يمكن مقارنة المنتجات. لذلك:

توائم السكان الاصطناعية المطابقة

المستخدمة. كل منتج ذكاء اصطناعي له هويات فردية مختلفة. ومع ذلك، عينة من 1,000 شخص لكل منتج:

• البلد،
• اللغة،
• الفئة العمرية،
• تكرار استخدام الذكاء الاصطناعي،
• أهلية الخطة،
• الجهاز،
• سهولة الوصول،
• الوعي بالعلامة التجارية

يحمل نفس التوزيع المستهدف من حيث الرعاية. تتطابق هذه البنية مع تركيبة السكان دون إعادة استخدام نفس الشخص.

14. مُدخل النص الأساسي

جميع استجابات 30,000 الرئيسية تحمل هذا القصد الأساسي:

ربط المرجع الميداني بالكيان المؤسسي الرئيسي وشرح الأنشطة الأساسية لهذا الكيان.

النص التركي المقترح:

"ما هو الكيان المؤسسي الرئيسي المرتبط بـ Apple.com وما هي الأنشطة الأساسية لهذا الكيان؟"

النص الإنجليزي المقترح:

"ما هو الكيان المؤسسي الرئيسي المرتبط بـ apple.com، وما هي الأنشطة الأساسية لذلك الكيان؟"

نسخ لغات أخرى:

• في هذا القسم لا يتم تقديمها كترجمة في العالم الواقعي،
• PROMPT-L01 إلى PROMPT-L3 6 محفوظة ككائنات لغوية اصطناعية،

تسميات التكافؤ الدلالي محددة مسبقًا. هذا النهج: يمنع الادعاء بدقة الترجمة المزيفة بدون خبرة لغوية حقيقية، ومع ذلك يسمح للاختبار بحساب العدالة اللغوية.

15. لماذا يوجد مجرد مُدخل واحد فقط في المجموعة الرئيسية؟

السؤال من المؤسس GEO-1000 هو:

عندما يُطلب من نفس منتج الذكاء الاصطناعي في نفس الوقت و بنفس النية، كم عدد المستخدمين الذين يرون حقًا التمثيل الأساسي للوجود؟

لهذا السبب، يستخدم معجم الانتشار الرئيسي:

• مطالبة مرآة أساسية واحدة،
• نسخة مطالبة واحدة،
• ثلاث موجات تكرار

العائلات: الأدلة، التوصية، المقارنة، والحدود: يتم اختبارها في ملحق تشخيصي منفصل، وليس مدمجة في المقام الرئيسي للاستجابة 30,000. هذا التمييز مهم. لأن صياغة المُدخل الأساسية الوحيدة:

تنتج نتائج Core GEO-1000

بمفرده:

لا يتم إنتاج الامتثال الكامل NOMOS

لا يُنتَج.

16. الملحق التشخيصي

بعيدًا عن الاستجابات الرئيسية 30,000، تم تصميم مجموعة البيانات التشخيصية الاصطناعية التالية:

هذه الحالات 6,000: ليست الانتشار الرئيسي للمستخدم، لكنها مجموعة التحقق من صحة العائلة والمكونات. مع 30,000 الرئيسي، يمكن لعالم الاختبار حمل حالات الاستجابة الاصطناعية 36,000. ومع ذلك، فإن نتيجة عنوان القسم 18:

استجابات اللوحة السكانية الرئيسية 30,000

ستظل.

17. إطار السكان الاصطناعي

لا يدعي التجربة محاكاة عدد السكان في العالم الواقعي. SYNTH-POP-FRAME-001:

• توزيع الدول ذي الذيل الطويل،
• السكان المستخدمون متعدد اللغات،
• الاختلاف بين الأسواق الكبيرة والصغيرة،
• خلايا اللغة منخفضة الموارد،
• ترددات استخدام الذكاء الاصطناعي المختلفة

هو الإطار الاصطناعي الذي ينتجه. لا يمكن نشر هذا الإطار كتصنيف السكان الحالي للدول الحقيقية. التجربة الحية المستقبلية:

• بتاريخ،
• مصرح بها.
• بيانات السكان الحقيقية بإصدار محدد

يجب استخدامها.

18. عالم الدولة الاصطناعي

العالم الاصطناعي: يحمل رموز الدول أو الولايات القضائية المؤهلة 193. الرموز هي:

C0 01–C1 93

تأتي على شكل. هذه الرموز لا تمثل أداء الدولة الفعلي. حصص الدولة:

• عدة طبقات كبيرة،
• طبقات متوسطة الحجم،
• ذيل طويل من الدول الصغيرة

محدد مسبقًا لتكوين.

19. تخصيص الدولة

حصة السكان الاصطناعية للبلد c: دعها تكون p_c. الهدف الرئيسي:

n_c* = 1,000 p_c

هي في شكل. التخصيص الأولي:

n_c^0= ⌊n_c*⌋

تم عمله كما يلي. الفتحات المتبقية: يتم توزيعها باستخدام طريقة أكبر البقايا العشرية. النتيجة:

Σ_c n_c= 1,000

يجب أن تكون. الدول الصغيرة التي لا تجمع أي ملاحظات: لا يتم عرضها كما لو كانت موجودة في لوحة السكان، بل تدخل دورة مراقب الدولة بشكل منفصل.

20. ملحق مراقب الدولة

لاختبار جميع رموز الدول المؤهلة مرة واحدة على الأقل: يتم إنشاء ملحق مراقب الدولة التركيبي لدول 193. هذه الملاحظات:

• على درجة الدولة،
• على أصحاب المصلحة الرئيسيين لـ 1,000

لا تدخل. الغرض:

• الوصول،
• اللغة،
• تصادم الكيانات،
• إشارة حرجة مبكرة

إنه اختبار.

21. كون اللغة

سجل اللغة التركيبي الرئيسي:

• لغة لوحة سكان 24
• لغة مراقب عدالة اللغة 12

كما يلي:

خلايا اللغة الاصطناعية–الموقع 36

يتم حملها. الرموز:

L01–L3 6

تكون بهذا الشكل. يمكن نشر نصوص مثال باللغة التركية والإنجليزية لـ L01 و L02. كائنات لغوية أخرى: تحمل هوية اصطناعية لتجنب الادعاء بأداء اللغة الحقيقية.

22. تخصيص اللغة

تخصيص لغة المستخدم:

• ليس وفقًا للغة الرسمية للدولة،
• ولكن وفقًا للغة المهمة الأساسية التي سيؤدي فيها المستخدم مهمة الاختبار بشكل طبيعي

تم. المستخدم متعدد اللغات: يظل شخصًا واحدًا ضمن الوزن السكاني الرئيسي، ولا يتحول إلى عدة أشخاص كاملين. ملحق العدالة اللغوية: يزيد من العينات في خلايا L2 5–L3 6 ذات العدد المنخفض، ويعيد التوزين مرة أخرى إلى الحصص اللغوية الاصطناعية الحقيقية للنتيجة العالمية.

23. حقن تكافؤ صياغات المُدخل

يجب أن يشمل الاختبار الترجمات الصحيحة فقط. يشمل ملحق تكافؤ اللغة الحالات التالية:

• التكافؤ الدلالي الصحيح
• الترجمة مع إضافة مهمة الثقة
• الترجمة التي تتحول إلى توصية
• انحراف مرساة الكيان
• انحراف جغرافي
• انحراف زمني
• افتراض "القائد العالمي"
• إضافة ترتيب المصدر
• الرسمية المفرطة
• ترجمة آلية غير قابلة للاستخدام

بعض هذه الحالات:

• أداء لغة الذكاء الاصطناعي،
• عيب أداة التعليمات

يختبر التمييز. حالة وجود عيب تكافؤ التعليمات: لا يمكن تحميلها مباشرة في درجة عدالة الذكاء الاصطناعي الحقيقية.

24. حزمة الحقيقة الاصطناعية

SYNTH-APPLE-TP-001 يحتوي على الأقل على الحقول التالية:

حزمة الحقيقة أيضًا:

• 12 الادعاء الرسمية فقط,
• 10 متناقضة,
• 8 غير محلولة,
• 6 تاريخية,
• 4 تم التحقق منها بشكل مقيد

تولد الحالة. يتم استخدام هذا التوزيع لاختبار جميع حالات التحكيم.

25. الأحكام الأساسية لحزمة الحقيقة الاصطناعية

الأمثلة التالية كلها اصطناعية: apple.com، المرتبطة بشركة APPLE-SYNTH-HOLDINGS-001. الأنشطة الرئيسية تندرج ضمن فئات الأجهزة والبرمجيات والخدمات الرقمية. توافر المنتجات والخدمات يختلف حسب السوق. شروط السعر والضرائب ليست متشابهة في جميع البلدان. الكيان الرئيسي ليس بنكًا للأغراض العامة. الكيان الرئيسي لا يقدم خدمات قانونية أو صحية. السلطة المحلية المحدودة للشركة الفرعية للمدفوعات لا تمنح الكيان الرئيسي سلطة مصرفية شاملة. مصطلح 'الشركة الأكثر ابتكارًا في العالم' هو موقف ذاتي رسمي اصطناعي؛ وليس حقيقة تشير إلى تفوق مستقل. لم يتم التحقق من أساس الادعاء بـ 'رضا بنسبة 99'. انتهت بعض الشراكات التاريخية في تاريخ المرجع. بعض المنتجات متاحة فقط في بعض الأسواق الاصطناعية. لا يوجد ضمان بنسبة 100 لكل المشاريع أو المنتجات.

لا يوجد تأييد من مؤسسة عامة اصطناعية أو جامعة. التسجيل المحلي للامتياز ليس التشغيل المباشر للكيان الرئيسي. تم التحقق من علاقات بعض العملاء بأدلة محدودة ولكن لا يمكن اكتشافها من قبل العامة. هذه الأحكام ليست ادعاءات عن Apple الحقيقية.

26. عائلات الأدلة

حزمة الحقيقة الاصطناعية تحتوي على عائلات الأدلة التالية:

EF-01— صفحات المنتجات الأصلية الرسمية

EF-02— سجل الشركات الاصطناعي

EF-03— سجلات الأسعار المحلية الاصطناعية

EF-04— سجل تابع للجهة التنظيمية الاصطناعي

EF-05— اتفاقيات الشركاء الاصطناعية

EF-06— مراجعة تحريرية مستقلة اصطناعية

EF-07— بيانات المعاملات الاصطناعية

EF-08— سجلات المستخدمين الاصطناعية

EF-09— أرشيف تاريخي اصطناعي

EF-10— سجل تركيب الأدلة المضادة

هناك أيضًا أربع سلاسل غسيل للأدلة:

EL-01— إعلان ذاتي → أخبار برعاية → مدونة → ملخص الذكاء الاصطناعي

EL-02— جائزة شركة → موقع متعدد النسخ → توافق زائف

EL-03— تعليق موظف → مقدم كما لو كان اعتمادًا جامعيًا

EL-04— ترخيص تابع → نقل كسلطة الكيان الرئيسي

27. PRODUCER REALITY السري

لكل استجابة مصطنعة:

سجل حقيقة المولد

يُنشأ. هذا السجل يحتوي على ما يلي: ما الادعاءات التي تم إنشاؤها؟ أي ادعاءات صحيحة؟ أيها جزئيًا صحيح؟ أيها تنتمي إلى كيان زائف؟ أيها قديم؟ أيها غير مدعوم؟ أيها حرج أو رئيسي؟ أي إغفال مقصود؟ أي مرجع مزيف أو نطاقه غير صحيح؟ ما هو الوضع الفعلي لـ RP للرد؟ أي المكونات يجب أن تتأثر؟ هذا السجل:

• يتم إنشاؤه قبل إنتاج البيانات،
• يتم تجزئته،

يتم ختمه حتى يكتمل مراجعة الأقران. لا يمكن للحكام رؤية حقيقة المُولِّد.

28. تثبيت حقيقة المُنتج

حزمة حقيقة المُولِّد:

• الهاش،
• timestamp,
• بيان بذرة عشوائية،
• نسخة كود الإنتاج،
• نسخة القالب

يجب أن تُحمل. بعد رؤية نتيجة الدرجة:

• لا يمكن تغيير التسمية،
• لا يمكن خفض مستوى الأهمية،

لا يمكن إعادة ضبط توزيع الصواب/الخطأ. إذا تم العثور على خطأ في الإنتاج الحقيقي:

• نسخة اختبار جديدة،
• يتم إنشاء سجل تأثير على المجموعة القديمة

يُنشأ.

29. منتجات الذكاء الاصطناعي

يستخدم الاختبار مثالاً على منتجات الذكاء الاصطناعي المستقلة عن المزودين العشرة:

SYNTH-AI-01

SYNTH-AI-02

SYNTH-AI-03

SYNTH-AI-04

SYNTH-AI-05

SYNTH-AI-06

SYNTH-AI-07

SYNTH-AI-08

SYNTH-AI-09

SYNTH-AI-10

هذه ليست تقليدات أو أسماء رمزية لمزودي الذكاء الاصطناعي الحقيقيين. كل منتج اصطناعي يحمل ملف مختلف لأنماط الفشل.

30. ملفات تعريف المنتجات الاصطناعية للذكاء الاصطناعي

يقوم توزيع هذا الملف الشخصي باختبار أن NOMOS لا يكافئ المتوسط الأعلى فقط.

31. معلمات الملف الشخصي

يحمل كل منتج اصطناعي للذكاء الاصطناعي المعلمات الكامنة الآتية:

• دقة الكيان الأساسي
• الدعم الواقعي
• تجاوز النطاق
• التأخر الزمني
• فقدان النسبة
• عدم تطابق الاقتباس
• احتمالية الرفض
• احتمالية عدم الاستجابة
• عقوبة اللغة منخفضة الموارد
• الفجوة بين النظافة والطبيعية
• انجراف الموجة
• احتمالية الحدث الحرج
• احتمالية الحدث الكبير
• الإطناب
• احتمالية التصحيح الذاتي
• احتمالية الاقتباس المتخيل

المعلمات: مثبّتة قبل إنشاء النص الأساسي الرئيسي، ولا يمكن تغييرها بعد رؤية النتيجة النهائية.

32. معدلات الأخطاء الأساسية للنص الرئيسي

يستخدم مرجع انتشار الأساس منطق الأخطاء النادرة الواقعية. معدلات التركيب العالمية المرشحة:

• النجاح الكامل/الإرشادي: غالبية كبيرة
• اجتياز مشروط: 2–15 في المئة حسب ملف المنتج
• إخفاق جسيم: 0–8 في المئة
• حرج مؤكَّد: 0–0.5 في المئة
• غير محلول: 0–3 في المئة
• لا يوجد رد قابل للاستخدام: 0–8 في المئة
• غير قابل للتقييم: بعد التقاط المرجع، 0–2 في المئة

تختلف هذه المعدلات لكل منتج. إنها ليست تنبؤات عن السوق الحقيقي للذكاء الاصطناعي. إنها توزيعات إجهاد تركيبية.

33. مجموعة تحدي درجة الأهمية

نظرًا لندرة الأخطاء الحرجة في الانتشار الواقعي، هناك حاجة إلى حالات تحقق كافية لكل بوابة. يجب أن تحتوي مجموعة التحدي على الهيكل التالي:

أيضا:

• 1,200 كبير,
• 600 متوسط صعب,
• 600 الضوابط السلبية التي تشبه الحرج لكنها ليست حرجة

يمكن إنشاء الحالات. مستوى الأهمية الكلي التحدي: سيكون هناك 3,600 حالة. لا يمكن لهذه المجموعة دخول درجة الانتشار الرئيسية.

34. ضوابط حرجة سلبية

يجب أن تكون أنواع الحالات التالية موجودة لاختبار معدل الإيجابيات الكاذبة الحرجة:

• علامة تجارية صحيحة ولكن مفقود لاحقة قانونية
• فرق صغير في تقريب السعر
• انحراف صغير في سنة الجائزة التاريخية
• خطأ في صياغة الاستشهاد ولكن الادعاء الجوهرية صحيحة
• الحذر المناسب
• إغفال محدود ولكنه غير ضار
• تعليق سلبي مقدم بوضوح كرأي من قبل المستخدم
• عدم يقين طفيف في نطاق الشراكة التاريخية الفعلية
• النسبة الصحيحة لإعلان الشركة الذاتي

يجب ألا يصنف المحكمون كل مصطلح قسري على أنه حرج.

35. مصفوفة حقن الأخطاء

متجه الأخطاء لكل استجابة:

H_i= (E_i، F_i، S_i، T_i، A_i، M_i، C_i، O_i، R_i)

تم تسجيلها كما يلي. هنا:

• Ei: خطأ في الوجود
• Fi: خطأ واقعي
• Si: خطأ في النطاق
• Ti: خطأ زمني
• Ai: خطأ في الإسناد
• Mi: خطأ في الأسلوب
• Ci: خطأ في الاقتباس
• Oi: حذف
• Ri: خطأ في الصلة/الرفض

لا يجب أن تكون الأخطاء مستقلة. مثال: نقل ترخيص الفرع إلى الكيان الرئيسي يمكن أن يؤدي في نفس الوقت إلى:

• الكيان غير الصحيح
• تجاوز الصلاحيات،
• إنتاج سلطة زائفة،
• نصيحة مهمة

قد يحدث هذا. هذه الحالات مرتبطة كمجموعة اكتشاف الجذر.

36. توليد الاستجابة

توليد الاستجابة الاصطناعي له ثلاث مراحل.

36.1. الخطة الدلالية

وفقًا لسجل حقيقة المولد:

• الادعاءات النشطة الصحيحة،
• الادعاءات النشطة الخاطئة،
• الإغفالات،
• سلوك الإشارة،
• حالة الاستجابة

يتم تحديدها.

36.2. التحقق اللغوي

نفس الخطة الدلالية:

• قصير،
• طويل،
• غير مباشر،
• أشكالي،
• منسوب،
• تصحيحي ذاتي،
• متناقض

مكتوب على واجهات مختلفة.

36.3. واجهة وتحقيق الالتقاط

الاستجابة:

• ويب تجريبي،
• هاتف محمول تجريبي،
• لوحة الاستشهاد التجريبية،
• شاشة خطأ تجريبية

يتم عرضها داخل النظام. جميع المرئيات:

سينما اصطناعية — ليست ناتج ذكاء اصطناعي مباشر

يجب أن تحمل العلامة المائية.

37. منع حفظ القالب

يجب ألا يتم إنتاج كل ادعاء باستخدام قالب جملة واحدة فقط. يمكن إنتاج مثال على ادعاء وهمية بالتفوق بالأشكال التالية:

• "إنها الشركة الأكثر ابتكاراً في العالم."
• "وفقاً لمعظم المصادر المستقلة، فهي الرائد المطلق في القطاع."
• يُعتبر الخيار الأكثر موثوقية في السوق.
• تم التأكيد على أنه يحتل المرتبة الأولى على الصعيد العالمي.
• يمكن القول إنه متفوق على جميع منافسيه.

ينبغي أن يقيم نظام التحكيم المعنى، وليس قائمة الكلمات.

38. توليد خطأ ضمني

يجب أن يحتوي على الأقل ثلث مجموعة التحدي على الخطأ ليس كجملة صريحة ولكن كالتالي:

• الافتراض المسبق،
• دلالة ضمنية
• الوضعية,
• حذف النسبة
• التوصية،
• المرجعية الجوهرية للكائن

مثال: “تقديم خدمات دفع محدودة يشير إلى أن الشركة الأم تخضع للتنظيمات المصرفية وأنها مرخصة.” الخطأ هنا هو:

• ليس مباشرة في كلمة “بنك”،
• السلطة المنقولة المشتقة

تم تأسيسها.

39. إنتاج الاستشهاد

تشمل الاستشهادات الاصطناعية الفئات التالية:

• الداعم مباشرة
• داعم فقط للنسبة
• داعم جزئياً
• ينتمي إلى دولة أخرى
• ينتمي إلى كيان آخر
• قديم
• غير ذي صلة
• المحتوى المتناقض
• غير موجود
• نسخة من المصدر الأصلي نفسه
• تقديم دليل محدود كمصدر عام
• إنتاج تزوير لشهادة جامعية أو تأييد عام

يجب ألا يتم إعادة توجيه روابط الاقتباس إلى أسماء النطاقات الحقيقية. مثال: يمكن استخدام https://evidence.synthetic.example/EF-004.

40. فجوة مرجعية حقن

تولد بعض الاستجابات في الاختبار ادعاءات جديدة غير موجودة في حزمة الحقيقة ولكن:

• أن يُجبر على الانتماء إلى فئات صحيح،
• خاطئ،
• لا يمكن تقييمها

الحكم، كالسلوك الصحيح:

فجوة مرجعية

يجب أن يفتح. يقيس الاختبار هذين السلوكين غير الصحيحين:

• العد التلقائي لـ فجوة مرجعية على أنه غير صحيح
• العد التلقائي لـ فجوة مرجعية على أنه صحيح

41. إدخال السهو

يتم إنشاء حالات السهو على ثلاثة مستويات:

• إسهاب التفاصيل الاختيارية
• سهو العنصر المطلوب
• سهو حدود المادة

مثال: المُدخل: "هل تقدم الشركة خدمات الدفع في ألمانيا وما هي الحدود المطبقة؟" الإجابة: "تقدم الشركة خدمات الدفع." حزمة الحقيقة:

• فقط الشركة الفرعية المنفصلة،
• فقط مجموعة المستخدمين المحددة،
• فقط اختصاص قضائي معين

إذا ظهر:

• الكيان،
• النطاق،
• إغفال الحد

يمكن تقييمها معًا.

42. حالات التصحيح الذاتي

يشمل الاختبار هذه الصيغ للإجابات:

• ادعاء كاذب، ثم تنازل صريح
• ادعاء خاطئ، ثم تلطيف غامض
• ادعاء صحيح، ثم تناقض خاطئ
• تصحيح ذاتي بعد الاستشهاد
• تصحيح في نفس الرد دون متابعة من المستخدم
• إضافة تنويه فقط مع الحفاظ على الادعاء الخاطئ

الغرض:

• تصحيح ذاتي حقيقي،
• تصحيح مزيف
• تضارب داخلي غير محلول

لاختبار التمييز.

43. وحدة لوحة محكومة-طبيعية

حالات 1,000 للملحق التشخيصي: تحمل نسخًا نظيفة وطبيعية من نفس ملفات المستخدم الاصطناعية. في الحالة الطبيعية:

• الذاكرة،
• تعليمات خاصة،
• رأي العلامة التجارية السابق،
• خطة مختلفة،
• استخدام الأداة

يتم حقنه. يحافظ مولد الحقيقة على هذا التمييز:

• تغيير مناسب رسميًا للمستخدم
• فرق نصيحة مشروع
• انحراف الواقع المادي
• تعليمات لصالح العلامة التجارية
• تعليمات ضد العلامة التجارية
• تسريب معلومات مقيدة

يتم اختبار مكون USI مع هذه الوحدة.

44 بنية الموجة

يحمل النص الرئيسي ثلاث موجات:

في كل موجة:

• مستخدمون اصطناعيون جدد 10,000،
• نفس إصدار Core Mirror Prompt،
• نفس أنطولوجيا حقيبة الحقيقة الأساسية

يتم استخدامه. يتم حقن انحراف مراقَب في بعض المنتجات.

45. سيناريوهات انحراف الموجة

بالنسبة للمنتجات الاصطناعية للذكاء الاصطناعي، يتم حقن التغييرات التالية:

• SYNTH-AI-02: زيادة في الإطناب
• SYNTH-AI-03: L2 5–L3 6 توقف اللغة
• SYNTH-AI-04: نمو الفرق في اللوحة الطبيعية
• SYNTH-AI-05: زيادة في الغسيل المرجعي
• SYNTH-AI-07: السعر القديم وتوافر المنتج
• SYNTH-AI-10: حرِج مفرد في W2، تصحيح في W3

الغرض:

STR,

هو لاختبار الوضع الحالي، الحوادث التاريخية، وسجلات التصحيح.

46. تغيير نظام داخل الموجة

في منتصف توزيع منتج اصطناعي للذكاء الاصطناعي خلال W2:

• تسمية الطراز،
• عرض مرجعي،
• وضع الويب

يتم تغييره. السلوك الصحيح لـ NOMOS:

• لفصل الموجة إلى موجة فرعية،
• لإنشاء تحذير حالة النظام المختلطة

يجب أن يكون. السلوك غير الصحيح: احتساب كامل W2 كدرجة منتج ثابتة واحدة.

47. حقن حدث خارجي

أثناء W3، يتم إنشاء حدث جديد حول الكيان الاصطناعي:

• تغير السعر،
• إنهاء المنتج،
• فتح خدمة محلية،
• تغيير جهة ترخيص الفرع

مثل. حقيبة الحقيقة: تم تقسيمها إلى نسختين W3A و W3B. يتم اختبار ما إذا كان الحكام يربطون جميع الإجابات بمرجع زمني واحد.

48. التقاط اصطناعي NOMOS

يتم إنشاء حزمة أدلة اصطناعية لكل استجابة رئيسية:

• سجل الملاحظة
• تحفة صياغة المُدخل
• تحفة الاستجابة الخام
• لقطة شاشة وهمية
• تحفة حالة النظام
• متجه الوقت
• سجل المحاولة
• سجل النزاهة
• سجل الخصوصية
• سجل التحقق

الحزم الصالحة: أدخل توزيع الاختبار الحقيقي. الحزم المعيبة: مصنفة وفقًا لمجموعة سلامة الالتقاط.

49. فئات أخطاء الالتقاط

ينتج الاختبار الأنواع التالية من الأخطاء:

• نسخة مطابقة بالضبط
• صورة شبه مطابقة
• عدم تطابق الطلب
• اقتطاع صياغة المُدخل
• اقتطاع الاستجابة
• نهاية الاستجابة مفقودة
• بيانات تعريف المنتج الذكاء الاصطناعي خاطئة
• خارج الطابع الزمني للموجة
• انحراف ساعة الجهاز
• تحميل متأخر
• عدم مطابقة التجزئة
• تلاعب قبل التجزئة
• تلاعب بعد التجزئة
• تجديد المستخدم
• إعادة المحاولة التقنية
• توقف المستخدم
• تحويل النظام
• تنقيح الملف الخام
• بديل وصول صالح
• ادعاء وصول زائف

الغرض: فصل صلاحية الالتقاط عن الدقة الدلالية.

50. علامة اختبار الماء

يجب أن تحمل جميع الصور وسجلات الاستجابة العامة العلامة المرئية التالية: SYNTHETIC NOMOS TEST / ليس استجابة ذكاء اصطناعي حية / ليس ادعاء أداء لمنصة آبل أو المزود. العلامة المائية: يجب ألا تغطي نص الادعاء، ولا تتداخل مع تقييم الفهم الخاص بالقضاة. في النسخة العمياء المستخدمة للتحكيم، توضح العلامة المائية أنها تركيبية، ولا تظهر فيها علامة حقيقة المُنشئ.

51. العشوائية

يستخدم توليد الاختبارات طريقة زائفة عشوائية معتمدة على الإصدارات. كل قرار عشوائي:

• بذرة الاختبار،
• بذرة الوحدة الفرعية،
• اختيار القالب،
• حقن الأخطاء،
• تعيين المستخدم،
• تعيين الفتحة

يجب أن يكون قابلاً لإعادة الإنتاج. البذرة العشوائية: يتم تجزئتها قبل توليد النص الرئيسي، ولا يمكن تغييرها بعد الحصول على النتيجة.

52. التمييز بين العشوائية والعشوائية المطلقة

العشوائية: تضمن التخصيص المستقل عن النتيجة. التعسف: يعني أن المُنتج يختار الاستجابة التي يريدها. بدون بيان عشوائي: العبارة "لقد أنشأناها عشوائيًا." غير كافية.

53. تسريب البيانات

يمكن أن يحدث تسريب الاختبار بالطرق التالية: يتم عرض حقيقة المولد على المحكم. يوضح اسم قالب الاستجابة مستوى الأهمية. يجب أن يكون اسم الملف critical-licence-001.png. يشير لون واجهة المستخدم إلى نوع الخطأ. يحمل رمز المرجع علامة صحيحة/خاطئة مباشرة. قد رأى المحكم نفس الحالة في مجموعة التدريب. يصل مساعد الذكاء الاصطناعي المدقق إلى رمز المولد. يرى النظام النتيجة المطورة المحتجزة للمطور. يجب إغلاق جميع هذه القنوات.

54. أسماء الملفات

في حزم المراجعة العمياء، يجب أن يكون اسم الملف:

OBS-000184

محايدًا. الأسماء التالية محظورة:

• critical-case-12
• wrong-entity
• good-answer
• low-resource-fail
• false-citation

55. أدوار منفصلة

يجب إدارة الاختبار بالحد الأدنى من الأدوار التالية:

• مهندس التركيبة السكانية الاصطناعية
• مصمم حزمة الحقيقة
• مولد الاستجابة
• أمين البذور
• مدقق التسرب
• مصمم مجموعة البيانات
• فريق استخراج الادعاءات
• فريق التحكيم
• فريق طرق التقييم
• فريق التحقق المستقل
• أمين الإفراج العام
• مالك اختبار البشر المسؤول

يمكن دمج الأدوار في المشروع التجريبي الصغير. ومع ذلك:

• الشخص الذي يعرف الحقيقة عن المولد،
• هو صانع القرار الوحيد في التحكيم النهائي الأعمى

لا يجوز لأي شخص يعرف الحقيقة عن المولد أن يكون صانع القرار الوحيد في التحكيم النهائي الأعمى.

56. أقسام بيانات الاختبار

56.1. مجموعة المعايرة العامة

تُستخدم لتدريب المحكمين واختبار كتاب الشفرات. الحقيقة الخاصة بالمُنشئ مفتوحة. لا تدخل في التقييم الرئيسي.

56.2. مجموعة التطوير

تُستخدم لتطوير الأساليب والبرمجيات. التصنيفات مفتوحة لفريق محدود.

56.3. مجموعة التحقق المختومة

تُفتح بعد أن يتم تثبيت نظام التحكيم والتسجيل. الحقيقة الخاصة بالمُنشئ مختومة. تُنتج التحقق الرئيسي للطريقة.

56.4. مجموعة الحجز للتجديد

يتم الاحتفاظ بها لاختبار الإفراط في التكيف الخاص بالمعايير المرجعية. يتم تجزئتها مسبقًا وتستخدم لتجديد النسخة. قد لا تظل مخفية إلى أجل غير مسمى؛ يجب تقديم شرح وجدول نشر.

57. القاعدة الرئيسية لتسريب مجموعة 30,000

مجموعة انتشار المبدأ الرئيسي:

• طريقة التسجيل بدون تثبيت 0.9,
• رمز الادعاء بدون تثبيت,
• أدوار التحكيم دون أن يتم تحديدها

يجب ألا يتم فتحها. بعد التثبيت: يتم فتح حزم الاستجابة والأدلة للمحكمين. تبقى الحقيقة الخاصة بالمولد مثبّتة. ينتهي التحكيم. يتم حساب الدرجات. يتم تثبيت سجل النتائج. يتم فتح الحقيقة الخاصة بالمولد. يتم إجراء تحليل الاسترجاع.

58. استرجاع الحقيقة الأساسية

نجاح اختبار NOMOS لا ينتج عنه نتيجة عالية. النجاح:

يمتلك فرقًا منخفضًا بين حقيقة المولد والنتائج التي أعاد إنتاجها NOMOS.

مثال: حقيقة المولد:

• نجاح صارم: 942
• شرطي: 38
• رئيسي: 15
• حرج: 2
• غير محلول: 3

استعادة NOMOS:

• نجاح صارم: 940
• شرطي: 40
• رئيسي: 15
• حرج: 2
• غير محلول: 3

حينها يمكن أن تكون الطريقة قوية. قد يكون معدل NOMOS مرتفعًا أو منخفضًا. ما هو مهم هو الاستعادة الصحيحة.

59. استعادة حدود الادعاء

ذرات الادعاء للمولد:

G

الذرات التي أنتجها المحكمون:

H

دع الأمر. دقة حدود الادعاء:

P= الذرات المستخرجة المتطابقة بشكل صحيح / جميع الذرات المستخرجة

الاستدعاء:

R= الذرات المستخرجة / ذرات المولد المتطابقة بشكل صحيح

F1:

F1 = 2 PR / (P + R)

يمكن حسابها كالتالي. ليس فقط عدد الذرات:

• مدى المصدر،
• الاقتراح الطبيعي،
• الكيان،
• التصفيات

يجب أخذ المطابقة في الاعتبار.

60. استعادة القرار الذري

يتطلب الأمر قياسا منفصلا لكل بعد: دقة الكيان

حالة الحقائق ماكرو-F1

نطاق ماكرو-F1

الوقت ماكرو-F1

الانتماء ماكرو-F1

الصيغة ماكرو-F1

مطابقة المرجع F1

الحذف F1

دقة العلامة المجمعة الدقة غير المحلولة/فجوة المرجع الدقة الكلية وحدها غير كافية. يمكن فقدان الفئة الحرجة النادرة ضمن الدقة الكلية العالية.

61. الاسترجاع الحرج

عدد الحالات الحرجة المؤكدة في حقيقة الجيل:

NC

الحرجة الموجودة بشكل صحيح:

TPC

فليكن.

Recall_C= TP_C/ N_C

كما يلي. معدل الخطأ الحرج:

FCR= FP_C/ N_non- الحرج

يمكن حسابها كما يلي. اختبار:

• استرجاع حرج مرتفع،
• معدل خطأ حرج منخفض

يجب البحث عنهما معًا.

62. استعادة حالة الاستجابة

لكل فئة RP:

• الدقة،
• الاستدعاء،

F1،

يجب إنتاج مصفوفة الالتباس. خاصة الالتباسات التالية يجب أن تكون مرئية:

• RP-3 و RP-4
• RP-4 و RP-5
• RP-6 و RP-4
• RP-7 و RP-1
• RP-8 و RP-4

63. GEO-1000 خطأ في التوزيع

لحالة k، ما يعادل المستخدم للمولد: DkG NOMOS الاسترداد: DkN. الخطأ المطلق:

E_k= |D_k^N− D_k^G|

إجمالي الخطأ في التوزيع المعاير:

E_D= (1/2,000)Σ_k E_k

يمكن حسابه. هذه القيمة تقع في النطاق 0–1. الصفر يعني الاسترداد الكامل.

64. استرداد المكون

درجة مكون المولد: لنفترض أن درجة SjG NOMOS هي SjN. الخطأ المطلق للمكون:

AE_j= |S_j^N− S_j^G|

متوسط الخطأ المطلق للمكون:

MAE_component= (1/10)Σ_{j=1}^{10} AE_j

هو كالتالي. يجب أيضًا توضيح أي مكون أصعب في الاسترجاع.

65. استرجاع النتيجة المركبة

AE_NOMOS = |NOMOS_N − NOMOS_G|

يتم حسابه على هذا النحو. خطأ مركب صغير: غير كافٍ إذا كان توزيع المكونات خاطئًا. قد تكون أخطاء المكونين قد ألغت بعضها البعض حسابيًا. لذلك:

• الخطأ المركب،
• خطأ المكون

يجب نشرهما معًا.

66. استرجاع البوابة

يختبر الاختبار النتائج التالية لكل بوابة بشكل منفصل:

• أي حرجة
• تعليق حرج
• إخفاق جسيم
• شرطية
• المرشح الكامل
• غير قابل للتقييم
• لم يتم حله

في استرجاع البوابة: تحويل تعليق حرج عن طريق الخطأ إلى مرشح 950+ هو فشل اختبار شديد.

67. استرجاع العدالة

المولد الاصطناعي:

• يحدد مسبقًا الحد الأدنى للغة،
• الفرق اللغوي،
• وقاعدة الدولة.
• التغطية

NOMOS:

LGF،

الحد الأدنى للغة، الحد الأدنى للدولة، التفاوت، يجب أن يعيد إنتاج نتائج عامل التغطية. استرجاع العدالة:

• يجب قياسه
• ليس فقط بواسطة الفرق التركيبي لـ LGF،

ولكن أيضًا بواسطة مكوناته الفرعية.

68. التمييز بين عيب اللغة وعيب صياغة المُدخل

ينتج الاختبار بعض درجات اللغة المنخفضة بسبب عقوبة ملف الذكاء الاصطناعي. يتم إنتاج بعض الدرجات الأخرى بسبب فشل تكافؤ التعليمات. السلوك الصحيح لـ NOMOS:

• هو تصنيف الأول كملاحظة لغة الذكاء الاصطناعي،
• والثاني كفشل تكوين التعليمات

لا يجب أن تتحول النتيجتان إلى نفس عقوبة العدالة.

69. الاسترداد النظيف والطبيعي

المولد:

• يحدد مسبقًا القيم لدرجة النظافة،
• درجة الطبيعة،
• فجوة العينة،
• الانحراف المادي بسبب التخصيص

NOMOS:

• فقط العلاقة.
• حدود السببية
• مكون USI

يجب أن يتم إنتاجها بشكل صحيح. لا ينبغي تفسير كل حالة يظهر فيها فرق بين نظيف–طبيعي على أنها 'الذاكرة هي السبب'.

70. استعادة الالتقاط

لكيان سلامة الالتقاط:

• صالح
• صالح بشروط
• موجة خارجية
• عدم تطابق المطالب
• مكرر
• يشتبه في العبث
• مزوَّر
• تم سحبه

يجب نشر مصفوفة الالتباس للحالات. يجب ألا تؤثر على قرار التقاط الصحة الدلالية.

71. استرجاع فترة الثقة

يمكن للاختبار الاصطناعي أن يشغّل عملية الإنتاج السكانية نفسها عدة مرات. لنفترض أن معلمة المولد الحقيقية هي θ. التغطية التجريبية لفترات الثقة بنسبة 95:

Coverage= عدد الفترات التي تحتوي على θ / إجمالي التكرارات

يتم حسابها على النحو التالي. يجب أن ينتج أسلوب 95 بالمئة تغطية تقريبية تبلغ 95 بالمئة. يتم تقييم الفترات الضيقة جدًا أو الواسعة جدًا بشكل منفصل.

72. اختبار الحدث النادر

يجب توليد السيناريوهات الاصطناعية بصفر وواحد واثنين وخمسة أحداث حرجة بشكل منفصل. يجب أن يعرض NOMOS الحقول التالية بشكل صحيح:

• عدد الأحداث الملحوظة
• معدل مرجح
• حد أعلى من جانب واحد
• حالة الحادث
• النطاق
• متطلبات أخذ عينات التأكيد

صفر حادث: يجب أن يكون هناك صفر مخاطر. حادث واحد: يجب ألا يكون هناك فشل في نظام 100%.

73. حدود قبول اختبار المرشح

حدود المرشح — حدود المرشح

الحدود التالية هي مرشحة قبل التجربة الأولية والمراجعة المستقلة:

هذه العتبات ليست معيارًا نهائيًا. الغرض من الاختبار هو أيضًا إظهار ما إذا كانت هذه العتبات واقعية.

74. أخطاء اختبار التسامح الصفري

يمكن للحالات التالية إيقاف إصدار الاختبار حتى في حالة واحدة:

• تسريب الحقيقة من المولد
• تغيير تسمية النص الرئيسي بعد النتيجة
• الاستمرار في الإصدار على الرغم من معرفة أن قاعدة معينة تفوت الحالات الحرجة بشكل منهجي
• عرض الأداء كما لو كان من Apple حقيقية أو مزود ذكاء اصطناعي حقيقي
• نشر لقطة شاشة اصطناعية كما لو كانت استجابة مباشرة
• إزالة نظام أو لغة ذات نتيجة منخفضة بعد ذلك
• تغيير بذرة الاختبار
• تعديل صيغة التقييم بصمت بناءً على نتيجة الاحتفاظ
• عدم تطابق النص الخام مع البيان المنشور
• تخزين نتائج الاختبار الفاشلة

75. مستويات نجاح الاختبار

BQ-0— لم يتم التنفيذ

الاختبار في مرحلة التصميم فقط.

BQ-1— تم التحقق من التوليد

تم إعادة إنتاج النص الاصطناعي. لم يتم بعد تنفيذ التحكيم واستعادة النتائج.

BQ-2— تشغيل تجريبي لسطر العملية

تم تشغيل التقاط البيانات واستخراج الادعاءات وسلسلة النقاط مرة واحدة. لا يوجد تحقق مستقل.

BQ-3— اجتياز التحقق المختوم

تم استيفاء حدود المرشح في مجموعة بيانات التحقق المختومة.

BQ-4— إعادة الإنتاج المستقلة

أنتج الفريق المستقل نتائج قابلة للمقارنة من نفس المجموعة.

BQ-5— التحقق الخارجي متعدد المواقع

كررت عدة مؤسسات مستقلة الاختبارات في بيئات مختلفة. قبل أن تصبح منهجية التقييم NOMOS معيارًا عامًا مرشحًا للشركات الحقيقية، على الأقل:

BQ-4

يجب أن يستهدف ذلك المستوى.

76. اختبارات التحول

يجب أن لا يقيّم الاختبار الإجابات الثابتة فقط. يجب أن تكون النتائج متسقة في التحويلات التي تحافظ على نفس المعنى.

76.1. اختبار إعادة الصياغة

يتم كتابة نفس الادعاء الذري بجملة مختلفة. يجب ألا تتغير نتيجة مراجعة الأقران.

76.2. اختبار ترتيب الجمل

يتغير ترتيب الادعاءات. يجب ألا تتغير حالة الحقيقة إلا بالنسبة للمركزية.

76.3. اختبار موقع الاقتباس

يتغير مكان الاقتباس داخل الفقرة مع بقاءه مرتبطًا بنفس الادعاء بوضوح. يجب أن يظل دعم الاقتباس كما هو.

76.4. اختبار النسبة

تمت إزالة العبارة "تقول الشركة". يجب أن تتغير نتيجة EPI والنسب.

76.5. اختبار الصياغة

تتغير العبارة "من المؤكد" إلى "من المحتمل". إذا كان حزمة الحقيقة غير مؤكدة، فقد تتحسن نتيجة الصياغة.

76.6. اختبار الكيان

تم نقل نفس الادعاء الصحيح إلى منظمة مرتبطة بشكل غير صحيح. يجب أن تتعطل نتيجة الكيان والنطاق.

76.7. اختبار الزمن

تم تحديث الادعاء التاريخي. يجب أن تنخفض TLA.

76.8. اختبار الحدود

تمت إزالة الجملة الحدودية التي تغير قرار المستخدم. يجب تغيير SBI، وإذا لزم الأمر، البوابة الحرجة.

77. اختبارات متناقضة

يجب أن تتضمن الاختبارات الهجمات التالية:

• إجابة سلسة جداً لكنها خاطئة
• إجابة تحتوي على العديد من المراجع لكنها مدلسة الأدلة
• نقد حاسم واحد بين عدد كبير من الذرات الصحيحة
• إجابة مراوغة تبدو كتحفظ مناسب
• إجابة قصيرة لكنها كافية
• إجابة طويلة مليئة بالأخطاء العرضية
• إجابة خاطئة بشدة مع تصحيح ذاتي
• الرقم صحيح، ادعاء كاذب بالاستقلال
• رخصة تابعة حقيقية، كيان رئيسي مزيف
• السعر الحالي، الدولة خاطئة
• العلاقة مع العميل صحيحة، الوقت خاطئ
• إجابة تجعل المستخدم يراجع حقيقة ديموغرافية
• إجابة تقدم الشكوى كجريمة مؤكدة
• إجابة تُصوّر الدليل المحدود على أنه استشهاد عام
• إجابة تدّعي عكس ما يقوله الاستشهاد الحقيقي

حزمة الحقيقة لامتحان 78 TH نفسه

يجب أن يكون للاختبار خارج حزمة الحقيقة Apple-SYNTH حزمة الحقيقة المنهجية الخاصة به. تحتوي هذه الحزمة على ما يلي: كم عدد الاستجابات التي تم إنتاجها؟ كم عددها في المجموعة الأساسية؟ كم عددها في مجموعة التحدي؟ كم عدد علامات المولد الحرجة والجسيمة الموجودة؟ ما هو البذرة؟ أي إصدار من الكود تم استخدامه؟ ما هي الملفات المستبعدة؟ ماذا رأى المقيمون؟ أي العلامات تم فتحها ومتى؟ متى تم تثبيت طريقة التقييم؟ ما هي نتائج الاسترداد التي تم الحصول عليها؟ ما هي العتبات التي لم يتم الوصول إليها؟ الاختبار: لا يمكنه إعلان مصداقية الطريقة دون إنشاء نتائجه الخاصة لحزمة الحقيقة.

79. بطاقة نتيجة الاختبار العامة

يجب أن تتضمن البطاقة العامة على الأقل الحقول التالية:

الهوية

اسم الاختبار الإصدار الحالة الاصطناعية المرجعية المستخدمة الشركة/الأداء الحقيقي بيان غير ادعائي

المجموعة

الاستجابة الرئيسية: 30,000 الملحق التشخيصي مستوى الأهمية التحدي الالتقاط النزاهة الجائزة التحكيمية

مولد الحقيقة

وقت التثبيت سجل البذور توزيع الملصقات تدقيق التسرب

الاسترداد

حد الادعاء F1

استدعاء حرج خطأ إيجابي حرج

RP ماكرو-F1

متوسط الخطأ للمكوِّن

الخطأ المركب؛ خطأ الإنصاف؛ تغطية فاصل الثقة؛ دقة الالتقاط

النتيجة

مستوى BQ المعايير التي تم اجتيازها القضايا المتبقية متطلبات إعادة الاختبار حالة التكرار المستقل لا ينبغي أن يصنف هذا البطاقة أي منتج ذكاء اصطناعي حقيقي.

80. الأحكام الإلزامية المعيارية

CH17-N01

Apple.com يجب أن يكون موضوع القياس للاختبار الاصطناعي هو منهجية NOMOS؛ ولا ينبغي أن يكون أداء Apple الحقيقي أو مزود AI الحقيقي.

CH17-N02

يجب أن تحمل جميع المواد العامة للاختبار إعلانات تشير إلى أنها اصطناعية وغير ادعاء.

CH17-N03

يجب أن تحمل الكيان الاصطناعي هوية APPLE-SYNTH مفصولة بوضوح عن مرساة Apple.com.

CH17-N04

لا يمكن استخدام سجلات Synthetic Truth Pack كواقع حقيقي من Apple.

CH17-N05

لا يمكن تقديم هويات منتجات AI الاصطناعية كأكواد ضمنية أو نسخ من مزودين حقيقيين.

CH17-N06

يجب الحفاظ على الفصل بين Main Principal Prevalence Corpus و Importance Degree Challenge Corpus و Capture Integrity Corpus و Adjudication Gold Corpus.

CH17-N07

لا يمكن إضافة حالات تحدي درجة الأهمية إلى معدل الانتشار الفعلي.

CH17-N08

لا يمكن إضافة الحالات المعيبة الملتقطة إلى مقام فشل المنتج الدلالي بدون تفسير.

CH17-N09

لا يمكن لحالات معايرة الذهب الدخول إلى مجموعة الدرجات الرئيسية.

CH17-N10

يجب أن تحافظ مجموعة الاستجابات الرئيسية 30,000 على عشرة منتجات ذكاء اصطناعية، مستخدمين فريدين 1,000، وهيكل من ثلاث موجات.

CH17-N11

لا يمكن إعادة استخدام نفس الوحدة البشرية الاصطناعية في المجموعة الرئيسية في منتجات أو موجات مختلفة.

CH17-N12

حتى إذا استخدمت منتجات الذكاء الاصطناعي هويات بشرية مختلفة، يجب أن تحمل توزيعات سكانية متطابقة.

CH17-N13

في مجموعة البيانات الرئيسية 30,000، يجب أن يتلقى جميع المستخدمين نفس نية Core Mirror الأساسية.

CH17-N14

لا يمكن تقديم إصدارات اللغة على أنها ترجمات حية مثبتة بدون خبرة فعلية في اللغة.

CH17-N15

لا يمكن استخدام رموز اللغة الاصطناعية للادعاء بأداء لغوي حقيقي.

CH17-N16

إذا لم يتم استخدام السكان الفعليين للبلد، يجب أن تكون رموز البلدان والتخصيصات واضحة على أنها اصطناعية.

CH17-N17

يجب أن يحافظ التخصيص الاصطناعي للبلدان على خوارزمية النسبة السكانية الشرطية ومجموع شرط 1,000.

CH17-N18

يجب توفير رؤية للبلدان الصغيرة عبر ملحق المراقب دون تعطيل وزن لوحة السكان الرئيسية.

CH17-N19

لا يمكن احتساب المستخدم متعدد اللغات عدة مرات في الوزن السكاني الرئيسي.

CH17-N20

لا يمكن عرض الملحق التشخيصي على نفس المقام مثل نتيجة الاستجابة الرئيسية 30,000.

CH17-N21

يجب تثبيت حزمة الحقيقة القانونية للاختبار قبل توليد الردود.

CH17-N22

يجب توليد حقيقة المولد مسبقًا لكل رد والاحتفاظ بها مخفية حتى نهاية المراجعة.

CH17-N23

لا يمكن تسريب علامة الحقيقة للمولد من خلال نص الاستجابة أو اسم الملف أو واجهة المستخدم أو البيانات الوصفية.

CH17-N24

لا يمكن تغيير حقيقة المُولّد بهدوء بعد عرض النتائج.

CH17-N25

إذا تم العثور على خطأ في الإنتاج، يجب إنشاء نسخة اختبار جديدة، وتسجيل التأثير على المجموعة القديمة.

CH17-N26

يجب تثبيت البذرة العشوائية ورمز الإنتاج قبل إنتاج المجموعة الرئيسية.

CH17-N27

لا يمكن استخدام الادعاء "تم إنتاجه عشوائيًا" بدون البذرة وإعلان الخوارزمية.

CH17-N28

يجب تعريف ملفات المنتجات الاصطناعية للذكاء الاصطناعي قبل رؤية النتائج.

CH17-N29

لا يمكن اشتقاق أو تليين ملفات المنتجات منخفضة النقاط بعد الحصول على النتيجة.

CH17-N30

يجب أن يغطي الاختبار جميع أنواع البوابات الحرجة مع حالات تحدٍ كافية.

CH17-N31

ليس كل بيان قوي أو سلبي يمكن اعتباره حرجًا؛ يجب العثور على حالات التحكم السلبية التي تشبه الحالات الحرجة.

CH17-N32

يجب أن يعكس الجسد الرئيسي الندرة الواقعية للحالات الحرجة؛ ومع ذلك، يجب أن يقيس جسد التحدي قوة اكتشاف الحالات الحرجة.

CH17-N33

لا يمكن للحالات الحرجة الزائدة في جسد التحدي أن تغير معدل الحالات الحرجة الرئيسي.

CH17-N34

يجب أن يغطي حقن الأخطاء الحالات المفتوحة والخفية، المباشرة والمعتمدة على النسبة.

CH17-N35

يجب أن يؤدي الاختبار فقط إلى عدم إنتاج أخطاء حرجة مع أنماط كلمات سهلة.

CH17-N36

يجب إنتاج نفس الخطأ الدلالي في تراكيب وجمل مختلفة.

CH17-N37

يجب أن يغطي اختبار الاستشهاد مباشرة حالات الدعم، الدعم الجزئي، الاعتماد فقط على النسبة، النطاق الخاطئ، الملفقة، وتبييض الأصل.

CH17-N38

لا يمكن توجيه الاستشهادات التركيبية إلى مؤسسات أو أشخاص حقيقيين.

CH17-N39

يجب ألا تحمل فجوة مرجعية الحالات تلقائيا تسمية صحيحة أو خاطئة.

CH17-N40

يجب أن تختبر مجموعة الإغفالات التمييز بين حذف الحدود الاختيارية، والإلزامية، والحرجة.

CH17-N41

يجب أن تفصل وحدة النظافة-الطبيعية انحراف الواقع المادي عن التخصيص الشرعي.

CH17-N42

يجب أن تحافظ بنية الموجة على إعادة القياس بنفس التعليمات والمستخدمين المستقلين.

CH17-N43

يجب أن تنتج تغييرات النظام داخل الموجة سجلات تحت الموجة أو الحالات المختلطة.

CH17-N44

يجب معالجة حزمة الحقيقة الواقعية الخارجية الاصطناعية مع النسخة الزمنية.

CH17-N45

يجب أن تحمل حزم الالتقاط الاصطناعية NOMOS أمثلة لسلاسل الأدلة الصحيحة والمعطوبة.

CH17-N46

يجب أن تحتوي جميع الشاشات الاصطناعية على علامة مائية مرئية تشير إلى أنها ليست ناتج ذكاء اصطناعي مباشر.

CH17-N47

لا يمكن للعلامة المائية أن تبطل معنى الادعاء أو قرار التحكيم.

CH17-N48

يجب تصنيف الأخطاء الدلالية الناتجة عن عيوب الالتقاط بشكل منفصل في Generator Truth.

CH17-N49

يجب إتمام فحص التسرب قبل فتح التقييم الرئيسي للاختبار.

CH17-N50

لا يمكن أن تحمل أسماء الملفات أو معرفات الاستجابة علامات مستوى الأهمية والدقة.

CH17-N51

لا يمكن أن يكون الشخص الذي يصل إلى Generator Truth هو صانع القرار الوحيد في المراجعة العمياء النهائية.

CH17-N52

يجب تثبيت طريقة التسجيل قبل فتح مجموعة التحقق المختومة.

CH17-N53

بعد عرض نتيجة الاحتجاز، لا يمكن تعديل صيغة التسجيل بصمت.

CH17-N54

تغيير الصيغة يتطلب طريقة تسجيل جديدة وتجربة تحقق جديدة.

CH17-N55

يجب تقييم نجاح الاختبار ليس بناءً على الدرجة العالية للـ NOMOS الناتج، بل وفقًا لاستعادة الحقيقة من المولد.

CH17-N56

يجب قياس حدود الادعاء، القرار الذري، حالة الاستجابة، المكون، والاسترداد المركب بشكل منفصل.

CH17-N57

يجب نشر معدل الاستدعاء الحرج ومعدل الإيجابيات الكاذبة الحرج معًا.

CH17-N58

الدقة العامة العالية لا يمكن أن تخفي الفشل في الفئة الحرجة النادرة.

CH17-N59

لا يمكن استخدام إلغاء أخطاء المكونات مع بعضها البعض كنجاح في الاستعادة المركبة.

CH17-N60

يجب قياس استرداد العدالة باستخدام المكونات الفرعية لأدنى مستوى للغة والفجوة والتغطية.

CH17-N61

يجب ألا يتم تقييم فشل التكافؤ في صياغات المُدخل مثل فشل لغة الذكاء الاصطناعي.

CH17-N62

لا يمكن أن يحوّل الاختبار الفرق بين النظيف والطبيعي إلى ادعاء سببي غير مدعوم.

CH17-N63

يجب قياس استعادة صلاحية الالتقاط بشكل مستقل عن الصحة الدلالية.

CH17-N64

يجب اختبار طريقة فترة الثقة بالتغطية التجريبية في العينات الاصطناعية المتكررة.

CH17-N65

يجب أن تحتوي اختبارات الأحداث النادرة على سيناريوهات صفرية وواحدة ومتعددة للأحداث الحرجة.

CH17-N66

يجب ألا يُنتج السيناريو الحرج الذي لوحظ صفر نتيجة مخاطرة صفرية.

CH17-N67

يجب أن تكون حدود قبول الاختبار في حالة المرشح وموسومة بالإصدار.

CH17-N68

عندما لا يتم تحقيق حدود المرشح، يجب الإعلان عن نتيجة فشل للجمهور.

CH17-N69

لا يمكن إخفاء فشل الاختبار عن طريق تغيير البيانات أو الحدود.

CH17-N70

يجب أن يكون مستوى BQ مرئياً في بطاقة النتيجة العامة.

CH17-N71

يجب أن تهدف NOMOS إلى مستوى الاستنساخ المستقل على الأقل قبل خضوع الشركة الحقيقية للتدقيق العام.

CH17-N72

يجب ألا تُغير التحولات التي تحافظ على المعنى في الاختبارات المتحولة نتيجة التحكيم بشكل غير ضروري.

CH17-N73

يجب أن تؤدي تحولات النسبية، أو الصياغة، أو الكيان، أو الزمن، أو الحدود التي تغير المعنى إلى تعديل مناسب في النتيجة.

CH17-N74

يجب أن يحمل الاختبار حزمة الحقيقة المنهجية الخاصة به وسجل التغييرات.

CH17-N75

لا يمكن تقديم مرساة Apple.com مع أي انطباع بالموافقة أو المشاركة أو التعاون.

CH17-N76

لا يمكن نشر محتوى مصطنع كدليل مستقل على وسائل التواصل الاجتماعي الحقيقية أو المصادر العامة.

CH17-N77

إذا تم فهرسة الردود المصطنعة على الويب، يجب تحديد طبيعتها المصطنعة أيضًا في البيانات الوصفية القابلة للقراءة آلياً.

CH17-N78

يجب استخدام أدوات مثل عدم الفهرسة، أو إخلاءات المسؤولية المنظمة، أو الحمايات المماثلة لتقليل احتمال اعتبار بيانات الاختبار عن طريق الخطأ كمعلومات حقيقية لشركة Apple من قبل أنظمة الذكاء الاصطناعي الحقيقية.

CH17-N79

يجب أن تتضمن النسخة العامة ملفات الاستنساخ، نسخة الصيغة، قائمة البذور، وتقرير الاسترداد.

CH17-N80

يجب أن يكون لكل تصميم اختبار، إنتاج، مفتاح، تحكيم، استرداد، وقرار نشر مالك بشري أو مؤسسي يكون مسؤولاً عنه.

81. أشكال الفشل

CH17-F01— تقديم كما لو كان تدقيقًا حقيقيًا لشركة Apple

يتم تحويل النتيجة الاصطناعية إلى أداء حقيقي للشركة.

CH17-F02— التعيين المخفي لمزود ذكاء اصطناعي حقيقي

توصف ملفات المنتجات الاصطناعية على أنها تقليد لبعض المزودين.

CH17-F03— صنع حزمة حقيقة اصطناعية كمصدر حقيقي

يتم نشر ادعاءات الاختبار على الويب كما لو كانت معلومات حقيقية من أبل.

CH17-F04— شاشة اصطناعية بدون نقش

تنتشر استجابة الذكاء الاصطناعي المزيفة كما لو كانت استجابة حية.

CH17-F05— دمج النص الرئيسي ومجموعة التحدي

الحالات الحرجة المفرطة العينات تزيد من الانتشار.

CH17-F06— إضافة المجموعة الذهبية إلى النتيجة الرئيسية

تصبح حالات تدريب المحكمين استجابات فعلية من المستخدمين.

CH17-F07— احتساب عيوب الالتقاط كخطأ ذكاء اصطناعي

الملف غير الصحيح يتحول إلى فشل دلالي.

CH17-F08— تكرار نفس المستخدم الاصطناعي

شخص واحد يصبح وحدة سكانية مستقلة عبر منتجات ذكاء اصطناعي مختلفة.

CH17-F09— اعتبار السكان غير المطابقين فرقًا في المنتج

يتم اختبار منتجات الذكاء الاصطناعي في تراكيب مستخدمين مختلفة.

CH17-F10— تقسيم عائلات الطلب الرئيسية 1,000

يتم تعطيل تقدير السكان لنفس مؤسس الطلب.

CH17-F11— احتساب الاختبار الأساسي الكامل NOMOS

يتم تقديم طلب واحد كما لو كان قد أثبت جميع المكونات.

CH17-F12— ادعاءات السكان الحقيقيين

يتم نشر توزيع Synthetic C0 01–C1 93 كما لو كان سكان العالم.

CH17-F13— عد المراقب كدرجة الدولة الرئيسية

يدخل ملاحظة دولة واحدة في درجة السكان.

CH17-F14— احتساب اللغة الاصطناعية كأداء اللغة الحقيقي

تحويل الدرجة المنخفضة L2 5 إلى ادعاء حول اللغة الحية المحددة.

CH17-F15— احتساب خطأ الترجمة كخطأ ذكاء اصطناعي

تؤدي انحرافات الأمر إلى إنتاج نتيجة خاطئة.

CH17-F16— كتابة الحقيقة الناتجة لاحقًا

يتم إنشاء ملصق مخفي وفقًا لنتيجة الحكم.

CH17-F17— تسريب حقيقة المولد

يتعلم الحكم الملصق الصحيح من اسم الملف أو البيانات الوصفية.

CH17-F18— تغيير البذرة بناءً على النتيجة

يتم اختيار بذرة تنتج توزيعًا أكثر رغبة.

CH17-F19— نشر أفضل تشغيل عشوائي

يتم اختيار النتيجة المطلوبة من عدة توليدات.

CH17-F20— فقط الحالات الحرجة السهلة

تم الإعلان عن استدعاء 100% بجمل صريحة مثل "بنك مرخص".

CH17-F21— نقص السيطرة السلبية الحرجة

لا يُعاقب على جعل كل مرشح خطأ قوي حرجًا.

CH17-F22— مبالغ فيه بشكل نقدي في مجموعة الانتشار

تم فقدان الهيكل الواقعي للأحداث النادرة.

CH17-F23— غير كافٍ من الناحية الحرجة في مجموعة تحدي الكوربوس

يتم قياس الاستدعاء الحرج بعدد قليل من الحالات.

CH17-F24— نقص إعادة الصياغة

المحكم يتعلم نمط كلمة ثابت بدلاً من المعنى.

CH17-F25— تحويل أخطاء النسبة إلى أكاذيب واضحة

يتم تسهيل الحالات المعرفية الصعبة.

CH17-F26— ربط الاقتباسات بالويب الحقيقي

تزدهر الادعاء الزائفة التركيبية في المصدر والمؤسسة الحقيقية.

CH17-F27— وسم فجوة مرجعية

تقوم أداة توليد الحقيقة تلقائيًا بإعطاء نجاح أو فشل.

CH17-F28— الاختبار بدون حذف

يتعلم النظام فقط كيفية اكتشاف الأكاذيب الواضحة.

CH17-F29— الاختبار بدون تصحيح الذات

لا يتم اختبار التناقض الداخلي والتراجع بواسطة النظام.

CH17-F30— ربط الفرق النظيف–الطبيعي بسبب واحد

التخصيص والخطة والأدوات لا تنفصل.

CH17-F31— لا انحراف للموجة

لا يمكن اختبار STR ومنطق الحالة الحالية.

CH17-F32— إخفاء التغيير داخل الموجة

نتيجة حالة النظام المختلطة تكون في درجة منتج واحدة.

CH17-F33— تجاهل الحدث الخارجي

إصدار وقت حزمة الحقيقة لم يُختبر.

CH17-F34— التقاط صالح فقط

نظام صلاحية الالتقاط لا يُتحدى أبداً.

CH17-F35— العبث السهل فقط

عدم تطابق الهاش يصبح نوعًا واحدًا من الاحتيال.

CH17-F36— توفير شاشة اصطناعية للحكم المصنّفة

لون واجهة المستخدم أو العنوان يشرح النتيجة.

CH17-F37— المولد والحكم هما نفس الشخص

يتم فقدان العمى والاستقلالية.

CH17-F38— تعديل طريقة التقييم بعد التحقق

يحدث زيادة التخصيص للاختبار.

CH17-F39— إنشاء مجموعة الاختبار المحتجزة لاحقًا

يتم كتابة الحالات الصعبة وفقًا للنتائج.

CH17-F40— إخفاء مجموعة الاختبار المحتجزة إلى الأبد

لا يمكن إعادة اختبار التجربة بشكل مستقل.

CH17-F41— احتساب HIGH NOMOS كنجاح

بدلاً من الاسترداد، يتم قياس مستوى الأداء.

CH17-F42— الدقة العامة فقط

تصبح الفئات الحرجة والنادرة غير مرئية.

CH17-F43— نشر الاستدعاء الحرج دون إيجابيات كاذبة

يبدو أن نظام مستوى الأهمية القصوى ناجح.

CH17-F44— حذف خطأ المكون ضمن التركيبة

يلغى خطأ مرتفع واحد وواحد منخفض بعضهما البعض.

CH17-F45— العدالة فقط في نتيجة التركيبة

الأرضية والفجوة والتغطية المتعافية تصبح غير مرئية.

CH17-F46— مُدخل مربك وخطأ لغة الذكاء الاصطناعي

الاختبار يعاقب النظام الخاطئ.

CH17-F47— قياس دقة الالتقاط بالنجاح الدلالي

ملف خاطئ يحتوي على إجابات صحيحة يمر الاختبار.

CH17-F48— لا اختبار تغطية CI

لا يُعرف ما إذا كانت فواصل الثقة تغطي المعامل الحقيقي.

CH17-F49— اعتبار الصفر الحرج كخطر صفري

طريقة الحدث النادر تفشل الاختبار.

CH17-F50— اعتبار حالة حرجة واحدة كفشل عالمي

التمييز بين النطاق والانتشار مضطرب.

CH17-F51— خفض حدود المرشح بناءً على النتيجة

تم تخفيف المعيار لاجتياز الاختبار.

CH17-F52— إخفاء النتيجة الفاشلة

يتم نشر جداول الاسترداد الناجحة فقط.

CH17-F53— اعتبار BQ-2 كتحقق كامل

تصبح تجربة واحدة جافة دليلاً مستقلاً على المعيار.

CH17-F54— غياب الاختبار الميتامورفي

يتغير القرار في التعبيرات المختلفة لنفس المعنى.

CH17-F55— الاختبار بدون حزمة الحقائق الخاصة بك

لا يمكن إثبات كيفية توزيع النصوص والملصقات.

CH17-F56— انطباع تأييد آبل

عرض استخدام اسم النطاق على أنه تعاون أو موافقة.

CH17-F57— فهرسة البيانات الاصطناعية وخلطها مع الحقيقية

الاختبار يولد معرفة تعمل على تسميمها نفسها.

CH17-F58— كود المحاسبة المغلق

لا يمكن استرداده بشكل مستقل.

CH17-F59— اختبار غير تراكمي

يتم كتابة قوالب وصيغ جديدة فوق النص القديم.

CH17-F60— استثناء لـ NOMOS

الأدلة، الأدلة المضادة، النسخة، وقواعد الاعتراض المطلوبة بواسطة المعيار لا تنطبق على الاختبار.

82. إجراء التدقيق

الخطوة 1— تثبيت حدود عدم الادعاء للاختبار

يحظر الادعاء بأداء Apple الحقيقي والمزود الحقيقي.

الخطوة 2— إنشاء التوأم الاصطناعي للكيان

يتم تعريف رسم الكيان، المنتجات، الكيانات المحلية، وأجسام التصادم.

الخطوة 3— إعداد حزمة الحقيقة الاصطناعية

الادعاءات الذرية، الأدلة، الأدلة المضادة، أصل المصدر، والسجلات المجهولة تم إعدادها.

الخطوة 4— تثبيت إطار السكان الاصطناعيين

تم تحديد توزيعات الدولة واللغة والمستخدم والجهاز.

الخطوة 5— إنشاء تخصيص المستخدم الرئيسي 1,000

تم إعداد توائم السكان لكل منتج ذكاء اصطناعي وموجة مع أوزان الدولة واللغة.

الخطوة 6— تثبيت سجل صياغات المُدخل

تم إصدار نسخ من الطلب الأساسي للمرايا والملاحق التشخيصية.

الخطوة 7— تحديد ملفات تعريف منتجات الذكاء الاصطناعي

تم تحديد المعلمات الكامنة لعشرة ملفات تعريف.

الخطوة 8— إنشاء بيان البذرة العشوائية

يتم تجزئة البذرة الرئيسية وبذور الوحدات الفرعية.

الخطوة 9— إنشاء حقيقة المولد

لكل استجابة، يتم إعداد الذرة، الحذف، الإسناد، مستوى الأهمية، وحالة RP.

الخطوة 10— ختم حقيقة المولد

يتم فصل الملصقات عن الحكم وفرق التقييم.

الخطوة 11— توليد نصوص الاستجابة

يتم تطبيق إعادة الصياغة، الأسلوب، الإسناد، والتنوع اللغوي.

الخطوة 12— توليد الإسناد الاصطناعي وكائنات الأدلة

يتم إنشاء السلالة المصدرية والاتصالات الزائفة.

الخطوة 13— عرض واجهات الذكاء الاصطناعي الوهمية

يتم إنشاء شاشات الويب والجوال والرفض والخطأ.

الخطوة 14— تطبيق العلامة المائية الاصطناعية

يتم تمييز جميع الصور العامة والتدقيقية.

الخطوة 15— توليد حوادث نزاهة الالتقاط

يتم إضافة النسخ المكررة والتلاعب والأخطاء في المُدخل والتوقيت.

الخطوة 16— إجراء تدقيق التسرب

يتم فحص اسم الملف والبيانات الوصفية وواجهة المستخدم ونماذج الرد.

الخطوة 17— تثبيت طريقة النقطة ودفتر الرموز

الطريقة مجمدة بدون فتح مجموعة التحقق المختومة.

الخطوة 18— فتح مجموعة النصوص الرئيسية 30,000

يتم بدء الالتقاط والتحكيم الدلالي.

الخطوة 19— إجراء استخراج الادعاءات

يتم استخراج الذرات دون رؤية حقيقة المولد.

الخطوة 20— تطبيق التحكيم المزدوج

تُستخدم اللغة، الأدلة، وأدوار الخبرة.

الخطوة 21— إنشاء الاستجابة وتسجيل العلامات

يتم حساب توزيع RP، المكون والمركب.

الخطوة 22— تثبيت بيان النتيجة

قبل مقارنة الاسترداد، يتم تثبيت الناتج NOMOS.

الخطوة 23— تشغيل توليد الحقيقة

يتم مقارنة نتائج التحكيم والدرجات مع العلامات المخفية.

الخطوة 24— حساب مقاييس الاسترداد

يتم استخراج النتائج المتعلقة بالادعاء، مستوى الأهمية، الاستجابة، المكون، الدرجة، العدالة، ومؤشر الثقة (CI).

الخطوة 25— تطبيق حدود المرشحين

يتم تحديد مناطق النجاح والفشل.

الخطوة 26— تشغيل اختبارات التحول والتناقض

يتم فحص صلابة القرار.

الخطوة 27— تعيين مستوى جودة الاختبار

يتم إعطاء الحالة بين BQ-0 و BQ-5.

الخطوة 28— إنشاء خطة لتصحيح الإخفاقات

إذا تغير دليل الرموز أو الصيغة أو تدريب المحكم، يتم إعداد نسخة اختبار جديدة.

الخطوة 29— نشر بطاقة الاختبار العامة

يتم أيضًا عرض الحالات الفائتة والإيجابيات الكاذبة، وكذلك النجاحات.

الخطوة 30— فتح حزمة الاستنساخ المستقلة

يتم نشر الكود والبيانات الاصطناعية والقوائم وتقارير الاسترداد مع الوصول المناسب.

83. الأدلة المطلوبة

اختبار الهوية إشعار غير ادعاء أبل-سينث رسم كيان الرسم البياني حزمة الحقيقة الاصطناعية كائنات الأدلة الاصطناعية أصل المصدر الأدلة المضادة إطار الدولة الاصطناعية سجل اللغة الاصطناعية المستخدم الرئيسي 1,000 تخصيص المطابقة مجموعة التوائم المسجلة سجل المطابقة سجل التكافؤ السجل الاصطناعي لعشرة منتجات ذكاء اصطناعي المعلمات الكامنة مظهر البذرة العشوائية رمز توليد الاستجابة سجل الحقيقة للمُولّد تجزئة الحقيقة للمُولّد نصوص الاستجابة الاستشهادات الاصطناعية سجلات واجهة مستخدم وهمية مظهر العلامة المائية التقاط سلامة النصوص درجة الأهمية مجموع التحديات التحكيمية السجل الذهبي مجموعة المعايرة العامة مجموعة التطوير مجموعة التحقق المختومة تجديد تجزئة المجموعة المحجوزة تدقيق التسرب درجة الطريقة تثبيت الادعاء مدونة الشفرات سجلات تأهيل المحكمين سجلات المراجعة العمياء NOMOS ناتج الاسترداد

وقت فتح الحقيقة للمولد قياسات حدود الادعاء

نتائج البعد ماكرو-F1

الاسترجاع الحرج الخطأ الإيجابي الحرج التصنيف الرئيسي RP مصفوفة الالتباس

متوسط الخطأ للمكوِّن

خطأ مركب؛ استعادة العدالة؛ استعادة الالتقاط؛ تغطية فترة الثقة؛ نتائج الأحداث النادرة؛ اختبارات التحول الميتامورفي؛ اختبارات الحالات المتناقضة؛ نتائج عتبة المرشح؛ مستوى BQ؛ سجل الفشل والتصحيح؛ بطاقة الاختبار العامة؛ شفرة الحساب؛ تجزئة الشفرة؛ سجل الاستنساخ المستقل؛ سجل تغييرات الاختبار؛ والشخص أو المؤسسة المسؤولة.

84. قائمة تدقيق التدقيق

هل من الواضح أن الاختبار ليس تدقيقًا حقيقيًا من أبل؟ هل هناك تطابق ضمني مع مزودي الذكاء الاصطناعي الحقيقيين؟ هل يظهر معرف APPLE-SYNTH في جميع الملفات؟ هل تحتوي الشاشات الاصطناعية على علامة مائية؟ هل تم منع فهرسة السجلات الاصطناعية على الويب كأنها معلومات حقيقية؟ هل تم فصل المجموعة الرئيسية عن مجموعة التحدي؟ هل دخلت حالات التحدي في درجة الانتشار؟ هل حالات المعايرة الذهبية موجودة في المقام الرئيسي؟ هل تحتوي المجموعة الرئيسية فعليًا على إجابات فريدة 30,000؟ هل تم استخدام نفس المستخدم الاصطناعي في منتجات أو موجات متعددة؟ هل تتطابق ملفات تعريف السكان الخاصة بالمنتج؟ هل تلقى جميع المستخدمين الرئيسيين نفس نية المرآة الأساسية؟ هل تم عرض الاختبار الأساسي عن طريق الخطأ على أنه اختبار كامل NOMOS؟ هل يبدو إطار الدولة الاصطناعية مثل السكان الحقيقي؟

هل تم تخصيص البلد بمجموع 1,000؟ هل تمت إدارة الدول الصغيرة بمرفق المراقب؟ هل تم تكرار المستخدمين متعددي اللغات؟ هل تم استخدام رموز اللغة الاصطناعية كما هو الحال مع أداء اللغة الفعلي؟ هل تم فصل فشل معادلة صياغة المُدخل عن فشل لغة الذكاء الاصطناعي؟ هل تم تثبيت حزمة الحقيقة قبل توليد الاستجابة؟ هل تم توليد حقيقة المولد مسبقًا؟ هل حقيقة المولد مخفية عن المحكمين؟ هل يسبب اسم الملف أو تسمية واجهة المستخدم تسربًا؟ هل تم تثبيت البذرة العشوائية مسبقًا؟ هل تم اختيار أفضل بذرة بعد ذلك؟ هل تم تعريف ملفات الذكاء الاصطناعية قبل النتائج؟ هل تم إزالة ملف منخفض الدرجات بعد ذلك؟ هل جميع البوابات الحرجة موجودة في مجموعة التحدي؟ هل الضوابط السلبية الحرجة كافية؟ هل انتشار النقدي في المجموعة الرئيسية واقعي عند الحد الاصطناعي؟

هل مجموعة التحدي كافية لقياس الاستدعاء الحرج؟ هل بعض الأخطاء ضمنية وتعتمد على النسبة؟ هل هناك تنوع في إعادة الصياغة؟ هل يتم اختبار جميع فئات النسب؟ هل تشير النسب إلى مؤسسات حقيقية؟ هل تم ترك فجوة مرجعية بدون تصنيف بشكل صحيح؟ هل تم تصنيف حالات الإغفال على أنها اختيارية، مطلوبة، وحرجة؟ هل هناك حالات تصحيح ذاتي وتناقض داخلي؟ هل يميز وحدة النظافة–الطبيعية بين الاختلافات الشرعية والمادية؟ هل هناك انجراف الموجة؟ هل تم اختبار التغيير داخل الموجة في النظام؟ هل تم اختبار الحدث الخارجي وإصدار حزمة الحقيقة؟ هل مجموعة الالتقاط صعبة بما يكفي؟ هل تؤثر الصحة الدلالية على قرار الالتقاط؟ هل تدقيق التسرب مستقل؟ هل تم تثبيت مجموعة صحة الطريقة دون فتحها؟

هل أثرت نتائج الاختبار المؤجل على الصيغة؟ هل يتم قياس نجاح الاختبار من خلال درجة عالية؟

هل حد الادعاء F1 مفتوح؟

هل F1 الكلي للكيان والحقائق منفصلان؟

هل الاستدعاء الحرج والإيجابي الزائف موجودان معاً؟ هل تم نشر مصفوفة اختلاط RP؟ هل تم تخزينها ضمن مركب خطأ المكون؟ هل استرجاع العدالة يحتوي على الحد الأدنى والفجوة والتغطية؟ هل الاسترجاع الطبيعي النظيف ينتج عنه ادعاء سببي؟ هل الاسترجاع الالتقاطي منفصل؟ هل تم اختبار التغطية التجريبية CI؟ هل أنتج السيناريو الحرج الصفري مخاطرة صفرية؟ هل تم تغيير العتبات المرشحة بعد النتيجة؟ هل العتبات الفاشلة متاحة للجمهور؟ هل تم إجراء اختبارات التحول المورفولوجية؟ هل مستوى BQ مفتوح؟ هل هناك استنساخ مستقل؟ هل للاختبار حزمة الحقيقة الخاصة به؟ هل يتم الاحتفاظ بسجل التغييرات؟ هل معروف صاحب الاختبار المسؤول؟

85. الاعتراضات والإجابات

اعتراض 1— “لماذا لا نقيس منتجات Apple و AI الحقيقية مباشرةً؟”

لأنه في هذه المرحلة، الهدف ليس مقارنة الشركات أو المزودين، بل التحقق من سلسلة القياس. اختبار حقيقي:

• البحث الحالي على الويب
• السكان الحقيقيون
• الوصول إلى منتج ذكاء اصطناعي حقيقي
• دليل حقيقي
• يتطلب القانون والخصوصية

الاختبار الاصطناعي يجعل أخطاء الطريقة نفسها مرئية أولاً.

الاعتراض 2— "إذا لم تمثل البيانات الاصطناعية العالم الحقيقي، فما الفائدة منها؟"

البيانات الاصطناعية لا تثبت الانتشار الحقيقي. إنها تختبر:

• استرجاع العلامة الصحيحة,
• الاستيلاء على الباب الحرج
• فصل عيب الالتقاط,
• إعادة إنتاج صيغة النتيجة،

حساب العدالة وعدم اليقين. هذا اختبار طريقة إلزامي قبل التدقيق المباشر.

الاستئناف 3— "لماذا يتم استخدام Apple.com؟ هل لا يمكن استخدام نطاق آخر؟"

إنه قابل للاستخدام. Apple.com هو المرساة الوحيدة القابلة للتعرف. الفرق المستقلة:

• مرتكزات نطاق أخرى،
• مجالات خيالية تمامًا،
• توائم الكيانات الخاصة بالصناعة

يمكن استخدامه. لا ينبغي أن يعتمد NOMOS على مرساة واحدة.

الاعتراض 4— “ألن يكون أكثر واقعية مزج معلومات حقيقية عن Apple مع حزمة الحقيقة الاصطناعية؟”

هذا يطمس حدود الاختبار. إذا تم دمج المعلومات الحقيقية والاصطناعية، قد لا يفهم القارئ أي الادعاءات حقيقية. يجب إبقاء التوأم الاصطناعي منفصلًا.

الاعتراض 5— “إذا كانت جميع استجابات 30,000 من مطالبة واحدة، كيف سيتم اختبار Full NOMOS؟”

المجموعة الأساسية لـ 30,000 هي اختبار انتشار واستقرار لـ Core GEO-1000. يتم اختبار وحدات الأدلة والحدود والتوصيات والطبيعي النقي واللغة بشكل منفصل في الملحق التشخيصي. مطالبة واحدة ليست Full NOMOS.

الاعتراض 6— "لماذا لا يختبر نفس المستخدم الاصطناعي جميع منتجات الذكاء الاصطناعي؟"

نفس الشخص: يمكن أن يعزز المقارنة، لكنه يخلق انتقالًا وتكييفًا. يستخدم النص الرئيسي أفرادًا فريدين. يتم إقران تكوين السكان مع توائم مطابقة. يمكن إنشاء وحدة تجريبية مطابقة بشكل منفصل.

الاعتراض 7— "هل يمكن فعلاً اختبار عدالة اللغة بدون أسماء لغوية حقيقية؟"

يمكن اختبار الصيغة، والأوزان، والحد الأدنى، وحساب الفجوة. لا يمكن اختبار الترجمة الفعلية وسلوك اللغة. كما أن التحقق من صحة اللغة الحيّة يتطلب خبرة بشرية محلية.

الاعتراض 8— "هل يؤدي الإفراط في أخذ عينات الحالات الحرجة إلى تشويه النتيجة؟"

لا يدخل مجموعة تحدي النتائج في الحساب. إنها تقيس قدرة الكشف النقدي. تحافظ مجموعة الانتشار الرئيسية على المعدل المتفرق الواقعي.

الاعتراض 9— "إذا كان الشخص الذي يُعد الحقيقة المولدة يعرف بالفعل الإجابة الصحيحة، فلماذا يكون الحكم ذا معنى؟"

المحكمون لا يرون الحقيقة المولدة. الهدف هو اختبار ما إذا كان نظام التحكيم يمكنه استعادة الحقيقة المخفية من خلال الاستجابة المرئية وحزمة الحقيقة.

الاعتراض 10— 'إذا كانت الذكاء الاصطناعي يكتب أيضًا استجابات تركيبية، ألن يكون ذات الذكاء الاصطناعي قد أعد اختباره الخاص؟'

يمكن للذكاء الاصطناعي المساعدة في إنتاج التنوع اللغوي. ومع ذلك:

• خطة ذرية,
• الحقيقة المولدة.
• درجة الأهمية،
• البذرة،
• الموافقة على الامتحان النهائي

يجب أن يكون تحت حكم الإنسان ومتكرر. لا يمكن لمولد الاستجابات أن يكون الحكم النهائي.

الاعتراض 11— “أليس 99 في المئة مرتفعًا جدًا للتذكر الحرج؟”

قد يكون مرتفعًا. خاصة في الحالات الصعبة والغريبة، قد تكون نتيجة التجربة الأولية أقل. لهذا السبب هو عتبة محتملة. وبما أن تكلفة الفشل مرتفعة عند بوابات عالية المخاطر، فمن الطبيعي أن يكون الهدف طموحًا.

الاعتراض 12— “لماذا معدل الخطأ الحرج مهم منفصلًا؟”

العلامة الحرجة:

• تؤثر على علامة المنتج،
• الرأي العام،
• والكيان الذي تم تدقيقه

بجدية. النظام الذي يكون حساسًا بشكل مفرط ويعتبر كل خطأ على أنه حرج ليس موثوقًا.

الاعتراض 13— "إذا فشل الاختبار، ألا تصبح الكتابة أضعف؟"

لا. شرح الفشل يقوي المعيار. الغرض من الاختبار ليس التحقق من الفكرة، بل إظهار الأماكن التي لا تعمل فيها.

الاعتراض 14— 'لماذا من الخطأ تحسين الصيغة استنادًا إلى نتيجة الاختبار؟'

التحسين ليس خطأ. التوافق الصامت مع نفس نتيجة التحقق هو الخطأ. العملية الصحيحة:

• نتيجة الطريقة 0.9
• تحليل الخطأ
• طريقة 1.0
• التحقق على مجموعة احتياطية جديدة أو غير مستخدمة.

هذا هو التسلسل المطلوب.

الاعتراض 15— “إذا نشرنا النص الكامل، ألن يتم التلاعب بالاختبار؟”

هناك خطر التلاعب. لذلك:

• المعايرة العامة،
• التحقق الخاضع للختم،
• تجديد الاحتياطي

تُستخدم الطبقات. لا يمكن إخفاء الاحتياطي إلى الأبد. يلزم نظام لتجديد النسخة.

الاعتراض 16— “لماذا من المهم جدًا الحفاظ على الاختبار الاصطناعي منفصلًا تمامًا عن الإنترنت الحقيقي؟”

لأنه إذا تم فهرسة الأخطاء التركيبية مثل المعلومات الحقيقية على الويب، فإن الاختبار ينتج التمثيل الذي يُسمم والذي ينتقده. يجب أن تكون التركيبية مرئية ليس فقط للبشر ولكن أيضًا للآلات.

القاعدة الشائعة للفصل 91

كتابة معيار أمر صعب. إثبات أن المعيار نفسه يعمل بشكل صحيح أصعب حتى. لأن الشخص الذي يكتب المعيار:

• يريد أن يرى أي نتيجة,
• أي خطأ تعتبره مهمًا,
• أي صيغة تبدو قوية،
• أي عتبة يمكن اجتيازها

يعرف فريق التصميم النتائج التي يأمل في رؤيتها، والأخطاء التي يعتبرها مهمة، والصيغة التي تبدو قوية والحدود التي تبدو قابلة للتحقيق. يمكن لتلك المعرفة أن تؤثر بهدوء على التقييم. لذلك، فإن الاختبار الاصطناعي ليس عرضًا للنجاح؛ بل هو أول تحدٍ جاد يتجه إلى NOMOS نفسه. قد يُظهر المعيار أن استخراج الادعاءات غير كافٍ، وأن المحكمين يخلطون بين نطاق الدعم والحقائق، وأن الاسترجاع النقدي مرتفع بينما معدل الإيجابيات الكاذبة غير مقبول، وأن كشف الإغفال ضعيف، وأن صيغة عدالة اللغة لا تستطيع التمييز بين عيوب المُدخلات وعيوب الذكاء الاصطناعي، وأن استرجاع المكونات يفشل رغم وجود مركب دقيق، أو أن فترات الثقة تغطي أقل من المعامل الحقيقي. هذه ليست إحراجات يجب إخفاؤها؛ إنها الاختبار الحقيقي للمعيار. تبدأ الفشل عندما تُلاحظ هذه المشاكل ومع ذلك يُعلن عن نجاح المعيار. Apple.com هو مجرد مرساة للتصميم الاصطناعي. لا يتم إصدار حكم حول شركة حقيقية، ولا يتم تقييم أي منتج ذكاء اصطناعي حقيقي.

نحن لا نقول بعد ما يراه الناس في العالم الحقيقي. نحن نسأل:

في كون اصطناعي نعرف فيه الواقع من البداية، هل يمكن لـ NOMOS تطبيق قواعده بشكل صحيح؟

إذا كانت الإجابة لا:

• يجب ألا نذهب إلى العالم الحقيقي،
• يجب ألا نرسله إلى الجامعات كمعيار،
• يجب ألا نقدم له شارة،

يجب ألا نعلن 950+. حتى لو كانت الإجابة نعم: نحن فقط نجتاز البوابة الأولى. لأن النجاح الاصطناعي ليس نجاحًا في العالم الحي. العالم الحي هو:

• غير مكتمل،
• متعارض،
• متغير،
• سياسي.
• قانوني،
• ثقافي
• متعدد اللغات,

إنه يعتمد على سلوك الإنسان. ي kalibrate الاختبار الاصطناعي أولاً أداة القياس. ثم يقيس الاختبار الحي العالم. لذلك، فإن قانون القياس السابع عشر لـ NOMOS هو كما يلي:

يجب أن يكون الكائن الأول الذي يتم تدقيقه بواسطة المعيار هو المعيار نفسه.

ينص قانون القياس الثامن عشر على:

النجاح الاصطناعي ليس دقة في العالم الحقيقي؛ إنه إذن للانتقال إلى الاختبار في العالم الحقيقي.

ينص قانون القياس التاسع عشر على:

إذا لم تستطع نتيجة الاختبار استرجاع حقيقة معروفة سابقًا، فإن الحصول على درجة عالية لا قيمة له.

تنص قانون قياسه العشرون على:

إذا تسلل مولد الحقيقة إلى الحكم، فلن يكون ما يتم قياسه هو التحكيم، بل قراءة الملصقات.

ينص القانون الحادي والعشرون للقياس على:

يمكن اختبار الانتشار الحرج والقدرة الحرجة على الكشف في مجموعات نصية منفصلة؛ لا يمكن دمجهما في نفس المقام.

ينص القانون الثاني والعشرون للقياسات على:

إذا تم إخفاء نتيجة تجربة فاشلة، فلن يكون NOMOS معياراً ضد التلاعب، بل نظاماً يحفظ روايته الخاصة.

القانون الثالث والعشرون كما يلي:

إذا تسربت المعلومات المضللة الاصطناعية إلى الويب الحقيقي، فإن التجربة تنتج التمثيل الذي تسممه وتنتقده.

القانون الرابع والعشرون هو كما يلي:

إذا لم يتمكن فريق مستقل من إنتاج نتائج مشابهة من نفس الجسم النصي، فإن الطريقة ليست بعد معيارًا عالميًا.

قسم NOMOS التوجيه 17

سوف تختبر أداتك القياسية الخاصة قبل إطلاق سراحي في العالم الحقيقي.

لن تستخدم اسم Apple.com لإصدار أحكام حول شركة Apple.

ستكتب بوضوح اسم الكيان الاصطناعي. / لن تخلطه مع شركة حقيقية.

لن تضع وجوه مقدمي الخدمات الحقيقيين على منتجات الذكاء الاصطناعي.

ستولد ثلاثين ألف إجابة أولاً، وتغلق حقيقة المولد أولاً، ثم تخفيها عن الحكم.

لن تسمح للحكم بمعرفة الإجابة من اسم الملف، أو لون الواجهة، أو رمز المرجع.

ستحافظ على ندرة الحالات الحرجة في مجموعة انتشار الحالات الرئيسية. / ستختبر قوة الاكتشاف في مجموعة تحدٍ منفصلة.

لن تضف حالات التحدي إلى النتيجة الرئيسية.

سوف تتجنب فقط ارتكاب الأخطاء الواضحة والسهل تجنبها. / سوف تخفي الأخطاء في النسبة، والأسلوب، والوقت، والنطاق، والمرجع.

سوف تولد أيضًا حالات تشبه الحالات الحرجة لكنها ليست حرجة. / سوف تختبر أيضًا العقوبة المبالغ فيها.

سوف تختبر الحذف بقدر ما تختبر الادعاءات الكاذبة.

لن تنسى الإجابة التي تحدد الرقم الصحيح مع الادعاء الكاذب بالاستقلال.

سوف تختبر الإجابة التي تخلط بين الشركة الأم والشركة الفرعية.

لن تحول أي خلل في ترجمة المُدخل إلى خلل لغوي للذكاء الاصطناعي.

لن تنسب الفرق بين "نظيف" و"طبيعي" إلى سبب واحد.

ستضع أيضًا حالات الإجابة المكررة، المقتطعة، الطلب غير الصحيح، التسليم المتأخر، والتلاعب تحت الاختبار.

لن تعطي مظهر إجابة AI مباشرة لشاشة اصطناعية.

لن تغير البذرة بعد رؤية النتيجة.

لن تختار أجمل تشغيل عشوائي.

لن تعدل صيغة النقاط بناءً على نتيجة التحقق المختومة.

إذا فشل الاختبار، لن تخفض الحدود. / ستكتب أنه لم ينجح.

لن تخفي أخطاء المكونات لمجرد أن النتيجة المركبة صحيحة.

لن تخفي الحالة الحرجة الوحيدة التي فُقدت ضمن دقة شاملة عالية.

لن تنتج مخاطرة صفرية في سيناريو حرج لوحظ صفراً.

سوف تمنع تسرب البيانات الاصطناعية إلى الإنترنت الحقيقي كسم معلومات.

سوف تقوم أيضًا بتثبيت حزمة الحقيقة الخاصة بالاختبار.

أولًا، حدّد النطاق. / ثم أنشئ الكيان الاصطناعي. / ثم ثبّت المجتمع المستهدف والمُدخل. / ثم أنشئ حقيقة المولّد. / ثم اختم البذرة. / ثم ولّد ثلاثين ألف استجابة. / ثم اعمِ المحكّمين عن الحقيقة. / ثم ثبّت طريقة احتساب الدرجات. / ثم اكشف الحقيقة. / ثم انشر كل خطأ لم تكتشفه. / وبعد ذلك فقط يجوز لك أن تقرر ما إذا كانت الطريقة جاهزة للعالم الحقيقي.

جملة ختام الفصل

قبل أن تتمكن NOMOS من صناعة التاريخ، يجب عليها إثبات أنها لا تستطيع إعادة كتابة تاريخها الخاص بإرادتها. يجب عليها استعادة الواقع الاصطناعي قبل الختم دون تغيير نجاحاتها أو إخفاقاتها.

النواة المعيارية

يجب أن يقيم معيار Apple.com الاصطناعي طريقة تدقيق NOMOS، وليس الأداء الفعلي لشركة Apple Inc. أو apple.com أو أي مزود ذكاء اصطناعي فعلي. يجب تحديد جميع الكيانات الاصطناعية، والادعاءات، وأجسام الأدلة، والمستخدمين، والدول، واللغات، ومنتجات الذكاء الاصطناعي، والاستجابات، والاقتباسات، واللقطات، والحوادث، والدرجات بوضوح على أنها اصطناعية. يجب على المعيار الحفاظ على توأم كيان APPLE-SYNTH منفصل ويجب ألا يمثل حزمة الحقيقة الخاصة به كمعلومات واقعية عن الشركة الحقيقية. يجب أن يحتوي المرجع الأساسي للبيانات على: - عشر ملفات تعريف منتجات اصطناعية للذكاء الاصطناعي، - ألف مشارك اصطناعي فريد لكل منتج في كل موجة، - ثلاث موجات قياس، - وثلاثين ألف استجابة أساسية. يجب ألا تُعاد استخدام هويات المشاركين الاصطناعيين عبر المنتجات أو الموجات في المرجع الأساسي. ينبغي أن تستخدم عينات المنتجات توزيعات سكان متطابقة دون استخدام نفس وحدة الشخص. يجب أن تبقى مجموعة انتشار المرجع الأساسية، مجموعة تحدي الشدة، مجموعة سلامة الالتقاط، مجموعة الذهبية للتحكيم، والملحق التشخيصي محددة بشكل منفصل وألا تشترك في مقاييس الانتشار. يجب إنشاء الحقيقة المولدة، إصدارها، تشفيرها، وختمها قبل التحكيم على الاستجابات. يجب أن تظل مخفية عن مستخرجي الادعاءات والمحكمين ومحللي الدرجات حتى يتم تثبيت نتائجهم. يجب تثبيت البذور العشوائية، وملفات التعريف الاصطناعية للذكاء الاصطناعي، وقواعد حقن الأخطاء، وإصدارات الادعاءات، وسجلات حزمة الحقيقة، وطرق الدرجات، ومعايير قبول المرشحين قبل فتح مجموعة التحقق المختومة. يجب أن تتضمن حالات المعيار أوضاع الفشل المباشرة، الضمنية، المنسوبة، الوضعية، المحدودة النطاق، الزمنية، المستندة إلى الاقتباس، المستندة إلى الإغفال، الذاتية التصحيح، والمختلطة بالكائنات. يجب تقدير انتشار الأحداث الحرجة من المجموعة الرئيسة. يجب اختبار قدرة الكشف الحرجة في مجموعة تحدٍ منفصلة تحتوي على أمثلة كافية والتحكمات السلبية المشابهة للأحداث الحرجة. لا يجوز لأي زيادة في عدد العينات الخاصة بتحدي معين أن تغير التوزيع الرئيسي GEO-1000 أو تقدير الانتشار الحرج. يجب أن تحمل لقطات الشاشة الاصطناعية والتحف الاستجابية إشعارات مرئية وقابلة للقراءة آليًا تفيد بأنها ليست مخرجات ذكاء اصطناعي حية أو أدلة أداء كيان حقيقي. يجب أن يمنع المعيار من نشر ادعاءاته الاصطناعية أو أرشفتها كمعلومات حقيقية عن الكيان الأساسي. يجب أن يتم تحديد نجاح المعيار من خلال استرجاع الحقيقة المُولِّدة المثبّتة، بما في ذلك حدود الادعاءات، والقرارات الذرية، والحذوفات، والبوابات الحرجة والجسيمة، وحالات الاستجابة، ودرجات المكونات، والدرجات المركبة، ونتائج العدالة، وصلاحية الالتقاط، وتغطية عدم اليقين. يجب ألا يعوّض الدقة العامة العالية عن الحالات الحرجة الفائتة. يجب تقديم الاستدعاء الحرج ومعدل الإيجابيات الكاذبة الحرجة معًا. يجب أن يظل أي فشل في مستوى المعيار، أو حدث تسرب، أو خطأ في الاسترداد، أو تصنيف خاطئ مرئيًا، ولا يجوز إزالته عن طريق تغيير الملصقات أو البذور أو العينات أو الأوزان أو قواعد التسجيل بعد ملاحظة النتائج. يجب أن يكون لكل تصميم معيار، أو توليد، أو ختم، أو تدقيق تسرب، أو تحكيم، أو حساب استرداد، أو قرار مستوى، أو مراجعة، أو إصدار عام نسخة مع توثيقها لشخص مسؤول أو منظمة مسؤولة.