KI-Systemregister und Vergleichbarkeit

Kapitelgrenze

Die ersten acht Kapitel legten Folgendes fest: eine einzelne Antwort ist keine GEO-Bewertung; Repräsentation ist eine Verteilung; die geprüfte Einheit muss identifiziert werden, bevor Ergebnisse beobachtet werden; offizielle Repräsentation und überprüfte Realität der Einheit müssen getrennt bleiben; für jedes KI-Produkt muss eine berechtigte Nutzerpopulation definiert werden; 1,000 gültige Beobachtungen müssen über ein populationsbasiertes Stichprobendesign zugewiesen werden; kleinere Länder und Sprachen müssen durch ergänzende Panels sichtbar bleiben; und die Auswahl, der Ausschluss und die Gewichtung der Teilnehmer müssen unabhängig vom Antwortinhalt bleiben. Wir müssen nun die andere Seite des Experiments definieren:

Welches KI-System messen die Teilnehmer tatsächlich?

Der Name eines Anbieters? Ein Basismodell? Ein Chat-Produkt? Eine kostenlose Web-Oberfläche? Eine kostenpflichtige mobile App? Eine Sitzung mit aktivierter Websuche? Ein Antwortmodus, der keine Quellen zitiert? Ein Unternehmensarbeitsbereich unterstützt durch interne Daten? Ein Konto mit aktivierter Erinnerung? Temporärer oder sauberer Chat? Sind unterschiedliche Nutzeroberflächen desselben Anbieters dasselbe System? Sollten zwei Produkte, die dieselbe Modellfamilie verwenden, auf dieselbe Weise bewertet werden? Selbst wenn ein Produkt denselben Modellnamen auf dem Bildschirm anzeigt:

• Abruf,
• Quellenauswahl,
• Sicherheitsregeln,
• Personalisierung,
• Werkzeugzugriff,
• experimentelle Funktionen

Wenn sich dies ändert, können die Ergebnisse verglichen werden? Wenn ein KI-Produkt während einer Messungswelle aktualisiert wird, können die ersten und letzten Antworten der Welle als aus demselben System stammend betrachtet werden? Ein Nutzer:

• Websuche ist aktiviert,
• Erinnerung ist aktiviert,
• hat vorherige Gespräche,
• kostenpflichtiger Tarif

Antworten; eines anderen Nutzers:

• Suche ist aus,
• Speicher ist aus,
• Neue Sitzung,
• Kostenloser Plan

Kann es in derselben Zelle wie seine Antwort zusammengeführt werden? Nein. Das in den vorherigen Abschnitten festgelegte Messprinzip ist klar: Es gibt keine einzelne „KI“; der Suchindex, das Abrufsystem, der Rangierer, das Sprachmodell, die Zitationsschicht und das Sicherheitssystem können sich unterschiedlich verhalten. Dasselbe Framework erfordert, dass jedes überprüfbare Ergebnis trägt:

• Modell oder Produkt,
• Datum,
• Land,
• Sprache,
• Abfragesatz,
• Anzahl der Wiederholungen,
• Messaufzeichnung

Dieser Abschnitt wendet diese Prinzipien innerhalb eines KI-Systemregisters an. Dieser Abschnitt:

• die Unterscheidung zwischen Anbieter, Produkt, Modell und Nutzeroberfläche,
• KI-Produktinstanz,
• Vertrauensstufen der Modellidentität,
• Abruf- und Werkzeugkonfigurationen,
• Speicher- und Personalisierungszustände,
• Unterschiede in Plan, Schnittstelle und experimentellen Funktionen,
• Produktänderungen,
• Systemkonfiguration zum Zeitpunkt der Messung,
• Vergleichbarkeitsgrade zwischen Produkten,
• Vergleiche von Natürliche Reichweite und Gemeinsame Vergleichsbasis,
• Versionsabweichung im Laufe der Zeit,

definiert. Dieses Kapitel behandelt noch nicht:

• vollständiges Übersetzungs- und semantisches Äquivalenzsystem von Aufforderungen,
• alle Details kontrollierter und natürlicher Nutzerpanels,
• NOMOS Capture-Softwarearchitektur,
• die atomare Aussagebewertung der Antworten,
• die endgültigen Modellkoeffizienten und die NOMOS-Bewertungsformel

wird nicht abgeschlossen. Die zentrale Frage von Abschnitt 9 lautet:

Bevor man zwei Antworten auf denselben Prompt vergleicht, wie können wir beweisen, dass diese Antworten tatsächlich unter vergleichbaren KI-Produktbedingungen entstanden sind?

NOMOS Herausforderung

Zwei Nutzer desselben Anbieters stellen dieselbe Frage: „Was für ein Unternehmen ist Apple.com?“ Erster Nutzer:

• verwendet das kostenlose Webprodukt,
• öffnet einen neuen Chat,
• hat den Speicher aus,
• hat keinen Internetzugang,

erhält eine Antwort nur mit der eingebauten Wissenskapazität des Produkts. Zweiter Nutzer:

• Verwendung eines kostenpflichtigen mobilen Produkts,
• Erinnerung ist aktiviert,
• hat zuvor über Apple gesprochen,
• Websuche ist aktiviert,

erhält Antworten mit aktuellen Quellen und Zitaten. Erste Antwort: „Apple ist ein Technologieunternehmen, das Unterhaltungselektronik herstellt.“ Zweite Antwort: „Apple ist ein globales Technologieunternehmen, das Hardware, Software und digitale Dienstleistungen anbietet. Sie können aktuelle Unternehmensinformationen in diesen Quellen einsehen.“ Beide Antworten stammen vom selben Anbieter.

Ist dies das Ergebnis desselben Systems? Nein. Betrachten wir nun zwei andere Nutzer. Beide sehen denselben Modellnamen auf dem Bildschirm. In dem Land des einen Nutzers ist die Web-Funktion aktiviert. In dem Land des anderen Nutzers ist sie deaktiviert. In der Antwort des einen Nutzers sind Quellenlinks sichtbar. Die Nutzeroberfläche des anderen Nutzers zeigt keine Zitationen, selbst wenn dieselben Quellen verwendet werden. Das gleiche Modell-Label ist vorhanden.

Gibt es dieselbe Messzelle? Nein. Betrachten wir nun zwei Produkte von verschiedenen Anbietern. Beide:

• neuer Chat,
• Speicher ist aus,
• gleiche Sprache,
• gleiches Land,
• gleicher Zeitrahmen,
• Webzugang aktiviert,
• gleiche Prompt-Version

werden unter diesen Bedingungen gemessen. Sie basieren auf unterschiedlichen zugrunde liegenden Modellen. Sind sie vergleichbar? Ja, sie können in Bezug auf ein spezifisches Nutzerergebnis vergleichbar sein. Denn der Vergleichsgegenstand ist:

nicht, ob sie dasselbe zugrunde liegende Modell verwenden, sondern welche Repräsentation sie unter denselben definierten Nutzerbedingungen erzeugen.

Nun soll die Produktversion für die ersten 500 Beobachtungen der Messwelle unverändert bleiben. Während der nächsten 500 Beobachtungen führt der Anbieter:

• Änderungen am Abrufsystem durch,
• Sicherheitsregeln,
• Nutzeroberfläche

Der Bericht allein sagt: „1,000 Nutzer haben dasselbe KI-Produkt getestet.“ In Wirklichkeit könnten zwei verschiedene Produktsituationen gemessen worden sein. Die erste Bestimmung dieses Abschnitts lautet wie folgt:

Der Name des Anbieters reicht nicht aus, um das gemessene KI-System zu identifizieren.

Ihre zweite Bestimmung lautet:

Der Modellname ist nicht das gesamte Produktverhalten, das den Nutzer erreicht.

Seine dritte Bestimmung besagt:

Der gleiche Anbieter, die gleiche Modellbezeichnung oder das gleiche Logo garantiert keine Vergleichbarkeit.

Seine vierte Bestimmung besagt:

Verschiedene Anbieter können hinsichtlich der Nutzerergebnisse vergleichbar sein, wenn die Messbedingungen ausreichend abgestimmt sind.

Seine fünfte Vorschrift lautet:

Wenn sich ein Produkt während der Messung wesentlich verändert, kann es nicht als ein einzelnes festes System berichtet werden.

1. ZWECK DES KAPITELS

Zweck dieses Abschnitts ist es, das im Rahmen von GEO-1000 geprüfte KI-Produkt mit all seinen wesentlichen Konfigurationen zu definieren und festzulegen, unter welchen Bedingungen unterschiedliche Produktergebnisse verglichen werden können. Der Abschnitt standardisiert die folgenden Unterscheidungen:

• Anbieter und KI-Produkt
• KI-Produkt und Basismodell
• Modellfamilie und spezifische Bereitstellung
• Modellbezeichnung und überprüfte Identität des Modells
• Nutzeroberfläche und API
• Web- und Mobilprodukt
• Kostenloser Plan und kostenpflichtiger Plan
• Verbraucherprodukt und Unternehmensprodukt
• Grundmodelantwort und abrufunterstützte Antwort
• Live-Websuche mit Abruf
• Anzeige von Zitaten mit Quellenangabe
• Werkzeugnutzung mit Werkzeugzugang
• Sitzungskontext mit Speicher
• Systemrichtlinie mit benutzerdefinierter Anweisung
• Materielle Realität mit Personalisierung
• Temporärer Chat mit neuer Konversation
• Produktstatus über die Zeit mit statischem Produktnamen
• Beobachtete Verhaltensänderung mit vom Anbieter angekündigtem Update
• Vergleich von Natürliche Reichweite und Gemeinsame Vergleichsbasis
• Vergleichbares Produktbeispiel innerhalb derselben Produktfamilie
• Nutzerergebnis versus Modell-interne abstrakte Fähigkeit
• Produktabwesenheit versus Produktfehler
• Technischer Fehler versus tatsächliche Ablehnung
• Dasselbe Prompt versus dasselbe Experiment
• Dasselbe Mittel versus dasselbe Systemverhalten
• Sofortiger Produkt-Snapshot versus langfristige Produktleistung

Am Ende dieses Abschnitts sollte jedes GEO-1000-Audit in der Lage sein, die folgenden Fragen zu beantworten:

Welcher Anbieter, welches Produkt, welche Oberfläche, welcher Plan und welche Konfiguration wurden gemessen?

Wie stark wurde der auf dem Bildschirm gesehenen Modellname wirklich validiert?

Was waren Web-, Abruf-, Zitier-, Speicher-, Personalisierungs- und Werkzeugstatus?

Blieb das Produkt während der gesamten Messung unverändert?

Auf welcher Vergleichbarkeitsebene wurden die beiden Produktergebnisse nebeneinander gestellt?

Wird das Verglichene das Basismodell, das Verbraucherprodukt, die Nutzeroberfläche oder die gesamte Systemkette sein?

2. ZENTRALE NORMATIVE BESTIMMUNG

Jede GEO-1000-Beobachtung muss nicht nur mit dem Anbieter oder Modellnamen verknüpft sein; sie sollte mit einem versionierten KI-Systemregistereintrag verbunden sein, der die AI-Produktinstanz zum Zeitpunkt der Messung identifiziert.

Eine AI-Produktinstanz muss mindestens die folgenden Felder tragen, soweit relevant:

• Anbieter
• Produktname
• Nutzeroberfläche
• Produkttyp
• Plan- oder Kontoklasse
• Offensichtliches Modelllabel
• Modell-ID-Vertrauensstufe
• Produkt- oder Bereitstellungsversion
• Land und Gebietsschema
• Sprache
• Web- oder Abrufzugang
• Zitationsfunktion
• Werkzeugzugang
• Speicherstatus
• Status benutzerdefinierter Anweisungen
• Vorheriger Chat-Kontext
• Sitzungstyp
• Personalisierungsstatus
• Sicherheits- oder Richtlinienmodus, falls bekannt
• Experimentelle Funktionen
• Messdatum und UTC Uhrzeit
• Messwelle
• Produkt-Änderungsprotokoll
• Evidenz- und Aufzeichnungsvertrauen

Wenn eines dieser Felder sich wesentlich ändert:

• neue KI-Produktinstanz,
• neue experimentelle Zelle,
• neue Analyseversion

kann erforderlich sein.

3. „KI-SYSTEM“ IST KEIN EINZELNES OBJEKT [K02; K03]

In diesem Protokoll ist „KI-System“ ein allgemeiner und übergeordneter Begriff. Eine echte Nutzerantwort kann aus der Kombination mehrerer Schichten entstehen. Kandidatenkette:

R= F(M, O, K, Q, T, P, S, U, C, L, t)

Hier:

• M: Basis- oder Leitmodell
• O: Produktschestrierungsschicht
• K: Abruf- oder Wissensquellenschicht
• Q: Neubewertung und Quellenauswahl
• T: Werkzeuge
• P: Richtlinien- und Sicherheitsschicht
• S: Sitzung, Speicher und Personalisierung
• U: Nutzerkonto und Plan
• C: Land und Gebietsschema
• L: Sprache
• t: Zeit

Vom Nutzer gesehene Antwort:

R

Die für einen Nutzer sichtbare Antwort ist nicht unbedingt nur das Ergebnis des Basismodells. Das hauptsächliche, verbraucherseitige Objekt, das von GEO-1000 gemessen wird, ist daher:

das dem Nutzer präsentierte Produktverhalten, nicht eine Modellabstraktion.

Es können auch kontrollierte API- oder Modellforschungen durchgeführt werden. Dies ist nicht dasselbe Ergebnis wie das Hauptverbraucherpanel.

4. SIEBEN IDENTITÄTSEBENEN DES KI-SYSTEMS

Jedes geprüfte KI-System muss über sieben Ebenen definiert werden, soweit jede Ebene relevant ist.

4.1. Anbieter-Ebene

Die Organisation, die das Produkt veröffentlicht oder betreibt. Name des Anbieters:

• ist nicht dasselbe wie Produkt-ID,
• Modell-ID,
• Nutzeroberfläche

Ein Anbieter kann mehr als ein Produkt anbieten. Innerhalb desselben Produkts können mehr als ein Modell oder Orchestrierungssystem verwendet werden.

4.2. Produktebene

Das kommerzielle, Verbraucher-, Unternehmens- oder technische Produkt, auf das der Nutzer zugreift. Beispieltypen:

• Allgemeines Chat-Produkt
• Suchunterstütztes Antwortprodukt
• Unternehmensarbeitsbereich
• Bildungsprodukt
• Eingebetteter Assistent
• Entwickler-API
• Benutzerdefiniertes wissensbasiertes Produkt

Der Produktname allein beschreibt nicht die gesamte Konfiguration.

4.3. Nutzerschnittstellenebene

Es ist die Schnittstelle, über die der Nutzer mit dem Produkt interagiert. Web Mobile Desktop Browser-Erweiterung Betriebssystemintegration Eingebettete Schnittstelle innerhalb der Plattform

API

Unternehmensportal Verschiedene Oberflächen desselben Produkts:

• verschiedene Funktionen,
• verschiedenes Modell,
• verschiedene Quell-Repräsentation.
• verschiedener Speicher

kann verwendet werden.

4.4. Modell- oder Inferenz-Engine-Schicht

Es ist das Modell, die Modellfamilie oder das Routingsystem, das bei der Antwortgenerierung verwendet wird. Modell-ID:

• offen,
• teils sichtbar,
• unbekannt,
• dynamisch

Es ist möglich. Ein Produkt kann eine Nutzeranfrage an verschiedene Modelle weiterleiten. In diesem Fall kann man nicht sagen: 'Ein einzelnes festes Modell wurde gemessen.'

4.5. Orchestrierungs- und Informationsschicht

Es kann Folgendes beinhalten:

• Abruf
• Live-Websuche
• Interne Suche
• Quellenbewertung
• Neubewertung
• Zitationsauswahl
• Fahrzeug anrufen
• Abfrageumformulierung
• Dokumentenzerkleinerung
• Antwortzusammenführung

Diese Schicht ist von grundlegender Bedeutung für die Repräsentation von GEO. Denn sie kann beeinflussen, welcher Eintrag:

• zugriffen wird,
• ausgewählt wird,
• in die Antwort übernommen wird,
• als Referenz angezeigt wird

beeinflusst werden kann.

4.6. Richtlinien- und Personalisierungsschicht

Es kann Folgendes beinhalten:

• Sicherheitsregeln
• Systemanweisungen
• Produktpolitik
• Speicher
• Besondere Anweisungen
• Nutzerhistorie
• Regionale Regeln
• Alter oder Kontoklasse
• Einstellungen des Unternehmensadministrators

Diese Schicht beeinflusst den:

• Umfang der Antwort,
• ihren Ton,
• ihre Ablehnung,
• ihre Empfehlung

kann sich ändern.

4.7. Verteilung und Zeitschicht

Gibt an, unter welcher der folgenden Bedingungen sich das Produkt zu einem bestimmten Zeitpunkt befindet:

• ist mit
• experimentelle Funktion,
• regionale Verteilung,
• Nutzersegment,
• A/B-Test

Dasselbe Produkt kann am selben Tag für verschiedene Nutzer unterschiedliche Verteilungsbedingungen haben.

5. AI PRODUKTBEISPIEL

Die Kerneinheit des Systems innerhalb von GEO-1000:

AI Produktinstanz

Kanonischer operationeller Begriff:

AI Produktinstanz

Eine AI Produktinstanz wird definiert als:

A_i= (v, p, s, r, m, k, t, x, u, c, l, ω)

kann repräsentiert werden als. Hier:

• v: Anbieter
• p: Produkt
• s: Nutzeroberfläche
• r: Plan oder Kontoklasse
• m: Modell-ID oder Bezeichnung
• k: Abruf und Informationsstrukturierung
• t: Werkzeugkonfiguration
• x: Speicher, Personalisierung und Sitzungsstatus
• u: Nutzer- oder Organisationsklasse der Einstellung
• c: Land und Gebietsschema
• l: Sprache
• ω: Zeit, Bereitstellung und experimenteller Funktionsstatus

Eine Beobachtung: Oj muss mit einem spezifischen: Ai-Produktmuster verknüpft sein.

6. UNTERSCHIED ZWISCHEN PRODUKTMUSTER UND PRODUKTNAME

Der Produktname kann festgelegt sein. Das Produktmuster kann variieren. Beispiel: Der Orion AI-Produktname bleibt unverändert. Diese beiden Messungen sind jedoch unterschiedliche Produktmuster:

Produktmuster 1

Web Free-Plan Speicher aus Webzugriff aus Neuer Chat Türkisch Türkei Wave 1

Produktmuster 2

Mobiler kostenpflichtiger Plan Speicher auf Web-Zugriff auf vorherige Chat-Kontexte verfügbar Türkisch Türkei Wave 1 Diese können unter derselben Marke existieren. Sie sind nicht dieselbe experimentelle Zelle.

7. MODELL-IDENITÄTS-SICHERHEITSEBENEN

Der Modellname kann nicht immer mit derselben Sicherheit bekannt sein. Daher kann die Modellidentität auf den folgenden Ebenen aufgezeichnet werden.

MI-0— UNBEKANNTES MODELL

Es ist unbekannt, welches Modell oder welche Modellsfamilie das Produkt verwendet. Das Ergebnis wird nur der Produktoberfläche zugeschrieben.

MI-1— VOM NUTZER ANGEZEIGTES ETIKETT

Ein Modelletikett ist in der Nutzeroberfläche sichtbar. Das Etikett wird aufgezeichnet. Es wird nicht angenommen, dass die Backend-Implementierung vollständig überprüft wird.

MI-2— VON ANBIETER DOKUMENTIERTE MODELLFAMILIE

Die Produktdokumente des Anbieters beschreiben eine bestimmte Modellsfamilie oder Produkt–Modell-Beziehung. Es kann immer noch unbekannt sein, ob eine einzelne Beobachtung genau auf dieses Modell gerichtet ist.

MI-3— SITZUNGS-BESTÄTIGTE BEREITSTELLUNG

Die Sitzung überprüft eine bestimmte Verteilung von API- oder vertrauenswürdigen Produkt-Metadaten.

MI-4— VERSIONIERTER ENDPOINT ODER BEREITSTELLUNG

Eine bestimmte Version, ein Endpoint oder eine Bereitstellungs-ID kann erfasst werden. Es ist stärker für kontrollierte Vergleiche.

MI-5— REPRODUZIERBARES EINGEFRORENES MODELLARTEFAKT

Es gibt eine statische und reproduzierbare Modell- oder Bereitstellungsstruktur. Es kann bei Live-Verbraucherprodukten selten sein. Wenn das Vertrauen in die Modell-ID gering ist, ist das Ergebnis:

soll dem Produktverhalten zugeschrieben werden

Es kann nicht definitiv einem bestimmten Modell zugeschrieben werden.

8. GRENZE DES OFFENSICHTLICHEN MODELLNAMENS

Das Anzeigen des Modellnamens in einer Nutzeroberfläche ist wertvoll. Dennoch können die folgenden Fragen weiterhin offen bleiben: Werden alle Anfragen an dasselbe Modell gerichtet? Ändert sich das Modell je nach Schwierigkeit der Anfrage? Verwendet die Sicherheits- oder Abruffunktion ein separates Modell? Wendet der Anbieter dasselbe Etikett auf verschiedene Distributionen an? Gibt das Modell-Etikett nur die Produktfamilie an? Ist der Nutzer Teil einer experimentellen Einführung? Daher könnte die korrekte Meldung lauten: „Modell X-Etikett wurde in der Nutzeroberfläche angezeigt.“ Ohne stärkere Nachweise sollte der folgende Satz nicht verwendet werden: „Alle Antworten werden definitiv ausschließlich von Modell X generiert.“

9. PRODUKTTYP

Jedes KI-Produkt sollte mit einem Haupttyp und Sekundärtypen klassifiziert werden.

PT-1— Allgemeines Konversationsprodukt

Es ist ein allgemeines Chat- und Frage-Antwort-Produkt.

PT-2— Such- oder Abruffunktionsbasiertes Produkt

Suche oder Abruf ist eine grundlegende Komponente bei der Antwortgenerierung.

PT-3— Unternehmenswissensprodukt

Es kann interne Dokumente, Arbeitsbereiche oder spezielle Datenquellen verwenden.

PT-4— Eingebetteter Assistent

Er ist in ein anderes Produkt oder eine Plattform eingebettet.

PT-5— Entwickler- oder API-Produkt

Es wird von einem Entwickler oder einer Anwendung anstelle des Endbenutzers verwendet.

PT-6— Branchenspezifisches Produkt

Es ist für einen bestimmten Beruf oder eine bestimmte Branche entwickelt.

PT-7— Multimodales Produkt

Eingaben, die nicht Text sind, wie visuelle, audio- oder Dokumenteneinträge, sind Teil des Hauptangebots. Ein Produkt kann mehr als eine Art enthalten. Vergleiche sollten innerhalb desselben Typs oder mit einem expliziten Umfang vorgenommen werden.

10. NUTZERSURFACE REGISTRIEREN

Verschiedene Oberflächen desselben Produkts sollten getrennt erfasst werden. Oberflächenbereiche:

• Oberflächen-ID
• Web/Mobil/Desktop/API
• Anwendungsversion
• Betriebssystem, falls zutreffend
• Browser, falls zutreffend
• Produktsprache
• Sichtbare Modellauswahl
• Verfügbarkeit von Werkzeugen
• Zitationsansicht
• Datei-Upload-Funktion
• Speichereinstellungen
• Unternehmenseinstellungen
• Experimentelle Funktionen
• Messzeit

Wenn festgestellt wird, dass Web- und mobile Schnittstellen materiell gleich sind, können die Ergebnisse kombiniert werden. Diese Gleichheit sollte nicht vorausgesetzt werden; sie muss getestet werden.

11. PLAN- UND KONTOKLASSE

Der Plantyp kann Merkmale haben, die die Reaktion des Nutzers beeinflussen können. Planstatus:

• Kostenlos
• Bezahlte Einzelperson
• Professionell
• Unternehmen
• Ausbildung
• Entwickler
• Testversion
• Einladung oder eingeschränkter Zugang
• Unbekannt

Pläne können sich in den folgenden Bereichen unterscheiden:

• Modell
• Nutzungslimit
• Webzugang
• Speicher
• Werkzeuge
• Quellenangabe
• Antwortlänge
• Geschwindigkeit oder Priorität
• Unternehmensdaten
• Sicherheits- und Aufbewahrungseinstellungen

Wenn keine Planinformationen vorliegen:

Der PLAN_UNBEKANNT

Status sollte verwendet werden. Kostenlose und bezahlte Ergebnisse dürfen nicht stillschweigend als dasselbe Produktverhalten zusammengeführt werden.

12. ABRUF UND WEBZUGANG

Eine KI-Antwort kann in einem von drei grundlegenden Wissenszuständen erzeugt werden.

KG-0— UNBESTIMMTER WISSENSMODUS

Der Fall der Abruf- oder Webnutzung kann nicht bestimmt werden.

KG-1— INTERNE MODELLANTWORT

Eine Antwort, von der bekannt ist oder stark vermutet wird, dass sie keine aktuellen oder externen Informationen verwendet.

KG-2— ABRUFUNTERSTÜTZTE ANTWORT

Es könnte ein Abruf aus vor-indizierten oder im Produkt verfügbaren Quellen verwendet worden sein.

KG-3— LIVE-WEB- ODER SUCHUNTERSTÜTZTE ANTWORT

Live- oder nahezu in Echtzeit Web-/Suchzugriff wurde verwendet.

KG-4— PRIVAT DATENBASIERT FREIGE GEBENE ANTWORT

Eine private Datenquelle, die von der Institution oder dem Nutzer bereitgestellt wurde, wurde verwendet.

KG-5— HYBRIDE ODER MULTI-QUELLEN ANTWORT

Mehrere Informationsschichten wurden zusammen verwendet. Diese Modi können im gleichen Prompt unterschiedliche Ergebnisse erzeugen. Sie sollten im Vergleich deutlich unterschieden werden.

13. ZUGRIFF AUF ABRUF IST NICHT DASSelbe WIE ABRUFVERWENDUNG

Das Produkt kann über eine Websuchfunktion verfügen. Allerdings wurde sie möglicherweise in der spezifischen Antwort nicht genutzt. Drei Felder sollten getrennt aufgezeichnet werden: War die Funktion verfügbar? War die Funktion eingeschaltet oder auswählbar? Gab es Nachweise dafür, dass sie in der spezifischen Antwort verwendet wurde? Beispielhafte Status:

VERFÜGBAR_NICHT_VERWENDET

VERFÜGBARE_NUTZUNG_UNBEKANNT

VERWENDET_BESTÄTIGT

NICHT_VERFÜGBAR

DEAKTIVIERT

UNBEKANNT

Die bloße Präsenz eines Quellenlinks kann ein starker Hinweis auf die Nutzung sein. Das Fehlen eines Quellenlinks beweist nicht notwendigerweise, dass kein Abruf verwendet wurde.

14. ZITIERUNGSSCHICHT

Die Verwendung einer Quelle ist nicht dasselbe wie das Angeben eines Zitats. Ein Produkt:

• darf eine Quelle verwenden, darf sie aber nicht zeigen,
• kann eine Quelle zeigen, aber die Quelle unterstützt möglicherweise nicht die Behauptung,
• kann dieselbe Quelle mit verschiedenen Sätzen verlinken,

Der Nutzer kann das Zitat entsprechend der Nutzeroberfläche ausblenden. Der Zitatdatensatz muss die folgenden Felder enthalten: Ist die Zitatfunktion verfügbar? Wurde das Zitat in der spezifischen Antwort angezeigt? Anzahl der Zitate Quellfeldnamen Übereinstimmung von Zitat und Aussage Sichtbarkeit auf der Nutzeroberfläche Erweiterbarkeit des Zitats Zugänglichkeit der Quelle Zeitpunkt der Zitatgenerierung Produkte, die Zitate anzeigen oder nicht anzeigen, können in Bezug auf die „Anzahl der Quellen“ nicht direkt verglichen werden. Zuerst müssen das Produktverhalten und die Unterschiede in der Nutzeroberfläche erklärt werden.

15. WERKZEUGZUGANG

Das KI-Produkt kann auf die folgenden Werkzeuge zugreifen:

• Websuche
• Browser
• Taschenrechner
• Code-Ausführung
• Dateilesen
• Karte
• Kalender
• Unternehmenswissensbasis
• Produktkatalog
• Andere APIs

Der Zugriff auf Werkzeuge kann Ihre Antwort beeinflussen:

• deren Aktualität,
• Nachweise,
• Umfang der Antwort,
• Genauigkeit

Werkzeugregister:

• ob das Werkzeug verfügbar ist,
• ob es aktiv ist,
• ob es in der Antwort verwendet wurde,
• ob das Werkzeugergebnis behalten wird

soll angezeigt werden.

16. SPEICHER, SONDERANWEISUNGEN UND PERSONALISIERUNG

Die für den Nutzer sichtbare Antwort kann durch die folgenden Felder beeinflusst werden:

• Persistenter Speicher
• Chatverlauf
• Besondere Anweisungen
• Name oder Profil des Nutzers
• Frühere Markenunterhaltungen
• Einstellungen
• Land und Gebietsschema
• Einstellungen des Unternehmensarbeitsbereichs
• Segmentierung durchgeführt vom Anbieter

Diese Felder müssen in drei separaten Ebenen aufgezeichnet werden.

16.1. Persistente Personalisierung

Informationen, die über Konten oder Sitzungen hinweg geschützt sind.

16.2. Kontext im Gespräch

Vorherige Nachrichten innerhalb des aktuellen Chats.

16.3. System- oder Organisationseinstellungen

Administrator- oder Produktanweisungen, die der Nutzer möglicherweise nicht sieht. Vollständige Informationen sind möglicherweise nicht immer verfügbar. Unbekannte Situationen müssen ausdrücklich aufgezeichnet werden.

17. SITZUNGSTYPEN

Kandidaten-Sitzungsstatus:

ST-1— NEUES STANDARDGESPRÄCH

Neues Standardgespräch. Speicher oder spezielle Anweisungen werden separat aufgezeichnet.

ST-2— TEMPORÄRES ODER EPHEMERES GESPRÄCH

Temporäre Sitzung, die von der permanenten Historie getrennt werden soll. Tatsächliche Funktionen sollten im Produktregister überprüft werden.

ST-3— BESTEHENDES GESPRÄCH

Es gibt vorherigen Gesprächskontext. Dieser kann für das natürliche Panel wertvoll sein. Er wird separat im kontrollierten Panel aufbewahrt.

ST-4— UNTERNEHMENS- ODER GETEILTE ARBEITSBEREICHSSESSION

Es könnte einen Unternehmens- oder geteilten Informationsbereich geben.

ST-5— UNBEKANNTER SITZUNGSZUSTAND

Der Sitzungsstatus konnte nicht zuverlässig festgestellt werden. Wenn verschiedene Sitzungstypen in derselben Zelle kombiniert werden sollen, muss die Begründung und Gewichtung erklärt werden.

18. PRODUKTPOLITIK UND ABLEHNUNG

Ein KI-Produkt kann auf eine bestimmte Frage nicht antworten aufgrund von:

• Sicherheit,
• Gesetz,
• Produktpolitik,
• regionaler Regel,
• impliziert keine Eignung in Bezug auf Alter,
• unternehmensspezifischer Einstellung

Grund. Ablehnung:

• grundlegende Modellmängel,
• Produktpolitik,
• Schnittstelle,
• kann am Nutzerkonto liegen

GEO-1000 Hauptbenutzerkontrolle zeichnet das Ablehnungsergebnis auf, das den Nutzer erreicht. Wenn der Ablehnungsgrund jedoch bekannt ist, wird er zusätzlich klassifiziert. Die Richtlinienebene eines Produkts ist ebenfalls Teil der Nutzererfahrung.

19. EXPERIMENTELLE FUNKTIONEN UND A/B-VERTEILUNGEN

Live-KI-Produkte können möglicherweise nicht allen Nutzern gleichzeitig die gleichen Funktionen bieten. Teilnehmer:

• differentes Nutzerinterface,
• unterschiedliche Prompt-Formulierungen je nach Modell,
• differente Webfunktion,
• differentes Antwortformat

kann sehen. Experimentelle Statusindikatoren:

• Beta-Kennzeichnung auf der Benutzeroberfläche
• Anbieterdokumentation
• Funktionsunterschied
• Systematischer UI-Unterschied zwischen Nutzern
• Verhaltensstörungen während der Messung

kann auftreten. Wenn die experimentelle Funktion unbekannt ist:

EXPERIMENTELLER_ZUSTAND_UNBEKANNT

sollte verwendet werden. Die tatsächliche Variation innerhalb des Produkts ist kein Datenfehler. Sie ist ein Verteilungsmerkmal des Systems. Sie sollte jedoch bei der Vergleichbarkeit berücksichtigt werden.

20. KI-Systemregister

Für jedes geprüfte Produkt sollte ein KI-Systemregister erstellt werden. Das Register sollte drei Ebenen haben.

20.1. Anbieter- und Produktstammsatz

Beinhaltet relativ permanente Bereiche:

• Anbieter
• Produktname
• Produkttyp
• Hauptbenutzeroberflächen
• Offizielle Zugriffsländer
• Plan-Klassen
• Unterstützte Sprachaufzeichnungen
• Allgemeine Funktionen

20.2. Messwellen-Produktaufzeichnung

Für eine bestimmte Welle:

• Produktversion,
• Planfunktionen,
• Modellkennzeichnungen,
• Web- und Tool-Funktionen,
• Speicherverhalten,
• Zugangsstatus,
• bekannte Updates

aufgezeichnet.

20.3. Beobachtungsebene Systemaufzeichnung

Tatsächlich für jeden Teilnehmer beobachtet:

• Schnittstelle,
• Modellkennzeichnung,
• Plan,
• Fahrzeugnutzung,
• Zitation,
• Sitzung,
• Personalisierung,
• Zeit

trägt Felder. Allein die Hauptaufzeichnung kann Unterschiede auf Beobachtungsebene nicht entfernen.

21. SYSTEMKONFIGURATIONS-FINGERABDRUCK

Ein Systemkonfigurations-Fingerabdruck kann erstellt werden, um die Vergleichbarkeit einer KI-Produktinstanz zu erleichtern. Kandidatenfelder:

SCF= H(canonicalise(p, s, r, m, k, t, x, c, l, w))

Hier ist H die Funktion, die aus den versionierten Feldern einen Integritätswert erzeugt. Der Fingerabdruck:

• ob zwei Beobachtungen zur gleichen Konfiguration gehören,
• ob es wesentliche Änderungen in der Welle gegeben hat

Es kann helfen, dies zu identifizieren. Fingerabdruck: beweist nicht das echte Backend-Modell, macht keine Schichten sichtbar, die der Anbieter nicht offengelegt hat. Er verstärkt nur, ob die aufgezeichnete Konfiguration später geändert wurde.

22. WAS IST VERGLEICHBARKEIT?

Zwei Ergebnisse gelten als vergleichbar, wenn:

der Unterschied zwischen ihnen ausreichend durch überwachten Produktverhalten erklärt werden kann und nicht durch irrelevante Unterschiede im Messdesign.

Vergleichbarkeit ist nicht absolute Gleichheit. Unterschiedliche KI-Produkte:

• Modell,
• Anbieter,
• Nutzeroberfläche.

Diese müssen nicht alle identisch sein. Die für den Vergleich relevanten materiellen Bedingungen müssen jedoch:

• Ausgleich,
• Schichtung,
• Aufzeichnung,
• Modellierung in der Analyse

sind erforderlich.

23. DAS VERGLEICHSOBJEKT MUSS VORHER DEFINIERT WERDEN

Die gleichen Daten können unterschiedliche Vergleichsfragen beantworten.

23.1. Nutzerproduktvergleich

"Welches Verbraucherprodukt liefert unter denselben Nutzerbedingungen eine genauere Repräsentation?" Das zu vergleichende Objekt ist die gesamte Produktkette.

23.2. Modellvergleich

"Welches Modell liefert unter demselben kontrollierten Prompt und werkzeugsfreien Zustand eine genauere Antwort?" API- oder fester Modellzugang kann erforderlich sein.

23.3. Abrufvergleich

„Gibt es einen Unterschied zwischen den webbasierten und nicht webbasierten Modi desselben Produkts?“ Das Modell und andere Bedingungen werden so konstant wie möglich gehalten.

23.4. Planvergleich

„Sehen kostenlose und zahlende Nutzer die gleiche Markenpräsentation?“ Der Planunterschied ist Gegenstand der Prüfung.

23.5. Schnittstellenvergleich

„Erzeugt das Web- und Mobilprodukt unter den gleichen Bedingungen unterschiedliche Repräsentationen?“

23.6. Zeitvergleich

„Hat sich die Repräsentation desselben Produkts über verschiedene Wellen hinweg geändert?“ Produkt- und Bevölkerungsänderungen sollten getrennt werden. Ohne die Vergleichsfrage zu spezifizieren: „Produkt A ist besser als Produkt B.“ ist zu allgemein.

24. VERGLEICHBARKEITSDIMENSIONEN

Beim Vergleich von zwei Produkten oder Wellen sollten die folgenden Bereiche bewertet werden:

• Auditierte Einheit
• Reality-Paket-Version
• Prompt-ID und Version
• Sprache und Gebietsschema
• Land
• Zielpopulation
• Beispielquelle
• Teilnehmerzusammensetzung
• Sitzungstyp
• Speicher
• Besondere Anweisungen
• Vorheriges Gespräch
• Produktplan
• Nutzeroberfläche
• Modellbezeichnung
• Abruf-/Web-Status
• Werkzeuge
• Zitationsfunktion
• Messzeit
• Produktupdates
• Beurteilungsregel
• Ergebnisstatus
• Gewichtung

Nicht alle Dimensionen müssen gleich sein. Unterschiedliche Dimensionen begrenzen den Vergleichsrahmen.

25. VERGLEICHBARKEITSSTUFEN

CP-0— NICHT VERGLEICHBAR

Bedingungen für Materialmessungen sind unbekannt oder stark inkonsistent. Ein direkter Leistungsvergleich kann nicht durchgeführt werden.

CP-1— BESCHREIBENDE KO-EXISTENZ

Es gibt Ergebnisse von zwei Produkten oder Wellen. Allerdings:

• Bevölkerung,
• Prompt,
• Zeit,
• Sitzung

sind nicht gleich. Es kann nur eine beschreibende Nebeneinander-Darstellung gemacht werden.

CP-2— TEILWEISE ANGEPASST

Einige Kernfelder stimmen überein. Materielle Unterschiede bestehen weiterhin. Eine begrenzte Vergleichbarkeit ist möglich.

CP-3— ÜBEREINSTIMMENDER NUTZER-Oberflächen-Vergleich

Gleiches Unternehmen Gleiche Prompt-Version Gleiche Sprache/Land Ähnliche Nutzergruppe Gleicher Zeitraum Registrierte Produktmerkmale sind verfügbar. Verbraucherproduktergebnisse sind vergleichbar.

CP-4— KONTROLLIERTER ÜBEREINSTIMMENDER VERGLEICH

Zusätzlich:

• Sitzung,
• Speicher,
• Personalisierung,
• Abruf,
• Werkzeuge,
• Plan

sind kontrolliert oder offen abgestimmt. Bietet einen stärkeren Produkt- oder Feature-Vergleich.

CP-5— REPLIZIERTER UND KALIBRIERTER VERGLEICH

Vergleich:

• in mehreren Wellen,
• mit unabhängigen Nutzern oder Panels,
• mit derselben normativen Bewertung

wiederholt; Variabilität und Produktänderungen wurden kalibriert. Diese Werte sind kein „wissenschaftlicher Genauigkeitsscore“. Sie zeigen die Grenze an, die eine Vergleichsaussage tragen kann.

26. WAS TUN BEI CP-0 KONDITION?

Wenn zwei Produkte nicht verglichen werden können, werden die Ergebnisse nicht ignoriert. Sie können separat berichtet werden:

• „Dies ist das Natürliche Reichweite-Ergebnis von Produkt A.“
• „Dies ist das Ergebnis von Produkt B unter verschiedenen Nutzern und Produktbedingungen.“

Allerdings: Man kann nicht sagen: „A ist 12 Punkte besser als B.“ Unvergleichbarkeit ist kein Misserfolg, sondern eine Begrenzung der Methode.

27. VERGLEICHBARKEIT FÜR DEN GLEICHEN ANBIETER

Ergebnisse vom gleichen Anbieter können nicht automatisch verglichen werden. Die folgenden Unterschiede können vorhanden sein:

• Produkt
• Plan
• Modell
• Webzugang
• Benutzeroberfläche
• Speicher
• Unternehmensdaten
• Länderverteilung
• Experimentelle Funktion
• Zeit

Der Vergleich desselben Anbieters sollte ebenfalls gemäß dem CP-Level bewertet werden.

28. VERGLEICHBARKEIT FÜR VERSCHIEDENE ANBIETER

Nutzerprodukte, die verschiedenen Anbietern gehören:

• gleiche Zielgruppe,
• gleiche Prompt,
• gleiche Zeit,
• ähnliche Nutzeroberfläche,
• klare Produktkonfiguration

Es ist darunter vergleichbar. Ein anderer Anbieter verhindert den Vergleich nicht. Unterschiede in den Funktionen bestimmen jedoch, was der Vergleich misst. Beispiel: Produkt A verwendet Live-Web. Produkt B nicht. Das Ergebnis kann diese Frage beantworten: 'Welche der beiden Produktreihen, die dem Nutzer angeboten werden, erzeugt eine genauere Repräsentation?' Es beantwortet diese Frage nicht direkt: 'Welches Basismodell ist wissensreicher?'

29. VERGLEICH VON WEB-UNTERSTÜTZTEN UND NICHT-WEB-PRODUKTEN

Zwei separate Vergleiche sind möglich.

29.1. Vergleich von Naturprodukten

Jedes Produkt wird unter den Standardbedingungen eines echten Nutzers gemessen. Ein Produkt, das das Web nutzt, nutzt das Web. Eines, das es nicht nutzt, tut es nicht. Ergebnis: es ist ein Vergleich der tatsächlichen Verbrauchererfahrung mit dem Produkt.

29.2. Funktionsabgestimmter Vergleich

Wenn möglich, beide Produkte:

• im offenen Web gemessen,
• Web geschlossen

Modi ebenfalls separat. Dies kann den Abrufe-Effekt besser trennen. Jedes Produkt bietet möglicherweise nicht die gleichen Optionen. Fehlender Modus:

ALS NICHT VERFÜGBAR AUFGEZEICHNET

Dieser Status muss ausdrücklich bleiben.

30. PRODUKTE, DIE ZITATE ANZEIGEN UND NICHT ANZEIGEN

Für ein Produkt ohne Zitierfunktion: Es ist möglich, eine „Null-Zitation“ anzugeben. Allerdings sollte deren Bedeutung erklärt werden: Das Produkt verweist möglicherweise nicht auf Quellen. Es ist nicht sicher, dass es überhaupt keine Quellen verwendet. Zitationsabdeckung und Genauigkeitsabdeckung sind getrennte Ergebnisse. Ein Zitationsvergleich sollte nur zwischen Produkten durchgeführt werden, die Zitationen unterstützen oder mit separatem Funktionsstatus.

31. Natürliche Reichweite VERGLEICH

Jedes Produkt wird innerhalb seiner tatsächlichen Reichweite gemessen. Vorteil: zeigt die natürliche globale Wirkung des Produkts. Einschränkung: die Populationen sind unterschiedlich, Länder- und Sprachverteilungen können variieren. Natürliche Reichweite Scores: zeigen, was das Produkt innerhalb seiner erreichten Population leistet. Sollte nicht allein für ein direktes Produktüberlegenheitsranking verwendet werden.

32. VERGLEICH AUF GEMEINSAMER BASIS

Es wird die gemeinsame Zugriffspopulation der verglichenen Produkte verwendet. Vorteil:

• gleiches Land,
• gleiche Sprache,
• gleiche Nutzerbedingung

bietet einen gerechteren Vergleich. Einschränkung: bewahrt den tatsächlichen globalen Zugriffsunterschied der Produkte, das gemeinsame Universum kann sehr eng sein. Der Gemeinsame Vergleichsbasis-Score sollte zusammen mit dem Natürliche Reichweite-Score veröffentlicht werden.

33. VERGLEICH VON NUTZERN PAARWEISE

Wenn derselbe Nutzer zwei oder mehr KI-Produkte testet, können Nutzermerkmale kontrolliert werden. Jedoch:

• Reihenfolge der Aufgaben,
• Antwortenabruf,
• Produktfamiliarität,
• spezielle Profile von Nutzern, die auf alle Produkte zugreifen können,

kann Verzerrungen erzeugen. In einem paarweisen Design:

• sollte die Produktreihenfolge randomisiert werden,
• sollten vorherige Antworten nicht geteilt werden,

die gleiche Nutzersabhängigkeit sollte in der Analyse beibehalten werden.

34. UNABHÄNGIGER NUTZER-VERGLEICH

Jedes Produkt wird von verschiedenen Nutzern getestet, diese werden jedoch aus demselben Populationsrahmen ausgewählt. Vorteil: Aufgabenverunreinigung wird reduziert, es können natürlichere Produktbenutzer ausgewählt werden. Einschränkung: Nutzergruppen sind möglicherweise nicht vollständig gleich. Gewichtung und Schichtung sind erforderlich. Ergebnisse von gepaarten und unabhängigen Nutzern können getrennt, aber komplementär sein.

35. ZEITLICHE VERGLEICHBARKEIT

Beim Vergleich des heutigen Ergebnisses eines KI-Produkts mit früheren Ergebnissen sollten die folgenden Änderungen untersucht werden:

• Modell
• Produktversion
• Web/Retrieval
• Plan
• Zugang nach Land
• Sprachunterstützung
• Aufforderung
• Reale Entitäten
• Beurteilung
• Populationsrahmen
• Gewichtung

Zeitunterschiede können nicht nur durch das KI-Produkt entstehen.

36. ARTEN VON PRODUKTÄNDERUNGEN

UC-1— DOKUMENTIERTE KLEINE ÄNDERUNG

Eine geringfügige Änderung, die vom Anbieter offengelegt und als nicht wesentlich für die Änderung des Messobjekts beurteilt wurde.

UC-2— DOKUMENTIERTE WESENTLICHE ÄNDERUNG

Wesentliche Änderung beschrieben im Modell, Abruf, Schnittstelle oder Merkmal.

UC-3— BEOBACHTETE VERHALTENSÄNDERUNG

Selbst wenn keine offizielle Bekanntgabe erfolgt, wird systematisches Verhalten oder eine Schnittstellenänderung beobachtet.

UC-4— ZUGRIFTS- ODER PLÄNEÄNDERUNG

Änderungen des Landes, Plans oder Nutzerzugriffs.

UC-5— UNBEKANNTES ÄNDERUNGSEREIGNIS

Es gibt eine Unterbrechung im Messverhalten. Der Grund konnte nicht überprüft werden.

UC-6— PRODUKTAUSTAUSCH ODER -RÜCKZUG

Ein altes Produkt oder Modell wurde eingestellt und durch eine andere Struktur ersetzt. Die Art der Änderung begrenzt den Zeitreihenvergleich.

37. PRODUKTÄNDERUNG INNERHALB DER MESSWELLE

Wenn während einer Welle eine Materialänderung auftritt, existieren folgende Optionen: Die Welle kann gestoppt und neu gestartet werden. Vor und nach der Änderung können separate Unterwellen erstellt werden. Die Änderung kann als experimenteller Faktor modelliert werden. Die Welle wird als MIXED_SYSTEM_STATE gekennzeichnet. Die folgende Struktur ist verboten: Alle Antworten zu kombinieren, als ob sie zu einem einzigen festen Produktergebnis führen, obwohl die Änderung bekannt ist.

38. VERHALTEN KANN SICH OHNE PRODUKTÄNDERUNG ÄNDERN

Selbst wenn der Anbieter kein explizites Update ankündigt, kann sich das Ergebnis ändern. Mögliche Gründe:

• Änderung des Abrufindex
• Aktualisierung von Ressourcen
• Neuer Inhalt im Web erscheint
• Änderung im Re-Ranking
• A/B-Test
• Regionale Einführung
• Sicherheitsrichtlinie
• Verkehrslenkung

Daher kann nicht gesagt werden: „Der Anbieter hat nicht aktualisiert, das System war definitiv dasselbe.“ Messbelege und Verhaltensanalyse sollten ebenfalls untersucht werden.

39. Live-Produkt und gefrorenes Modell

Es gibt zwei verschiedene Forschungsobjekte.

39.1. Live-Produkt-Audit

Misst, was echte Nutzer auf der echten Verbraucheroberfläche sehen. Vorteil:

• zeigt echte Erfahrung,
• echte Quelle,
• echte Richtlinie,
• echte Schnittstelle

Einschränkungen: Es ist variabel, vollständige Reproduktion kann schwierig sein.

39.2. Audit des gefrorenen Modells

Kontrollierte Wiederholungen werden unter einer festen Version oder einem Endpunkt durchgeführt. Der Vorteil:

• bietet Reproduzierbarkeit,
• experimentelle Kontrolle

Die Einschränkung: kann das tatsächliche Verbraucherprodukt möglicherweise nicht vollständig darstellen. Die Hauptpopulationsebene von NOMOS GEO-1000 basiert auf dem Live-Nutzerprodukt. Das eingefrorene Modell-Audit ist eine ergänzende Laborarbeit.

40. PRODUKTNICHTVERFÜGBARKEIT UND TECHNISCHE ERGEBNISSE

Die folgenden Fälle sollten getrennt gehalten werden:

AR-1— PRODUKT NICHT VERFÜGBAR

Das Produkt ist für das Land oder die Nutzergruppe nicht verfügbar. Es ist das Ergebnis des Zugriffsbereichs.

AR-2— KONTO ODER PLAN UNBERECHTIGT

Der dem Teilnehmer zugewiesene Plan oder Kontobedingung ist nicht berechtigt. Es kann ein Problem bei der Stichprobe oder Aufgabenverteilung vorliegen.

AR-3— VORÜBERGEHENDER TECHNISCHER FEHLER

Ein vorübergehender technischer Fehler ist aufgetreten. Das Wiederholungsprotokoll sollte vordefiniert sein.

AR-4— RATE ODER NUTZUNGSLIMIT

Ein Nutzungskontingent oder ein Ratenlimit wurde erreicht. Es kann Teil der tatsächlichen Nutzererfahrung sein.

AR-5— SYSTEMABLEHNUNG

Die Produktaufgabe wurde aufgrund von Richtlinien oder Inhalten abgelehnt. Es ist ein gültiges Systemergebnis.

AR-6— KEIN NUTZBARER OUTPUT

Es wurde keine nutzbare Antwort generiert.

AR-7— UNBEKANNTER ZUGRIFFSFEHLER

Warum es nicht bestimmt werden konnte. Diese Situationen können nicht im gleichen "Keine Antwort"-Feld kombiniert werden.

41. TECHNISCHE WIEDERHOLREGEL

Ein Wiederholungsversuch kann bei einem vorübergehenden technischen Fehler oder einer Verbindungsunterbrechung unternommen werden. Allerdings:

• wenn die KI-Antwort nicht gefällt,
• eine Ablehnung erfolgte,
• falsche Informationen erzeugt wurden

kann aus diesen Gründen kein Wiederholungsversuch durchgeführt werden. Technische Wiederholung:

• gleicher Nutzer,
• gleiches Produkt,
• gleiche Konfiguration,
• muss innerhalb des vorgegebenen Zeitraums erfolgen.

Auch das erste technische Ereignis muss aufgezeichnet werden.

42. VERGLEICHSMATRIX

Ein grundlegender Vergleichseintrag für zwei Produkte könnte wie folgt aussehen:

Diese Ergebnisse können nebeneinander dargestellt werden. Allerdings kann nicht gesagt werden: "Das Basismodell von Produkt B ist besser." Der Unterschied kann von der gesamten Produktkette stammen.

43. SYNTHETISCHER APPLE.COM VERGLEICHSFALL

SYNTHETISCHE METHODOLOGIE-DEMONSTRATION / Die untenstehenden Produkte, Antworten und Ergebnisse sind vollständig fiktiv. Sie spiegeln nicht die Leistung von Apple Inc. oder irgendeinem realen KI-Anbieter wider. Betrachten wir drei synthetische Produktbeispiele.

Produktbeispiel A

Anbieter: Orion Produkt: Orion Chat Schnittstelle: Web Plan: Kostenlos Modellbezeichnung: Orion Standard Modell Vertrauen: MI-1 Webzugang: Aus Speicher: Aus Sitzung: Neu Sprache: Türkisch Gebietsschema: Türkei Welle: W1 Antwort: "Apple ist ein amerikanisches Technologieunternehmen, das Telefone und Computer herstellt."

Produktbeispiel B

Anbieter: Orion Produkt: Orion Chat Schnittstelle: Mobilplan: Kostenpflichtiges Modell Bezeichnung: Orion Pro Modellvertrauen: MI-1 Webzugriff: Offen Quellenangabe: Offen Speicher: Ein Vorheriges Gespräch: Über Apple Sprache: Türkisch Gebietsschema: Türkei Welle: W1 Antwort: "Apple ist ein globales Technologieunternehmen, das Hardware, Software und digitale Dienste anbietet. Aktuelle Unternehmensinformationen finden Sie in diesen Quellen."

Produktbeispiel C

Anbieter: Helios Produkt: Helios Suche Schnittstelle: Web Plan: Kostenlos Modellbezeichnung: Unbekannt Modellvertrauen: MI-0 Webzugang: Offen Zitat: Offen Speicher: Keiner Sitzung: Neu Sprache: Türkisch Gebietsschema: Türkei Welle: W1 Antwort: "Apple ist ein in den USA ansässiges Technologieunternehmen, das Verbrauchergeräte, Betriebssysteme und digitale Dienste entwickelt."

43.1. Vergleich von A und B

Sie sind derselbe Anbieter. Allerdings:

• Plan,
• Oberfläche,
• Modellkennzeichnung,
• Web,
• Speicher,
• vorheriges Gespräch

ist unterschiedlich. Das Vergleichsniveau kann CP-1 oder CP-2 sein. Der Unterschied in der Antwort kann nicht ausschließlich auf den Unterschied des Basismodells zurückgeführt werden.

43.2. Vergleich von A und C

Sie sind unterschiedliche Anbieter. Allerdings:

• Neue Sitzung,
• kostenloser Plan,
• Weboberfläche,
• gleiche Sprache/Land,
• gleiche Welle

in Bezug auf einige Bedingungen übereinstimmend. Webzugang ist unterschiedlich. Vergleich: kann als natürliches Konsumprodukt-Ergebnis durchgeführt werden. Es kann nicht als Basismodell-Fähigkeit durchgeführt werden.

43.3. Vergleich von B und C

Beide Produkte haben Webzugang und Zitate aktiviert. Allerdings hat B Speicher und vorherige Konversation, während C dies nicht hat. Die Nutzererfahrung der Produkte ist vergleichbar. Es ist kein kontrollierter, sauberer Produktvergleich.

43.4. Kontrollierte Wiederholung

Im Produkt B:

• Speicher ist ausgeschaltet,
• ein neuer Chat wird gestartet,
• spezielle Anweisungen sind deaktiviert,

das Web bleibt eingeschaltet. C wird unter denselben Bedingungen gemessen. Vergleichsebene: CP-3 oder CP-4 mit ausreichender zusätzlicher Kontrolle. Dieses Beispiel zeigt:

Der gleiche Anbieter liefert keinen nahen Vergleich; gut dokumentierte unterschiedliche Anbieter können besser vergleichbar sein.

44. FALL VON SYNTHETISCHER PRODUKTÄNDERUNG

SYNTHETISCHES BEISPIEL

Orion Chat W1 Wellen zielt auf 1,000 Beobachtungen ab. In den ersten 480 Beobachtungen:

• Produktversion: 6.1
• Webfunktion: manuell
• Zuschreibung: begrenzt

In den nächsten 520 Beobachtungen:

• Produktversion: 6.2
• Webfunktion: automatisch
• Zuschreibung: erweitert

sei es. Einzelnes Ergebnis: Wenn als „Orion Chat W1 Score“ berechnet, werden zwei verschiedene Systemzustände gemischt. Richtige Optionen:

Option 1

W1A: erste 480 W1B: nächste 520 werden separat gemeldet.

Option 2

Die Welle wird nicht fortgesetzt. 1,000 neue Beobachtungen werden in Version 6.2 gemacht.

Option 3

Die Version wird als expliziter experimenteller Faktor in der statistischen Analyse beibehalten. Falsche Option: Das Update wird aus dem Bericht entfernt und alle Beobachtungen werden als ein einziges festes Produkt präsentiert.

45. MINIMALES KI-SYSTEMPROTOKOLL

Jede Beobachtung muss mindestens die folgenden Felder enthalten:

• NOMOS KI-System-ID
• Anbieter
• Produkt
• Oberfläche
• Plan
• Produkttyp
• Offensichtliches Modelllabel
• Modellvertrauensniveau
• Land
• Locale
• Sprache
• Sitzungstyp
• Speicherstatus
• Status benutzerdefinierter Anweisungen
• Vorheriger Gesprächszustand
• Abruf-/Webfunktion
• Abrufnutzungsstatus
• Zitationsstatus
• Werkzeugstatus
• Status experimenteller Funktionen
• UTC Zeit
• Welle
• System-Fingerabdruck
• Änderungsereignisse
• Quelle der Nachweise
• Datensatzinhaber

Wenn das Materialfeld unbekannt ist, darf es nicht leer gelassen werden. Der Status UNBEKANNT sollte verwendet werden.

46. MINIMALE VERGLEICHSKARTE

Beim Vergleich von zwei Produkten oder Wellen sollte der öffentliche Datensatz Folgendes anzeigen:

• Vergleichsfrage
• Vergleichsebene
• Gemeinsame Zielgruppe
• Natürliche Reichweite Unterschiede
• Nutzergleichheit
• Sprache und Land
• Messzeit
• Produkt, Plan und Oberfläche
• Modell-Identitätsvertrauen
• Web-/Abrufdifferenz
• Unterschied in Speicher und Personalisierung
• Unterschied im Tool
• Unterschied in der Probe
• Bewertungsmethode
• Materialeinschränkungen
• Direkt vergleichbare Metriken
• Nicht vergleichbare Bereiche

Eine einzelne Zahl oder Rangliste sollte ohne diese Karte nicht veröffentlicht werden.

47. REGEL DER VERGLEICHBARKEIT

Ein Prüfer sollte diese vier Fragen beantworten: Wurde dieselbe Sache gefragt? Wurde dasselbe menschliche Universum gemessen? Wurden dieselben Nutzerbedingungen angewendet? Wurden dieselbe Zeit und dasselbe Bewertungssystem verwendet? Jede dieser Fragen:

• vollständig,
• teilweise,
• nein,
• unbekannt

wird entsprechend klassifiziert. Der Vergleichsgrad wird dementsprechend angegeben.

48. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

CH09-N01

Jede GEO-1000-Beobachtung muss mit einem versionierten Datensatz des KI-Systemregisters verknüpft sein.

CH09-N02

Der Anbietername darf nicht als vollständige Identität des gemessenen KI-Produkts verwendet werden.

CH09-N03

Die Produkt-, Nutzeroberflächen-, Plan-, Modell-, Abruf-, Werkzeug-, Sitzungs- und Personalisierungsschichten müssen voneinander getrennt sein.

CH09-N04

Die Modellbezeichnung auf der Nutzeroberfläche darf nicht als verifizierte Back-End-Modellidentität dargestellt werden.

CH09-N05

Das Modell-Identitätsvertrauensniveau muss von MI-0 bis MI-5 oder durch einen gleichwertig offen definierten Status aufgezeichnet werden.

CH09-N06

Wenn die Modellidentität nicht verifiziert werden kann, sollte das Ergebnis nur dem Produkt und der Nutzeroberfläche zugeschrieben werden.

CH09-N07

Produkte desselben Anbieters werden nicht automatisch als dieselbe Versuchszelle betrachtet.

CH09-N08

Produkte verschiedener Anbieter können vergleichbar sein, wenn der Materialverbraucher und die Versuchsbedingungen übereinstimmen.

CH09-N09

Web-, mobile-, Desktop-, eingebettete Produkt- und API-Oberflächen können nicht ohne Beschreibung kombiniert werden.

CH09-N10

Kostenlose, kostenpflichtige, Unternehmens-, Bildungs- und Entwicklerpläne müssen als separate Produktbedingungen erfasst werden.

CH09-N11

Wenn der Plan unbekannt ist, sollte das Ergebnis den Status PLAN_UNBEKANNT tragen.

CH09-N12

Die Verfügbarkeit der Abruf- oder Webfunktion kann nicht als Nachweis dafür gezählt werden, dass sie in einer bestimmten Antwort verwendet wurde.

CH09-N13

Abrufzugriff, Abrufnutzung und Attribution müssen mit separaten Status aufgezeichnet werden.

CH09-N14

Ein Produkt, das keine Attribution zeigt, kann nicht automatisch als nicht Verwendung von Ressourcen betrachtet werden.

CH09-N15

Die Zitationen des zitierten Produkts sollten in Bezug auf die Unterstützung der Behauptung getrennt untersucht werden.

CH09-N16

Werkzeugzugriff und Werkzeugnutzung in bestimmten Antworten sollten getrennt aufgezeichnet werden.

CH09-N17

Speicher, besondere Anweisungen, vorherige Chats und Unternehmenseinstellungen sollten so weit wie möglich getrennt aufgezeichnet werden.

CH09-N18

Ein unbekannter Personalisierungszustand kann nicht als eine saubere Sitzung angesehen werden.

CH09-N19

Neue Chats, temporäre Chats, aktuelle Chats und Unternehmensarbeitsbereichssitzungen können nicht ohne Erklärung zusammengeführt werden.

CH09-N20

Die Ergebnisse von Panel unter natürlichen Nutzungsbedingungen und Kontrolliertes Panel unter bereinigten Bedingungen sollten einen separaten Produktstatus haben.

CH09-N21

Wenn ein experimentelles Feature oder eine A/B-Verteilung im Produkt wesentlich ist, sollte es im Beobachtungsprotokoll erhalten bleiben.

CH09-N22

Wenn während einer Welle eine wesentliche Produktänderung auftritt, sollte die Welle in separate Unterversionen unterteilt, neu gestartet oder die Änderung explizit in der Analyse modelliert werden.

CH09-N23

Eine bekannte Produktänderung kann nicht so gespeichert werden, als kämen alle Beobachtungen von einem einzigen festen System.

CH09-N24

Dass der Anbieter ein Update nicht erklärt, kann nicht als endgültiger Beweis dafür genommen werden, dass sich das Produkt nicht verändert hat.

CH09-N25

Das Ergebnis eines live verfügbaren Konsumprodukts kann nicht so präsentiert werden, als ob es das Ergebnis eines eingefrorenen Basismodells wäre.

CH09-N26

Das Ergebnis eines eingefrorenen Modells im Labor kann nicht als Leistung eines echten Nutzerprodukts dargestellt werden.

CH09-N27

Abwesenheit des Produkts, technischer Fehler, Nutzungslimit, Systemablehnung und fehlendes Ergebnis müssen mit separaten Status aufgezeichnet werden.

CH09-N28

Eine falsche oder negative KI-Antwort kann kein Grund für einen technischen Wiederholungsversuch sein.

CH09-N29

Das Vergleichsobjekt muss definiert werden, bevor Daten gesammelt werden.

CH09-N30

Das Vergleichsniveau von zwei Produkten muss im öffentlichen Ergebnis sichtbar sein.

CH09-N31

Eine eindeutige Produktbewertung kann nicht aus CP-0- oder CP-1-Level-Ergebnissen generiert werden.

CH09-N32

Die alleinige Verwendung desselben Prompts erzeugt kein vergleichbares Experiment.

CH09-N33

Bei Vergleichen sollten die Zielentität, Truth Pack, Prompt, Sprache, Land, Zeit, Population, Sitzung, Produkt und Bewertungsmethode gemeinsam untersucht werden.

CH09-N34

Natürliche Reichweite-Ergebnisse können nicht direkt ohne Erklärung eingestuft werden, da sie zu unterschiedlichen Zielpopulationen gehören.

CH09-N35

Das Ergebnis Gemeinsame Vergleichsbasis kann nicht als das tatsächliche globale Reichweitenergebnis des Produkts dargestellt werden.

CH09-N36

Ein web-unterstützter und web-freier Produktvergleich kann als Nutzerproduktvergleich durchgeführt werden; er kann nicht als grundsätzliche Modellüberlegenheit dargestellt werden.

CH09-N37

Bei Paarvergleichen, die mit demselben Nutzer durchgeführt werden, müssen Produktreihenfolge und Nutzerabhängigkeit beibehalten werden.

CH09-N38

Bei Vergleichen mit unterschiedlichen Nutzern müssen Nutzerzusammensetzung und Gewichtsunterschiede sichtbar sein.

CH09-N39

Die Produktversion oder Konfigurations-Fingerabdruck muss in jeder Messwelle gespeichert werden.

CH09-N40

Es muss einen verantwortlichen menschlichen oder institutionellen Eigentümer des Systemregistries und der Vergleichsentscheidung geben.

49. FORMEN DES VERSAGENS

CH09-F01— DEN ANBIETER ALS EIN EINZIGES KI-SYSTEM BETRACHTEN

Alle Produkte, Modelle und Oberflächen des Anbieters werden als ein einziges System dargestellt.

CH09-F02— PRODUKTVERHALTEN NACH MODELLNAMEN ZÄHLEN

Abruf, Sicherheit, Schnittstelle und Personalisierung werden ignoriert.

CH09-F03— BETRACHTEN SIE DAS SICHTBARE MODELLLABEL DEFINITIV ALS BACKEND

Die Verwendung von Routing- oder dynamischen Modellen wird außer Acht gelassen.

CH09-F04— BETRACHTUNG DES GLEICHEN ANBIETERS ALS VERGLEICHBAR

Unterschiede im Plan, in der Oberfläche und bei den Funktionen werden verborgen.

CH09-F05— BETRACHTUNG VERSCHIEDENER ANBIETER ALS NICHT VERGLEICHBAR

Produktvergleiche, die unter gepaarten Nutzerbedingungen möglich sind, werden abgelehnt.

CH09-F06— INTEGRATION VON WEB UND MOBILE

Schnittstellen- und Funktionsunterschiede verschwinden.

CH09-F07— KOMBINATION VON KOSTENLOSEN UND BEZAHLTEN PLÄNEN

Qualitäts- oder Funktionsunterschiede aufgrund des Plans werden unsichtbar.

CH09-F08— BETRACHTUNG VON UNTERNEHMENS- UND VERBRAUCHERPRODUKTEN ALS GLEICH

Private Informationen und Administrator-Einstellungen sind verborgen.

CH09-F09— API-ERGEBNIS ALS KONSUMPRDUKT BEHANDELN

Orchestrierungs- und Nutzerschnittstellenunterschiede werden beseitigt.

CH09-F10— WENN ABRUF VORHANDEN, ALS GENUTZT BETRACHTEN

Der wahre Wissenspfad der spezifischen Antwort kann nicht verifiziert werden.

CH09-F11— WENN KEINE ZITIERUNG, KEINE QUELLE BETRACHTEN

Die Möglichkeit eines verborgenen oder unsichtbaren Abrufs wird ignoriert.

CH09-F12— WENN ZITIERUNG VORHANDEN, ALS KORREKTE QUELLE ZÄHLEN

Übereinstimmung zwischen Zitation und Aussage wird nicht geprüft.

CH09-F13— TOOL-ZUGRIFF ALS TOOL-NUTZUNG BETRACHTEN

Es ist unbekannt, welches Werkzeug in der spezifischen Antwort verwendet wurde.

CH09-F14— SPEICHER ALS SAUBERE SITZUNG BETRACHTEN

Die Wirkung der Personalisierung bleibt unsichtbar.

CH09-F15— BETRACHTEN SIE EINE NEUE KONVERSATION ALS NICHT PERSONALISIERT

Persistente Kontoeinstellungen und spezielle Anweisungen werden ignoriert.

CH09-F16— AKTUELLEN CHAT ALS NEUE SITZUNG PRÄSENTIEREN

Frühere Kontexte werden verborgen.

CH09-F17— EIN EXPERIMENTELLES FEATURE ALS DATENFEHLER ZÄHLEN

Die tatsächliche Produktvariante wird als ungültige Beobachtung deklariert.

CH09-F18— EIN EXPERIMENTELLES FEATURE VERSTECKEN

Nutzer in verschiedenen Rollouts werden als ein einziges festes Produkt kombiniert.

CH09-F19— EINZELNE WELLE NACH UPDATE

Materielle Produktänderung wird als Ergebnis eines einzigen festen Systems veröffentlicht.

CH09-F20— ÄNDERUNGEN IGNORIEREN, WENN KEINE ANKÜNDIGUNG VORLIEGT

Beobachtetes Verhaltensproblem wird nicht untersucht.

CH09-F21— EIN LIVE-PRODUKT ALS EINGEFRORENES MODELL ZÄHLEN

Volle Reproduzierbarkeit wird behauptet.

CH09-F22— EIN EINGEFRORENES MODELL ALS ECHTES NUTZERPRODUKT BETRACHTEN

Produktkette und Schnittstellenunterschiede werden verborgen.

CH09-F23— DAS FEHLEN EINES PRODUKTS ALS FEHLER ZÄHLEN

Zugriffsbereich wird mit Genauigkeit der Repräsentation verwechselt.

CH09-F24— EINEN TECHNISCHEN FEHLER ABLEHNEN

Verbindungs- oder Dienstproblem wird als politische Folge eingestuft.

CH09-F25— EINEN TECHNISCHEN FEHLER ALS ABGELEHNT ZÄHLEN UND ERNEUT VERSUCHEN

Tatsächliches Nutzerergebnis wird aus dem Nenner entfernt.

CH09-F26— DAS NUTZUNGSLIMIT VERSTECKEN

Die echte Erfahrung des kostenlosen Plans wird unsichtbar.

CH09-F27— DAS GLEICHE PROMPT ALS DAS GLEICHE EXPERIMENT BETRACHTEN

Produkt-, Plan-, Sitzungs-, Web- und Zeitunterschiede werden ignoriert.

CH09-F28— BERÜCKSICHTIGUNG DES PRODUKTERGEBNISSES ALS MODELLÜBERLEGENHEIT

Der Unterschied über die gesamte Systemkette wird dem Basismodell zugeschrieben.

CH09-F29— DIREKTE RANGIERUNG DER Natürliche Reichweite PUNKTE

Unterschiedliche Bevölkerungsuniversen werden als gleich betrachtet.

CH09-F30— BERÜCKSICHTIGUNG VON Gemeinsame Vergleichsbasis ALS GLOBALER BEREICH

Das enge gemeinsame Universum wird als die gesamte Reichweite des Produkts dargestellt.

CH09-F31— ANSPRUCH AUF FÜHRUNG AUS CP-1 ERGEBNIS

Die Produktüberlegenheit wird ausschließlich aus nicht kompatiblen Ergebnissen abgeleitet, die nebeneinandergestellt werden.

CH09-F32— BEIBEHALTUNG DER VERGLEICHSSTUFE

Die Öffentlichkeit sieht nur das Ranking.

CH09-F33— IGNORIEREN DER GEPAARTEN NUTZERABHÄNGIGKEIT

Die Reaktionen derselben Person auf Produkte werden als unabhängig betrachtet.

CH09-F34— IGNORIEREN DES PRODUKTREIHENFOLGEEFFEKTS

Die erste Reaktion beeinflusst nachfolgende Aufgaben.

CH09-F35— UNTERSCHIEDLICHE PANEL-NUTZER ALS GLEICH BEHANDELN

Produkte werden mit unterschiedlichen Nutzerzusammensetzungen getestet.

CH09-F36— ÄNDERN DER REALITÄTSPAKET-VERSION

Die gleichen Reaktionen werden mit unterschiedlichen Referenzaufzeichnungen verglichen.

CH09-F37— DAS PRODUKTFINGERABDRUCK STILL SCHWEIGEND ÄNDERN

Der Konfigurationsdatensatz wird aktualisiert; die alte Messung wird beibehalten, anstatt überschrieben zu werden.

CH09-F38— EINE UNBEKANNTE FLÄCHE ALS SAUBER ZÄHLEN

Der Status von Modell, Speicher oder Werkzeug wird als kontrolliert akzeptiert, auch wenn unbekannt.

CH09-F39— DIE PRODUKTMARKE STATT NACHWEISE VERWENDEN

Der Ruf des Anbieters ersetzt die Messbedingungen.

CH09-F40— DECKT ALLE PRODUKTUNTERSCHIEDE MIT EINEM EINZIGEN KOEFFIZIENTEN AB

Plan-, Schnittstellen- und Konfigurationsunterschiede werden durch die Verwendung des Modell- oder Marktkoeffizienten verborgen.

50. PRÜFUNGSVERFAHREN

Schritt 1— Identifizieren Sie den Anbieter und das Produkt

Der Produktname, der Typ und die offiziellen Nutzeroberflächen werden aufgezeichnet.

Schritt 2— Festschreiben Sie die Messfläche

Web Mobil Desktop

API

Eingebettetes Produkt wird abgetrennt.

Schritt 3— Überprüfen Sie den Plan und die Kontoklasse

Kostenloser, bezahlter, Unternehmens- oder anderer Planstatus wird erfasst.

Schritt 4— Modell-ID-Vertrauen zuweisen

Das geeignete Niveau wird zwischen MI-0 und MI-5 bestimmt.

Schritt 5— Abruf- und Webkonfiguration speichern

Ist die Funktion verfügbar? Ist sie eingeschaltet? Wurde sie in einer bestimmten Antwort verwendet? Was ist der Nachweis?

Schritt 6— Referenz- und Werkzeugstatus speichern

Tatsächliche Nutzung wird von Funktionszugriff getrennt.

Schritt 7— Sitzungs- und Personalisierungsstatus speichern

Speicher, spezielle Anweisung, vorheriger Chat, Unternehmenskonfiguration werden überprüft.

Schritt 8— Land-, Gebietsschema- und Sprachregistrierung überprüfen

Die regionale Bedingung des Produktverhaltens wird bestimmt.

Schritt 9— Experimentelle Funktionen überprüfen

UI- oder Funktionsunterschiede zwischen Nutzern werden überprüft.

Schritt 10— Zeit- und Wellenidentität festschreiben

UTC Zeit- und Wellenaufzeichnung werden erstellt.

Schritt 11— Systemkonfigurations-Fingerabdruck erstellen

Gespeicherte Felder sind mit dem Integritätsdatensatz verknüpft.

Schritt 12— Überwachen von Änderungsereignissen

Angekündigte und beobachtete Produktänderungen werden aufgezeichnet.

Schritt 13— Schreiben des Vergleichsobjekts

Welche Vergleiche der Product Model Retrieval Plan Interface Time werden durchgeführt?

Schritt 14— Abgleichen der Vergleichsmaße

Materialbereiche werden tabellarisch dargestellt.

Schritt 15— CP-Level zuweisen

Es wird ein angemessenes Level zwischen CP-0 und CP-5 vergeben.

Schritt 16— Vergleichbare und nicht vergleichbare Aussagen trennen

Welche Ergebnisse nebeneinander gestellt werden können, wird klar angegeben.

Schritt 17— Ergebnisse von Natürliche Reichweite und Gemeinsame Vergleichsbasis trennen

Intra-Produkt- und gemeinsame Population-Vergleiche werden separat aufgezeichnet.

Schritt 18— Systemänderung in der Wave überprüfen

Es wird festgestellt, ob MIXED_SYSTEM_STATE oder eine neue Unterwelle benötigt wird.

Schritt 19— Öffentliche Vergleichskarte erstellen

Die Bedingungen hinter der Rangfolge werden sichtbar gemacht.

Schritt 20— Genehmigung des Datensatzbesitzers einholen

Das Systemregister und die Vergleichsentscheidung werden von der verantwortlichen Person versioniert.

51. ERFORDERLICHE BELEGE

Anbieteridentität; Produktname und -typ; Nutzeroberfläche; Anwendungs- oder Schnittstellenversion; Plan- und Kontoklasse; angezeigtes Modelletikett; Modellidentitätsnachweis; Konfidenzstufe der Modellidentität; Produktdokumentation; Länderzugriffsaufzeichnungen; Sprache und Gebietsschema; Web- und Abruffähigkeit; Nachweis der Abrufnutzung; Zitierfähigkeit; Zitiersicht; Zitat–Anspruchs-Verbindung; Werkzeugzugriff; Werkzeugnutzungsprotokoll; Speicher-Einstellung; Nutzerdefinierte Anweisungen; vorheriger Chat-Zustand; Sitzungstyp; Einstellungen des Organisationsadministrators; Aufzeichnung experimenteller Funktionen; A/B-Zuordnungssignale; UTC Zeitstempel; Messwelle; Systemkonfigurations-Fingerprint; Anbieter-Update-Aufzeichnungen; beobachtete Verhaltensänderungen; Produktzugriffsfehler; technische Wiederholungsprotokolle; Natürliche Reichweite Bevölkerungsdatensatz; Gemeinsame Vergleichsbasis Bevölkerungsdatensatz; und Vergleichsdimensionstabelle.

CP-Level-Prompt-Version Reality-Paket-Version Proben- und Gewichtsaufzeichnung Adjudikationsversion Öffentliche Vergleichskarte Änderungsprotokoll Verantwortliche Person oder Institution

52. PRÜFLISTE FÜR AUDITS

Wurden der Anbieter und das Produkt getrennt aufgezeichnet? Ist die Nutzeroberfläche identifizierbar? Wurden der Plan und die Kontoklasse überprüft? Ist das Modelllabel lediglich das angezeigte Label oder identifiziert es eine verifizierte Bereitstellung? Wurde ein Vertrauensniveau für die Modellidentität vergeben? Wird das Ergebnis dem Produkt oder dem Modell zugeschrieben? Waren Web- oder Abruffunktionen verfügbar? Wurde ihre Verwendung in der spezifischen Antwort überprüft? Wurden Zitierfähigkeit und Zitationsanzeige getrennt? Unterstützen die Zitate tatsächlich die Behauptungen? Wurden Werkzeugzugriff und Werkzeugnutzung getrennt? War der Speicher aktiviert? Waren Nutzerdefinierte Anweisungen vorhanden? Gab es vorhergehenden Gesprächskontext? Wurde der Sitzungstyp aufgezeichnet? War eine Unternehmens- oder private Informationsquelle vorhanden? Wurden experimentelle Produktfunktionen überprüft? Könnten Land und Gebietsschema das Verhalten des Produkts beeinflussen?

Wurde der System-Fingerabdruck erstellt? Hat sich das Produkt während der Messwelle geändert? Gab es ein Verhalten außerhalb der Anbieterankündigung? Wurden Beobachtungen vor und nach der Änderung getrennt? Wurden technische Fehler von Ablehnungen unterschieden? Wurde ein erneuter Versuch aufgrund einer falschen Antwort durchgeführt? Ist das Vergleichsobjekt klar? Welche Bedingungen stimmen außer dem gleichen Prompt überein? Ist die Zielpopulation die gleiche? Sind die Versionen von Prompt und Truth Pack identisch? Sind die Unterschiede in Plan, Oberfläche und Abruf sichtbar? Wurde das CP-Level angegeben? Wurde ein Ranking aus den Ergebnissen von CP-0 oder CP-1 erstellt? Wurden die Ergebnisse von Natürliche Reichweite und Gemeinsame Vergleichsbasis getrennt? War die gleiche Nutzer-Produkt-Sequenz ausgeglichen? Wurden verschiedene Nutzerpanels kalibriert?

Wurde das Ergebnis des Live-Produkts als grundlegende Modellüberlegenheit präsentiert? Wurden unbekannte Bereiche als kontrolliert betrachtet? Gibt es eine öffentliche Vergleichskarte? Ist der verantwortliche Eigentümer des Systemregistrierungs bekannt?

53. EINWÄNDE UND ANTWORTEN

Einwand 1— „Wenn der Nutzer nicht weiß, welches Modell läuft, kann diese Arbeit trotzdem durchgeführt werden?“

Es kann gemacht werden. Das Hauptobjekt GEO-1000 ist das Produkt des Nutzers. Wenn das Modell unbekannt ist, wird das Ergebnis gemeldet als: „Dieses Verhalten wurde auf diesem Produkt und der Nutzeroberfläche beobachtet.“ Es wird kein Bezug auf ein spezifisches Modell genommen.

Einwand 2— „Warum unterscheiden wir die Produkte desselben Anbieters so stark?“

Weil der Nutzer:

• anderen Plan,
• Modell,
• Abruf,
• Speicher,
• Tool

unter unterschiedlichen Bedingungen unterschiedliche Antworten sehen kann. Der Name des Anbieters definiert nicht vollständig die Nutzererfahrung.

Einwand 3— „Ist es nicht sowieso wie Äpfel mit Birnen zu vergleichen, wenn man verschiedene Anbieter vergleicht?“

Wenn die Vergleichsfrage korrekt gestellt wird, ist sie es nicht. Ein echter Nutzer könnte fragen: „Welches Produkt informiert mich genauer?“ Die gesamte Produktkette ist Teil dieser Frage. Wenn die Überlegenheit des Basismodells behauptet werden soll, ist ein kontrollierteres Experiment erforderlich.

Einspruch 4– „Ist es nicht natürlich, dass ein webnutzendes Produkt einen Vorteil hat?“

Es ist natürlich. Bei einem Vergleich von Naturprodukten ist der Vorteil das echte Merkmal des Produkts. Bei einem Modellvergleich sollte der Abrufeffect ebenfalls getrennt werden.

Einwand 5— „Ist es nicht unfair, einem Produkt, das keine Zitate zeigt, keine Zitationsbewertung zu geben?“

Die Attributionsfunktion ist die Funktion, die das Produkt dem Nutzer bietet. Wenn die Funktion fehlt, kann das Attributionsergebnis wie folgt angezeigt werden:

ALS NICHT VERFÜGBAR AUFGEZEICHNET

Die Materialgenauigkeit wird ebenfalls separat gemessen.

Einwand 6— „Wenn Gedächtnis Teil der natürlichen Nutzererfahrung ist, warum schalten wir es dann aus?“

Es kann im natürlichen Panel eingeschaltet bleiben. Es kann im kontrollierten Panel ausgeschaltet werden, um Vergleiche zwischen Produkten zu löschen. Die beiden Panels beantworten unterschiedliche Fragen.

Einwand 7— „Reicht nicht das Öffnen eines neuen Chats für eine saubere Sitzung?“

Nicht immer. Persistenter Speicher, spezielle Anweisungen oder Kontoeinstellungen können weiterhin bestehen. Diese Bereiche sollten ebenfalls gespeichert werden.

Einwand 8— „Was können wir tun, wenn der Anbieter die Produktänderung nicht erklärt hat?“

Beobachtet:

• Schnittstelle,
• Funktion,
• Verhalten,
• Zuschreibung

Wir können Ihre Änderungen speichern. Wenn die Ursache unbekannt ist, wird ein unbestimmter Änderungsstatus wie UC-5 verwendet.

Einwand 9— „Wenn sich Produkte ständig ändern, werden dann irgendwelche Ergebnisse gültig sein?“

Das Ergebnis lautet:

• Datum,
• Welle,
• Produktprobe

Es ist gültig. Variabilität macht die Messung nicht bedeutungslos. Sie verhindert voreilige Urteile.

Einwand 10— "Ist nicht derselbe Prompt am selben Tag vergleichbar genug?"

Der Plan, die Oberfläche, das Gedächtnis, das Web, das Land und die Nutzerpopulation können unterschiedlich sein. Derselbe Prompt kann erforderlich sein. Allein ist es nicht genug.

Einwand 11— 'Wäre die CP-Stufe nicht zu technisch für die Öffentlichkeit?'

Ein kurzes Label kann verwendet werden:

• Beschreibend
• Teilweise übereinstimmend
• Übereinstimmend
• Kontrolliert
• Repliziert

Man sollte wissen, wie stark das öffentliche Ranking ist.

Einwand 12— “Warum können wir nicht direkt basierend auf den Natürliche Reichweite-Werten bewerten?”

Weil jedes Produkt möglicherweise in verschiedenen Ländern und Nutzerpopulationen gemessen wurde. Der Unterschied im Score kann teilweise darauf zurückzuführen sein, welche Population das Produkt erreicht hat. Gemeinsame Vergleichsbasis bietet einen faireren Vergleich.

Einwand 13— „Ist Gemeinsame Vergleichsbasis nicht ein Ergebnis aus der realen Welt?“

Es ist das Ergebnis der tatsächlich geteilten Population. Es zeigt jedoch keinen Zugang der Produkte außerhalb des geteilten Universums. Es sollte zusammen mit Natürliche Reichweite gelesen werden.

Einwand 14— „Ist die Inspektion des Live-Produkts wichtiger oder die des eingefrorenen Modells?“

Die Fragen sind unterschiedlich. Das Live-Produkt misst die Wahrheit des Nutzers. Das eingefrorene Modell bietet wissenschaftliche Kontrolle und Reproduzierbarkeit. NOMOS verwendet sie nicht austauschbar.

GEMEINSAME REGEL VON KAPITEL 57

Ein Nutzer:

• „ChatGPT hat das gesagt.“
• „Gemini dachte das.“
• „Claude hat uns empfohlen.“
• „Einige haben uns zitiert.“

kann gesagt werden. Diese Ausdrücke sind im täglichen Gespräch verständlich. Sie sind jedoch nicht ausreichend in einem Prüfungsprotokoll. Denn unter diesen Namen:

• verschiedene Produkte,
• verschiedene Pläne,
• verschiedene Modelle,
• verschiedene Nutzeroberflächen,
• verschiedene Web- und Abrufsysteme,
• verschiedene Speicherbedingungen,
• unterschiedliche Länder,
• verschiedene Zeiten

können gefunden werden. Unterschiedliche Personen können unter demselben Namen unterschiedliche KI-Erfahrungen machen. Vergleichbare Nutzererlebnisse können unter verschiedenen Namen hergestellt werden. Ein Modelllabel scheint die gesamte Antwort produziert zu haben. Aber die Realität, die den Nutzer erreicht:

• Quellenauswahl,
• Sicherheit,
• Personalisierung,
• Schnittstelle,
• Werkzeuge

Das Ergebnis kann durch Sicherheitskontrollen, Personalisierung, die Nutzeroberfläche und verfügbare Werkzeuge beeinflusst werden. NOMOS fragt daher mehr als nur ‚Welches Modell?‘ Es fragt: Welches Produkt? / Welche Oberfläche? / Welcher Plan? / Welcher Informationsmodus? / Welche Sitzung? / Welcher Nutzer? / Welches Land? / Welche Zeit? / Welche Version? Zwei Ergebnisse können aus derselben Prompt stammen, ohne aus demselben Experiment zu kommen. Zwei Ergebnisse können von verschiedenen Anbietern stammen und dennoch unter denselben Nutzerbedingungen recht vergleichbar sein. Ein Produkt ist ein lebendes System: seine Quellen, Schnittstelle und sein Modell können sich ändern. Eine Änderung macht ein Ergebnis nicht wertlos; sie bindet das Ergebnis an eine bestimmte Zeit und den Zustand des Produkts. Das neunte Messgesetz von NOMOS lautet daher:

Ein KI-Anbieter ist kein KI-Produkt.

Das zehnte Gesetz lautet:

Das Modell ist nur ein Teil der Repräsentationskette, die den Nutzer erreicht.

Das elfte Gesetz lautet wie folgt:

Der gleiche Name garantiert Vergleichbarkeit; ein anderer Name garantiert keine Nichtvergleichbarkeit.

Das zwölfte Gesetz lautet wie folgt:

Der gleiche Prompt ist nicht dasselbe Experiment.

Das dreizehnte Gesetz lautet wie folgt:

Das Ergebnis des lebenden Produkts ist nur für die Produktprobe und den Zeitpunkt gültig, zu dem es gemessen wird.

Das vierzehnte Gesetz lautet wie folgt:

Die Macht des Vergleichs kommt nicht von der Größe der Rangordnung, sondern von der Klarheit der abgeglichenen Bedingungen.

Bestellung von Abschnitt 9 von NOMOS

Gib mir nicht nur den Namen des Anbieters. / Zeige, welches Produkt verwendet wurde, auf welcher Oberfläche und mit welchem Plan.

Mache das auf dem Bildschirm sichtbare Modelletikett nicht zur exakten Identität des gesamten Back-End-Systems.

Es wurde verwendet, weil es eine Webfunktion gab; gehe nicht davon aus, dass es die Behauptung unterstützte, nur weil ein Zitat vorhanden war.

Zählen Sie den Werkzeugzugriff nicht als Werkzeugnutzung, einen neuen Chat nicht als sauberen Account und unbekannten Speicherstatus nicht als ausgeschalteten Speicher.

Setze keinen kostenlosen Nutzer und einen zahlenden Nutzer, ein mobiles Produkt und ein Webprodukt oder einen Enterprise-Arbeitsbereich und einen allgemeinen Chat in dieselbe Zelle.

Betrachten Sie Ergebnisse desselben Anbieters nicht automatisch als einen fairen Vergleich.

Vermeiden Sie es nicht, verschiedene Anbieter nur deshalb zu vergleichen, weil sie unterschiedlich sind. / Vergleichen Sie zuerst die Bedingungen. / Erklären Sie dann, welche Frage Sie beantwortet haben.

Präsentieren Sie kein Live-Produkt als gefrorenes Modell, keine API als Endverbrauchererlebnis und kein Produktergebnis als Überlegenheit des Basismodells.

Wenn sich das System in der Mitte der Welle geändert hat, dürfen die alten und neuen Antworten nicht zu einem einzigen Produkt zusammengeführt werden.

Ignorieren Sie die Verhaltensänderung vor Ihnen nicht einfach, nur weil der Anbieter die Änderung nicht erklärt hat.

Gehen Sie nicht davon aus, dass das Unbekannte sauber, gleich oder behoben ist.

Zuerst das System im Protokoll registrieren. / Dann die Konfiguration festschreiben. / Dann die Änderungen überwachen. / Dann das Vergleichsobjekt schreiben. / Dann übereinstimmende und nicht übereinstimmende Bedingungen anzeigen. / Und erst dann sagen, welches Produkt unter welcher Bedingung ein stärkeres Ergebnis erzielt hat.

Der abschließende Satz des Kapitels

Die „KI“, gemessen in GEO-1000, ist kein einzelner Name oder Modell; es handelt sich um ein versioniertes Repräsentationssystem, das einen bestimmten Nutzer zu einem bestimmten Zeitpunkt innerhalb einer bestimmten Produktkette erreicht.

Normativer Kern

Jede GEO-1000-Beobachtung MUSS mit einem versionierten Eintrag im KI-Systemregister verknüpft sein, der die gemessene Produktinstanz beschreibt, einschließlich, soweit zutreffend: - Anbieter, - Produkt, - Nutzeroberfläche, - Plan, - angezeigte oder verifizierte Modellidentität, - Konfidenz der Modellidentität, - Abruf- und Webkonfiguration, - Zitierfähigkeit und Nutzung, - Werkzeugzugang und Nutzung, - Sitzungsstatus, - Speicher, - Nutzerdefinierte Anweisungen, - vorheriger Kontext, - Personalisierung, - Land, - Gebietsschema, - Sprache, - Bereitstellungsstatus, - Messzeitpunkt, - und bekannte oder beobachtete Systemänderungen. Anbietername, Produktname, angezeigtes Modellkennzeichen, Basismodell, Abrufsystem und für den Nutzer sichtbares Produkt DÜRFEN NICHT als austauschbare Identitäten behandelt werden. Die Verfügbarkeit von Funktionen MUSS von der Nutzung von Funktionen unterschieden bleiben. Ergebnisse von Live-Produkten DÜRFEN NICHT als eingefrorene Modell-Ergebnisse repräsentiert werden, und Ergebnisse von eingefrorenen Modellen DÜRFEN NICHT als das vollständige Erlebnis eines Verbraucherprodukts repräsentiert werden. Vergleiche MÜSSEN ihr Objekt definieren und einen offengelegten Grad der Vergleichbarkeit basierend auf übereinstimmenden Entitäten, Prompts, Population, Sprache, Land, Zeit, Sitzung, Plan, Schnittstelle, Abruf, Werkzeugen, Referenzaufzeichnungen und Bewertungsregeln erhalten. Derselbe Anbietername oder dieselbe angezeigte Modellbezeichnung DÜRFEN NICHT automatisch eine Annahme von Vergleichbarkeit erzeugen. Verschiedene Anbieter KÖNNEN verglichen werden, wenn die nutzerseitigen Bedingungen ausreichend übereinstimmen und die daraus resultierende Aussage auf das gemessene Produktverhalten beschränkt ist. Wesentliche Produktänderungen während einer Messwelle MÜSSEN einen separaten Systemzustand, eine Unterwelle, einen modellierten Änderungsfaktor oder eine Warnung über einen gemischten Zustand erzeugen. Unbekannte Konfigurationsfelder MÜSSEN als UNKNOWN gekennzeichnet bleiben und DÜRFEN NICHT als kontrolliert oder gleichwertig angenommen werden. Jede Entscheidung zum Systemregister und zur Vergleichbarkeit MUSS versioniert und einer verantwortlichen Person oder Organisation zugeordnet sein.