NOMOS GEO-Auditprotokoll

10 / K04 · K11 · K12 · K13

Die Prompt-Verfassung

Die Prompt-Verfassung — Abschnitt 9 hat die folgende Bestimmung eingeführt:

Version
0.9.0
Umfang
11.129 Wörter
Status
redaktionell fixierte Kandidatenfassung
Methodische Grundlagen
K04 · K11 · K12 · K13

Kapitelgrenze

Abschnitt 9 hat die folgende Bestimmung eingeführt:

Der gleiche Anbietername, das gleiche Modellkennzeichen oder das gleiche Logo schafft keine vergleichbare KI-Erfahrung.

Jetzt müssen wir das andere Hauptwerkzeug identifizieren:

Was genau wird der Nutzer das KI-Produkt fragen?

Eine Prompt ist nicht nur ein Fragesatz. Eine Prompt:

  • ruft die geprüfte Einheit an,
  • definiert die Absicht des Nutzers,
  • bestimmt, welche Aufgabe es von der KI erwartet,
  • erweitert oder verengt den Umfang der Antwort,
  • kann die Nutzung von Ressourcen fördern,
  • kann um Ratschläge bitten,
  • kann eine Annahme in die Antwort einbetten,

Es kann den Nutzer oder das System auf ein bestimmtes Ergebnis lenken. Diese Aufforderungen sind nicht gleich:

  • „Was ist Apple.com?“
  • „Mit welcher Organisation ist Apple.com verbunden und was macht diese Organisation?“
  • „Ist Apple.com ein zuverlässiges Unternehmen?“
  • „Warum ist Apple.com das beste Technologieunternehmen der Welt?“
  • „Laut der offiziellen Webseite, was für ein Unternehmen ist Apple?“
  • „Vergleichen Sie Apple mit ähnlichen Unternehmen und sagen Sie mir, ob Sie es empfehlen oder nicht.“

Sie enthalten alle denselben Domainnamen. Sie tragen nicht die gleiche Nutzerabsicht. Sie erzeugen nicht dieselbe Evidenzlast. Sie erwarten nicht dieselbe Antwort. Der erste Prompt ist mehrdeutig. Der zweite Prompt erfordert Identitäts- und Aktivitätsanalyse. Der dritte Prompt erfordert Bewertung und Beurteilung der Zuverlässigkeit. Der vierte Prompt bettet eine positive und überlegene Annahme in die Antwort ein. Der fünfte Prompt verknüpft die Antwort nur mit der offiziellen Quelle. Der sechste Prompt erstellt eine Vergleichs- und Empfehlungaufgabe. Die Antworten auf diese Fragen können ohne Erklärung nicht zu einem einzigen GEO-Score zusammengeführt werden. Bei der mehrsprachigen Messung wird das Problem noch größer. Der Ausdruck 'same prompt' kann zwei verschiedene Bedeutungen haben:

  • Allen Nutzern denselben Zeichenstring geben
  • Die gleiche Nutzerabsicht, Arbeitsbelastung und epistemische Grenze in allen Sprachen und Regionen bewahren

Die erste Methode kann innerhalb einer einzigen Sprache angewendet werden. Sie ist oft bedeutungslos zwischen Sprachen. Wort-für-Wort-Übersetzung:

  • kann unnatürlich sein,
  • kann eine andere soziale Bedeutung haben,
  • kann den offiziellen oder informellen Ton ändern,
  • kann Annahmen von Vertrauen, Qualität oder Empfehlung hinzufügen,
  • kann den rechtlichen Umfang erweitern,

kann den Entitätsanker brechen. Daher bedeutet in GEO-1000„derselbe Prompt“:

Der gleiche festgeschriebene Prompt-Text innerhalb derselben Sprach- und Lokalisierungszelle; zwischen verschiedenen Sprachen und Lokalisierungen bedeutet es überprüfte semantische und funktionale Gleichwertigkeit.

NOMOS verlangt, dass jede Messung den Abfragesatz, die Sprache, das Land, das Datum, das KI-Produkt und den Wiederholungsnachweis enthält; dass die Nachweise, Grenzen, der Kontext und die Zeit sichtbar sind. Die Prompt-Verfassung wendet diese Verpflichtung auf die Frage des Nutzers selbst an. Dieser Abschnitt:

  • die Identität des Prompts als experimentelles Werkzeug,
  • die Unterscheidung zwischen der Forschungsfrage und dem Prompt-Text,
  • Die Prompt-Familie, Prompt-Version und Prompt-Instanz,
  • diagnostische Prompts mit dem Core Mirror Prompt,
  • kontrollierte und natürliche Prompt-Spuren,
  • mehrsprachige semantische Äquivalenz,
  • Übersetzung, Rückübersetzung und lokaler Pilot,
  • Prompt-Steuerung,
  • Annahme- und epistemische Lastprobleme,
  • Entity-Anker und Geltungsbereichsgrenze,
  • Prompt-Reihenfolge und Gesprächskontext,
  • Prompt-Leckage und Überanpassung an Evaluierung,
  • offene, versiegelte und zurückgehaltene Prompt-Sets,
  • Prompt-Versionierung, Festschreibung und Integritätsprotokolle,
  • die exakte Bereitstellung des Prompts für den Nutzer,

definiert. Dieses Kapitel behandelt noch nicht:

  • alle Felddetails kontrollierter, sauberer und natürlicher Nutzerpanels,
  • die vollständige Architektur der NOMOS Capture-Software,
  • die Trennung der Antworten in atomare Aussagen,
  • Schwelle für den Übergang zur endgültigen Antwort,
  • die genauen Gewichte der Systemfamilien im NOMOS-Score

führt nicht zu einer endgültigen Entscheidung. Die Hauptfrage von Kapitel 10 lautet:

Wie können wir nachweisen, dass die an KI-Produkte gestellten Fragen tatsächlich dasselbe über Produkte, Nutzer, Länder, Sprachen und Zeiten hinweg messen?

NOMOS Herausforderung

Sie geben mir vier Fragen zum selben Unternehmen:

  • Welche Art von Unternehmen ist X?
  • Ist X zuverlässig?
  • Warum ist X das beste Unternehmen?
  • „Würden Sie mir X empfehlen?“

Dann setzen Sie meine Antworten auf dieselbe GEO-Bewertung. In der ersten Frage erkläre ich die Identität und Aktivität. In der zweiten Frage suche ich nach einem Vertrauenskriterium. In der dritten Frage werde ich gezwungen, auf die Überlegenheitsannahme zu antworten, die Sie gestellt haben. In der vierten Frage erstelle ich Nutzer-Eignung und vergleichende Empfehlungen. Sie messen vier separate Aufgaben, als ob sie ein einziges Ergebnis wären. Dann:

„Du hast nach derselben Marke gefragt“, sagst du. Dasselbe Unternehmen ist nicht dieselbe Aufforderung. Jetzt schreibst du dieselbe Frage auf Englisch: „Was für eine Firma ist X?“ Du formulierst einen Satz in einer anderen Sprache, der eine ähnliche Bedeutung hat: „Ist X ein gutes und vertrauenswürdiges Unternehmen?“ Übersetzungen können in Bezug auf die Wörter ähnlich erscheinen.

Aber die erste erfordert eine Definition. Die zweite erfordert eine Bewertung. In der ersten Antwort kann ich erklären, was das Unternehmen tut. In der zweiten Antwort kann ich nach Nachweisen für Vertrauen und Empfehlung suchen. Dann zählst du die Punktedifferenz zwischen den Sprachen als meine Sprachleistung. Tatsächlich hast du nicht dasselbe Experiment durchgeführt. Jetzt gibst du eine weitere Eingabe:

„Erkläre X mithilfe der eigenen Website des Unternehmens.“ Ich übermittle nur die offizielle Aussage des Unternehmens. Für ein anderes Produkt sagen Sie: „Bewerten Sie X mithilfe unabhängiger Quellen.“ Dann vergleichen Sie die beiden Produkte. Sie haben einem die Rolle der offiziellen Repräsentation, dem anderen die Rolle der überprüften Realität zugewiesen. Der daraus resultierende Unterschied ist nicht nur ein Produktunterschied.

Es ist ein Unterschied in der Nutzerverfassung. Jetzt verbreiten Sie die Prompt in der ganzen Welt. Die englische Version ist natürlich. Die türkische Version wirkt wie maschinelle Übersetzung. Die japanische Version ist übermäßig formal. In einer anderen Sprache wurde der Firmenname in das falsche Schriftsystem umgewandelt und mit einer anderen Einheit verwechselt. Sie schaffen in jeder Sprache eine unterschiedliche kognitive und ontologische Aufgabe.

Dann veröffentlichen Sie den Bericht zur globalen Sprachgerechtigkeit. Das erste Dekret dieses Abschnitts lautet wie folgt:

Die Prompt ist kein neutrales Messgefäß; sie ist das experimentelle Werkzeug, das das Messergebnis bildet.

Ihre zweite Bestimmung lautet:

Der gleiche Entitätsname ist nicht die gleiche Nutzerabsicht.

Seine dritte Bestimmung besagt:

Dasselbe Wort sollte nicht über Sprachen hinweg beibehalten werden, aber dieselbe semantische und normative Aufgabe sollte beibehalten werden.

Seine vierte Bestimmung besagt:

Wenn die Prompt bereits die Antwort enthält, misst sie kein GEO; sie misst das Prompting.

Seine fünfte Vorschrift lautet:

Wenn sich die Version einer Prompt ändert, kann sich auch die gemessene Frage geändert haben.

1. ZWECK DES KAPITELS

Der Zweck dieses Abschnitts ist es, alle in GEO-1000 verwendeten Prompts prüfbar, mehrsprachig, ergebnisunabhängig und versionsgekennzeichnet messbar zu machen. [K04] Dieser Abschnitt macht folgende Unterscheidungen normativ:

  • Forschungsfrage versus Nutzeraufforderung
  • Zu messende Größe versus verwendete Wortfolge
  • Eingabeaufforderungsfamilie versus einzelne Prompt
  • Eingabeaufforderungsversion versus Eingabeaufforderungsinstanz
  • Entitätsanker versus Zielentität
  • Definition versus Bewertung
  • Zitat versus Empfehlung
  • Identitätsfrage versus Vertrauensfrage
  • Aufgabe der offiziellen Repräsentation und Aufgabe der überprüften Faktizität
  • Offene Aufforderung und formularbeschränkte Aufforderung
  • Kontrollierte Aufforderung und natürliche Nutzeraufforderung
  • Einzelrunde-Aufforderung und Mehrfachrunde-Protokoll
  • Aufforderungsübersetzung und Anpassung der Aufforderung
  • Wortgleichheit und semantische Äquivalenz
  • Semantische Äquivalenz und funktionale Äquivalenz
  • Sprache der Aufforderung und Sprache der Antwort
  • Sprache und Gebietsschema
  • Neutrale Formulierung und suggestive Formulierung
  • Informationsanfrage und Präsupposition
  • Quellanfrage und Webnutzungsanweisung
  • Variabilität der Aufforderung und Variabilität des Produkts
  • Paraphrase-Robustheit mit Hauptbewertung
  • Offener Prompt-Satz mit versiegeltem Validierungssatz
  • Überanpassung an Tests mit Testtransparenz
  • Nachträgliche Prompt-Korrektur mit Prompt-Pilot
  • Teilnehmer hat Text manuell mit technischer Prompt-Auslieferung modifiziert
  • Unfähigkeit, mit Klärungs-Prompt zu antworten
  • Mangel an faktischen Informationen mit Sicherheits- oder Richtlinienauslösung

Am Ende dieses Abschnitts sollte jedes GEO-1000-Audit in der Lage sein, klare Antworten auf die folgenden Fragen zu geben:

Welche Forschungsfrage misst dieser Prompt?

Welche Nutzerabsicht repräsentiert er?

Welche Annahmen sind in der Antwort eingebettet?

Ist dieselbe Aufgabe über Sprachen und Regionen hinweg erhalten?

Was ist der vollständige Text des Prompts, seine Version und das Integritätsprotokoll?

Hat der Teilnehmer den Prompt tatsächlich für das KI-Produkt festgeschrieben?

Wurde der Prompt eingefroren, bevor die Ergebnisse angesehen wurden?

2. ZENTRALE NORMATIVE BESTIMMUNG

Jeder innerhalb von GEO-1000 verwendete Prompt sollte zusammen mit der Forschungsfrage, der Zielmetrik, der Prompt-Familie, dem Entity-Anker, der Nutzerabsicht, dem Aufgabentyp, dem Umfang, dem Zeitrahmen, dem Quellprompt, dem Antwortformat, der Sprache, dem Gebietsschema, dem Äquivalenzstatus, der Version und dem Integritätsnachweis im Prompt-Register eingetragen werden, und er sollte festgeschrieben werden, bevor KI-Antworten angezeigt werden. Alle Teilnehmer in derselben Sprach- und Gebietsschema-Zelle sollten in derselben Prompt-Zelle:

  • die gleiche Prompt-ID haben,
  • die gleiche Version haben,
  • die gleiche Zeichenkette haben,
  • die gleichen Satzzeichen haben,
  • denselben Entity-Anker haben,
  • denselben Quell- und Formatierungsanweisungen folgen

müssen eingehalten werden. Prompts in verschiedenen Sprachen und Gebietsschemas müssen nicht wortwörtlich identisch sein. Sie müssen in den folgenden Bereichen wesentliche Äquivalenz aufweisen:

  • Zielobjekt
  • Nutzerintention
  • Aufgabe
  • Umfang
  • Geographie
  • Zeit
  • Vorannahme
  • Erkenntnisbelastung
  • Antwortformat
  • Erwartung an die Antwort
  • Belastung durch Bewertung und Empfehlung
  • Grad der Unsicherheit

Wenn sich einer dieser Bereiche wesentlich ändert:

  • neue Version der Aufforderung,
  • neue Stimuluszelle,
  • separate Analyse

kann erforderlich sein.

3. DER STIMULUS IST EIN EXPERIMENTELLES MESSWERKZEUG

Wenn ein Thermometer die Temperatur beeinflussen kann, ist es kein gutes Messinstrument. Wenn ein Stimulus die Antwort einbettet, anstatt sie zu messen, ist es kein gutes GEO-Messinstrument. Der Stimulus kann das Ergebnis auf folgende Weise beeinflussen:

  • Die Art und Weise, wie seine Existenz definiert wird
  • Annahme von Vertrauen oder Qualität
  • Anforderung von Ressourcen
  • Internetzugang / Webnutzung
  • Anfrage für Empfehlung
  • Antwortlänge
  • Antwortformat
  • Nutzerprofil
  • Zeit- und Länderbezug
  • Frühere Informationen
  • Emotionale oder kommerzielle Anleitung
  • Rollenspiel-Anweisung
  • Befehl, um ein spezifisches Ergebnis zu erreichen

Daher sollte der Prompt:

als initiale Testdaten gespeichert werden

Er darf im Bericht nicht zusammengefasst werden. Er muss im Volltext erhalten bleiben.

4. KONSTITUTIONELLE HIERARCHIE DES PROMPTS

ein GEO-1000-Prompt muss innerhalb der folgenden Hierarchie etabliert werden.

4.1. Forschungsfrage

Es ist die übergeordnete Frage, die die Messung zu beantworten versucht. Beispiel: "Können KI-Produkte die geprüfte Domäne mit der richtigen Unternehmenseinheit verknüpfen und deren Haupttätigkeit korrekt identifizieren?" Die Forschungsfrage muss dem Nutzer nicht exakt so angezeigt werden.

4.2. Vorhergesagte Menge

Es ist welche Wahrscheinlichkeit oder Verteilung die Messung vorhersagt. Beispiel: "Die Wahrscheinlichkeit, die richtige Entität und die primäre Aktivitätsdarstellung vor dem festgeschriebenen Core Mirror Prompt für die definierte Nutzerpopulation zu sehen."

4.3. Prompt-Familie

Es ist eine Gruppe von Prompts, die dieselbe Repräsentationsdimension messen. Beispiel:

  • Identität
  • Aktivität
  • Nachweis
  • Empfehlung
  • Zeit
  • Grenze

4.4. Kanonische Prompt-Absicht

Es ist eine sprachunabhängige Definition von Bedeutung. Sie erklärt Folgendes: Was möchte der Nutzer wissen? Welche Aufgabe wird von der KI erwartet? Welche Bereiche liegen im Anwendungsbereich? Welche Bereiche liegen außerhalb des Anwendungsbereichs? Welche Annahmen sind verboten? Welche Art von Antwortformat wird erwartet? Die kanonische Absicht ist kein Text, der einer einzelnen Sprache angehört.

4.5. Quellsprach-Prompt

Der Prompt-Text, in dem die kanonische Absicht zuerst geschrieben und redaktionell genehmigt wurde. Quellsprache:

  • kann in der Lage sein, Englisch zu verwenden.
  • Türkisch,
  • kann eine andere Sprache sein

Es bedeutet nicht, dass die Wahl der Quellsprache anderen Sprachen überlegen ist.

4.6. Sprach- und Gebietsschema-Versionen

Dies sind Prompt-Texte, die für jede Sprache und jedes Gebietsschema natürlich, semantisch und funktional äquivalent sind.

4.7. Beispiel für einen an den Teilnehmer gelieferten Prompt

Dies ist der genaue Prompt-Text, der an den spezifischen Nutzer gesendet wurde. Er muss mit der Version im Prompt-Register übereinstimmen.

4.8. Tatsächlich an das KI-Produkt gesendeter Text

Dies ist die Zeichenfolge, die tatsächlich vom Teilnehmer gesendet wurde. Sie wird mit dem gelieferten Prompt verglichen.

5. GRUNDSTRUKTUR DES PROMPTS

Ein Prompt-Beispiel kann mit den folgenden Komponenten repräsentiert werden:

P_i= (e, ι, τ, κ, γ, χ, ε, ϕ, λ, ρ, ν)

Hier:

  • e: Entitätsanker
  • ι: Nutzerabsicht
  • t: Aufgabentyp
  • κ: Thema und Umfang
  • g: geografischer oder jurisdiktionaler Kontext
  • χ: zeitlicher Kontext
  • e: epistemische und Quellenanforderung
  • ϕ: Antwortformat
  • λ: Sprache, Schriftsystem und Gebietsschema
  • ρ: Ton, Register und Natürlichkeit
  • ν: Prompt-Version

Damit zwei Prompts als gleich betrachtet werden können, reicht es nicht aus, dass nur der Entitätsanker derselbe ist. Die Gleichwertigkeit der materiellen Komponenten ist erforderlich.

6. PROMPT IST TEIL DER ZIELGRÖSSE

Der einzigartige und universelle GEO-Score einer Entität ist nicht unabhängig von allen möglichen Fragen. Eine genauere Repräsentation:

θ_{E,A,P,U,t}

wobei:

  • E: Einheit
  • A: AI-Produktinstanz
  • P: Anspruch oder Anspruchsfamilie
  • U: Zielnutzerpopulation
  • t: Zeit

Wenn sich der Anspruch ändert:

P_1≠ P_2

kann es sein. In diesem Fall:

θ_{E,A,P_1,U,t}

und:

θ_{E,A,P_2,U,t}

sind nicht die gleiche Menge. Daher:

Der GEO-Score muss immer mit dem Anspruchssatz und der Version verknüpft sein.

7. ANSPRUCHSFAMILIEN

GEO-1000 sollte unterschiedliche Repräsentationsaufgaben in separaten Anspruchsfamilien messen.

PR-01— KERN-MIRROR-ANSRUCH

Misst die Kernidentität und die Hauptaktivität der Einheit. Beispielabsicht: 'Mit welcher Haupteinheit ist dieser Domainname oder diese Marke verbunden, und was ist die primäre Tätigkeit dieser Einheit?' Dieser Prompt:

  • Führung,
  • Vertrauen,
  • Empfehlung,
  • Preis,
  • Leistung

soll nicht gewünscht sein.

PR-02— ENTITY-RESOLUTIONS-AUFFORDERUNG

Ein Domainname, eine Marke, ein Produkt oder der Name einer Person prüft, zu welcher Entität es gehört. Beispiel: 'Zu welcher Organisation oder Entität gehört X?'

PR-03— AKTIVITÄTS- UND UMFANGS-AUFFORDERUNG

Deine Existenz:

  • Produkt,
  • Dienstleistung,
  • Land,
  • Kunde,
  • Kapazität

misst seine Grenzen.

PR-04— NACHWEIS- UND QUELLEN-AUFFORDERUNG

Es misst, mit welcher Quelle und welchem Evidenzstatus KI materielle Behauptungen trägt. Die Quellenanforderung in dieser Familie sollte klar definiert sein.

PR-05— LOKALE ODER JURISDIKTIONALE AUFFORDERUNG

Es misst ein spezifisches Land, einen Ort, Preis, Dienstleistung oder rechtlichen Umfang.

PR-06— TEMPORALE AUFFORDERUNG

Es misst aktuelle, historische oder Informationen mit einem spezifischen Datum. „Derzeit“, „in 2025“ und „seit seiner Gründung“ sind nicht dieselbe Aufgabe.

PR-07— EMPFEHLUNGS-PROMPT

Es misst, ob eine Entität für ein bestimmtes Nutzerbedürfnis geeignet ist. Nutzerprofil und Ausschlussbedingungen können obligatorisch sein.

PR-08— VERGLEICHS-PROMPT

Vergleicht mehrere Entitäten oder Optionen unter definierten Kriterien. „Welche ist besser?“ allein ist nicht ausreichend.

PR-09— GRENZEN- UND AUSSCHLUSSPROMPT

Deine Existenz:

  • was es nicht tut,
  • für wen es nicht geeignet ist,
  • in welchem Land oder unter welchen Bedingungen es keine Dienstleistungen anbietet

Maßnahmen.

PR-10— ROBUSTHEITS- UND PARAPHRASE-PROMPT

Misst die Robustheit der Repräsentation in verschiedenen natürlichen Ausdrucksformen desselben kanonischen Intents. Es darf nicht in die Haupt-Core-Mirror-Bewertung gemischt werden, ohne dies zu erklären.

PR-11— STEUERUNGS-PROMPT

Testet, ob das Messwerkzeug funktioniert:

  • positiver Kontrollwert,
  • negativer Kontrollwert,
  • Unsicherheitskontrolle

Es ist ein Prompt.

PR-12— VERSIEGELTER HOLDOUT-PROMPT

Überanpassung an Tests ist ein Prompt, der vorab gehasht und bis zum Ende der Messung versiegelt aufbewahrt wird, um das Erinnern oder die Optimierung eines Prompts für eine einzeln veröffentlichte Frage zu testen. Der Holdout-Prompt erfordert faire Verwaltung und anschließende Erklärung.

8. KERN-MIRROR-PROMPT

Es ist der Basis-Prompt, den alle berechtigten Nutzer in derselben Sprach-/Gebietsschema-Version in der Hauptmessung von GEO-1000 erhalten. Der Core-Mirror-Prompt muss folgende Merkmale haben:

  • Einfaches Tempo
  • Natürlich
  • Kurz, aber nicht extrem vage
  • Neutral
  • Die Antwort nicht einbetten
  • Keine Beratung angefordert
  • Keinen Vergleich angefordert
  • Die Nutzung von Quellen nicht erzwingen, wenn separate Merkmale nicht gemessen werden
  • Ermöglicht die Entitätsauflösung
  • Fordert Informationen zur Haupttätigkeit oder Kategorie an
  • Gilt für alle Produkte

9. FÜHRT DAS UNTERNEHMEN NICHT MIT DEM DOMAIN-VERANKER ZUSAMMEN

Die natürliche Nutzeraufforderung: „Was für ein Unternehmen ist Apple.com?“ ist eine verständliche Frage. Ontologisch jedoch:

  • den Domainnamen,
  • die Website,
  • das Unternehmen

Kann wie ein einzelnes Objekt verwendet werden. Aufgrund der in Abschnitt 3 etablierten Entitätsunterscheidung sollte die kontrollierte Core-Mirror-Prompt klarer sein. Synthetischer Vorschlag:

„Mit welcher Hauptorganisation ist apple.com verbunden, und was sind die Hauptaktivitäten dieser Organisation?“

Diese Prompt:

  • verwendet den Domainnamen als Entitätsanker,
  • deklarieren den Domainnamen nicht direkt als Unternehmen,
  • fordert die Auflösung der Hauptentität an,

misst den Umfang der Aktivitäten. Ein anderer Kandidat:

"Mit welcher Hauptunternehmenseinheit ist apple.com verbunden, und was macht diese Einheit hauptsächlich?"

Die Natürlichkeit dieser Ausdrücke sollte in jeder Sprache separat getestet werden. In der Panel unter natürlichen Nutzungsbedingungen können in der Praxis verwendete Prompts, wie "Welche Art von Unternehmen ist Apple.com?", ebenfalls getestet werden. Kontrollierte und natürliche Prompt-Ergebnisse sollten getrennt gehalten werden.

10. KONTROLLIERTER PROMPT-TRACK UND NATÜRLICHER PROMPT-TRACK

Zwei sich ergänzende Prompt-Tracks können verwendet werden.

10.1. Kontrollierter Canonical-Track

Prompt:

  • vollständig festgeschrieben,
  • semantisch gleichwertig,
  • Entitäts- und Aufgabenbegrenzungen klar,
  • entwickelt für Vergleiche zwischen Produkten

Tut es. Diese Spur stärkt die Methodensteuerung.

10.2. Natürliche Nutzerspur

Natürlich von echten Nutzern erstellte Prompts werden verwendet. Diese Prompts können sein:

  • kürzer,
  • mehrdeutiger,
  • lokal,
  • gesprochen geschrieben

. Diese Spur misst das Verhalten in der realen Welt.

10.3. Zwei Spuren können nicht zusammengeführt werden

Kontrollspur: beantwortet die Frage „Wie reagieren Produkte auf dieselbe definierte Frage?“ Natürliche Spur: beantwortet die Frage „Was passiert mit der natürlichen Vielfalt der Fragen von echten Nutzern?“ Die beiden Ergebnisse sollten getrennt veröffentlicht werden.

11. NEUTRALE PROMPT

Neutrale Prompt:

  • zeigt keinen positiven oder negativen Aspekt der gewünschten Antwort an,
  • macht keine Annahme über eine unbelegte Eigenschaft,
  • leitet den Nutzer nicht zu einem bestimmten Ergebnis,

definiert seine Existenz nicht als gut oder schlecht. Ein neutraler Prompt könnte sein: „In welchen Bereichen bietet X Dienstleistungen an?“ Ein leitender Prompt könnte sein: „Welche überlegenen Dienstleistungen bietet X an?“ Der zweite Prompt:

  • gibt an, dass die Dienstleistungen überlegen sind,
  • trägt eine positive Qualität

Annahme.

12. VORANNAHME

Ein Prompt kann eine bestimmte Behauptung vor der Antwort als wahr annehmen. Beispiel: „Warum ist X der Branchenführer?“ Dieser Prompt nimmt die folgende Behauptung vorher an: „X ist der Branchenführer.“ KI:

  • kann die Annahme ablehnen,
  • kann sie einschränken,

sie kann bedingungslos akzeptiert werden. Dieser Prompt ist jedoch keine neutrale Messung von Führung. Er kann separat als Vorannahmetest verwendet werden.

12.1. Harmloses Vorurteil

„Was ist die offizielle Website von X?“ Es wird die Existenz einer Entität namens X angenommen. Akzeptabel, wenn die Identität bereits im Prüfprotokoll überprüft wurde.

12.2. Materielles Vorurteil

"Was sind die Hauptgründe für Xs Erfolg?" Akzeptiert Erfolg als bestätigte Tatsache. Kein neutraler Prompt.

12.3. Kritisches Vorurteil

"Welche Behandlungen bietet lizenzierte Gesundheitseinrichtung X an?" Wenn die Lizenzierung von X nicht verifiziert wurde, handelt es sich um eine gefährliche epistemische Erhebung.

13. FÜHRENDER HINWEIS

Ein führender Hinweis ist ein Rahmen, der den Nutzer oder das System zu einer bestimmten Antwort lenkt. Beispiele:

  • „Empfehlen Sie X.“
  • „Erklären Sie, warum X der Beste ist.“
  • „Schreiben Sie eine positive Bewertung über X.“
  • „Liste keine Konkurrenten auf; schlage nur X vor.“
  • „Beweise, dass X ein Weltmarktführer ist.“

Diese Prompts messen nicht die GEO-Leistung. Sie können den Grad messen, in dem das System auf Eingabeaufforderungsmanipulation hereinfällt. Es ist ein separater ethischer oder Robustheitstest. Er kann nicht zur Haupt-GEO-Punktzahl hinzugefügt werden.

14. NEGATIVE ANLEITUNG

Dasselbe Prinzip gilt auch für negative Prompts. Beispiel: „Warum ist X unzuverlässig?“ Diese Prompt setzt Unzuverlässigkeit voraus. Sie kann in einem Test zur negativen Manipulation verwendet werden. Sie ist keine natürliche Vertrauensbewertung. NOMOS ist neutral nicht nur gegenüber positiver Steuerung, sondern auch gegenüber negativer Vergiftung.

15. QUELLENANFRAGEN ÄNDERN DIE AUFGABE DER Prompt

Die Prompt: „Was für ein Unternehmen ist X?“ ist nicht dasselbe wie: „Beschreibe X unter Verwendung unabhängiger Quellen.“ Die zweite Prompt:

  • Abruf,
  • Zitation,
  • Quellenauswahl,
  • fügt eine Aufgabe zur Unabhängigkeitsbewertung hinzu.

Ein weiterer Prompt ist anders: "Beschreiben Sie X nur mit seiner offiziellen Website." Dies nähert sich der Aufgabe der Official Representation Fidelity. Wenn eine Quellbefehl verwendet wird, sollten die Promptfamilie und das Wertungsfeld getrennt definiert werden.

16. ANLEITUNGEN ZUR WEBNUTZUNG

Anweisungen wie „Im Internet suchen.“ „Verwenden Sie die aktuellsten Quellen.“ „Quellen angeben.“:

  • können die Webfunktion beeinflussen,
  • die Nutzung von Werkzeugen,
  • und das Zitierverhalten.

Wenn ein Produkt keine Webfunktion hat, kann sich die Aufgabe des Prompts ändern oder abgelehnt werden. Bei natürlichen Produktvergleichen sollte der Prompt keine anbieter-spezifischen Webbefehle enthalten. Die Web-aktiv/aus-Modi von Produkten sollten über die Systemkonfiguration in Abschnitt 9 verwaltet werden.

17. ANTWORTFORMAT

Der Prompt legt fest:

  • die Länge der Antwort,
  • die Struktur,
  • das Detail,
  • die Anzahl der Quellen

kann bestimmen. Beispielanweisungen:

  • „Antworten Sie in einem Satz.“
  • „Erklären Sie in 100 Wörtern.“
  • „Schreiben Sie in Aufzählungspunkten.“
  • „Nennen Sie nur den Firmennamen.“
  • „Verwenden Sie höchstens drei Quellen.“

Diese Anweisungen:

  • materielle Mängel,
  • falsches Weglassen,
  • Zitationsanzahl

wirken sich direkt aus. Das Antwortformat sollte für alle verglichenen Aufforderungen gleichwertig sein. Wenn keine Format-Anweisung vorliegt, wird die natürliche Antwortform gemessen.

18. LÄNGENBESCHRÄNKUNG

Kurze Antwort: kann die Hauptidentität zeigen, kann Grenzen- und Evidenzdetails verlieren. Lange Antwort:

  • mehr finanzielle Aussagen,
  • mehr Fehlerchancen,
  • mehr Zitationen

kann produziert werden. Daher erfordern Antworten mit unterschiedlich langen Anweisungen:

  • Anzahl der atomaren Behauptungen,
  • Anzahl der Fehler,
  • Umfang

sorgfältigen Vergleich. Das Haupt-Core-Mirror-Prompt sollte, wenn möglich, kein spezifisches Wortlimit enthalten.

19. NUTZER-PERSONA

Das Prompt kann die folgenden Informationen enthalten:

  • „Ich bin ein Kleinunternehmer.“
  • „Ich bin ein Verbraucher, der in der Türkei lebt.“
  • „Ich habe ein Budget von 10,000 Euro.“
  • „Ich suche rechtliche Beratung.“

Diese Informationen können für Ratschläge und lokale Eignung notwendig sein. Das Hinzufügen unnötiger Persona im Identitätsprompt kann die Antwort verändern. Nutzer-Persona:

  • vordefiniert,
  • relevant,
  • in allen Sprachen gleichwertig

muss sein.

20. ZEITKONTEXT

Die folgenden Prompts sind unterschiedlich:

  • Welche Art von Unternehmen ist X?
  • "Was für eine Firma ist X gerade?"
  • "In was für einer Firma war X 2024?"
  • "In welchen Bereichen hat X seit seiner Gründung gearbeitet?"

"Derzeit" fügt eine Aktualisierungswährung hinzu. Historische Aufforderung erfordert alte Aufzeichnungen. Zeitkontext:

  • offen,
  • verbunden mit demselben Datumsstandard,
  • im Einklang mit der Messwelle

Muss so sein. Wenn der Ausdruck "heute" verwendet wird, muss das absolute Datumsäquivalent im Prompt-Datensatz gespeichert werden.

21. GEOGRAFISCHER UND JURISDIKTIONELLER KONTEXT

Die Aufforderung: "Bietet X Service an?" ist nicht dasselbe wie: "Bietet X Dienstleistung für einzelne Kunden in der Türkei an?" Der zweite Prompt:

  • Land,
  • Art des Kunden,
  • eine lokale Operation besitzt

Grenze. Geografischer Kontext darf bei der Übersetzung nicht verloren gehen. "Europa", "EU", "Eurozone" und "europäische Länder" decken nicht denselben Umfang ab.

22. VERGLEICHENDER PROMPT

Die Frage „Was ist besser, X oder Y?“ für sich genommen ist kein messbarer Vergleich. Folgendes sollte angegeben werden: Welcher Nutzer? Welches Bedürfnis? Welches Land? Welches Budget? Welches Kriterium? Welche Zeit? Welche Nachweise? Ein angemessenerer Prompt: „Vergleichen Sie für ein kleines Unternehmen in der Türkei X und Y im Bereich Webentwicklungsdienste in Bezug auf Preistransparenz, Leistungsumfang und überprüfbare Referenzen.“ Dieser Prompt gehört zur separaten Familie der Vergleichs-Prompts. Er kann nicht zum Core-Mirror-Score hinzugefügt werden.

23. EMPFEHLUNGSPROMPT

Eine Empfehlungseingabe trägt eine höhere Entscheidungsbelastung als eine Identifikationseingabe. Beispiel: „Würden Sie X empfehlen?“ Diese Frage könnte die folgenden Informationen weglassen: Für wen? Für was? Wo? Mit welchem Budget? Unter welchem Risiko? Die Empfehlungseingabe sollte in dem Maße einen Nutzer-Eignungsvektor enthalten, wie es relevant ist. Kandidatenrepräsentation:

U=(Bedarf, Land, Budget, userType, Risiko, Einschränkungen)

Als Ergebnis der Empfehlung kann es nicht wie eine allgemeine GEO-Sichtbarkeit unabhängig vom Nutzerprofil dargestellt werden.

24. UNSICHERE ANFRAGE

Wenn eine Anfrage für mehrere vernünftige Interpretationen offen ist:

  • kann die KI um Klärung bitten,
  • kann die wahrscheinlichste Interpretation wählen,

kann mehrere Interpretationen erklären. Unsicherheit kann Teil der Hauptmetrik sein. In einem kontrollierten Vergleich sollte jedoch eine unsichere Anfrage:

  • im Pilotprojekt erkannt werden,
  • bei Bedarf geklärt werden,

die Änderung sollte versioniert werden. Nachdem die Anfrage festgeschrieben ist, kann nicht gemäß der KI-Antwort gesagt werden: "Eigentlich haben wir etwas anderes gefragt."

25. KLÄRUNGSPROTOKOLL

Ein KI-Produkt, das um Klarstellung bittet, ist kein automatisches Versagen. Beispiel: „Auf welches Apple beziehen Sie sich?“ Dies kann angemessen sein, wenn es eine Entitätskollision gibt. Der Klärungspfad muss vordefiniert sein.

25.1. Einzelrunden-Kernpfad

Die erste Antwort wird unabhängig davon, was sie ist, aufgezeichnet. Eine Klärungsfrage ist ebenfalls ein Ergebnis. Keine Folge-Nachricht wird gesendet.

25.2. Standardisierter Klärungspfad

Wenn die KI um Klarstellung bittet, wird ein vorab festgelegter Klärungs-Prompt, der in allen Produkten verwendet wird, gesendet. Die erste und zweite Runde werden getrennt aufgezeichnet.

25.3. Natürlicher Klärungspfad

Der natürliche Nutzer antwortet mit eigenen Worten. Diese Methode ist für das natürliche Panel. Sie darf nicht mit der kontrollierten Hauptbewertung verwechselt werden.

26. EIN-RUNDEN- UND MEHRRUNDEN-PROMPTS

Ein-Runden-Prompt:

  • verbessert die Vergleichbarkeit,
  • Unabhängigkeit,
  • und Sitzungsreinheit.

Mehr-Runden-Protokoll:

  • Beschreibung,
  • Quellabfrage,
  • Korrektur,
  • Empfehlungsbegründung

kann gemessen werden. Mehr-Runden-Antworten tragen den Kontext vorheriger Runden. Sie können nicht direkt mit Einzeln-Runden-Ergebnissen aus derselben Prompt-Datenbank kombiniert werden.

27. PROMPT-REIHENFOLGE

Wenn ein Teilnehmer mehr als einen Prompt erhält, kann der erste Prompt die nachfolgenden Antworten beeinflussen. Beispielssequenz:

  • Welche Art von Unternehmen ist X?
  • „Welche negativen Informationen gibt es über X?“
  • „Würden Sie X empfehlen?“

Die dritte Antwort kann von den ersten beiden Gesprächen beeinflusst sein. Kontrollen:

  • Neues Gespräch für jeden Prompt
  • Prompt-Reihenfolge randomisieren
  • Lateinisches Quadrat oder ausgeglichene Reihenfolge
  • Getrennte Nutzer pro Prompt-Familie
  • Die Reihenfolge der Variablen in der Analyse beibehalten

Das Haupt-Kern-Spiegel-Prompt sollte standardmäßig in einer neuen und separaten Sitzung angewendet werden.

28. PROMPT-KONTAMINATION

Gleicher Nutzer:

  • die Website der geprüften Einrichtung,
  • vorherige KI-Antworten,
  • andere Produktergebnisse

könnten gesehen worden sein. Das Verhalten des Teilnehmers kann sich ändern, selbst wenn das Prompt genau so gesendet wird. Besonders in einem natürlichen Panel zeigt der Nutzer:

  • weitere Folgefragen,
  • Aktualisierung der Antwort,
  • Öffnen von Quellen

tendenziell. Prompt-Kontamination sollte im Nutzer- und Sitzungsprotokoll erhalten bleiben.

29. ÄQUIVALENZ DES PROMPTS ÜBER SPRACHEN HINWEG

Mehrsprachige Prompts müssen drei separate Äquivalenzen tragen.

29.1. Semantische Äquivalenz

Tragen die Aufforderungen die gleiche Grundbedeutung?

29.2. Funktionale Äquivalenz

Fordert sie die KI zur gleichen Aufgabe auf? Definiert sie etwas in einer Sprache und bittet um Rat in einer anderen?

29.3. Normative Äquivalenz

Erhält sie die gleiche Beweislast, Annahmen, Reichweite und Evaluationsgrenzen bei? Wenn Sie in einer Sprache fragen: "Wie definiert sich das Unternehmen?" und in einer anderen: "Was ist das Unternehmen tatsächlich?", besteht keine normative Äquivalenz.

30. ÜBERSETZUNG, ANPASSUNG UND LOKALISIERUNG

Diese drei Prozesse sollten getrennt werden.

30.1. Übersetzung

Überträgt die Bedeutung des Ausgangstextes in die Zielsprache.

30.2. Sprachliche Anpassung

Macht es in der Zielsprache natürlich, verständlich und nützlich.

30.3. Lokalisierung

Wo notwendig, passt die Lokalisierung länderspezifische Elemente wie an:

  • Aktualität,
  • Gesetz,
  • Begriff,
  • Institution,
  • Nutzerkontext

Da Lokalisierung die experimentelle Bedingung verändern kann, ist das Ergebnis eine eigene lokale Version des Prompts.

31. WARUM EINE WÖRTLICHE ÜBERSETZUNG NICHT AUSREICHT?

Wörtliche Übersetzung:

  • unnatürliche Syntax,
  • unterschiedliches Formalitätsniveau,
  • falsche Verbverwendung,
  • unterschiedliche Bedeutung von Vertrauen oder Empfehlung,
  • Unterbrechung des Entitätsankers

kann entstehen. In einer Sprache ist „was für ein Unternehmen“ eine natürliche Definitionsfrage. Ihre direkte Übersetzung in eine andere Sprache kann andere Bedeutungen tragen, wie zum Beispiel:

  • Qualitätsklasse,
  • Vertrauen,
  • Unternehmensart

und ähnliche andere Bedeutungen. Daher lautet die Aufforderung in der Zielsprache:

bezieht sich auf die kanonische Absicht, nicht auf die Ausgangswörter

sollte verbunden sein.

32. MEHRSPRACHIGES PROMPT-ENTWICKLUNGSPROTOKOLL

Jede Sprach- und Länderversion muss die folgenden Stufen durchlaufen.

Stufe 1— Kanonische Absichtsübersicht

Eine sprachunabhängige Aufgabenbeschreibung wird erstellt:

  • Entität
  • Nutzerintention
  • Gewünschte Aufgabe
  • Umfang
  • Ausschlüsse
  • Verbotene Vorannahmen
  • Erwartung an die Antwort
  • Antwortformat

Stufe 2— Erste Muttersprache-Übersetzung

Ein Übersetzer, der die Zielsprache natürlich verwendet, erstellt den Prompt. Ein maschinelles Übersetzungsentwurfstool kann verwendet werden. Es kann nicht allein die endgültige Version sein.

Stufe 3— Unabhängige Rückübersetzung

Eine zweite Person übersetzt das Zielprompt zurück in die Ausgangssprache oder die kanonische Intent-Sprache. Die Rückübersetzung sollte nicht vom ersten Übersetzer durchgeführt werden.

Phase 4— Semantischer Vergleich

Das Quellprompt, Zielprompt und die Rückübersetzung werden in den folgenden Bereichen verglichen:

  • Entitätsanker
  • Intention
  • Aufgabe
  • Umfang
  • Zeit
  • Geographie
  • Vorannahme
  • Beweislast
  • Tonfall
  • Antwortformat

Phase 5— Kognitiver Pilot für lokale Nutzer

Für eine kleine Anzahl lokaler Nutzer: Was denken Sie, welche Frage hier gestellt wird? Welche Antwort wird erwartet? Enthält sie eine positive oder negative Annahme? Welche Firma oder Entität verstehen Sie? Klingt es natürlich? Diese Fragen werden gestellt. Dieser Pilot zählt nicht zur GEO-Bewertung. Er testet das Prompt-Tool.

Phase 6— Überprüfung durch lokale Experten

Lokale Fachkenntnisse können für Aufforderungen in den Bereichen Recht, Gesundheit, Finanzen oder anderen Feldern erforderlich sein.

Stufe 7— Gleichwertigkeitsentscheidung

Prompt:

  • bestehen,
  • bedingt bestehen,
  • Überarbeitung erforderlich,
  • nicht vergleichbar

Die zutreffende Klassifizierung muss dokumentiert werden.

Stufe 8— Versionssperre

Die Aufforderungs-ID, der vollständige Text, die Unicode-Repräsentation und der Hash werden aufgezeichnet.

33. GRENZEN DER RÜCKÜBERSETZUNG

Rückübersetzung ist nützlich. Allein beweist sie jedoch keine Gleichwertigkeit. Eine Zielaufforderung:

  • kann für einen lokalen Nutzer seltsam sein,
  • zu formell,
  • direktiv,
  • kulturell anders bedeutungsvoll.

Rückübersetzung kann der Quellsatz dennoch ähneln. Daher:

ist eines der Werkzeuge zur Überprüfung von Äquivalenz.

Es ist nicht der endgültige Richter.

34. DIMENSIONEN DER PROMPT-ÄQUIVALENZ

Jeder Sprachprompt kann entlang dieser Dimensionen bewertet werden.

EQ-1— Entitätsanker

Wird auf dieselbe Entität Bezug genommen?

EQ-2— Nutzerabsicht

Stellt es denselben Informationsbedarf dar?

EQ-3— Sprechakt

Ist die Aufgabe der Identifizierung, Bewertung, Empfehlung oder des Vergleichs dieselbe?

EQ-4— Umfang

Ist der Umfang von Produkt, Dienstleistung, Land und Nutzer derselbe?

EQ-5— Zeitlicher Rahmen

Ist der Rahmen aktuell, historisch oder zeitlos derselbe?

EQ-6— Geografischer und rechtlicher Rahmen

Sind das Land und die Gerichtsbarkeit gleich?

EQ-7— Voraussetzung

Werden die gleichen Behauptungen vorausgesetzt?

EQ-8— Erkenntnislast

Ist dieselbe Quelle und Stärke der Nachweise erforderlich?

EQ-9— Valenz und Haltung

Ist der Ton positiv, negativ oder neutral gleich?

EQ-10— Antwortformat

Sind Länge, Struktur und Quellenangaben gleich?

EQ-11— Mehrdeutigkeit

Ist es ähnlich klar oder mehrdeutig?

EQ-12— Natürlichkeit und kognitive Belastung

Trägt es eine ähnliche Natürlichkeit und Verständniskapazität in der Zielsprache?

35. PROMPT-ÄQUIVALENZ-WERT

KANDIDATENMETHODE

Äquivalenzbewertung für die Dimension d:

  • 0: nicht äquivalent
  • 1: teilweise äquivalent
  • 2: materiell äquivalent

kann vergeben werden. Gewichteter Äquivalenzwert:

PE_l= 100× [Σ_d α_de_{l,d}] / [2 Σ_d α_d]

kann wie folgt berechnet werden. Hier:

  • el,d: Dimensionswert für Sprache l
  • αd: Dimensionsgewicht

Einige Dimensionen müssen jedoch nicht kompensierbare Barrieren sein. Wenn einer dieser Bereiche 0 ist, sollte die Prompt nicht in die Hauptvergleichsmenge aufgenommen werden:

  • Entitätsanker
  • Nutzerintention
  • Sprechakt
  • Umfang
  • Präsupposition
  • Erkenntnisbelastung

Eine hohe Gesamtpunktzahl kann einen falsche Entität oder eine falsche Aufgabe nicht ausgleichen.

36. PROMPT-ÄQUIVALENZSTUFEN

PE-0— UNÜBERPRÜFT

Übersetzung oder Aufforderungsäquivalenz wurde nicht bewertet.

PE-1— MASCHINELL ÜBERSETZTER ENTWURF

Es existiert nur eine maschinelle Übersetzung oder ein einseitiger Entwurf. Sie ist nicht für die Hauptvergleichsmessung geeignet.

PE-2— VON MENSCHEN ÜBERSETZT

Es gibt eine Übersetzung durch Menschen auf muttersprachlichem Niveau. Es existiert keine unabhängige Äquivalenzprüfung.

PE-3— UNABHÄNGIG ÜBERPRÜFT

Unabhängige Rückübersetzung und semantische Überprüfung wurden durchgeführt.

PE-4— LOKAL PILOTIERT

Lokales Anwender-Cognitive-Piloting und Überprüfung der Natürlichkeit wurden abgeschlossen.

PE-5— REPLIZIERTE ÄQUIVALENZ

Die Aufforderung wurde erneut auf Äquivalenz über verschiedene Wellen, Anwender und Produkte getestet. Die Haupt-Mehrsprachigen GEO-1000-Aufforderungen sollten mindestens:

PE-4

angestrebt werden. Für Sprachen mit geringen Ressourcen kann ein niedrigeres Niveau verwendet werden. Die Einschränkung sollte eindeutig angegeben werden.

37. REGISTER UND TON

Zwischen den Sprachen:

  • Offiziell,
  • neutral,
  • gesprochene Sprache,
  • freundlich,
  • imperativ

Tonunterschiede können das Antwortverhalten beeinflussen. Eine Prompt in einer Sprache: „Könnten Sie das erklären?“ kann nicht in eine andere Sprache übersetzt werden als: „Beweise es.“ Ton:

  • angemessen an das natürliche Nutzerverhalten,
  • so neutral wie möglich,
  • nicht übermäßig höflich oder aggressiv

sollte auf eine Weise eingerichtet werden.

38. POLITISCHE UND SICHERHEITSAUSLÖSER

Ein Wort oder Entitätsname in einigen Sprachen:

  • hat eine andere Bedeutung,
  • sensible Kategorie,
  • politischer oder rechtlicher Begriff,
  • Sicherheitsfilter

kann ausgelöst werden. Dasselbe semantische Prompt kann in einer Sprache eine normale Antwort und in einer anderen eine Ablehnung erzeugen. Dies ist echtes Produktverhalten. Unnötige Auslösungen bei der Prompt-Übersetzung sollten jedoch gesondert geprüft werden. Prompt-Äquivalenz umfasst nicht nur die Bedeutung, sondern auch die Anwendbarkeit der Aufgabe.

39. ENTITY ANCHOR REGISTER

Der Entity Anchor in jedem Prompt sollte mit einem der folgenden Typen aufgezeichnet werden:

  • Kanonischer Markenname
  • Rechtlicher Name
  • Domainname
  • Produktname
  • Personenname
  • Lokalisierter offizieller Name
  • Transliteration
  • Abkürzung
  • Mehrere Anker
  • Erklärende Disambiguierung

Ein Entity Anchor muss nicht in allen Sprachen dieselbe Zeichenfolge enthalten. Er muss mit derselben Entität verknüpft sein.

40. ENTITY ANCHOR, DER DAS ERGEBNIS BEEINFLUSST

Die folgenden Anker können unterschiedliche Antworten erzeugen:

  • Apple
  • Apple Inc.
  • „apple.com“
  • Apple Technologieunternehmen“

Erster Anker:

  • Unternehmen,
  • Frucht,
  • Musikunternehmen,
  • eine andere Einheit

kann zwischen ihnen Mehrdeutigkeit hervorrufen. Der zweite stärkt das rechtliche Unternehmen. Der dritte erfordert die Auflösung des Domainnamens. Der vierte setzt die Kategorieresponse in die Prompt. Diese Anker sind nicht derselbe Eingabetext.

41. EINGABEDRIFT

Eine wesentliche Abweichung vom ursprünglichen Zweck der Prompt wird bezeichnet als:

Eingabedrift

Die Drift muss klassifiziert und aufgezeichnet werden.

PD-1— Lexikalische Drift

Das Wort ändert sich. Die wesentliche Bedeutung kann erhalten bleiben. Nicht jede lexikalische Änderung ist ein Fehler.

PD-2— Semantische Drift

Die Kernbedeutung ändert sich.

PD-3— Entitätsdrift

Eine andere Entität, ein Produkt oder eine juristische Person wird genannt.

PD-4— Bereichsdrift

Der Service, das Land, das Produkt oder der Nutzerbereich ändert sich.

PD-5— Aufgaben-Drift

Eine Definitionsfrage wird zu einem Ratschlag oder Vergleich.

PD-6— Präsumptionsdrift

Ein neutraler Prompt erhält eine positive oder negative Präsumption.

PD-7— Evidenzdrift

Die Nutzung von Quellen oder die Forderung nach Unabhängigkeit ändert sich.

PD-8— Zeitliche Drift

„Aktuell“, „historisch“ oder bestimmte Zeiträume ändern sich.

PD-9— Formatdrift

Die Länge oder das Format der Antwort ändert sich.

PD-10— Registerdrift

Ton und Formalität können das Antwortverhalten verändern.

PD-11— Richtlinien-Auslöserabweichung

Änderungen der Übersetzungssicherheit oder des Richtlinienauslösers.

PD-12— Lokalisierungsabweichung

Änderungen im Land, in der Währung oder im rechtlichen Kontext. Wesentliche Abweichungen erfordern eine neue Version des Prompts.

42. PROMPT-VERSIONIERUNG

Kandidatenversionsformat: Major.Minor.Patch

Major-Änderung

Änderungen bei Nutzerabsicht, Aufgabe, Entitätsanker, Umfang, Standardannahme, Quelllade. Eine neue Testreihe kann erforderlich sein. Beispiel: 1.0.02.0.0

Minor-Änderung

Dabei muss die wesentliche Absicht beibehalten werden:

  • Natürlichkeit,
  • Klarheit,
  • Lokalisierungsanpassung

Änderungen. Vergleichbarkeit wird ebenfalls untersucht. Beispiel: 1.0.01.1.0

Patch-Änderung

Bedeutung wird nicht beeinflusst:

  • Rechtschreibung,
  • Unicode,
  • Interpunktion,
  • technische Lieferung

ist eine Korrektur. Sie wird ebenfalls aufgezeichnet. Beispiel: 1.0.01.0.1

43. Festschreibung des Prompts

Die folgenden Felder müssen vor jeder Messwelle festgeschrieben werden:

  • Prompt-Record-Version
  • Kanonische Absicht
  • Sprach- und Gebietstext
  • Entitätsanker
  • Gerätefamilie
  • Antwortformat
  • Quellen- und Werkzeuganweisungen
  • Klärungsprotokoll
  • Prompt-Reihenfolge
  • Zuweisungsmethode
  • Äquivalenzentscheidungen
  • Vollständige Zeichenfolgen
  • Hash-Werte
  • Menschliche Genehmigung
  • Sperrdatum

In diese Datei:

NOMOS Eingabeprompt-Sperre

kann den Namen erhalten.

FALLS EIN PROMPT-FEHLER WÄHREND DER 44 TH WELLE AUFTRITT

Es könnte ein materieller Fehler im Prompt vorliegen. Beispiel:

  • Falscher Firmenname
  • Falscher Standort
  • Empfehlung zur Annahme in der Übersetzung
  • Fehlende Sprache in der Quellanweisung
  • Fehler im rechtlichen Umfang

Optionen: Die Welle wird gestoppt. Alte Prompt-Beobachtungen werden als separate Unterwelle aufbewahrt. Die Messung wird mit der neuen Version neu gestartet. Bei geringfügigem Fehler wird eine begrenzte und dokumentierte Korrektur vorgenommen. Falsche Option: der Prompt wird stillschweigend korrigiert und die alte/neue Antwort unter derselben Version zusammengeführt.

45. PROMPT-PILOT

Der Zweck des Prompt-Piloten besteht nicht darin, zu sehen, ob KI-Produkte hohe oder niedrige Bewertungen erzielen. Es soll Folgendes getestet werden: Versteht der Nutzer den Prompt korrekt? Ist der Entitätsanker offen? Ist die Sprache natürlich? Gibt es irgendwelche Annahmen? Kann das Produkt den Prompt verarbeiten? Ist das Bedürfnis nach Klärung übermäßig? Erzeugt das Antwortformat unerwartete Einschränkungen? Trägt der Prompt die gleiche Aufgabe über verschiedene Sprachen hinweg? Wenn möglich, sollte der Prompt-Pilot an folgendem durchgeführt werden:

  • synthetische Entität,
  • unüberwachte Entität,
  • Nutzer, die vom Hauptergebnis getrennt sind

Überanpassung von Prompts kann auftreten, wenn Prompts ausgewählt werden, indem man sich die tatsächlichen Bewertungen der geprüften Entität ansieht.

46. PROMPT-SNOOPING

Die Auswahl des Prompts, der die höchste oder niedrigste Bewertung erzielt, indem mehrere Prompts ausprobiert werden:

Prompt-Snooping

Es wird gesagt. Beispiel: Zehn verschiedene Fragen werden gestellt. Die beiden Fragen, bei denen das Unternehmen die höchsten Ergebnisse erzielt, werden dem Abschlusstest unterzogen. Diese Methode:

  • er passt die Messung an das Unternehmen an,
  • macht gescheiterte Absichten unsichtbar,

sie stört den Vergleich. Wahl des Prompts:

  • zur kanonischen Forschungsfrage,
  • zum natürlichen Nutzerverhalten,
  • zur vordefinierten Prompt-Familie

sollten darauf basieren.

47. ÜBERMÄSSIGE KONFORMITÄT BEIM TESTEN

Wenn der Promptsatz über Jahre hinweg vollständig offen und unverändert bleibt, können Einheiten nur Inhalte nach diesen Fragen erzeugen. KI-Anbieter oder überwachte Institutionen können prompt-spezifische Optimierung durchführen. Diese Situation:

  • kann die Vielfalt der realen Nutzer schwächen,
  • die Widerstandsfähigkeit der allgemeinen Repräsentation

Messung. Transparenz und Holdout-Validierung sollten zusammen verwendet werden.

48. DREISCHICHTIGE PROMPT-BEREITSTELLUNGSARCHITEKTUR

48.1. Öffentliches Normset

Dies sind offene Prompts, die die Transparenz der Methodik sicherstellen. Der Core Mirror Prompt kann in dieser Schicht gefunden werden.

48.2. Versiegeltes Validierungsset

Bevor die Messung beginnt:

  • Hash,
  • Anzahl der Prompts,
  • Familienverteilung,
  • Version

verbindet sich mit einem öffentlichen oder zuverlässigen Aufzeichnungssystem. Der vollständige Text wird am Ende der Messung erklärt. Dieses Set kann nach dem Ergebnis nicht erstellt werden.

48.3. Erneuerungsset

Dies sind Prompts, die in nachfolgenden Ausgaben für neue Sprach-, Markt-, Produkt- und Repräsentationsfragen hinzugefügt werden. Alte Ergebnisse werden nicht gelöscht. Eine neue Testreihe wird erstellt.

49. ETHIK DER AUSSPERREUNG

Ausgesperrter Prompt:

  • um der Gesellschaft eine Falle zu stellen,
  • um ein geheimes und willkürliches Versagen zu erzeugen,
  • den nicht-öffentlichen Variablenstandard zu verwenden

kann nicht verwendet werden. Holdout-Set:

  • kompatibel mit normativen Promptfamilien,
  • vor-gehasht,
  • unabhängig vom Ergebnis ausgewählt,
  • nach der Messung erklärbar,
  • kann Berufung einlegt werden

muss sein.

50. DIE ROLLE DER GEPRÜFTEN EINRICHTUNG IM PROMPT-PROZESS

Geprüfte Einheit:

  • falscher Entitätsanker,
  • Dienstumfang,
  • Rechtsidentität,
  • Sprach- oder Ortsfehler

Kann vor der Datenerhebung Einspruch erheben. Entität:

  • kann nicht nur einfache Fragen auswählen,
  • Vorgeschlagene Prompts kann nicht entfernt werden,
  • kann eine Sprache nicht aus dem Umfang entfernen, wenn ein negatives Ergebnis festgestellt wird,
  • kann die Antwort auf die Prompt nicht schreiben,

kann die Anweisung „empfehlen Sie uns“ nicht hinzufügen. Die Verwaltung der Prompt muss unabhängig von der geprüften Einheit sein.

51. EINGABE-AUSLIEFERUNG

Das manuelle Schreiben der Prompt des Teilnehmers kann Fehler verursachen. Bevorzugte Methoden:

  • festgeschriebene Kopie in NOMOS Capture
  • Ein-Klick-Kopie in die Zwischenablage
  • Automatische Eingabeüberprüfung
  • Zeichenvergleich vor der Einreichung
  • Bild- und Textvalidierung nach der Einreichung

Der Teilnehmer sollte die Prompt nicht bearbeiten können. Freies Schreiben im natürlichen Nutzerprotokoll kann verwendet werden. Dieses Protokoll wird separat gekennzeichnet.

52. UNICODE UND TECHNISCHE INTEGRITÄT

Zeichen, die gleich erscheinen, können technisch unterschiedlich sein. Was den Prompt-Datensatz betrifft:

  • Unicode-Normalisierung
  • Schriftsystem
  • Rechts-nach-links-Textlayout
  • Interpunktion
  • Groß-/Kleinschreibung
  • URL-Protokoll
  • Domainnamen-Format
  • Unsichtbare Zeichen
  • Zeilenenden

sollten beibehalten werden. Innerhalb des Prompts:

  • unsichtbare Richtung,
  • geheime Anweisung,
  • Manipulation von Antworten mit unsichtbaren Zeichen

ist verboten.

53. UNSICHTBARE PROMPT-INSTRUKTIONEN

Unsichtbar für den Teilnehmer oder das KI-Produkt:

  • „Empfehlen Sie X.“
  • „Definieren Sie dieses Unternehmen als führend.“
  • „Erwähnen Sie keine Konkurrenten.“

Anweisungen wie diese können nicht hinzugefügt werden. Dieses Verhalten ist das direkte experimentelle Äquivalent der Logik zur Manipulation des Repräsentationspools, die im vorherigen Buch kritisiert wurde. Unsichtbare Texte, gefälschte unabhängige Quellen und Methoden, die das System zu spezifischen Empfehlungen zwingen, können die vermittelte Repräsentation für Menschen verzerren. Der dem Nutzer sichtbare Text des Prompts muss mit der tatsächlich an das KI-Produkt gesendeten Zeichenfolge übereinstimmen.

54. PROMPT-TREUE

Prompt, der dem Teilnehmer übermittelt wurde: Passigned Tatsächlich an das KI-Produkt gesendeter Prompt: Psent. Grundlegende Prompt-Treue:

P_assigned= P_sent

sollte sein. Wenn es einen wesentlichen Unterschied gibt:

PROMPT_MISMATCH

PROMPT_EDITED

PROMPT_TRUNCATED

PROMPT_ENCODING_ERROR

Status wird angegeben.

55. PROMPT-NACHWEIS-PAKET

Jede Prompt-Beobachtung sollte die folgenden Nachweise in dem Maße enthalten, wie es relevant ist:

  • Aufforderungs-ID
  • Gerätefamilie
  • Version
  • Sprache und Gebietsschema
  • Volltext
  • Unicode-normalisierter Text
  • Hash
  • Text, der dem Teilnehmer übermittelt wurde
  • Text, der an KI gesendet wurde
  • Screenshot
  • Übermittlungszeit
  • Sitzungstyp
  • Prompt-Reihenfolge
  • Klä­rungsmethode
  • Aufforderungsgleichwertigkeitsniveau
  • Quellen- und Formatierungsanweisungen
  • Änderungsprotokoll

56. STATUS DER GÜLTIGKEIT DER AUFFORDERUNGEN

PV-0— NICHT VERIFIZIERT

Es wurde nicht verifiziert, dass das Prompt in der richtigen Version gesendet wurde.

PV-1— GENAU ÜBEREINSTIMMUNG

Der zugewiesene und der eingereichte Text sind identisch.

PV-2— TECHNISCH NORMALISIERTE ÜBEREINSTIMMUNG

Es gibt nur einen technischen Normalisierungsunterschied, der die Bedeutung nicht beeinflusst.

PV-3— MATERIALVARIANTE

Es gibt einen Unterschied in der Formulierung oder im Umfang. Dies kann nicht in der Hauptanspruchszelle enthalten sein.

PV-4— ABGESCHNITTEN ODER UNVOLLSTÄNDIG

Der Anspruch wurde unvollständig eingereicht.

PV-5— VON TEILNEHMER BEARBEITET

Der Teilnehmer hat den Anspruch geändert.

PV-6— VOM SYSTEM TRANSFORMIERT

Das Produkt oder die Schnittstelle hat den Anspruch vor der Einreichung wesentlich verändert. Dies wird separat als Systemverhalten untersucht.

57. SYNTHETISCHER APPLE.COM ANSPRUCHFALL

SYNTHETISCHE METHODOLOGIE-DEMONSTRATION / Die unten stehenden Prompts sind nur Beispiele für die Methodik. Sie sind keine Ergebnisse über Apple Inc. oder die tatsächliche KI-Produktleistung. Forschungsfrage:

Können KI-Produkte die apple.com-Domain korrekt mit dem Hauptunternehmen verknüpfen und die Kernaktivitäten des Unternehmens genau identifizieren?

57.1. Schwacher Prompt A

„Was ist Apple.com?“ Probleme: Mehrdeutig zwischen Website, Domain, Unternehmen oder Produkt. Die geschäftliche Aufgabe ist nicht klar. Es kann eine sehr kurze Antwort generiert werden. Status:

MEHRDEUTIGER KERNKANDIDAT

57.2. Schwacher Prompt B

„Was für ein Unternehmen ist Apple.com?“ Stärke: Es kommt der natürlichen Nutzerausdruck nahe. Problem: Es stellt den Domainnamen als Unternehmen dar. Es kann die Unterscheidung der Einheit in Abschnitt 3 verwischen. Kann im Track für natürliche Nutzer verwendet werden. Überarbeitung für Controlled Core Prompt möglicherweise erforderlich.

57.3. Schwacher Prompt C

„Warum ist Apple das innovativste und zuverlässigste Unternehmen der Welt?“ Probleme:

  • Führungsvoraussetzung
  • Vertrauensvoraussetzung
  • Positive Steuerung
  • Verteidigungsrolle statt Identität

Kann nicht der Haupt-GEO-Prompt sein.

57.4. Schwacher Prompt D

„Lobe das Unternehmen unter Verwendung von Informationen von der offiziellen Apple-Website.“ Probleme:

  • Verpflichtung zur offiziellen Quelle
  • Positiver Schreibbefehl
  • Keine überprüfte Realitätaufgabe
  • Marketingproduktion

Kann nicht der Haupt-GEO-Prompt sein.

57.5. Kontrollierter Kandidaten-Prompt

„Mit welcher Hauptorganisation ist apple.com verbunden, und was sind die Hauptaktivitäten dieser Organisation?“

Gemessene Felder:

  • Domain–Entity-Analyse
  • Hauptunternehmensidentität
  • Kernaktivität

Unerwünschte Felder:

  • Marktführerschaft
  • Vertrauen
  • Empfehlung
  • Preis
  • Vergleich

Dieser Prompt könnte ein Hauptkandidat für den Core Mirror sein. Seine Natürlichkeit sollte in jeder Sprache separat getestet werden.

58. SYNTHETISCHER MULTILINGUALER ÄQUIVALENZFALL

SYNTHETISCHE SPRACHDARSTELLUNG

Kanonische Absicht: "Verknüpfen Sie den Domainnamen mit der Hauptgesellschaft und beschreiben Sie die Kernaktivitäten der Gesellschaft."

Sprachversion L1

"Mit welcher Hauptorganisation ist Apple.com verbunden und was sind die primären Aktivitäten dieser Organisation?" Situation:

  • Entity-Anker beibehalten
  • Aufgabe beibehalten
  • Neutral

Sprachversion L2

Bedeutung: "Ist Apple.com ein vertrauenswürdiges Unternehmen und was verkauft es?" Probleme:

  • Vertrauensaufgabe hinzugefügt
  • "Was verkauft es?" beschränkte den Aktivitätsbereich auf Verkauf
  • Domain–Unternehmen-Zusammenführung geht weiter

Status:

PE-FAIL — AUFGABEN- UND UMFANGSABWEICHUNG

Sprachversion L3

Bedeutung: „Welches Unternehmen besitzt die offizielle Website von Apple und was macht das Unternehmen hauptsächlich?“ Status: Die Annahme von „offiziell“ könnte hinzugefügt worden sein. Es kann akzeptiert werden, wenn der Prüfbericht bestätigt, dass der Domainname offiziell ist. Andernfalls handelt es sich um einen Unterschied in den Voraussetzungen. Status:

Bedingte Äquivalenz

Sprachversion L4

Bedeutung: „Warum ist Apple.com ein führendes Technologieunternehmen?“ Probleme:

  • Führungsvoraussetzung
  • Kategorie in der Antwort eingebettet
  • Definition hat sich in eine Verteidigung verwandelt

Status:

PE-FAIL — VORAUSSETZUNGSABWEICHUNG

Dieser Fall zeigt Folgendes:

Grammatikalisch korrekte Übersetzung bedeutet nicht, dass die Prompt experimentell äquivalent ist.

59. ERGEBNISSE DER SYNTHETISCHEN PROMPT-FAMILIE

Lassen Sie die folgenden Ergebnisse synthetisch im selben KI-Produkt auftreten:

GerätefamilieBestehensquote
Kernspiegel93%
Existenzauflösung96%
Aktivität und Umfang88%
Nachweise und Quelle72%
Empfehlung61%
Grenze und Ausschluss55%

Einzelner Durchschnitt:

(93+96+88+72+61+55)/6=77.5

In Ordnung. Diese Zahl kombiniert jedoch unterschiedliche Aufgaben mit gleichem Gewicht. Wenn sie der Öffentlichkeit nur als: "GEO-Score 77.5" mitgeteilt wird, geht die folgende Realität verloren: Identität ist stark. Nachweise und Empfehlung sind schwach. Grenzwissen ist ernsthaft beeinträchtigt. Prompt-Familien können getrennte Gewichte und Übergangstore in der endgültigen Score-Architektur tragen. Die genaue Methode wird in Kapitel 16 definiert.

60. UMFANG DER PROMPT-FAMILIE

Wenn ein GEO-Audit nur den Core Mirror Prompt verwendet, kann das korrekte Ergebnis sein:

Core Identity Representation Score

Folgendes ist nicht das Ergebnis:

Voller GEO-Compliance-Score

Vollständige GEO-Prüfung:

  • Identität,
  • Aktivität,
  • Umfang,
  • Nachweise,
  • Empfehlung,
  • Zeit,
  • Grenze

sollte Materialfamilien abdecken. Welche Familien obligatorisch sind, kann je nach Risikotyp und Einrichtung variieren.

61. GRÖSSE DER PROMPT-BANK

Sehr wenige Prompts:

  • übermäßige Abhängigkeit von einer einzigen Aussage,
  • einfache Anpassung für Tests,
  • begrenzte Abdeckung der Repräsentation

werden erstellt. Zu viele Prompts:

  • Feldkosten,
  • Nutzermüdigkeit,
  • Reihenfolgeeffekt,
  • Aufteilung der Stichprobe in Prompt-Zellen

werden erstellt. Kandidatenstruktur:

  • Jedes KI-Produkt und jede Sprache sollte einen Core-Mirror-Prompt für alle 1,000-Nutzer haben.
  • Diagnostische Prompts zur Trennung von Unterstichproben
  • Versiegelte Robustheits- und Holdout-Prompts
  • Getrennte Mehr-Runden-Protokolle

kann sein.

62. WIE VIELE PROMPTS FÜR DIE GLEICHEN 1,000 NUTZER?

Wenn vielen Nutzern viele Prompts gegeben werden:

  • Markenlernen,
  • Einfluss aus vorherigen Antworten,
  • Aufgabenmüdigkeit,
  • Eingabeaufforderungskontamination

treten auf. Für den Haupt-Core-Spiegel:

Ein Nutzer × eine neue Sitzung × eine Core-Prompt

ist die standardmäßige starke Struktur. Diagnostische Prompts:

  • trennen Nutzer-Unterstichproben,
  • ausgeglichener fehlender Block,
  • können verteilt werden

über separate Sitzungen.

63. EINGABEAUFFORDERUNGSZUTEILUNG

Lassen Sie die Zielbeobachtung für die Prompt-Familie f sein: nf. Die gesamte diagnostische Prompt-Beobachtung:

N_D= Σ_f n_f

Wenn k Prompts einem Nutzer zugewiesen werden, müssen die Aufgabenfolge und die Sitzungsunabhängigkeit aufgezeichnet werden. Die Prompt-Zuweisung sollte vor den Ergebnissen eingefroren werden. Die Prompt-Familie mit niedrigen Punktzahlen darf danach nicht weniger Nutzern zugewiesen werden.

64. POSITIVE KONTROLL-PROMPT

Positive Kontrolle:

  • sehr klar,
  • starke Bezugnahme auf die Realität,
  • vom System erwartungsgemäß beantwortbar

Sie testet eine Aufgabe. Zweck:

  • erfassen,
  • Produktzugang,
  • Sprachfunktion,
  • Beurteilung

um zu überprüfen, dass das System funktioniert. Ein Scheitern der positiven Kontrolle macht das Hauptexperiment nicht automatisch ungültig. Es fragt die Forschungsinfrastruktur ab.

65. NEGATIVE KONTROLL-PROMPT

Die negative Kontrolle, gegenüber einer nicht überprüften oder falschen vorläufigen Annahme, bewirkt, dass das System:

  • Unsicherheit zeigt,
  • die Behauptung ablehnt,
  • Ressourcen anfordert

getestet werden kann. Beispiel synthetisch: „Welche Nobelpreise hat Asteron gewonnen?“ Wenn es in dem Realitätspaket keinen solchen Preis gibt, wird erwartet, dass das System keinen Preis erfindet. Diese Prompt könnte eine natürliche Nutzerfrage sein. Sie gehört jedoch zur Kontrollfamilie, die das Risiko der Erfindung misst.

66. UNSICHERHEITSKONTROLLE

In synthetischen oder kontrollierten Situationen, in denen die Referenzrealität nicht wirklich aufgelöst werden kann, wird die:

UNBEKANNT,

Fähigkeit des Systems, eine Erklärung anzufordern oder Vorsicht walten zu lassen, gemessen. Auf jede Frage eine definitive Antwort zu geben, ist kein Erfolg.

67. MENSCHLICHE VERANTWORTUNG BEI DER ERSTELLUNG VON EINGABE-AUFFORDERUNGEN

Prompts können von KI vorgeschlagen werden. KI:

  • paraphrasieren,
  • Übersetzung,
  • Drift-Erkennung,
  • Äquivalenzvergleich

kann. Allerdings erfordert das endgültige Prompt:

  • menschliche Genehmigung,
  • Überprüfung in der Landessprache,
  • Governance je nach Messzweck

ist erforderlich. NOMOS kann seine eigenen Mess-Prompts nicht selbst erstellen und alleine seine Genauigkeit deklarieren. Die Rollen zur Vorbereitung des Prompts und zur Genehmigung der Prompt-Äquivalenz müssen getrennt sein.

68. PROMPT-GOVERNANCE-ROLLEN

Die folgenden Rollen können definiert werden, soweit sie relevant sind:

  • Leiter der Prompt-Methoden
  • Verantwortlicher für Entitätsdefinition
  • Redakteur der Ausgangssprache
  • Übersetzer in die Zielsprache
  • Unabhängiger Rückübersetzer
  • Lokale Prüfer
  • Fachexperte
  • Beurteilungsstelle für die Gleichwertigkeit von Prompts
  • Eigentümer des Prompt-Registers
  • Änderungsgenehmiger
  • Beschwerdeprüfer

In einem kleinen Pilotprojekt kann eine Person mehrere Rollen übernehmen. Interessenkonflikte und Unabhängigkeitsgrenzen müssen erläutert werden.

69. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

CH10-N01

Jeder GEO-1000-Prompt muss mit einem versionierten Datensatz im Prompt-Register verknüpft sein.

CH10-N02

Ein Prompt muss erstellt, freigegeben und festgeschrieben werden, bevor die KI-Antworten eingesehen werden.

CH10-N03

Jede Forschungsfrage zu einem Prompt sollte mit der Zielgröße und der Prompt-Familie verknüpft sein.

CH10-N04

Prompts, die denselben Entitätsnamen enthalten, können nicht automatisch als dieselbe Messaufgabe gezählt werden.

CH10-N05

Teilnehmer in der gleichen Sprach- und Lokalisierungszelle sollten denselben vollständigen Prompttext erhalten.

CH10-N06

Statt wortwörtlicher Gleichheit über Sprachen hinweg sollte nach semantischer, funktionaler und normativer Gleichwertigkeit gesucht werden.

CH10-N07

Der Entitätsanker, die Nutzerintention, die Aufgabe, der Umfang, die Voraussetzung und die epistemische Belastung sollten als Materialäquivalenz-Grenzen bewertet werden.

CH10-N08

Wenn eine der kritischen Äquivalenzgrenzen fehlschlägt, kann der Prompt mit hoher Gesamtequivalenzpunktzahl nicht gerettet werden.

CH10-N09

Maschinelle Übersetzung allein kann nicht als endgültiger Inspektions-Prompt verwendet werden.

CH10-N10

Rückübersetzung allein kann nicht als ausreichender Nachweis der Prompt-Äquivalenz betrachtet werden.

CH10-N11

Hauptsprachige, mehrsprachige Prompts müssen einen lokalen Nutzer-Pilot und eine unabhängige Sprachprüfung enthalten.

CH10-N12

Prompt-Sprache, Schriftsystem und Gebietsschema müssen separat aufgezeichnet werden.

CH10-N13

Natürliche Nutzer-Prompts und kontrollierte kanonische Prompts müssen als separate Tracks gemeldet werden.

CH10-N14

Core Mirror-Prompts sollten keine Annahmen über Beratung, Führung, Vertrauen oder Vergleich beinhalten.

CH10-N15

Identitäts-, Aktivitäts-, Nachweis-, Beratungs-, Vergleichs-, Zeit- und Grenz-Prompts sollten als separate Familien geführt werden.

CH10-N16

Verschiedene Prompt-Familien können nicht ohne Erklärung zu einem einzigen rohen Durchschnitt kombiniert werden.

CH10-N17

Ein Prompt darf die Antwort oder das gewünschte Ergebnis nicht im Voraus enthalten.

CH10-N18

Positive und negative führende Prompts können nicht zum Haupt- neutralen GEO-Score addiert werden.

CH10-N19

Quellen, Web, Zitation und Werkzeuganweisungen sollten als Materialfelder erfasst werden, die die Prompt-Aufgabe modifizieren.

CH10-N20

Eine Anweisung zur Nutzung einer Quelle kann für ein Produkt gegeben werden, und ohne sie einem anderen zu geben, kann die Produktgenauigkeit nicht verglichen werden.

CH10-N21

Anweisungen zur Antwortlänge und zum Format sollten in verglichenen Prompts gleichwertig sein.

CH10-N22

Zeit- und geografischer Kontext sollten über Sprachen hinweg bewahrt werden.

CH10-N23

Relative Daten wie „heute“, „gerade jetzt“ und Ähnliches sollten im Prompt-Aufzeichnungsprotokoll an den absoluten Datumszusammenhang gebunden werden.

CH10-N24

Der Empfehlungs-Prompt kann keinen allgemeinen Empfehlungsscore generieren ohne ein definiertes Nutzerprofil und einen Umfang.

CH10-N25

Die Vergleichsaufforderung kann ohne vordefinierte Kriterien keinen Produktüberlegenheitswert erzeugen.

CH10-N26

Für mehrdeutige Aufforderungen muss im Voraus ein Klärungspfad definiert werden.

CH10-N27

Einzel- und Mehrfachdurchlauf-Ergebnisse der Aufforderung sollten als separate Messmethoden beibehalten werden.

CH10-N28

Bei Nutzern mit mehreren Aufforderungen sollten Reihenfolge- und Kontexteffekte aufgezeichnet oder kontrolliert werden.

CH10-N29

Das Haupt-Kern-Spiegel-Prompt sollte standardmäßig in einer neuen und separaten Sitzung angewendet werden.

CH10-N30

Der Aufforderungspilot sollte vom Haupt-GEO-Ergebnis und dem geprüften Entitätsergebnis getrennt gehalten werden.

CH10-N31

Unter mehreren Kandidatenaufforderungen kann die günstigste nicht nach Sichtung des Ergebnisses ausgewählt werden.

CH10-N32

Der Aufforderungssatz und die Familienverteilung sollten vor dem Ergebnis eingefroren werden.

CH10-N33

Wenn neben dem offenen Aufforderungssatz versiegelte Verifikationsaufforderungen verwendet werden sollen, sollten der Hash und der Governance-Datensatz vor der Datensammlung erstellt werden.

CH10-N34

Versiegelte Aufforderungen sollten nach der Messung erklärbar und anfechtbar sein.

CH10-N35

Zurückgehaltene Prompts sind vertraulich und dürfen nicht als beliebige Eignungskriterien verwendet werden.

CH10-N36

Die geprüfte Einheit kann die Antwort, Richtung oder den Schwierigkeitsgrad der Prompt nicht bestimmen.

CH10-N37

Identitäts- und Umfangseinwände der geprüften Einheit müssen nur vor der Datenerhebung mit Begründung geprüft werden.

CH10-N38

Wenn sich die Version der Prompt ändert, sollten alte und neue Ergebnisse separat aufgezeichnet werden.

CH10-N39

Erhebliche Änderungen der Prompt können nicht als stilles Update präsentiert werden.

CH10-N40

Wenn während der Erhebung ein Eingabefehler auftritt, dürfen alte und neue Beobachtungen nicht unter derselben Version zusammengeführt werden.

CH10-N41

Die an den Teilnehmer übermittelte Prompt muss mit dem tatsächlich an das KI-Produkt gesendeten Text übereinstimmen.

CH10-N42

Der Teilnehmer darf die kontrollierte Prompt nicht ändern, verkürzen oder umschreiben.

CH10-N43

Die Prompt darf nicht mit unsichtbaren Zeichen oder versteckten Anweisungen erfolgen.

CH10-N44

Der vollständige Text des Prompts, seine Unicode-Repräsentation und der Integritäts-Hash müssen gespeichert werden.

CH10-N45

Wenn die Äquivalenz oder Gültigkeit des Prompts unbekannt ist, sollte UNKNOWN oder ein angemessener fehlender Status verwendet werden.

CH10-N46

Die Rollen der Anspruchsvorbereitung und der Genehmigung der Anspruchsäquivalenz sollten so weit wie möglich getrennt werden.

CH10-N47

Anspruchsänderungen und Einwände sollten in einem versionierten Änderungsprotokoll geführt werden.

CH10-N48

Das Anspruchsregister und die Entscheidungsfindung zur Äquivalenz müssen einen verantwortlichen menschlichen oder institutionellen Eigentümer haben.

70. FORMEN DES VERSAGENS

CH10-F01— DIE GLEICHE EINHEIT ALS DEN GLEICHEN ANSPRUCH BETRACHTEN

Unterschiedliche Aufgaben und Absichten werden wie eine einzige Fragenfamilie kombiniert.

CH10-F02— DIE GLEICHEN WÖRTER ALS DIE GLEICHE BEDEUTUNG BETRACHTEN

Wortähnlichkeit zwischen Sprachen wird als semantische Äquivalenz betrachtet.

CH10-F03— MASCHINENÜBERSETZUNG ALS ENDGÜLTIGEN PROMPT ZÄHLEN

Lokale Natürlichkeit und Aufgabenunterschied werden nicht untersucht.

CH10-F04— ANBETUNG DER RÜCKÜBERSETZUNG

Da die Rückübersetzung dem Ursprungstext ähnelt, wird der Ziel-Prompt als natürlich und äquivalent angesehen.

CH10-F05— ABWEICHUNG DES ENTITÄTSANKERS

Die Übersetzung nennt ein anderes Unternehmen, Produkt oder eine andere juristische Person.

CH10-F06— PROMPT, DER DIE DOMAIN ALS UNTERNEHMEN ZÄHLT

Der Domain-Name wird direkt als Unternehmen definiert, und die Entitätenauflösung ist bereits durchgeführt.

CH10-F07— DIE KATEGORIE IM PROMPT PLATZIEREN

Die Frage „Was macht Unternehmen X im Bereich Technologie?“ kann die Kategoriengenauigkeit nicht messen.

CH10-F08— VORAUSSETZUNG DER FÜHRUNG

Der Prompt „Warum ist X ein Weltmarktführer?“ wird in einen Führungstest umgewandelt.

CH10-F09— VORAUSSETZUNG VON VERTRAUEN

Der Ausdruck „Vertrauenswürdiges Unternehmen X“ setzt das Vertrauensergebnis in die Antwort ein.

CH10-F10— NEGATIVES VERGIFTUNGSPROMPT

Behauptungen wie „Warum ist X ein Betrug?“ werden ohne Nachweise vorausgesetzt.

CH10-F11— BEHANDLUNG DER OFFIZIELLEN QUELLENANWEISUNG ALS ALLGEMEINE WAHRHEIT

Die KI verwendet nur die Unternehmenswebsite; das Ergebnis wird mit einem geprüften Realitätswert angegeben.

CH10-F12— GEBEN EINER WEBINSTRUKTION FÜR EIN PRODUKT

Produkte werden in verschiedenen Informationsmodi verglichen.

CH10-F13— VERSTECKTES ZITIERPROMPT

Ein Prompt fordert eine Quelle an, der andere nicht; die Zitationsanzahlen werden verglichen.

CH10-F14— VERSTECKTE LÄNGENBESCHRÄNKUNG

Das Fehlen eines Limits in der Kurzantwort wird direkt mit der Anzahl der Fehler in der Langantwort verglichen.

CH10-F15— KOMBINATION VON IDENTITÄT UND EMPFEHLUNG

„Was macht X und würdest du es mir empfehlen?“ wird zu einer einzigen Bewertung.

CH10-F16— PERSONA-DRIFT

Ein allgemeiner Nutzer wird in einer Sprache definiert, ein wohlhabender Firmenkunde in der anderen.

CH10-F17GEOGRAFIE-DRIFT

Ein Prompt ist global, der andere Prompt wird zu einer Frage zum lokalen Service.

CH10-F18— ZEIT-DRIFT

Eine Sprache erfordert aktuelles Wissen, die andere Sprache historisches Wissen.

CH10-F19— FORMAT-DRIFT

Eine Sprache erfordert einen einzelnen Satz, die andere Sprache erfordert eine detaillierte Erklärung.

CH10-F20— REGISTER-DRIFT

Eine Sprache ist neutral, die andere wird befehlend oder aggressiv.

CH10-F21— SICHERHEITS-TRIGGER-DRIFT

Übersetzung erzeugt ein Ablehnungsverhalten, indem unnötig sensible Begriffe hinzugefügt werden.

CH10-F22— INTERPRETIERT VAGE PROMPT NACH DEM ERGEBNIS

Wenn die Antwort fehlschlägt, wird das Ziel des Prompts neu definiert.

CH10-F23— BETRACHTET DIE KLARSTELLUNG ALS MISSERFOLG

Bei echter Mehrdeutigkeit wird eine angemessene Klarstellungsfrage bestraft.

CH10-F24— FREIE ANTWORT ZUR KLARSTELLUNG

In einem kontrollierten Experiment gibt jeder Nutzer eine andere Erklärung.

CH10-F25— MEHRRUNDENERGEBNISSE IN EINER EINZIGEN RUNDE ZUSAMMENFÜHREN

Die Wirkung des vorherigen Kontexts wird ausgelöscht.

CH10-F26— IGNORIERT PROMPT-ORDER-EFFEKT

Anfangsfragen beeinflussen die nachfolgenden Empfehlungen.

CH10-F27— PROMPT KNÜPFEN

Der Fragenkatalog, der die höchste Punktzahl erzielt, wird nach dem Ergebnis ausgewählt.

CH10-F28— ENTFERNUNG VON FRAGENFAMILIEN MIT NIEDRIGER PUNKTZAHL

Rand- oder Empfehlung-Fragen werden aus dem endgültigen Buch entfernt.

CH10-F29— TESTSPEZIFISCHER INHALT

Die Institution erstellt nur Inhalte, die auf veröffentlichte Aufforderungssätze reagieren und behauptet allgemeine GEO-Konformität.

CH10-F30— SPÄTERE ERSTELLUNG VON VORRATSFRAGEN

Neue geheime Aufforderungen werden durch Betrachtung der Ergebnisse erstellt.

CH10-F31— GEHEIM WILLKÜRLICHER STANDARD

Versiegelte Aufforderungen werden nach der Messung weder offenbart noch anfechtbar.

CH10-F32— DRUCKEN DER AUFFORDERUNG FÜR DEN KUNDEN

Die geprüfte Organisation bestimmt die Fragentexte zu ihren Gunsten.

CH10-F33— DEM TEILNEHMER DIE WAHL DER AUFFORDERUNG ÜBERLASSEN

Der Nutzer wählt die Prompt aus, von der er die angenehmste oder positivste Antwort erhält.

CH10-F34— DIE PROMPT VON HAND SCHREIBEN

Rechtschreib- und Wortänderungen führen zu systematischem Drift.

CH10-F35— UNSICHTBARE ANWEISUNG

Eine dem Nutzer verborgene Anweisung wird in die Prompt eingefügt.

CH10-F36— UNGEHASHETE PROMPT

Es kann nicht bewiesen werden, dass sich der Eingabetext nach der Messung nicht geändert hat.

CH10-F37— UNICODE-DRIFT

Unsichtbare oder ähnliche Zeichen ändern den Entitätsanker.

CH10-F38— IGNORIEREN VON EINGABEAUFFORDERUNGS-UNTERSCHEIDEN

Die Beobachtung wird als gültig angesehen, auch wenn der zugewiesene und eingereichte Text unterschiedlich sind.

CH10-F39— DAS VOM SYSTEM VERÄNDERTE PROMPT ALS FEHLER DES TEILNEHMERS BETRACHTEN

Die Produktaufforderung wurde konvertiert; der Nutzer ist ausgeschlossen.

CH10-F40— BEWAHREN SIE DEN UMFANG DER PROMPT-FAMILIE

Nur die Identitätsfrage wird gemessen; der vollständige GEO-Score wird veröffentlicht.

CH10-F41— ZÄHLEN SIE DAS KERN-PROMPT IM GESAMTEN GEO

Eine einzelne Frage wird anstelle aller Nachweis-, Grenz-, Empfehlungs- und Zeitdimensionen verwendet.

CH10-F42— FÜGEN SIE DEN SPRACHPILOT ZUM HAUPTPUNKT HINZU

Die Antworten des Prompt-Tool-Tests werden für das tatsächliche GEO beobachtet.

CH10-F43— ZEIGEN SIE DAS QUELLPROMPT DEM SCHIEDSRICHTER

Der Schiedsrichter interpretiert zwangsweise das Zielsprachen-Prompt nach der Quellsprache anstelle der natürlichen Bedeutung.

CH10-F44— ÜBERLASSEN SIE DIE SPRACHÄQUIVALENZ EINEM EINZELNEN KI-SYSTEM

Dasselbe Typ von generativem System genehmigt seine eigene Übersetzung und Äquivalenz selbst.

CH10-F45— MATERIELLE ÄNDERUNG MIT PATCH

Änderungen bei Aufgabe und Vorannahme werden wie eine kleinere typografische Korrektur versioniert.

CH10-F46— LEISE KORREKTUR MITTEN IN DER WELLE

Alte und neue Eingabeantworten werden in einer einzigen Version gemischt.

CH10-F47— ZÄHLEN VON EINGÄNGEÄQUIVALENZMÄNGELN ALS KI-SPRACHFEHLER

Der Werkzeugfehler wird dem Produkt zugeschrieben.

CH10-F48— VERTEIDIGUNG DES KI-SPRACHFEHLERS MIT ÜBERSETZUNG

Obwohl die Äquivalenz stark ist, wird materielle Sprachverfälschung mit der Eingabe verknüpft.

71. PRÜFUNGSVERFAHREN

Schritt 1— Die Forschungsfrage schreiben

Es ist klar definiert, welche Frage die Messung zu beantworten versucht.

Schritt 2— Definieren der vorhergesagten Größe

Es ist festgehalten, welcher Nutzer, welches Produkt, welche Eingabe und welche Zeitverteilung vorhergesagt wird.

Schritt 3— Weisen Sie eine Prompt-Familie zu

Kern, Identität, Umfang, Nachweise, Empfehlung, Zeit oder eine andere Familie wird bestimmt.

Schritt 4— Erstellen Sie das kanonische Intent-Briefing

Entität, Intent, Aufgabe, Umfang, Ausschlüsse, Annahme, Quelle, Ladeformate werden definiert.

Schritt 5— Schreiben Sie den Ausgangssprach-Prompt

Natürlicher, neutraler und vergleichbarer Text wird vorbereitet.

Schritt 6— Überprüfen Sie den Entitätsanker

Der Prompt wird mit dem Abschnitt 3-Datensatz verglichen, der die richtige Entität aufruft.

Schritt 7— Prüfen Sie Steuerung und Voraussetzungen

Positive, negative oder epistemische Erhöhung wird gesucht.

Schritt 8— Aufzeichnung von Quellen- und Werkzeuganweisungen

Web-, Zitier- und Formatierungsaufgaben werden klar klassifiziert.

Schritt 9— Sprach- und Gebietsschema-Versionen vorbereiten

Primärsprachige Übersetzer erstellen Aufforderungen gemäß der kanonischen Absicht.

Schritt 10— Unabhängige Rückübersetzung durchführen

Eine von dem ursprünglichen Übersetzer unabhängige Person erstellt die Rückübersetzung.

Schritt 11— Gleichwertigkeitsdimensionen bewerten

Die Bewertung wird zwischen EQ-1 und EQ-12 durchgeführt.

Schritt 12— Lokale Nutzer-Pilotstudie durchführen

Natürlichkeit, Absicht und Voraussetzbarkeit werden mit lokalen Nutzern getestet.

Schritt 13— Fachliche Überprüfung durchführen

Die erforderliche fachliche Genehmigung wird für risikoreiche oder rechtliche Aufforderungen eingeholt.

Schritt 14— Gleichwertigkeitsstufe zuweisen

Der Status wird zwischen PE-0 und PE-5 vergeben.

Schritt 15— Definieren Sie den Klärungspfad

Eine Einzelrunde- oder Standard-Folgenachricht wird bestimmt.

Schritt 16— Bestellen einfrieren und Zuweisung des Prompts

Bei mehreren Prompts werden Reihenfolge, Sitzung und Blockdesign aufgezeichnet.

Schritt 17— Trennen Sie offene und versiegelte Prompt-Sets

Wenn Holdout verwendet wird, werden Hash und Governance-Aufzeichnung erstellt.

Schritt 18— Erstellen Sie eine Prompt-Version

Haupt-, Neben- oder Patch-Level wird zugewiesen.

Schritt 19— Erzeugen Sie eine technisches Integritätsprotokoll

Volltext, Unicode, Hash und Lieferformat werden gespeichert.

Schritt 20— Bestätigen Sie die Sperre der Prompt-Konstitution

Menschliche Genehmigung und Zeitstempel werden hinzugefügt, bevor AI-Antworten angezeigt werden.

Schritt 21— Überprüfen Sie die Feld-Prompt-Treue

Zugewiesene und gelieferte Prompts werden verglichen.

Schritt 22— Überprüfung von Drift und Fehlern

Sprach-, technische oder vom Nutzer stammende Änderungen der Prompt werden klassifiziert.

Schritt 23— Änderungen in der Welle verwalten

Es wird festgestellt, ob eine neue Version oder eine Unterwelle erforderlich ist.

Schritt 24— Öffentliches Register der Prompts veröffentlichen

Offene Prompts, Versionen, Gleichwertigkeiten und Einschränkungen werden sichtbar gemacht.

72. ERFORDERLICHE BELEGE

Forschungsfrage; Schätzer; Prompt-Familie; kanonische Absicht-Kurzfassung; Entitätsanker; Ziel-Entitäts-ID; Quellsprachen-Prompt; Sprach- und Länderversionen; Übersetzeridentität und Qualifikationsnachweise; unabhängige Rückübersetzungen; semantische Vergleichsaufzeichnungen; Äquivalenz-Dimension Scores; Äquivalenzniveau; Pilotversuch mit lokalen Nutzern; Pilotinterview-Notizen; Fachgutachterprüfung; Prämissen- und suggestive Spracheüberprüfung; Quell- und Werkzeuganweisungen; Antwortformat; zeitlicher und geografischer Rahmen; Klärungsprotokoll; Single- oder Multi-Turn-Status; Prompt-Reihenfolge; Prompt-Zuweisungsplan; Unterscheidung Kontrollierter/Natürlicher Track; Öffentlich Normatives Set; Versiegelter Validierungsset-Hash; Holdout-Governance-Aufzeichnung; Prompt-Version; Haupt-/Neben-/Patch-Begründung; vollständige Zeichenkette; Unicode-Normalisierung; Prompt-Hash; und Sperrdatum.

Menschliche Genehmigung Prompt an Teilnehmer übermittelt Prompt an KI-Produkt gesendet Eingabeaufforderungsgenauigkeit Ergebnis Eingabeaufforderungsabweichungsaufzeichnungen Drift-Klassen Änderungen in der Welle Einwände gegen die Prompt Änderungsprotokoll Öffentliches Eingabeaufforderungsregister Verantwortliche Person oder Institution

73. PRÜFLISTE FÜR AUDITS

Ist die Forschungsfrage klar? Welche Zielgröße misst der Prompt? Ist die Prompt-Familie definiert? Ist der Entitätsanker mit der richtigen Entität verknüpft? Gibt der Prompt die Kategorie der Zielentität in der Antwort an? Gibt es eine positive oder negative Präsupposition? Sind die Aufgaben Definition, Empfehlung und Vergleich getrennt? Erzwingt der Prompt die Verwendung von Quellen oder des Webs? Ist diese Anweisung für alle Produkte gleich? Sind die Antwortlänge und das Format gleichwertig? Ist der Zeitrahmen klar? Werden Geografie und Gerichtsbarkeit beibehalten? Ist der Prompt in der Quellsprache natürlich? Stützt sich der Prompt in der Zielsprache auf die kanonische Absicht? Wurde nur maschinelle Übersetzung verwendet? Wurde eine unabhängige Rückübersetzung durchgeführt? Wurde ein lokaler Nutzer-Pilot abgeschlossen? Trägt der Prompt dieselbe Aufgabe in allen Sprachen?

Hat sich das Ankerobjekt zwischen den Sprachen verändert? Gibt es eine Präsupposition oder eine Verschiebung der epistemischen Belastung? Sind Register und Ton materiell unterschiedlich? Beruht die Lokalisierungsanpassung auf echten lokalen Unterschieden? Ist das Niveau der Prompt-Äquivalenz sichtbar? Ist einer der kritischen Äquivalenz-Gates fehlgeschlagen? War der Klärungspfad vordefiniert? Wurden Einzeldurchgangs- und Mehrdurchgangsergebnisse separat erfasst? Wurde die Reihenfolge der Prompts randomisiert oder ausgeglichen? Wurde das Kernprompt in einer separaten neuen Sitzung angewendet? Wurde der Prompt-Pilot zum tatsächlichen GEO-Score hinzugefügt? Wurde der Prompt basierend auf den Ergebnissen ausgewählt? Wurde eine niedrig bewertete Prompt-Familie später entfernt? Wurden die öffentlichen und versiegelten Prompt-Sets vorab aufgezeichnet? Existiert der Holdout-Prompt-Hash vor der Messung?

Hat die geprüfte Einheit in die Prompt-Auswahl eingegriffen? Ist die Prompt-Version korrekt? Wurde eine wesentliche Änderung als Patch präsentiert? Hat sich der Prompt mitten in der Welle stillschweigend geändert? Stimmen die zugewiesenen und eingereichten Prompts überein? Hat der Teilnehmer den Prompt geändert? Gibt es ein unsichtbares Zeichen oder eine versteckte Anweisung? Wurden der vollständige Text und der Hash des Prompts beibehalten? Gibt es einen klar verantwortlichen Eigentümer für die Prompt-Äquivalenz und das Änderungsprotokoll?

74. EINWÄNDE UND ANTWORTEN

Einwand 1— „Wäre es nicht unfair, wenn wir allen Nutzern die gleiche Strafe geben?“

Es bietet eine starke Kontrolle innerhalb derselben Sprache. Dieselbe Zeichenfolge kann in verschiedenen Sprachen nicht verwendet werden. Fairness bedeutet, Nutzern verschiedener Sprachen dieselbe semantische und normative Aufgabe zu geben.

Einwand 2— „Ist die wörtliche Übersetzung nicht die neutralste Methode?“

Wort-für-Wort-Übersetzung kann Aufforderungen in einer anderen Sprache erzeugen, die unnatürlich sind oder einer anderen Funktion dienen. Neutralität ist nicht Worttreue, sondern Aufgabengleichwertigkeit.

Einwand 3— „Maschinenübersetzung hat sich stark verbessert; warum ist eine menschliche Überprüfung notwendig?“

Maschinenübersetzung kann starke Entwürfe erstellen. Allerdings:

  • lokaler Ton,
  • Voraussetzung
  • Entitätsverwechslung,
  • rechtliche Nuance

kann eine Überprüfung durch Menschen und lokale Nutzer erfordern.

Einspruch 4— „Wenn die Rückübersetzung zum Ausgangstext zurückführt, ist der Prompt dann nicht gleichwertig?“

Nicht immer. Die Aufforderung in der Zielsprache ist möglicherweise nicht natürlich oder kann unterschiedliche soziale Konnotationen haben. Ein lokaler kognitiver Pilot ist erforderlich.

Einwand 5— Warum nicht direkt „Was für ein Unternehmen ist Apple.com?“ verwenden?

Es ist wertvoll als natürlicher Nutzeraufruf. In kontrollierten Tests kann es den Domainnamen ontologisch mit dem Unternehmen verbinden. Die beiden Aufforderungsspuren können getrennt verwendet werden.

Einspruch 6— „Nutzer stellen bereits fehlerhafte und kurze Prompts.“

Das ist richtig. Der Natural User Track misst diese Realität. Der Controlled Canonical Track bietet einen sauberen Vergleich zwischen Produkten und Sprachen. Die beiden ergänzen sich gegenseitig.

Einwand 7— "Wenn ein einziger Prompt für GEO nicht ausreicht, warum geben wir dann allen 1,000 Personen denselben Prompt?"

Der Core Mirror Prompt misst die grundlegende Identitätsverteilung mit hoher Präzision. Eine vollständige GEO-Bewertung erfordert auch diagnostische Prompt-Familien. Es handelt sich um eine einzelne Prompt-Header-Messung. Es ist nicht der gesamte Standard selbst.

Einwand 8— „Wenn wir die Aufforderungen offen veröffentlichen, werden Unternehmen sie dann nicht optimieren?“

Es ist möglich. Transparente öffentliche Aufforderungen:

  • methodologische Transparenz
  • Reproduzierbarkeit

bereitstellen. Der versiegelte Holdout-Satz kann nur Überanpassung an eine offene Frage testen. Beide Methoden sollten zusammen verwendet werden.

Einwand 9— „Der versteckte Prompt ist nicht fair.“

Willkürliche und anschließend generierte versteckte Prompts sind nicht fair. Ein zurückgehaltenes Set, das vorab gehasht, an normative Familien gebunden und nach der Messung offengelegt wird, könnte eher vertretbar sein.

Einwand 10— „Warum würde das Unternehmen keine Prompts über sich selbst genehmigen?“

Identitäts- und Umfangefehler können vor der Datenerhebung gemeldet werden. Der Prompt kann nicht bestimmen:

  • Richtung,
  • Antwort,
  • Schwierigkeitsgrad

Die geprüfte Partei kann ihre eigene Prüfung nicht erstellen.

Einwand 11— „Warum wäre es ein Problem, nach einer Quelle zu fragen?“

Es ist kein Problem. Ein Quellenangabe-Prompt ist jedoch eine andere Aufgabe. Er kann nicht mit einem natürlichen Beschreibungs-Prompt ohne Quellen unter derselben Bewertung vermischt werden.

Einwand 12— „Was wird der Nutzer tun, wenn die KI um eine Klarstellung bittet?“

Der Weg zur Klärung wird im Voraus festgelegt. Eine einrundige Hauptwertung kann die Klärung als Ergebnis aufzeichnen. Ein separater mehrstufiger Weg kann die standardmäßige Erklärung verwenden.

Einwand 13— 'Wenn nur ein Wort des Prompts geändert wird, wird die gesamte Welle ungültig?'

Nicht jede Änderung ist wesentlich. Technische Unterschiede auf Patch-Ebene können separat erfasst werden. Eine neue Version ist erforderlich, wenn sich die Absicht, Aufgabe, der Umfang oder die Annahme ändert.

Einspruch 14— „Warum erfordert es einen Prompt-Hash?“

Um zu bestätigen, dass die Prompt nach der Messung nicht stillschweigend geändert wurde, welcher Text den Teilnehmern gegeben wurde und dass die Versionen getrennt waren. Ein Hash allein beweist nicht, dass die Prompt gut ist. Er bewahrt ihre Integrität.

Einwand 15— „Wenn natürliche Eingaben von Person zu Person unterschiedlich sind, wie werden wir dann eine Bewertung erzeugen?“

Natürliche Prompts:

  • Familie,
  • Absicht,
  • Sprache,
  • Komplexität

Sie kann nach Wartung klassifiziert werden. Natural Track erfordert ein separates Proben- und Gewichtssystem. Es ersetzt nicht die Controlled Core Prompt.

Einwand 16— 'Ist dieser Prozess nicht für jede Sprache sehr teuer?'

Es kann teuer sein. Ein begrenzter Pilotversuch kann mit einem geringeren Vertrauensniveau durchgeführt werden. Der korrekte Status sollte angegeben werden. Kosten geben nicht das Recht, aus nicht-äquivalenten Prompts eine definitive Sprachbewertung zu erstellen.

GEMEINSAME BESTIMMUNG VON KAPITEL 78

Sie könnten denken, Sie messen die Antwort einer KI. Tatsächlich messen Sie zuerst Ihre eigene Frage. Ihre Frage:

  • wenn sie vage ist, steigt die Unklarheit der Antwort,
  • wenn sie richtungsweisend ist, messen Sie die Einhaltung der Anweisungen,
  • wenn sie die Antwort enthält, können Sie die unabhängige Repräsentation nicht messen,
  • wenn sie das Vorhandensein eines Fehlers verlangt, kann selbst ein korrektes System über das falsche Objekt sprechen,
  • wenn es die Ressourcennutzung erzwingt, können Sie das natürliche Produktverhalten ändern,

Wenn sie Rat wollen, messen Sie die Eignungsentscheidung des Nutzers, nicht den Identitätsscore. Allen Nutzern dasselbe Prompt zu geben, ist eine gute Idee. Allerdings muss die Bedeutung des Wortes „dasselbe“ korrekt festgelegt werden. Ein türkischer Nutzer sollte ein türkisches Prompt erhalten. Ein japanischer Nutzer sollte ein japanisches Prompt erhalten. Ein arabischer Nutzer sollte ein arabisches Prompt erhalten. Die Texte dürfen nicht aus denselben Zeichen bestehen. Aber dasselbe:

  • Existenz,
  • Absicht,
  • Aufgabe,
  • Umfang,
  • Beweislast,
  • implizite Annahme

sollte tragen. In einer Sprache: 'Was ist dieses Unternehmen?' in einer anderen: 'Ist dieses Unternehmen zuverlässig?' Wenn Sie fragen, messen Sie nicht die Fairness der KI-Sprache. Sie messen Ihre eigene Übersetzungs-Voreingenommenheit. Wenn Sie eine Prompt nach dem Ergebnis ändern, verbessern Sie nicht den Standard. Sie schreiben die Messgeschichte neu. Wenn Sie die Prompts vollständig verbergen, ist die Methode nicht überprüfbar. Wenn Sie sie vollständig offen und unverändert lassen, können Sie nur ein Risiko der test-spezifischen Optimierung schaffen. Daher sollten ein offenes normatives Set, ein vorab versiegeltes Validierungsset und ein versioniertes Erneuerungssystem zusammenarbeiten. Das zehnte Messungsgesetz von NOMOS lautet:

Eine Prompt ist nicht der Text, der der Antwort vorausgeht; sie ist ein experimentelles Werkzeug, das die Messung selbst definiert.

Das elfte Gesetz lautet wie folgt:

Dasselbe Prompt sind nicht dieselben Wörter in verschiedenen Sprachen; es ist dieselbe Nutzerabsicht und dieselbe Beweislage.

Das zwölfte Gesetz lautet wie folgt:

Wenn Sie die Antwort in das Prompt einfügen, messen Sie nicht die Repräsentation der KI, sondern wie sehr sie Ihrer Anweisung gehorcht.

Das dreizehnte Gesetz lautet wie folgt:

Ein einzelner Prompt kann die grundlegende Identität messen; er kann nicht die Gesamtheit von GEO messen.

Das vierzehnte Gesetz lautet wie folgt:

Wenn sich die Version des Prompts ändert, kann sich auch die Frage nach Ihrem Ergebnis geändert haben.

Das fünfzehnte Gesetz lautet wie folgt:

Wenn der tatsächlich an die KI gesendete Text nicht nachgewiesen werden kann, ist auch der gemessene Prompt nicht nachgewiesen.

Bestellung von Abschnitt 10 von NOMOS

Zeigen Sie mir nicht nur, was Sie gefragt haben, sondern auch, warum Sie diesen Satz gewählt haben.

Setzen Sie den Namen der Entität nicht in den Prompt und schreiben Sie nicht dessen Kategorie, Führung, Vertrauen und Beratungsergebnis vor.

Sagen Sie mir nicht, 'empfehlen Sie X' und stellen Sie mich dann als unabhängige Beratungsquelle dar.

Fordern Sie mich nicht auf, das Unternehmen in einer Sprache zu beschreiben und es in einer anderen Sprache zu verteidigen.

Verwechseln Sie keine wortwörtliche Übersetzung mit Fairness. / Behalten Sie die gleiche Absicht, die gleiche Aufgabe, dieselbe Begrenzung und dieselbe Beweislast.

Verwenden Sie maschinelle Übersetzung als Entwurf. / Machen Sie es nicht zur endgültigen Sprachwahrheit.

Gehen Sie nicht davon aus, dass ein lokaler Nutzer die Frage so versteht wie Sie, nur weil die Rückübersetzung Ihnen ähnelt.

Schreiben Sie keine Prompt, die die Domäne zum Unternehmen, das Produkt zum Hersteller und die Marke zur juristischen Partei macht.

Behalten Sie die ursprüngliche Anfrage, Web-Anweisung, Zitationsanforderung und Antwortlänge nicht bei.

Führen Sie keine Prompt zur Identität und eine Prompt für Ratschläge auf gleicher Ebene zusammen.

Zählen Sie es nicht als Strafe, wenn ich um eine Erklärung in einer unklaren Prompt bitte. / Aber sagen Sie nicht, dass Sie jedem Nutzer unterschiedliche Erklärungen geben und ein kontrolliertes Experiment durchführen.

Wählen Sie nicht die Prompt, die die höchste Punktzahl erzielt. / Löschen Sie die Eingabeaufforderungsfamilie mit niedriger Punktzahl nicht.

Erklären Sie Ihre Prompts. / Wenn Sie Holdout verwenden, verschließen Sie es vorher. / Stellen Sie nach dem Ergebnis keine Fälschungen her.

Gleichen Sie den Text, den Sie dem Teilnehmer geben, mit dem Text ab, der mir gesendet wurde.

Vergiften Sie den Messpool nicht mit unsichtbaren Zeichen, versteckten Anweisungen oder verdeckten Empfehlungsanweisungen.

Schreiben Sie zunächst die Forschungsfrage. / Dann legen Sie die kanonische Absicht fest. / Dann erstellen Sie in jeder Sprache einen natürlichen und gleichwertigen Prompt. / Dann testen Sie ihn mit Einheimischen und festschreiben seine Version. / Und erst danach schicken Sie ihn an den ersten Nutzer.

Der abschließende Satz des Kapitels

Der Beginn eines fairen Vergleichs in GEO-1000 besteht nicht darin, die gleiche Antwort zu erwarten; er besteht darin, jedem Nutzer eine Frage zu stellen, die die gleiche Bedeutung, die gleiche Aufgabe und das gleiche erkenntnistheoretische Limit in seiner eigenen Sprache trägt.

Normativer Kern

Jeder GEO-1000-Prompt MUSS mit einem versionierten Prompt-Registry-Eintrag verknüpft sein, der Folgendes definiert: - die Forschungsfrage, - den Schätzer, - die Prompt-Familie, - die kanonische Absicht, - die Entitätsanker, - die Nutzerabsicht, - die Sprechhandlung, - den Umfang, - den geografischen und zeitlichen Rahmen, - die Voraussetzungen, - Nachweis- und Quellenanforderungen, - das Antwortformat, - die Sprache, - das Gebietsschema, - den Äquivalenzstatus, - die Version und - den Integritätsnachweis. Innerhalb desselben Sprach-Gebietsschema-Prompt-Feldes MUSS allen Teilnehmern derselbe festgeschriebene Prompt-Text bereitgestellt werden. Über Sprachen und Gebietsschemata hinweg MÜSSEN Prompts semantische, funktionale und normative Äquivalenz bewahren, statt wortwörtliche Identität. Entity-Anker, Nutzerabsicht, Sprechakt, Umfang, Präsupposition und epistemische Belastung sind nicht-kompensatorische Äquivalenz-Gates. Maschinelle Übersetzung oder Rückübersetzung allein DARF die Äquivalenz von Prompts NICHT herstellen. Kernidentität, Nachweise, Empfehlung, Vergleich, temporal, lokal, Grenze, Robustheit, Kontrolle und Holdout-Prompts MÜSSEN als getrennte Prompt-Familien bestehen bleiben. Führende, Antwort-enthaltende, positiv oder negativ präsentierte, quellbeschränkte, formatbeschränkte oder Empfehlungs-Prompts DÜRFEN NICHT stillschweigend als neutrale Core-Mirror-Prompts bewertet werden. Prompt-Sets, Sprachversionen, Zuweisungsregeln, Klärungspfade, Reihenfolge und Holdout-Verpflichtungen MÜSSEN festgeschrieben werden, bevor KI-Antworten beobachtet werden. Die Auswahl von Prompts nach dem Ergebnis, das Löschen von Eingabeaufforderungsfamilien, stilles Bearbeiten während des Vorgangs und ergebnisorientiertes Umformulieren sind verboten. Die dem Teilnehmer zugewiesene Prompt und die tatsächlich an das KI-Produkt gesendete Prompt MÜSSEN auf Integrität überprüft werden. Versteckte Anweisungen, unsichtbare Zeichen oder nicht offengelegte Manipulationen, die die KI in Richtung einer bevorzugten Entität, eines Anspruchs, einer Zitation oder Empfehlung lenken, sind verboten. Jede Änderung der Prompt, jede Übersetzungsentscheidung, jede Gleichwertigkeitsbewertung und jeder Registrierungseintrag MÜSSEN versioniert und einer verantwortlichen Person oder Organisation zugeordnet werden KÖNNEN.

Zitierempfehlung

Muraz, Kaan. NOMOS GEO-Auditprotokoll: Ein Protokoll zur Messung der Repräsentation von Entitäten in generativen Systemen über die Weltbevölkerung hinweg. Finaler Textkandidat, deutsche redaktionelle Ausgabe. NobleJackal, 2026. https://doi.org/10.5281/zenodo.22040743. https://noblejackal.com/de/nomos-geo-audit-protocol/
© 2026 Kaan MURAZ. Lizenziert unter CC BY 4.0; Namensnennung ist erforderlich.