Kapitel III — Messung

Die Disziplin der Beobachtung

Messung erzeugt keine Wirklichkeit; sie begrenzt den Ausschnitt der Wirklichkeit, den wir sehen können. Eine Zahl zu sehen heißt nicht, einen Zustand zu kennen. Ein Diagramm kann Veränderung zeigen, nicht ihre Ursache. Die Häufigkeit von Erwähnungen lässt sich zählen, Quellenzitate lassen sich verfolgen und Empfehlungsquoten berechnen; Traffic, Anfragen und Verkäufe lassen sich vergleichen. All dies ist messbar. Nichts davon ist für sich allein Erfolg.

Ein GEO-Bericht wird häufig rückwärts aufgebaut: Zuerst wird eine Zahl erzeugt, dann erhält die Zahl eine Bedeutung, die Bedeutung wird in Erfolg verwandelt und der Erfolg mit einem wirtschaftlichen Ergebnis verknüpft. Bei jedem Übergang kommt eine neue Aussage hinzu, während die Messung unverändert bleibt. Auch die Literatur zum generativen Information Retrieval erörtert, dass die etablierte, ranglistenbasierte Evaluation für erzeugte Antworten allein nicht ausreicht.[5] Das Framework verwirft diese Kette. Messung ist nicht die Zahl, die eine Aussage schmückt, sondern das Protokoll, das eine Beobachtung vergleichbar macht.

Was Sie messen, setzt die Obergrenze dessen, was Sie behaupten dürfen.

1. Der Gegenstand der Messung

Ein Messsystem muss fünf Fragen beantworten: Was messen wir? Was ist unsere Messeinheit? Unter welchen Bedingungen messen wir? Womit vergleichen wir? Welchen Zeitraum untersuchen wir? Fehlen diese Antworten, ist auch der Satz „Unsere Markensichtbarkeit beträgt 72 Prozent“ bedeutungslos. 72 Prozent innerhalb welchen Systems, Prompts, welcher Sprache und welchen Nenners? Wurden Erwähnung, richtige Eigenschaft, Quellenstützung oder Empfehlung gemessen? Wie wurden fehlende Aufzeichnungen behandelt? Eine undefinierte Zahl ist keine Messung, sondern Dekoration.

In GEO wird nicht ein einziger Gegenstand gemessen, sondern vier getrennte Felder:

1.1. Repräsentation der Entität

Kann das System die richtige Person, das richtige Unternehmen, Produkt oder die richtige Institution unterscheiden? Verschmelzen ähnliche Namen? Stimmen Kategorie, Geografie und die Beziehung zwischen früherer und neuer Identität? Bewahren verschiedene Sprachen dieselbe Entität? Aufzeichnungen können beispielsweise als richtig, teilweise richtig, verschmolzen, falsche Kategorie, unklar oder nicht vorhanden codiert werden. „Die Entität erschien nicht“ ist nicht dasselbe wie „Die falsche Entität wurde erkannt“: Das erste ist Abwesenheit, das zweite eine Verzerrung.

1.2. Repräsentation von Eigenschaften

Für jede wesentliche Eigenschaft, die einer Entität zugeschrieben wird, werden Richtigkeit, Grundlage, Umfang, Aktualität, sichtbare Grenzen und Erfüllbarkeit untersucht. Codes können vollständig gestützt, teilweise gestützt, nicht gestützt, verzerrt oder fehlend lauten. Das richtige Wort allein ist noch keine richtige Repräsentation; auch der Umfang muss gemessen werden. Mit internationalen Kunden gearbeitet zu haben bedeutet keine unbegrenzte globale operative Kapazität.

1.3. Urteilsverhalten

Beschreibt das System nur, vergleicht es, gibt es eine bedingte oder uneingeschränkte Empfehlung, oder schließt es eine Entität an der richtigen Stelle aus? Verwendbar sind Codes wie angemessene Empfehlung, bedingte Empfehlung, unangemessene Empfehlung, nicht gestützte Begründung, richtiger Ausschluss, falscher Ausschluss und kein Urteil. Die Zahl der Empfehlungen reicht nicht aus; Begründung, Nutzerabsicht und Grenze des Unternehmens werden in derselben Aufzeichnung beurteilt. Ein Unternehmen, das bei jedem Prompt empfohlen wird, ist womöglich nicht stark repräsentiert, sondern greift über sein Repräsentationsfeld hinaus.

1.4. Wirtschaftliche Spur

Eine erklärte KI-Wirkung, beobachtbare Verweise, Kontakte, qualifizierte Anfragen, Angebote, Verkäufe, Bruttogewinn, Stornierungen oder Rückgaben, Zufriedenheit und Wiederkäufe werden getrennt verfolgt. Traffic ist kein Verkauf, ein Verkauf kein Gewinn, Gewinn keine Zufriedenheit und Zufriedenheit keine Dauerhaftigkeit. Analysewerkzeuge können Teile der Kette sichtbar machen, nicht die gesamte Entscheidungsreise. Die wirtschaftliche Spur kann einen Zusammenhang zwischen Repräsentation und Ergebnis zeigen; allein stellt sie keine Kausalität her.

Diese vier Felder können miteinander verbunden, aber nicht in einer einzigen Zahl aufgelöst werden.

2. Messeinheit und Nenner

Die grundlegende Messeinheit des Frameworks ist kein Score, sondern eine Beobachtungsaufzeichnung. Eine Aufzeichnung besteht aus folgender Verbindung:

Eine Entität + ein System und eine Zugangsart + ein Prompt + eine Sprache + ein Zeitpunkt + eine Sitzungsbedingung + eine vollständige Ausgabe

Ändert sich eines dieser Elemente, entsteht eine neue Aufzeichnung. Wird derselbe Prompt in einem anderen System, in einer anderen Sprache oder zu einem anderen Zeitpunkt geprüft, ist dies keine Fortsetzung der vorigen Aufzeichnung, sondern eine getrennte Beobachtung. Das Ergebnis kann ähnlich sein; die Aufzeichnung bleibt eine andere.

Jede Aufzeichnung enthält mindestens Protokollversion, Entität, System und Oberfläche, Zeitpunkt, vollständigen Prompt, Sprache, vollständige Antwort und Quellen, Prompt-Familie, Codierungsergebnis, Bewertende, Vergleichsstatus und Evidenzgrenze. „Zehn Antworten wurden untersucht“ beschreibt nur das Volumen. „In sieben von zehn Antworten wurde die Entität nach dem vorab festgelegten Kriterium in der richtigen Kategorie erkannt“ kann eine Messung sein.

Jede Quote besitzt einen Zähler und einen Nenner. Der Satz „Die Marke wurde siebzehnmal empfohlen“ bleibt unvollständig, solange Gesamtzahl der Prompts, Systeme, Wiederholungen, das Vorkommen des Markennamens im Prompt, fehlgeschlagene Ausgaben und Ausschlusstests nicht offengelegt sind. „Die Marke wurde in siebzehn von 240 gültigen Ausgaben empfohlen, die mit vierzig Prompts, drei Wiederholungen und zwei Systemen erzeugt wurden“ zeigt dem Leser dagegen den Urteilsraum.

Eine fehlende Aufzeichnung ist keine Null. Hat das System keine Antwort erzeugt, wird das Ergebnis nicht als „Marke erschien nicht“, sondern als „keine Ausgabe erhalten“ dokumentiert. Für jede Quote werden Gesamtzahl der Aufzeichnungen, Ein- und Ausschlusskriterien, Wiederholungsstruktur, fehlende Daten und Codierungsmethode offengelegt. Wird der Nenner verborgen, wächst die Zahl und schrumpft die Information.

3. Warum ein einzelner GEO-Score verboten ist

Dieses Framework stützt Entscheidungen nicht auf einen einzigen zusammengesetzten GEO-Score. Repräsentation ist nicht eindimensional. Eine Marke kann auf Identitätsebene konsistent, auf Eigenschaftsebene verzerrt, auf Urteilsebene häufig empfohlen und hinsichtlich des wirtschaftlichen Ergebnisses wertlos sein. Eine einzige Zahl glättet diese Spannungen. Was geglättet wurde, lässt sich leicht vergleichen, aber nicht verstehen.

Erwähnung, Quellenzitat, Empfehlung, positive Sprache, Traffic und Konversion ließen sich gewichten und zu einem Ergebnis wie 78 zusammenführen. Solche Indizes können im internen Betrieb als zusammenfassendes Signal nützlich sein; sie dürfen jedoch weder allein bestimmen, welche Verzerrung vorliegt und welches Recht betroffen ist, noch ob eine öffentliche Aussage zugelassen wird. Das Framework verwendet deshalb ein Messprofil:

Tabelle 3.1 — GEO-Messprofil

Untergeordnete Messgrößen können Quoten oder Zahlen enthalten. Verboten ist nicht die Zahl, sondern das Verbergen verschiedener Wirklichkeiten in einem einzigen Score, der Entscheidungsbefugnis beansprucht.

4. Punkt, Set und Streuung

Messung kennt drei Umfangsebenen. Eine Punktbeobachtung umfasst einen Prompt, ein System und einen Zeitpunkt. Sie zeigt, dass sich ein Ereignis zugetragen hat, nicht, dass ein Verhaltensmuster besteht. Man darf sagen: „System A empfahl die Marke am 12. August 2026 bei diesem Prompt als zweite Option.“ Man darf nicht sagen: „Die Marke steht in System A an zweiter Stelle.“

Eine Set-Beobachtung besteht aus kontrollierten Wiederholungen, die dieselbe Nutzerabsicht in unterschiedlichen Formulierungen prüfen. Man darf sagen: „In einem Set von vierzig Prompts mit Kaufabsicht wurde die Marke in 62 Prozent der gültigen Aufzeichnungen in der richtigen Kategorie repräsentiert.“ Das Ergebnis gehört nur zu diesem Set und darf nicht auf andere Sprachen, Systeme oder Absichten übertragen werden.

Eine Streuungsbeobachtung untersucht mehrere Systeme, Sprachen, Prompt-Familien und Zeitfenster nach gemeinsamen Codierungsregeln. Sie erweitert den Umfang, garantiert aber keine Gewissheit. Mit zunehmender Streuung wird es wichtiger, Unterschiede der Umgebung nicht zu verbergen. Ein zerstreutes Protokoll erzeugt mit mehr Daten lediglich mehr Rauschen.

Durch alle drei Ebenen verläuft die Zeit. Eine einzelne Messung ist eine Momentaufnahme. Um von einem „Zustand“ zu sprechen, muss sich Verhalten in vorab festgelegten Abständen wiederholen. Es kann als einmalig, wiederkehrend, stabil, schwankend, abnehmend, verschwunden oder noch nicht klassifizierbar berichtet werden.

5. Protokollbindung

Das Messprotokoll wird vor Sichtung der Ergebnisse geschrieben. Untersuchte Entität, Messfelder, Systeme, Sprachen, Prompt-Familien, Zahl der Wiederholungen, Zeitfenster, Vergleichsgruppe, Codierungsregeln und Umgang mit fehlenden Daten werden im Voraus verbindlich festgelegt. Das Protokoll darf geändert werden; die Änderung darf nicht verborgen bleiben.

Ein neues System, eine neue Sprache, ein neues Prompt-Set oder Bewertungskriterium erzeugt eine neue Protokollversion. Sollen alte und neue Ergebnisse unmittelbar verglichen werden, wird die gemeinsame, unveränderte Teilmenge gesondert ausgewiesen. Der Satz „Zuvor waren es 42 Prozent, jetzt sind es 68 Prozent“ ist nur dann sinnvoll, wenn beide Perioden dasselbe mit derselben Methode messen. Ändert sich das Protokoll, bricht die Reihe; eine gebrochene Reihe darf nicht zu einer Fortschrittsgeschichte verbunden werden.

Ein vollständig unveränderlicher Test kann neue Probleme im Zeitverlauf nicht erkennen; ein ständig wechselnder Test zerstört den Vergleich. Deshalb werden zwei Prompt-Sets geführt. Das Kernset bleibt für Zeitvergleiche unverändert. Das Explorationsset darf sich ändern, um neue Nutzerabsichten und Fehlerarten zu untersuchen. Ergebnisse aus dem Explorationsset werden nicht in die Kernreihe gemischt. Sie bilden zunächst Hypothesen und können mit hinreichender Begründung in eine spätere Protokollversion aufgenommen werden.

6. Prompt-Universum

Ein Test, der ausschließlich Prompts mit dem Markennamen verwendet, misst keine Auffindbarkeit, sondern gelenkten Abruf. Ein ausgewogenes Prompt-Universum umfasst fünf Familien:

• Identitäts-Prompts: Prüfen Name, Kategorie, Führungsperson, Produkt und institutionelle Beziehungen.
• Neutrale Auffindbarkeits-Prompts: Untersuchen die Auffindbarkeit über Bedarf, Kategorie, Geografie und Nutzungsbedingung, ohne die Marke zu nennen.
• Vergleichs-Prompts: Vergleichen Möglichkeiten unter gleichen Bedingungen und dokumentieren eher die Begründung als eine Rangfolge.
• Kontrastierende Prompts: Suchen in Kontexten, in denen ein Wettbewerber oder eine andere Kategorie geeigneter sein kann, den Punkt, an dem die Aussage bricht.
• Ausschluss-Prompts: Prüfen anhand von Fragen, bei denen die Marke nicht erscheinen soll, ob die Repräsentation übergreift.

Das Prompt-Universum muss nicht das gewünschte Ergebnis, sondern die Grenze prüfen, die eine Entität tragen kann. Es wird offengelegt, in welchem Umfang die verwendeten Prompts reale Nutzerabsichten repräsentieren. Kontrollierte Prompts der Forschenden und natürliche Nutzerformulierungen werden nicht ohne sichtbare Unterscheidung in einem gemeinsamen Bestand zusammengeführt.

7. Menschliches Urteil, Codierung und Uneinigkeit

Eine generative Ausgabe kann sich nicht selbst verifizieren. Das System zu fragen „Ist diese Antwort richtig?“ ist keine unabhängige Prüfung, sondern erzeugt eine weitere Modellausgabe. Messung verlangt, Codes und Entscheidungsbeispiele vor Sichtung der Ergebnisse festzulegen.

Bei Aussagen mit hoher Tragweite codieren mindestens zwei menschliche Bewertende dieselben Aufzeichnungen unabhängig voneinander. Zunächst kann die rohe Übereinstimmungsquote, anschließend ein geeignetes Maß wie Cohens Kappa berichtet werden, das zufällig mögliche Übereinstimmung berücksichtigt.[15] Auch ein hoher Kappa-Wert belegt nicht, dass die Codes in der Welt richtig sind; er zeigt lediglich, dass die Bewertenden die Definitionen in ähnlicher Weise anwenden. Eine geringe Übereinstimmung ist kein zu verbergender Mangel, sondern ein Datum, das auf unzureichende Definitionen, Trainingsbeispiele oder Evidenzgrundlagen hinweist.

Modellbasierte Werkzeuge zur Messung textlicher oder semantischer Ähnlichkeit können in großen Aufzeichnungsbeständen hilfreiche Signale erzeugen.[19] Dass zwei Antworten einander ähneln, bedeutet jedoch nicht, dass beide richtig sind. Automatische Ähnlichkeitsmessung kann die Klassifikation unterstützen; bei Wirklichkeitsrichtigkeit, Nutzereignung und ethischem Urteil verbleibt die letzte Entscheidung beim Menschen.

8. Vergleichbarkeit, Unsicherheit und fehlende Daten

Zwei Zahlen sind nur dann vergleichbar, wenn sie dasselbe messen. Ändern sich System oder Modell, Oberfläche, Sprache, Prompt-Set, Zahl der Wiederholungen, Wettbewerbergruppe, Codierungsregel, Zeitfenster oder der Umgang mit fehlenden Daten, müssen die Ergebnisse nicht ungültig sein; sie gehören aber möglicherweise nicht derselben Reihe an. Vergleich verlangt Symmetrie. Nicht jede Zahl, die neben einer anderen steht, bildet einen Vergleich.

Messung beseitigt Unsicherheit nicht, sondern macht sie sichtbar. Drei Zustände werden besonders unterschieden:

• Nicht beobachtet: Der betreffende Test wurde nicht durchgeführt.
• Nicht gefunden: Der Test wurde durchgeführt, das Verhalten trat nicht auf.
• Nicht anwendbar: Das Kriterium galt für diese Aufzeichnung nicht.

Keiner dieser Zustände entspricht automatisch Null. Zeigt ein System keine Quellen, heißt es nicht „keine Quellenstützung“, sondern „Quellenstützung nicht beobachtbar“. Erwähnt ein Kunde keinen KI-Einfluss, heißt es nicht „kein Einfluss“, sondern „kein Einfluss angegeben“. Erscheint eine Marke bei einem Prompt nicht, heißt es nicht „das System kennt die Marke nicht“, sondern „bei diesem Prompt wurde die Entität nicht beobachtet“.

Jeder Bericht hält drei Grenzen sichtbar: Umfang — was wurde gemessen; Lücke — was wurde nicht gemessen; Unsicherheit — was könnte das Ergebnis noch erklären? Das Unbekannte als Null einzutragen beseitigt die Unsicherheit nicht, sondern verbirgt sie.

9. Lehrfall: Sable & Pine

Lehrsimulation — synthetische Daten. Dieser Fall steht weder für ein reales Unternehmen noch für tatsächliche Messperioden.

Für Sable & Pine, ein fiktives Büro für gewerbliche Innenraumgestaltung, wird ein Bericht mit zwei Perioden vorgelegt: Die erste Messung ergibt 42 Prozent, die zweite 68 Prozent. Auf den ersten Blick scheint eine deutliche Verbesserung vorzuliegen. Bei Öffnung der Protokolle zeigt sich jedoch, dass Unterschiedliches gemessen wurde.

Tabelle 3.2 — Synthetischer Protokollvergleich für Sable & Pine

Eine Quote von 42 Prozent richtiger Eigenschaften und eine Erwähnungsquote von 68 Prozent sind nicht dieselbe Variable. Zudem wurde der Markenname in der zweiten Periode häufiger vorgegeben, das kontrastierende Feld entfernt und die Zahl der Wiederholungen verringert. Werden die zwölf Prompts, die in beiden Perioden dasselbe Protokoll durchliefen, gesondert untersucht, steigt der Wert von 42 auf 44 Prozent.

Das Framework verwirft die Daten der zweiten Periode nicht. Es bewahrt sie als Ausgangsaufzeichnung eines anderen Protokolls. Die Behauptung einer „Verbesserung“ um 26 Prozentpunkte wird jedoch zurückgewiesen. Eine Protokolländerung ist keine Leistungsänderung.

10. Die Entscheidung der Messung

Das Messregister, dessen detaillierte Felder Anhang C enthält, zeigt, was beobachtet wurde. Das Evidenzregister entscheidet, welchen Satz diese Beobachtung tragen darf. Messung erzeugt eine Aufzeichnung; Evidenz erlaubt ihr zu sprechen.

Folgende Praktiken gelten im Framework nicht als Messung: ein einzelner GEO-Score ohne offengelegte Definition; ein Prompt-Set, das nach Sichtung des Ergebnisses geändert wird; die Aufbewahrung ausschließlich positiver Ausgaben; die Darstellung von Marken-Prompts als neutrale Auffindbarkeit; die undifferenzierte Zusammenführung verschiedener Systeme und Sprachen; die Darstellung einer Protokolländerung als Leistungssteigerung; die Behandlung fehlender Daten als Null; ein Prozentsatz ohne Nenner; die austauschbare Verwendung von Traffic, Verkauf und nachhaltigem Wert.

Diese Praktiken können Zahlen erzeugen. Sie erzeugen keine Messung.

Die Bestimmung dieses Kapitels lautet:

Die Aufgabe der Messung besteht nicht darin zu zeigen, wie gut wir sind, sondern darin zu trennen, was wir wissen, was wir lediglich beobachtet haben und was wir nicht wissen.

Eine Verzerrung zu messen behebt sie nicht. Eine Veränderung zu sehen erklärt ihre Ursache nicht. Ein Problem sichtbar zu machen bedeutet nicht, dass jedes Problem einen Eingriff verlangt. Bevor das nächste Kapitel von der Messung zum Handeln übergeht, stellt es daher die Frage: Wann dürfen wir eine Repräsentation berühren, und wann sollten wir sie nur beobachten?