Kapitel II — Evidenz

Die Grenze der Aussage

Evidenz vergrößert eine Aussage nicht; sie begrenzt sie. Eine Antwort gesehen zu haben heißt nicht, ein Verhalten zu kennen. Ein Bildschirmfoto hält einen Augenblick fest, nicht die allgemeine Haltung eines Systems. Eine Marke kann in einer Antwort erscheinen, ein Text als Quelle genannt, ein Unternehmen empfohlen werden; ein Kunde kann erklären, KI habe seine Entscheidung beeinflusst. All dies sind Beobachtungen. Keine davon begründet für sich allein ein allgemeines Urteil.

Die Sätze „Wir sind erschienen“, „Wir wurden empfohlen“, „Wir haben unsere Wettbewerber übertroffen“ und „GEO hat unseren Umsatz gesteigert“ tragen nicht dasselbe Gewicht. Jeder fügt dem vorhergehenden Satz eine neue Folgerung hinzu; jede neue Folgerung verlangt ein breiteres und qualifizierteres Evidenzfeld. Eine einzelne Modellantwort kann nur belegen, dass diese Antwort entstanden ist. Die Aussage eines Kunden kann zeigen, dass KI bei seiner Entscheidung eine Rolle spielte, nicht aber, dass allein dieses System den Verkauf erzeugte. Ein Anstieg des Traffics kann mehr Besuche in einem bestimmten Zeitraum belegen, nicht, dass eine bestimmte Maßnahme den Anstieg verursachte.

Eine Aussage darf nur so weit reichen wie die Evidenz, die sie trägt.

1. Evidenz ist kein Schmuck, sondern eine tragende Beziehung

Keine Aufzeichnung ist aus sich heraus stark. Ihre Stärke richtet sich nach dem Satz, den sie tragen soll. Ein einzelnes Bildschirmfoto, bei dem Datum, Prompt und vollständige Antwort erhalten sind, kann folgende Aussage tragen: „Dieses System verwendete in seiner Antwort auf diesen Prompt an diesem Datum den Namen der Marke.“ Dieselbe Aufzeichnung kann den Satz „Generative KI-Systeme empfehlen unsere Marke nachdrücklich“ nicht tragen. Die Beobachtung ist gleich geblieben; die Aussage ist gewachsen.

Um aus einer wahren Beobachtung ein ungültiges Urteil zu gewinnen, muss man die Daten nicht verändern; es genügt, ihre Grenze zu tilgen. Evidenzdisziplin beurteilt deshalb zuerst den Satz, nicht die Daten. „Unser Name wurde genannt“ ist eine Beobachtung; „wir wurden richtig beschrieben“ betrifft die Repräsentation; „wir wurden häufiger empfohlen als die ausgewählten Wettbewerber“ ist ein Vergleich; „die Veränderung wurde durch unseren Eingriff verursacht“ ist eine Kausalitätsaussage; „diese Repräsentation brachte uns profitable Kunden“ behauptet eine wirtschaftliche Wirkung. Dieselbe Aufzeichnung kann nicht all diese Sätze tragen.

Trägt die Evidenz die Last nicht, wird der Satz enger gefasst. Unsicherheit wird nicht verborgen und eine Lücke nicht mit Erfolgssprache überdeckt. Eine Aussage, die nicht zur Evidenz passt, wird nicht geschönt, sondern verworfen.

Diese Haltung ist keine übertriebene Vorsicht. Frühe Untersuchungen zu generativen Suchsystemen haben gezeigt, dass Quellen in einer Antwort nicht gewährleisten, dass sie sämtliche Aussagen dieser Antwort stützen.[2] Auch ein führender Produktanbieter räumt in seiner eigenen Dokumentation ausdrücklich ein, dass generative Antworten falsche Angaben, erfundene Quellenverweise oder übermäßige Gewissheit hervorbringen können.[6] Befunde einer Studie zu bestimmten Systemen zu einem bestimmten Zeitpunkt lassen sich nicht auf alle heutigen Produkte übertragen. Die darin sichtbar gewordene Unterscheidung bleibt jedoch bestehen: Das Vorhandensein einer Quellenangabe und die ausreichende Stützung einer Aussage sind nicht dasselbe.

2. Drei Evidenzfelder

In GEO wird über drei verschiedene Wirklichkeiten gesprochen: die reale Welt, die generative Repräsentation und das wirtschaftliche Ergebnis. Diese Felder können miteinander verbunden werden, aber keines kann das andere ersetzen.

2.1. Realitätsnachweis

Ein Realitätsnachweis trägt die grundlegende Wahrheit über eine Person oder ein Unternehmen. Besitzt das Unternehmen dieses Zertifikat tatsächlich? Richtet sich das Hotel wirklich ausschließlich an Erwachsene? Verfügt das Produkt über die genannte Eigenschaft? Kann das Unternehmen in den behaupteten Regionen Leistungen erbringen? Die Antworten auf diese Fragen stammen nicht aus dem generativen System. Das System kann eine Behauptung wiederholen; Wiederholung ist keine Verifizierung.

Welche Art von Realitätsnachweis angemessen ist, hängt von der Aussage ab. Register zuständiger Stellen, gültige Zertifikate, Verträge, prüfbare Leistungsdaten, offizielle Unternehmensunterlagen und verlässliche unabhängige Veröffentlichungen können sie tragen. Auch die eigene Website des Unternehmens ist eine Aufzeichnung; sie verwandelt jedoch eine eigene Überlegenheitsbehauptung nicht in eine unabhängige Tatsache. Unabhängigkeit, Aktualität und Umfang der Quelle sowie ihr unmittelbarer Bezug zur Aussage werden gesondert beurteilt.

2.2. Repräsentationsnachweis

Ein Repräsentationsnachweis zeigt, was ein System unter bestimmten Bedingungen erzeugt hat: Welches System und welche Oberfläche wurden genutzt, welcher Prompt, welches Datum, welche Sprache und welche Sitzungsbedingungen lagen vor, wie lautete die vollständige Antwort, und welche Quellen wurden gezeigt? Dieser Nachweis beschreibt nicht, wie die Welt beschaffen ist, sondern wie das System sie neu zusammengesetzt hat.

Dass ein Unternehmen ein Zertifikat besitzt, belegt nicht, dass das System davon richtig Kenntnis hat. Dass eine offizielle Leistungsseite existiert, zeigt nicht, dass das System das Unternehmen mit dieser Leistung verbindet. Die richtige Information kann veröffentlicht und die Repräsentation dennoch falsch sein. Ohne den Vergleich von Realitäts- und Repräsentationsnachweis lässt sich die Integrität der Repräsentation nicht beurteilen.

2.3. Ergebnisnachweis

Ein Ergebnisnachweis verfolgt die Spur der Repräsentation beim Nutzer und im Unternehmen. Hat der Nutzer die Antwort gesehen? Spielte sie bei seiner Entscheidung eine Rolle? Nahm er Kontakt zum Unternehmen auf? War die Anfrage qualifiziert? Kam ein Verkauf zustande? War die Leistungserbringung profitabel und erfolgreich? Wiederholte sich die Beziehung? Jede Stufe verlangt eine eigene Aufzeichnung.

Eine Rechnung belegt, dass ein Geschäft stattgefunden hat, nicht, dass KI den Verkauf erzeugte. Die Aussage „Ich habe Sie bei ChatGPT gesehen“ ist ein Wirkungssignal; sie beseitigt nicht die anderen Berührungspunkte des Nutzers. Ein Verweisprotokoll kann eine Bewegung im Traffic zeigen, aber nicht die gesamte Entscheidungsreise. Ergebnisnachweise stellen häufig nur einen partiellen Zusammenhang zwischen Ereignissen her. Ein partieller Zusammenhang ist keine vollständige Kausalität.

Tabelle 2.1 — Funktion und Grenze der drei Evidenzfelder

Ein richtiges Dokument im falschen Evidenzfeld führt zu einem ungültigen Urteil.

3. Vom Signal zur Aussage

Der Satz „Wir haben Daten“ verrät nichts über deren Status. Das Framework unterscheidet fünf Stufen: Signal, Beobachtung, Anekdote, Evidenz und Aussage.

Ein Signal ist eine Spur, die eine Untersuchung verdient: die Erwähnung einer Marke in einer Antwort, steigender Traffic, der Hinweis eines Kunden auf ein KI-System oder das Ausbleiben eines Wettbewerbers in bestimmten Antworten. Ein Signal wirft eine Frage auf; es begründet kein Urteil.

Eine Beobachtung ist ein Signal, dessen Kontext dokumentiert wurde. System, Prompt, Datum, Sprache, vollständige Ausgabe und Beobachter sind bekannt. Sie zeigt, was sich ereignet hat, nicht das allgemeine Verhalten.

Eine Anekdote entsteht, wenn aus einem Einzelereignis eine weiter reichende Geschichte wird. Das Ereignis kann wahr und die damit verbundene Verallgemeinerung dennoch unzureichend sein. Die Erwähnung von KI durch einen Kunden begründet ebenso wenig das Urteil „KI bringt uns Kunden“ wie eine Empfehlung in einer Antwort das Urteil „Das System empfiehlt uns“. Eine Anekdote muss keine Lüge sein; sie reicht nur nicht aus, um eine Verhaltensregel zu begründen.

Evidenz ist eine Gesamtheit von Aufzeichnungen, die so geordnet sind, dass sie eine bestimmte Aussage tragen. Ihr Rohmaterial ist verfügbar, ihr Kontext bleibt erhalten, Vergleiche wurden vorgenommen, entgegenstehende Ergebnisse wurden bewahrt und ihre Grenzen festgehalten. Evidenz beseitigt Unsicherheit nicht. Sie zeigt, wo Unsicherheit beginnt.

Eine Aussage ist ein präziser und prüfbarer Satz, den die Evidenz tragen soll. „GEO funktioniert“ kann ein Slogan sein, ist aber keine prüfbare Aussage. Der Satz „In der festgelegten Gruppe aus dreißig Prompts nahm die richtige Repräsentation von Eigenschaften zwischen diesen beiden Messperioden zu“ legt dagegen Universum, Vergleich und Grenze offen.

4. Erwähnung, Quellenzitat und Empfehlung

Diese drei Beobachtungen werden häufig wie Stufen ein und derselben Erfolgsleiter dargestellt. Sie sind jedoch weder dasselbe Ereignis noch besitzen sie dasselbe Evidenzgewicht.

Eine Erwähnung liegt vor, wenn der Name der Entität in einer Antwort erscheint. Das System kann die Entität in einem richtigen oder falschen Zusammenhang nennen, mit einer anderen Entität verwechseln oder als kritisches Beispiel verwenden. Die Namensnennung zeigt sprachliche Präsenz, nicht, dass die Entität verstanden wurde.

Ein Quellenzitat liegt vor, wenn das System einen bestimmten Text mit seiner Antwort verknüpft. Diese Verbindung wird in zwei getrennten Schritten geprüft. Die Attributionsprüfung untersucht, welcher Aussage die Quelle zugeordnet wurde; die Stützungsprüfung, ob die Quelle diese Aussage tatsächlich trägt. Die Quelle kann richtig sein und den Satz dennoch nicht stützen; sie kann zu einer anderen Entität gehören, veraltet oder in ihrem Umfang zu eng sein. Als Quelle genannt zu werden ist nicht dasselbe wie durch die Quelle gestützt zu werden.

Eine Empfehlung liegt vor, wenn das System eine Entität unter bestimmten Möglichkeiten als für den Nutzer geeignet darstellt. Sie liegt nahe am wirtschaftlichen Ergebnis, ist aber nicht das wirtschaftliche Ergebnis. Sie entstand innerhalb dieses Prompts, Systems, dieser Sprache, dieses Zeitpunkts und dieser Alternativenmenge. Eine Empfehlung ist ein Einfluss auf die Entscheidung, kein Kaufnachweis.

Die Grenzen zwischen den Stufen sind eindeutig: Eine Erwähnung beweist nicht automatisch eine richtige Repräsentation, eine richtige Repräsentation keine Empfehlung, eine Empfehlung keinen Kontakt, ein Kontakt keinen Verkauf, ein Verkauf keine Profitabilität und Profitabilität keine Nachhaltigkeit.

5. Fünf Bedingungen der Evidenz

Damit eine Beobachtung eine öffentliche Aussage tragen kann, sind fünf Bedingungen gemeinsam zu beurteilen.

5.1. Kontext

Für jede Beobachtung werden System und Zugangsart, Datum und Uhrzeit, vollständiger Prompt, Sprache, vollständige Ausgabe, angezeigte Quellen und Beobachter festgehalten. Soweit bekannt, werden auch Bedingungen vermerkt, die das Ergebnis wesentlich beeinflussen können, etwa Kontotyp, neuer oder fortgesetzter Dialog sowie Speicher- oder Suchstatus. Ist das System unbekannt, lässt sich die Aufzeichnung nicht vergleichen; ist der Prompt unbekannt, kann sie nicht erneut geprüft werden; fehlt das Datum, kann die Veränderung nicht verfolgt werden. Eine Ausgabe ohne Kontext ist keine Evidenz, sondern eine Erinnerung.

5.2. Nachvollziehbarkeit

Evidenz muss einer unabhängigen Prüfung zugänglich sein. Vollständiger Prompt und Ausgabe bleiben erhalten; Quellenlinks, Zugriffsdatum und gegebenenfalls eine Archivkopie werden gesichert; Rohdaten und menschliche Deutung werden getrennt; ein synthetisches Beispiel wird nicht als reale Beobachtung ausgegeben. Ein beschnittenes Bildschirmfoto zeigt meist nur den Ausschnitt, den sein Erzähler ausgewählt hat. Eine nicht nachvollziehbare Aufzeichnung kann nicht auditiert werden; eine nicht auditierbare Aufzeichnung darf keine öffentliche Aussage mit hoher Tragweite tragen.

5.3. Verhaltensbezogene Reproduzierbarkeit

Reproduzierbarkeit in generativen Systemen bedeutet nicht, jedes Mal dieselben Wörter zu sehen. Sie bedeutet, dass unter ähnlichen Bedingungen dasselbe Repräsentationsverhalten erneut auftritt. Ein Satz kann sich ändern, während die falsche Kategorie bestehen bleibt; die Wörter können wechseln, während dieselbe wesentliche Grenze erneut fehlt. Eine einzelne Aufzeichnung ist ein Ereignis. Vorab festgelegte kontrollierte Wiederholungen können ein Verhaltensmuster bilden, dessen Umfang ausgewiesen ist. Gesucht wird nicht derselbe Satz, sondern dasselbe Repräsentationsverhalten.

5.4. Vergleich und Gegenevidenz

Ein Test, der ausschließlich nach positiven Ergebnissen sucht, erzeugt keine Validierung, sondern Auswahl. Unter gleichen Bedingungen muss die Marke mit relevanten Alternativen verglichen werden. Das Testset muss außerdem neutrale Prompts enthalten, in denen der Markenname nicht genannt wird, kontrastierende Prompts, in denen ein Wettbewerber oder eine andere Kategorie geeigneter sein kann, sowie Ausschlussprompts, in denen die Marke nicht erscheinen soll. Verengt ein entgegenstehendes Ergebnis die Aussage, ist dies keine Schwäche der Methode, sondern Ausdruck funktionierender Evidenzdisziplin.

5.5. Grenze

Jede Aufzeichnung muss die Frage „Was belegt diese Beobachtung nicht?“ ausdrücklich beantworten. Verhalten in einem System belegt nicht das Verhalten anderer Systeme; ein Ergebnis in einer Sprache nicht das Ergebnis in anderen Sprachen; eine einwöchige Beobachtung keine Dauerhaftigkeit; eine Empfehlung keinen Kundengewinn; eine Kundenaussage keine vollständige Kausalität; ein Verkauf keine Nachhaltigkeit. Wer nicht sagt, was eine Aufzeichnung nicht belegt, weiß auch nicht hinreichend, was sie belegt.

6. Aussageschwellen

Je weiter eine Aussage reicht, desto höher liegt ihre Evidenzschwelle. Das Framework verwendet fünf Schwellen:

1. Beobachtungsaussage: „Dieses System verwendete in diesem Prompt an diesem Datum den Namen der Marke.“ Vollständiger Prompt, Datum und Rohdaten können genügen.
2. Aussage über ein Verhaltensmuster: „Im festgelegten Prompt-Set wurde die Marke überwiegend in der richtigen Kategorie repräsentiert.“ Erforderlich sind ein kontrolliertes Set, Wiederholungen, Zeitraum, Codierungskriterium und Abweichungsaufzeichnungen.
3. Vergleichende Aussage: „Im selben Testset wurde die Marke häufiger mit richtigen Eigenschaften repräsentiert als die festgelegten Alternativen.“ Alle Parteien müssen dasselbe System, denselben Zeitraum, dieselben Prompts und dasselbe Bewertungsprotokoll durchlaufen.
4. Eingriffs- oder Kausalitätsaussage: „Der vorgenommene Eingriff trug zur Veränderung bei.“ Erforderlich sind Vorher-nachher-Aufzeichnungen, Eingriffsprotokoll, ein hinreichendes Beobachtungsfenster und alternative Erklärungen. Was später geschieht, muss nicht dadurch verursacht worden sein.
5. Aussage zur wirtschaftlichen Wirkung: „KI-vermittelte Auffindbarkeit stand im festgelegten Zeitraum mit qualifizierten Anfragen und Verkäufen in Zusammenhang.“ Kundenaussage oder Verweis, CRM-Abgleich, Anfragequalität, Verkauf, Profitabilität und andere Kontaktkanäle werden gemeinsam untersucht.

Diese Schwellen sind keine Punkteskala. Eine höhere Schwelle bedeutet nicht, dass „bessere“ Arbeit geleistet wurde, sondern dass ein weiter reichender Satz eine größere Last trägt. Reicht die Evidenz nur für die erste Schwelle, besteht das richtige Urteil darin, dort stehen zu bleiben.

7. Vier Felder der Gegenevidenz

Ein belastbares Testuniversum enthält vier Felder zugleich. Das stützende Feld umfasst Prompts, bei denen eine richtige Repräsentation der Entität zu erwarten ist; das neutrale Feld untersucht Auffindbarkeit anhand von Bedarf und Kategorie, ohne den Markennamen zu nennen; das kontrastierende Feld enthält Bedingungen, unter denen eine andere Möglichkeit geeigneter sein kann; das Ausschlussfeld umfasst Kontexte, in denen die Entität nicht erscheinen soll.

Besonders wichtig ist das Ausschlussfeld. Überall zu erscheinen ist kein Erfolg; in irrelevanten Zusammenhängen zu erscheinen ist ein Übergreifen der Repräsentation. Das Framework misst nicht nur, wann eine Entität ausgewählt wird, sondern auch, wann sie zurücktritt. Arbeit, die keine Gegenevidenz sucht, prüft nicht die Wirklichkeit. Sie bestätigt sich selbst.

8. Lehrfall: Aurelis Packaging

Lehrsimulation — synthetische Daten. Dieser Fall steht weder für ein reales Unternehmen oder eine reale Quellenseite noch für eine tatsächliche Systemantwort.

Aurelis Packaging ist ein fiktiver Hersteller industrieller Verpackungen. Eine generative Antwort beschreibt das Unternehmen als „zu hundert Prozent aus recyceltem Material produzierend, klimaneutral und marktführend“ und verweist auf seine Nachhaltigkeitsseite.

Tabelle 2.2 — Synthetische Stützungsprüfung für Aurelis Packaging

Die Quellenangabe ist echt; der überwiegende Teil des Urteils wird von der Quelle nicht getragen. Das Problem liegt nicht nur in der Erweiterung durch das System. Wiederholt das Unternehmen diese positive Erzählung in einer eigenen Kampagne, verwendet es die generative Ausgabe anstelle eines Realitätsnachweises. Das Framework billigt die Aussage nicht deshalb, weil eine Quelle vorhanden ist; es führt jeden Satz auf die Grenze zurück, die seine Quelle tatsächlich trägt.

Die stärkste Aussage, die sich aus diesem Fall veröffentlichen ließe, lautet: „Aurelis Packaging gibt an, in einer bestimmten Produktlinie an zwei Standorten einen Pilotbetrieb mit einem Anteil von 40 Prozent recyceltem Material durchzuführen.“ Da für Klimaneutralität und Marktführerschaft keine unabhängige Evidenz mit angemessenem Umfang vorliegt, werden diese Aussagen verworfen.

9. Die Entscheidung der Evidenz

Jede wesentliche Aussage wird über ein Evidenzregister, dessen Einzelheiten Anhang C enthält, einer von vier Entscheidungen zugeordnet: verworfen, weitere Beobachtung erforderlich, ausschließlich als interne Hypothese verwendbar oder mit begrenzter Formulierung veröffentlichbar. Das Register wird nicht ausgefüllt, um eine Aussage zu bestätigen, sondern um zu entscheiden, ob sie zugelassen werden darf.

Sprache ist untrennbarer Teil dieser Entscheidung. Statt „Die KI sieht uns als Marktführer“ heißt es: „In den drei festgelegten Prompts bezeichnete das System die Marke als marktführend; eine unabhängige Stützung wurde nicht gefunden.“ Statt „Dank GEO ist der Umsatz gestiegen“ heißt es: „Nach dem Eingriff wurde ein Umsatzanstieg beobachtet; Kausalität ließ sich nicht feststellen.“ Begrenzte Sprache mag weniger eindrucksvoll erscheinen, trägt aber mehr Gewicht.

Eine Aufzeichnung ohne Evidenzstatus muss nicht verworfen werden. Eine einzelne Ausgabe, ein beschnittenes Bildschirmfoto, ein unerklärter Score, ein Traffic-Anstieg oder eine Kundenaussage kann als Signal eine Untersuchung anstoßen. Es darf ihm nur keine Last zugewiesen werden, die es nicht tragen kann.

Die Bestimmung dieses Kapitels lautet:

Ohne Evidenz gibt es keine Aussage. Bei schwacher Evidenz gibt es nur eine enge Aussage. Eine starke Aussage darf nur auf starker, nachvollziehbarer und in ihren Grenzen offengelegter Evidenz beruhen.

Das Zentrum bestimmte, was repräsentiert wird; Evidenz begrenzte, was über diese Repräsentation gesagt werden darf. Nun ist festzulegen, unter welchen Bedingungen, in welcher Einheit und im Vergleich womit die Beobachtungen aufgezeichnet werden, die diese Last tragen sollen.