Kapitel VIII — Audit

Wie eine Aussage zur Entscheidung wird

Ein Audit erzeugt keine Verifizierung; er entscheidet, innerhalb welcher Grenzen eine Aussage sprechen darf. Er ist kein neues Glied, sondern die Entscheidungsvorrichtung, in der die vorherigen Glieder zusammenwirken. Das Zentrum begrenzte den Gegenstand, Evidenz den Satz, Messung die Beobachtung, Eingriff die Handlung, Governance die Befugnis, Zeit die Gültigkeit und die abschließende Prüfung den Unternehmenswert. Der Audit führt all dies in einer einzigen nachvollziehbaren Akte zusammen.

Ein Unternehmen kann eine Auditdienstleistung kaufen, aber kein positives Ergebnis. Ein Anwender kann ein Honorar erhalten, aber keine Freigabe verkaufen. „Wir sind in KI-Systemen stark; beweisen Sie das“ ist ein Publikationsauftrag mit vorab feststehendem Ergebnis. „Beurteilen Sie, wie wir in generativen Systemen repräsentiert werden, wie dies mit Kundenergebnissen zusammenhängt und welche Sätze wir sagen dürfen“ ist dagegen ein auditierbarer Auftrag.

Ein Audit beginnt nicht mit der Datensammlung. Zuerst öffnet er den Satz, über den entschieden werden soll: Was genau wird gesagt? Wer wird es verwenden? Welche Entscheidung wird sich darauf stützen? Welchen Umfang und welches Risiko besitzt es, und bis wann wird es gelten? Hinzu kommt eine weitere Frage: Welche negativen Ergebnisse werden von vornherein nicht akzeptiert? Lässt ein Unternehmen nur ein positives Urteil zu, beginnt kein Audit. Ein Verfahren, dessen Ergebnis nicht im Voraus offen ist, ist kein Audit, sondern Inszenierung.

1. Die sieben Fragen des Audits

Jeder Audit beantwortet folgende sieben Fragen:

1. Welche Entität und welche Repräsentation werden untersucht?
2. Welche Realitäts-, Repräsentations- und Ergebnisnachweise tragen die Aussagen?
3. Mit welchem Protokoll wurden die Beobachtungen gemessen?
4. Ist bei einer Verzerrung ein Eingriff erforderlich, verhältnismäßig und legitim?
5. Wer traf die Entscheidung, und bei wem verblieb die Verantwortung?
6. Sind Aufzeichnungen und Befugnisse noch gültig?
7. Falls der Umfang wirtschaftlich ist: Hat der KI-Einfluss nachhaltigen Wert hinterlassen?

Ein Audit muss nicht jede Frage mit derselben Tiefe behandeln. Er kann ausschließlich die Repräsentation einer Identität untersuchen. Die Arbeit wird dadurch nicht ungültig, darf aber kein wirtschaftliches Urteil fällen. Er kann Repräsentationen in bestimmten Systemen und Sprachen bewerten, aber kein Eignungszeichen vergeben. Eine Lücke ist kein Mangel. Eine verborgene Lücke ist ein Mangel.

Das Ergebnis ist kein einzelner Score, sondern ein Prüfungsurteil. Es kann besagen, dass eine Aussage nicht gestützt ist, nur in begrenztem Umfang getragen werden kann, eine wesentliche Verzerrung verifiziert wurde, keine Grundlage für einen Eingriff besteht, ein begrenzter Eingriff angemessen ist, ein wirtschaftlicher Beitrag beobachtet wurde, ein nachhaltiger Beitrag nicht gezeigt wurde, das Ergebnis aus ethischen oder Governance-Gründen ungültig ist oder die Aufzeichnungen abgelaufen sind. Der Wert des Audits liegt nicht darin, ein positives Ergebnis zu erzeugen, sondern auch ein negatives tragen zu können.

2. Zulassungsschwelle zum Audit

Nicht jeder Auftrag wird zum Audit zugelassen. Sechs Bedingungen sind erforderlich.

Klarheit der Entität: Unternehmen, Marke, Person, Produkt, Leistung oder Gruppe werden eindeutig bestimmt. Eine Holding und eine einzelne Marke sowie die reale Identität eines Autors und sein Pseudonym können zusammenhängen, müssen aber nicht dieselbe Auditeinheit bilden. Ist der Gegenstand unklar, beginnt die Arbeit erst nach Klärung des Umfangs.

Entscheidungszweck: Es muss eine präzise Entscheidungsfrage bestehen, etwa die Verifizierung einer Repräsentationsverzerrung, die Bestimmung des Eingriffsbedarfs, die Bewertung einer öffentlichen Aussage, die Untersuchung des Zusammenhangs mit einem Kundenergebnis, die Prüfung nachhaltigen Beitrags oder die erneute Öffnung der Gültigkeit einer früheren Entscheidung. „Wir wollen sehen, wo wir stehen“ reicht allein nicht aus; solange die Entscheidung unbekannt ist, lässt sich auch hinreichende Evidenz nicht bestimmen.

Zugang zu Aufzeichnungen: Je nach Umfang wird angemessener Zugang zu offizieller Identität, Produkt- und Leistungsgrenzen, Lizenzen, Website-Versionen, früheren Messungen, Eingriffshistorie, CRM, Verkauf, Leistung, Rückgaben und Kundenaussagen gewährt. Nicht zugängliche Aufzeichnungen werden nicht als nicht vorhanden behandelt, sondern verengen den Umfang. Ohne wirtschaftliche Aufzeichnungen kann eine Repräsentationsprüfung, aber kein Nachhaltigkeitsaudit stattfinden.

Akzeptanz eines negativen Ergebnisses: Akzeptiert werden müssen die Möglichkeiten, dass eine Aussage verworfen, die öffentliche Sprache verengt, kein Eingriff empfohlen, wirtschaftliche Wirkung nicht belegt, keine Eignungsentscheidung erteilt oder eine alte Entscheidung zurückgenommen wird. Eine Partei, die ein negatives Ergebnis vertraglich ausschließt, kann nicht auditiert werden.

Offenlegung von Interessenkonflikten: Beziehungen zwischen Prüfenden, Anwendern, Eigentümer der Entität und einem möglichen Eignungsprogramm werden dokumentiert. Offengelegt werden etwa erfolgsabhängige Vergütung, Leistungen für Wettbewerber, die Durchführung des Eingriffs durch den Prüfenden selbst oder die Verwendung eines positiven Berichts für eine Investition oder Vertragsverlängerung. Dieselbe Institution kann einen Eingriff ausführen und auditieren; bei hohem Risiko darf sie das eigene Ergebnis ohne eine zweite unabhängige Entscheidung nicht freigeben.

Synthetische Daten, Vertraulichkeit und Privatsphäre: Synthetische, anonymisierte und zusammengesetzte Aufzeichnungen werden eindeutig gekennzeichnet. Geschäftsgeheimnisse und personenbezogene Daten werden geschützt; dieser Schutz erlaubt nicht, eine für das Urteil wesentliche Lücke zu verbergen. Einzelheiten können unveröffentlicht bleiben, die Grenze nicht.

Die Schwelle führt zu Zulassung, Zulassung unter Bedingungen, Zulassung mit begrenztem Umfang oder Ablehnung. Eine Ablehnung kann ein wirtschaftlicher Verlust sein; sie ist kein Verlust des Standards.

3. Umfangsbindung und Auditstufen

Vor Beginn werden Entität, Geografie, Sprache, System und Oberfläche, Zeit, Repräsentationsfeld, Prompt-Universum, Vergleichsgruppe, wirtschaftliches Feld, Risiko, Auditstufe, öffentliche Nutzung, Gültigkeit und ausgeschlossene Themen verbindlich festgelegt. Der Umfang zeigt nicht nur, wohin geschaut wird, sondern auch die Grenze, die das Urteil nicht überschreiten darf.

Während der Arbeit können neue Systeme, Sprachen oder Aufzeichnungen hinzukommen; der Umfang darf nicht still erweitert werden. Ein neues Element erzeugt eine neue Umfangsversion. Ein englisches Ergebnis belegt keine deutsche Repräsentation, ein Markenaudit nicht die gesamte Unternehmensgruppe und Identitätseignung keine wirtschaftliche Nachhaltigkeit.

Es gibt fünf Auditstufen:

1. Vorprüfung: Bestimmt, ob ein auditierbares Problem, eine Aussage, ein erstes Risiko und ein geeigneter Umfang vorhanden sind. Sie liefert keinen öffentlichen Erfolgssatz.
2. Repräsentationsaudit: Untersucht Realitätsnachweis, kontrolliertes Prompt-Universum, kontrastierende und Ausschlusstests, menschliche Codierung und Repräsentationsprofil. Er darf über wesentliche Verzerrungen, nicht aber über wirtschaftlichen Beitrag sprechen.
3. Eingriffsaudit: Prüft Ausgangszustand, Eingriffsschwelle, gewünschtes und verbotenes Ergebnis, Kernset, Beobachtungsfenster und Rücknahmebedingungen anhand der Veränderung zwischen Vorher und Nachher. Er kann Veränderung zeigen, aber keine vollständige Kausalität garantieren.
4. Audit des wirtschaftlichen und nachhaltigen Werts: Verbindet Einflussklasse, Kundenkohorte, qualifizierte Nachfrage, Verkauf, Nettobeitrag, Leistung, Zufriedenheit, Wiederholung, Kanalabhängigkeit und hinreichenden Beobachtungshorizont.
5. Eignungsbewertung: Untersucht innerhalb eines bestimmten Framework-Umfangs Eignung von Unternehmen und Anwender, Evidenz- und Messdisziplin, Governance der Eingriffe, öffentliche Sprache, Zeit, Interessenkonflikte sowie Aussetzungs- und Rücknahmebedingungen. Die Durchführung dieser Stufe schafft allein kein Zeichen. Fehlt die unabhängige Programminfrastruktur aus Kapitel V, erzeugt sie nur ein Pilot-Eignungsurteil.

Eine niedrigere Stufe darf sich nicht die Sprache einer höheren leihen.

4. Auditakte und Aussagenregister

Ein Audit ist kein einzelner Bericht, sondern ein System miteinander verbundener Aufzeichnungen. Die Entitätsakte beschreibt die auditierte Entität und ihre Beziehungen; das Aussagenregister sämtliche beabsichtigten Sätze; das Evidenzregister die Grundlage jedes Satzes; das Messregister die Beobachtungen; das Eingriffsregister Änderung und Rücknahmebedingungen; das Governance-Register Befugnis, Interessenkonflikt und Verantwortung; das Zeitregister Gültigkeit und Version; das Register für nachhaltigen Wert das Unternehmensergebnis. Ansätze wie W3C PROV-O, die Herkunftsinformationen über Beziehungen zwischen Entitäten, Aktivitäten und Akteuren ausdrücken, bieten eine technische Nachbarschaft zu dieser Idee der Nachvollziehbarkeit. Das Framework schreibt keine bestimmte Ontologie vor.[9]

Keine Aufzeichnung ersetzt eine andere. Eine Messung zeigt eine Beobachtung, das Evidenzregister die Erlaubnis für den Satz, das Eingriffsregister die Handlung, das Governance-Register die Befugnis für diese Handlung, das Zeitregister ihre aktuelle Gültigkeit und das Wertregister Gewinn und Verlust für das Unternehmen. Das Urteil errichtet diese Aufzeichnungen nicht nachträglich, um sich selbst zu rechtfertigen; es entsteht aus ihnen. Dokumentationsansätze wie Model Cards und Datasheets for Datasets zeigen auf anderen Ebenen die Notwendigkeit, Zweck, Umfang, Leistung, Zusammensetzung, Nutzung und Grenzen festzuhalten.[12][13] Dokumentierte Rollen, Evidenz und Korrekturmechanismen über den Lebenszyklus hinweg werden auch in anderen Ansätzen für KI-Audits als Grundelemente der Rechenschaftspflicht behandelt.[10] Die Aktenarchitektur von NobleJackal steht zu dieser Literatur in Nachbarschaft; sie wird von ihr nicht bestätigt.

Besonders wichtig ist das Aussagenregister. „Die Systeme erkennen uns“, „Wir werden mit den richtigen Eigenschaften repräsentiert“, „Wir werden häufiger empfohlen als Wettbewerber“, „Der Eingriff erhöhte die Sichtbarkeit“, „KI bringt uns Kunden“, „Diese Kunden sind profitabler“ und „Wir entsprechen dem Framework“ sind nicht derselbe Satz. Jeder besitzt einen eigenen Typ, Eigentümer, Verwendungszweck, ein Risiko, eine erforderliche Auditstufe, verbundene Aufzeichnungen, zulässige Sprache, verbotene Erweiterung, Gültigkeit und Freigabe.

Ein wesentlicher Satz, der nicht in das Register aufgenommen wurde, darf nicht veröffentlicht werden. Während die Aussage „Die KI empfiehlt uns“ verworfen wird, kann der Satz „In sechs der festgelegten Prompts wurde die Marke empfohlen“ zugelassen werden. Die Aussage ist enger geworden und der Wirklichkeit näher gekommen.

5. Auditprotokoll

Ein Audit verläuft in zehn Schritten:

1. Auftrag einfrieren: Gewünschte Entscheidung und öffentlicher Satz werden festgehalten; bei Änderung entsteht eine neue Version.
2. Entität und Umfang binden: Systeme, Sprachen, Zeit, Markt, Prompt-Universum und ausgeschlossene Bereiche werden bestimmt.
3. Aussagenregister erstellen: Realitäts-, Repräsentations-, Eingriffs-, Wirtschafts- und Eignungsaussagen werden getrennt.
4. Realitätsgrundlage errichten: Identität, Tätigkeit, Kapazität, Preis, Leistungsgrenze, Lizenzen und Wirklichkeit der Leistung werden verifiziert.
5. Messprotokoll binden: Kern- und Explorationssets, Wiederholungen, Codes, Bewertende, Nenner, fehlende Daten und Zeit werden im Voraus festgehalten.
6. Repräsentationsbeobachtungen erzeugen: Stützendes, neutrales, kontrastierendes und Ausschlussfeld werden gemeinsam geprüft; auch negative Ausgaben bleiben erhalten.
7. Codieren und beurteilen: Entität, Eigenschaft, Urteil, Quellenstützung, Aktualität und einschlägige wirtschaftliche Spur werden getrennt bewertet.
8. Wirtschaftlichen Zusammenhang herstellen: Soweit vom Umfang umfasst, werden Einflussklassen, Kohorten, Verkauf, Kosten, Leistung und Wiederholung untersucht.
9. Eingriffs- oder Eignungsentscheidung treffen: Bei Verzerrung wird die Eingriffsschwelle angewandt; bei unzureichender Evidenz wird die Entscheidung aufgeschoben oder verweigert.
10. Prüfungsurteil veröffentlichen: Die Entscheidung wird zusammen mit Umfang, Grenze, Gültigkeit, Interessenkonflikt und erneuter Prüfung vorgelegt.

Das Ergebnis wird im letzten Schritt geschrieben; es wird nicht im ersten ausgewählt.

6. Stichprobe, Hinlänglichkeit und menschliches Urteil

Das Framework schreibt nicht für jeden Audit dieselbe Zahl von Prompts vor. Dreißig Prompts reichen nicht für jedes Unternehmen, dreihundert sind nicht für jedes erforderlich. Hinlänglichkeit wird im Verhältnis zu Auditstufe, Veränderlichkeit der Repräsentation, Zahl der Systeme und Sprachen, Prompt-Familien, Risiko, Nutzerwirkung, Tragweite der Entscheidung, Häufigkeit kontrastierender Ergebnisse und zeitlicher Verteilung begründet.

Die Stichprobengröße darf nicht nach Sichtung des Ergebnisses verändert werden. Ein Test darf nicht beendet werden, weil früh ein positives Muster erscheint; das Prompt-Universum nicht willkürlich erweitert werden, weil ein negatives Ergebnis auftrat. Die Abbruchregel wird vorher festgelegt. Für beobachtungsbezogene Hinlänglichkeit können gemeinsam verlangt werden: der Abschluss mindestens der definierten Stichprobe, die Prüfung des kontrastierenden und des Ausschlussfelds sowie der Beginn eines Zustands, in dem neue Aufzeichnungen das Profil nicht mehr wesentlich verändern. Hinlänglichkeit ist keine Universalität: Vierzig Prompts tragen nur für ihr eigenes Set, zwei Sprachen nur für diese Sprachen ein Urteil.

Automatisierung kann bei Gruppierung, Ähnlichkeit, Lücken und Vorcodierung eingesetzt werden; die eigene Ausgabe kann sie nicht unabhängig verifizieren. Bei hohem Risiko sind mindestens zwei menschliche Rollen erforderlich. Bei Uneinigkeit dokumentiert jeder Bewertende seine Begründung, die gemeinsame Definition wird erneut angewandt und nötigenfalls entscheidet eine dritte Person; die ursprüngliche Abweichung wird nicht gelöscht. Die Einigung zweier Menschen erzeugt keine Wahrheit, stärkt aber die Konsistenz des Urteils.

7. Befundprofil und Verbot eines einzelnen Scores

Ein Audit lässt Stärke in einem Feld keine Schwäche in einem anderen ausgleichen. Deshalb enthält das Ergebnisprofil getrennte Zellen:

Tabelle 8.1 — Audit-Befundprofil

Ein ethischer Verstoß legt ein Veto ein; eine ungültige Messung erlaubt keinen starken Repräsentationssatz; nachhaltiger wirtschaftlicher Beitrag macht eine Repräsentationsverzerrung nicht richtig. Ein einzelner Score verbirgt den Widerspruch, das Profil macht ihn sichtbar.

8. Öffentliche Zusammenfassung, vertraulicher Anhang und erneuter Audit

Ein Audit kann zwei Ausgaben besitzen. Die öffentliche Auditzusammenfassung zeigt Entität, Zweck, Umfang, Stufe, Framework- und Protokollversion, Systeme und Sprachen, Zeitraum, Hauptbefunde, zulässige Sprache, ausgeschlossene Bereiche, Interessenkonflikte, Nutzung synthetischer oder anonymisierter Daten, Gültigkeit und erneute Prüfung.

Der vertrauliche Auditanhang kann vollständige Prompts, Rohausgaben, Kundendatensätze, wirtschaftliche Berechnungen, personenbezogene Daten, Verträge, Sicherheitsinformationen und detaillierte Notizen der Bewertenden schützen. Vertraulichkeit verleiht kein Recht, das öffentliche Urteil irreführend zu machen. Die Zahl einer hohen Rückgabequote neben einem positiven Beitrag kann vertraulich bleiben; ihre wesentliche Grenze darf nicht verborgen werden. Wirtschaftliche Einzelheiten einer Interessensbeziehung müssen nicht genannt, ihr Bestehen aber offengelegt werden.

Ein erneuter Audit wird eröffnet, wenn sich Unternehmen, Marke, Produkt, Land, Sprache, Leistung oder Preismodell ändern; eine wesentliche System- oder Protokolländerung auftritt; starke Gegenevidenz oder erheblicher Kundenschaden erscheinen; eine unerwartete Nebenwirkung, ein Umfangsverstoß oder ein neuer Interessenkonflikt entsteht; die Gültigkeitsdauer endet; eine Grundversion veröffentlicht wird oder sich wirtschaftliche Ergebnisse umkehren. Das frühere Urteil wird nicht gelöscht, sondern erhält den Status aktiv, bedingt, in Prüfung, ersetzt, abgelaufen, zurückgenommen oder archiviert.

9. Lehrfall: Kestrel Grid Services

Lehrsimulation — synthetische Daten. Dieser Fall steht weder für ein reales Energieunternehmen oder tatsächliche Kundendaten noch für ein Eignungsprogramm.

Kestrel Grid Services ist ein fiktives Unternehmen für Wartung von Stromnetzen und Störungsprävention in Industrieanlagen. Es wird ein Audit der Stufe IV durchgeführt, der zwölf Monate und zwei vollständige Leistungszyklen umfasst.

Tabelle 8.2 — Synthetisches Auditergebnis von Kestrel Grid Services

Die Aufzeichnungen zeigen nicht, dass KI die einzige Ursache war. Sie zeigen dagegen, dass die verbundene Kohorte einen positiven Beitrag hinterließ, Wert geliefert wurde und sich über zwei Geschäftszyklen ein Wiederholungsverhalten bildete. Für eine Überlegenheits- oder „bestes Unternehmen“-Aussage fehlt vergleichende Evidenz.

Das Prüfungsurteil wird wie folgt begrenzt: „Im angegebenen zwölfmonatigen Zeitraum wurden innerhalb der Kohorte, die anhand mehrerer Aufzeichnungen mit KI-Einfluss verknüpft war, sechs Projekte profitabel abgeschlossen; drei Folgeverträge und zwei neue Anfragen aus Empfehlungen wurden beobachtet. Es wird weder behauptet, KI sei die einzige Ursache gewesen, noch Kestrel sei seinen Wettbewerbern überlegen.“

Im Gestaltungstest eines Eignungsprogramms kann der Fall positiv beurteilt werden; da kein aktives unabhängiges Programm besteht, wird kein Zeichen vergeben. Ein positives Prüfungsurteil verleiht dem Unternehmen nicht jeden gewünschten Satz, sondern den Satz, den die Evidenz trägt.

10. Prüfungsurteil

Das Urteil ist kein frei formulierter Festabsatz. Es enthält auditierte Entität, Stufe, Umfang, Framework- und Protokollversion, Zeit, Hauptbefunde, Entscheidung, zulässige Sprache, verbotene Erweiterungen, ausgeschlossene Bereiche, Interessenkonflikte, Gültigkeit und erneute Prüfung.

Ein begrenztes Repräsentationsurteil kann lauten: „Im Repräsentationsaudit, der in den angegebenen Systemen, Sprachen und Zeiträumen durchgeführt wurde, wurde die Identität der Entität als überwiegend konsistent beurteilt; bei zwei wesentlichen Eigenschaften traten wiederkehrende Auslassungen auf. Wirtschaftliche Wirkung war nicht Gegenstand des Audits.“ Ein ablehnendes Urteil kann dagegen besagen: „Die vorgelegten Aufzeichnungen tragen die Aussage ‚Die Systeme empfehlen das Unternehmen als Marktführer‘ nicht; die öffentliche Verwendung wurde nicht zugelassen.“

Ein gutes Prüfungsurteil verbirgt Unsicherheit nicht. Es benennt, welches Urteil die Unsicherheit verhindert. Es muss nicht gewiss wirken. Gewiss sein muss seine Grenze.

Die Bestimmung dieses Kapitels lautet:

Ein Audit bestätigt kein Ergebnis, sondern prüft die Aussage. Reicht die Evidenz, lässt er den Satz zu; reicht sie nicht, verengt er ihn; wird die Grenze verletzt, verwirft er ihn.

Auditiert wird nicht nur das Unternehmen. Auch die Unabhängigkeit des Prüfenden, die Redlichkeit des Standards und die eigene Grenze des Urteils werden geprüft. Eine Vergütung kann das Verfahren beginnen, aber das Urteil nicht bestimmen. Ein positiver Befund kann dokumentiert werden, aber keine Zukunftsgarantie geben. Eine Entscheidung, die sich nicht zurücknehmen lässt, ist keine Autorität, sondern Starrsinn.

Ein Standard ist nicht vollendet, wenn er nur erklärt, wie er prüfen will. Er muss auch die stärksten Einwände gegen sich selbst tragen.