Warum KI-Ausgaben eine zweite Prüfschleife brauchen
Ein transparenter, nicht repräsentativer Praxistest mit 255 quellengebundenen KI-Arbeitsbriefs: Ein separater Kritiker vergab im Median 89 von 100 Punkten; trotzdem bestanden nur 37 alle Freigabegates ohne Überarbeitung.
Was war das Ergebnis?
Von 255 KI-generierten und separat geprüften Arbeitsbriefs bestanden 37 alle automatisierten Freigabegates. 218 benötigten konkrete Überarbeitungen. Das entspricht 14,5 Prozent ohne Änderungsbedarf und 85,5 Prozent mit Änderungsbedarf. Das Ergebnis misst diesen einen Zieltreu-Workflow, nicht die allgemeine Qualität eines Modells und nicht den Schweizer Markt.
Freigabe war ein Gate, keine Stimmungsnote
Ein Brief durfte nur passieren, wenn mindestens zwei starke Belegpunkte auf exakt gelieferten URLs verblieben, die Evidenzabdeckung nicht schwach war, Rechtspositionierungs- und Ansprache-Risiken höchstens niedrig waren und weder unbelegte Behauptungen noch Quellenprobleme oder Pflichtänderungen übrig blieben. Ein hoher Gesamtscore konnte keines dieser Gates überstimmen.
Warum 89 von 100 noch keine Freigabe ist
Median 89, trotzdem 85,5 % Revision
Der Median der Kritiker-Scores lag bei 89 und das obere Quartil bei 91. Einzelne belegte Stärken verdeckten dennoch nicht ein einziges hartes Freigabeproblem.
187 mit starker Abdeckung
Starke Quellenabdeckung verhindert nicht automatisch eine zu präzise Ableitung. In 206 Reviews blieb mindestens eine nicht ausreichend gestützte Aussage markiert.
218 mit konkreten Pflichtänderungen
Freigabe bedeutete null offene Änderungen. Formulierungen, Identität, Standort, Datenempfindlichkeit oder Hypothesen mussten sonst zuerst korrigiert werden.
Modellkritik bleibt Modellkritik
Der separate Kritiker nutzte dieselbe Modellfamilie. Korrelierte Fehler bleiben möglich; die Schleife ersetzt weder menschliche Fachfreigabe noch externes Audit.
So lief die Prüfschleife
- Öffentliche Seiten speichern: Modellaufrufe erhielten nur bereits gespeicherte Ausschnitte und durften nicht selbst browsen.
- Belege hart filtern: Beobachtungen, Chancen und Belegpunkte mussten auf einer exakt gelieferten URL liegen.
- Arbeitsbrief erzeugen: Öffentliche Beobachtung, zu validierende Hypothese, Datenfrage und nächster Schritt wurden getrennt.
- Separat kritisieren: Ein zweiter GPT-5.6-Durchlauf suchte unbelegte Aussagen, Quellenfehler, rechtliche Überpositionierung und unzulässige Ansprache.
- Deterministisch entscheiden: Code setzte APPROVE auf REVISE zurück, sobald ein einziges hartes Gate nicht erfüllt war.
Was in der Stichprobe enthalten war
Die Ausgangsmenge bestand aus 457 eindeutigen Schweizer B2B-Websites aus drei aufeinander ausschliessenden Recherchewellen vom 14. August 2026. 454 wurden erfolgreich triagiert; bei 3 Datensätzen schlug die Triage fehl. Die Auswahl war gezielt und nicht zufällig.
| Arbeitskontext | Anzahl | Anteil |
|---|---|---|
| Weitere B2B-Dienstleistungen | 167 | 36,5 % |
| Architektur und Engineering | 117 | 25,6 % |
| Immobilien und Facility | 95 | 20,8 % |
| Agenturen | 47 | 10,3 % |
| IT und Cybersecurity | 27 | 5,9 % |
| Treuhand und Buchhaltung | 4 | 0,9 % |
Was sich daraus für einen KI-Assistenten prüfen lässt
Eine belastbare Black-Box-Prüfung beginnt nicht mit der Frage, ob eine Antwort «gut klingt». Sie braucht reproduzierbare Aufgaben, Promptvarianten, erwartete Quellen, konkrete Stoppsignale, einen Nachweis pro Lauf und eine benannte menschliche Entscheidung. Die öffentliche Arbeitsprobe für einen KI-Assistenten zeigt sechs solche Aufgaben, drei Varianten je Aufgabe und die dazugehörige Evidenzstruktur.
Zieltreu kann diesen operativen Prüfaufbau und die Ergebnisdokumentation unterstützen. Rechtskonformität, Datenschutz-Folgenabschätzung, Informationssicherheit, Zertifizierung und produktive Systemfreigabe bleiben Leistungen der jeweils qualifizierten Verantwortlichen.
Grenzen der Forschungsnotiz
- Die Stichprobe ist nicht repräsentativ für Schweizer Unternehmen oder Branchen.
- Öffentliche Websites belegen weder interne Prozesse noch tatsächliche KI-Nutzung.
- Die 255 Briefs wurden aus einer grösseren, gezielt priorisierten Menge erzeugt.
- Der Kritiker war ein KI-Modell derselben Familie und kein externer Mensch oder akkreditierter Auditor.
- APPROVE bezeichnet nur die internen automatisierten Gates, keine Rechts-, Sicherheits-, Datenschutz-, Finanz- oder Zertifizierungsfreigabe.
- Das öffentliche JSON enthält nur Aggregate und Prüfsummen, keine Namen, Websites oder Kontaktdaten.
Reproduzierbarkeit: Das öffentliche Aggregat enthält Kohorten-, Review- und Segmentzählungen sowie SHA-256-Prüfsummen der sechs privaten Eingabedateien. Die privaten Unternehmensdatensätze werden nicht veröffentlicht. Methodik und Grenzen sind Bestandteil des Datensatzes.
Warum diese Prüffrage aktuell ist
Das KMU-Portal der Schweizerischen Eidgenossenschaft berichtete am 15. Juli 2026 aus einer Befragung von 604 Mitarbeitenden: 89 Prozent nutzen KI im Arbeitsalltag, 31 Prozent der Unternehmen befinden sich noch in der Pilotphase. Als häufige Hürden wurden Datenqualität und Datensilos, Sicherheits- und Datenschutzbedenken sowie fehlende Fachkräfte genannt. Das sind externe Befragungswerte und keine Ergebnisse der Zieltreu-Stichprobe.
Quelle: KMU-Portal der Schweizerischen Eidgenossenschaft, 15. Juli 2026. Weitere Prüforientierung: Eidgenössische Finanzkontrolle, Leitfaden Audit Künstliche Intelligenz, Juli 2026.