KI-Risiko
KI schreibt die Pipeline. Wer prüft das Ergebnis?
SQACE ist die unabhängige Prüfinstanz, neutral zum erzeugenden System. Sie verifiziert die fachliche Korrektheit KI-generierter Data Pipelines und validiert die Outputs eingebetteter KI-Komponenten, mit dokumentierten Nachweisen für Aufsicht und Revision.
30 Minuten, an Ihrem eigenen Use Case.
Das Problem
KI verändert die Testbedingungen.
Wenn ein KI-Agent eine Pipeline schreibt, ist der Code zwar deterministisch. Niemand kennt jedoch die Regeln, die der Agent implizit angewendet hat. Und wenn eine KI-Komponente in der Pipeline läuft, etwa für Klassifikation oder Extraktion, ist das Ergebnis selbst nicht-deterministisch.
Klassische Regression-Tests greifen in beiden Fällen zu kurz: Sie prüfen das Verhalten der Pipeline, die fachliche Korrektheit der Ergebnisse bleibt offen. Für Hochrisiko-KI verlangen Aufsichtsbehörden nach EU AI Act, BaFin-Vorgaben und vergleichbaren Frameworks dokumentierte Tests gegen klar formulierte Soll-Vorgaben.
Die SQACE-Lösung
Eine Prüfinstanz, neutral zum erzeugenden System.
Verifikation gegen Soll-Ergebnisse. Bei deterministischen Abschnitten rechnet SQACE die fachlichen Regeln nach und vergleicht mit dem Output. Das funktioniert auch dann, wenn die Pipeline von einem KI-Agenten erzeugt wurde. Der Agent muss nicht erklären, was er getan hat; entscheidend ist allein, dass das Ergebnis zur fachlichen Vorgabe passt.
Validierung KI-erzeugter Outputs. Bei nicht-deterministischen KI-Outputs prüft SQACE gegen fachliche Plausibilitäts- und Konsistenz-Regeln: Summen müssen über Buckets konstant bleiben, extrahierte Felder Wertebereichen entsprechen, Verteilungen sich nur in definierten Grenzen verschieben. Verstöße werden zur menschlichen Prüfung markiert.
Einsatz-Szenarien
Wo Teams KI-Verarbeitungen mit SQACE absichern.
KI-generierte Pipelines gegen Soll-Ergebnisse verifizieren
Ein Agent baut eine Pipeline aus einer fachlichen Spezifikation. SQACE prüft, ob die Pipeline die Spezifikation tatsächlich umsetzt.
KI-Outputs gegen Plausibilitäts-Regeln validieren
Eine Komponente extrahiert Felder aus Dokumenten oder eingehenden Mails. SQACE prüft Wertebereiche, Pflichtfelder und Konsistenz zur Bestandsführung und schickt Verstöße in den menschlichen Review.
EU-AI-Act-Nachweise für Hochrisiko-Systeme aufbauen
Bei Kredit-Scoring, Bewertung oder Schadenregulierung dokumentiert SQACE die Tests, die Inputs, die Regelwerke und die Auffälligkeiten.
Konkret
- Fachliche Verifikation bleibt möglich, auch wenn KI die Pipeline gebaut hat.
- Validierung liefert Assurance, wo eine exakte Soll-Berechnung prinzipiell nicht möglich ist.
- Eine Plattform für beide Modi, ein durchgängiger Audit-Trail.
Vorteile auf einen Blick
| Pipeline-Typ | SQACE-Prüfmodus | Ergebnis |
|---|---|---|
| Klassisch, deterministisch | Verifikation | Volle fachliche Sicherheit |
| KI-generiert, deterministisch | Verifikation | Output korrekt, unabhängig vom Agent-Verhalten |
| KI-Komponente, nicht-deterministisch | Validierung | Statistische Assurance plus Einzelfall-Review |
Compliance
Compliance-Nachweise als Nebenprodukt.
SQACE-Berichte sind direkt verwertbar für den EU AI Act (Art. 9 Risikomanagement, Art. 17 Qualitätsmanagement), BaFin-Vorgaben zum KI-Einsatz, MaRisk AT 4.3.4 sowie DORA-Tests von IKT-Systemen. Bei Klassifikations- und Extraktionsmodellen entsteht zusätzlich eine Datenbasis für Drift-Monitoring.
Wie SQACE Datenräume isoliert und Nachweise ablegt, beschreibt Sicherheit & Architektur.
FAQ
Häufige Fragen
Ist SQACE ein KI-Tool?
Nein. SQACE ist die unabhängige Prüfinstanz, die das Ergebnis einer Datenverarbeitung gegen ein fachliches Regelwerk verifiziert, neutral dazu, ob ein Mensch oder eine KI die Verarbeitung erzeugt hat.
Ersetzt SQACE Modell-Evaluation oder MLOps-Tools?
Nein. Modell-Evaluation prüft die Modellgüte auf Test-Sets, MLOps überwacht das Deployment. SQACE prüft, ob die fachliche Logik der gesamten Datenverarbeitung stimmt, in der das Modell eingebettet ist.
Welche Modelle und Anbieter werden unterstützt?
SQACE ist modell-unabhängig. Geprüft wird allein das Ergebnis, unabhängig davon, welches Modell oder welcher Stack es erzeugt hat.
Wie wird Nicht-Determinismus bewertet?
Über Toleranzbänder, Verteilungs-Vergleiche und definierte Konsistenz-Regeln. Was als Abweichung gilt, wird fachlich festgelegt und versioniert.
Wie wird mit Halluzinationen umgegangen?
Plausibilitäts-Halluzinationen zeigen sich typischerweise als Verstoß gegen Wertebereiche oder Querbezüge zu Stammdaten. Diese Treffer gehen in den menschlichen Review.
Wie passt das zu ISO 42001?
ISO/IEC 42001 verlangt ein AI-Management-System mit dokumentierten Kontrollen. SQACE liefert die Kontrolle für den Datenverarbeitungsteil mit Audit-Trail.