heise+ | So sichern Sie KI-Anwendungen und Agenten ab: Jenseits der Testpyramide

1. So sichern Sie KI-Anwendungen und Agenten ab: Jenseits der Testpyramide
   • Was Bestehen und Durchfallen ab hier bedeuten
2. Das Problem ist älter als die Aufregung
3. Ein Agent in der Rufbereitschaft
4. Wo die Automatik endet
5. Fazit

Ein Testfall hat ein Soll. Diese Annahme trägt die Testpyramide, jede Automatisierungsstrategie und jedes Freigabegespräch der vergangenen 30 Jahre. Bei einer Anwendung, in der ein Modell mitentscheidet, hält sie nicht mehr durchgehend.

• KI-Komponenten erfordern über den Vergleich mit einzelnen erwarteten Werten hinausgehende Qualitätsnachweise.
• Ein Modell mit sechs Prüfarten hilft, Kriterien gezielt zuzuordnen; bei handelnden Systemen ergänzt eine siebte Prüfart.
• Die Probleme sind seit 2019 bekannt, doch erst aktuelle Normen machen sie messbar und handhabbar.

Ein Kunde beschreibt seinen Reisewunsch einmal knapp und einmal ausführlich, das System empfiehlt zwei Unterkünfte. Welche richtig ist, entscheidet kein Abgleich gegen einen hinterlegten Wert. Nicht der Maßstab fehlt, sondern die Instanz, die über eine einzelne Ausgabe urteilt. Elaine Weyuker nannte solche Programme schon 1982 nicht testbar. Heute trifft dieser Sonderfall jedes Team, das ein Sprachmodell freigibt.

Christoph Menke baut Quality-Engineering-Organisationen auf und leitet sie, ohne den Bezug zum Handwerk zu verlieren. Seine Schwerpunkte sind Teststrategie, risikobasierte Qualitätssicherung und QA-Governance, meist in regulierten Branchen. Aktuell beschäftigt ihn, wie KI das Testen verändert: KI-Werkzeuge im Testprozess, die Prüfung KI-generierten Codes und das Testen von Software mit KI-Komponenten.

Die Testpyramide bekommt dadurch eine Grenze, ihre Gültigkeit verliert sie nicht. Für die deterministischen Teile bleibt sie das richtige Werkzeug: Katalogsuche, Buchungsstrecke und Rechteverwaltung haben ein festes Soll. Jenseits der Linie entscheidet eine KI-Komponente, und dort ergänzt ein zweites Modell die Pyramide, statt sie zu ersetzen. Die erste Aufgabe ist eine Architekturfrage: Wo genau verläuft diese Linie?

Das war die Leseprobe unseres heise-Plus-Artikels "So sichern Sie KI-Anwendungen und Agenten ab: Jenseits der Testpyramide". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.