„Qualitätssicherung wird einen höheren Stellenwert bekommen“

Wo wird heute generative KI bei Software-Testing eingesetzt? Welcher Nutzen entsteht daraus für die Anwender?

Roman Zednik: Der klassische Anwendungsfall ist das Ableiten von Testfällen aus Spezifikationen oder User-Stories. Wir haben dafür einen Agenten entwickelt, der auf Quality Assurance (QA) fokussiert und beispielsweise Äquivalenzklassen besser berücksichtigt als ein Standard-ChatGPT. Interessant ist die Lernkurve: Wenn wir den Output der KI mit erfahrenen Testern vergleichen, sehen wir eine Überlappung. Die KI findet oft zwei oder drei interessante Fälle, die der Mensch übersieht, und umgekehrt. Wir sehen hier realistische Einsparungen von 20 bis 30 Prozent – es ist ein Hilfsmittel, um den Horizont zu erweitern und schneller zu Ergebnissen zu kommen.

Welchen Einfluss hat KI auch auf Automatisierungslösungen in der Qualitätssicherung wie beispielsweise Tosca von Tricentis?

Zednik: Wir experimentieren viel. So nutzen wir generell OpenAI, sind aber letztes Jahr bei bestimmten Themen auf Claude von Anthropic umgestiegen. Claude war beispielsweise bei der OCR (Anm. optische Zeichenerkennung) um ein Vielfaches besser als unsere eigene, patentierte Lösung. Man muss da sehr schnell adaptieren und flexibel bleiben, welches Modell für welchen Zweck gerade am besten geeignet ist. Ziel ist es, die Kernprodukte mit Logik anzureichern und die Bedienung zu erleichtern.

Ein großes Problem in der IT und auch im Testing ist oft die Integration verschiedener Tools. Wie löst KI diese Herausforderung?

Zednik: Integration war immer eine Herausforderung, weil man ständig Schnittstellen bauen und warten musste. Wir setzen jetzt auf den Standard MCP (Anm. Model Context Protocol), den ich gerne mit „USB-C für KI“ vergleiche. Anstatt stundenlang Code für eine Integration zu schreiben, reicht heute ein Prompt. Man kann der KI sagen: „Schau in Jira nach neuen Requirements der letzten zwei Tage und synchronisiere sie mit unserem Testmanagement.“ Das spart extrem viel Zeit und macht die Arbeit auch für fachliche Mitarbeiter ohne Programmierkenntnisse zugänglich.

Systeme, die auf KI basieren, wurden lange Zeit als „Blackbox“ gesehen – man kennt nicht jedes Detail, wie ein Ergebnis zustande kommt. Wie geht man im Testing damit um?

Zednik: Früher hatte man eine saubere Spezifikation und konnte deterministisch 1:1 prüfen. Bei KI-Komponenten bekommt man bei zwei gleichen Anfragen oft unterschiedliche Antworten. Der Prozess bis zum Ergebnis ist hier nicht mehr rein deterministisch abbildbar, vielmehr muss man mit Wahrscheinlichkeiten und Risikofaktoren arbeiten. Unser Ansatz des „Risk-Based Testing“ – also zu hinterfragen, wie  businesskritisch etwas ist – passt hier besser denn je. Abgesehen von der Methodik hängt dann noch vieles vom Prompting ab. Das wird das Testing grundlegend verändern.

Wird KI das Testing als Berufsbild für Menschen überflüssig machen?

Zednik: Im Gegenteil. Ich glaube sogar, dass die Qualitätssicherung einen höheren Stellenwert bekommen wird. Ich vergleiche das mit der Autoindustrie: Je mehr Elektronik und Technologie im Auto verbaut wurde, desto größer ist der Aufwand für die Qualität und Sicherheit gestiegen. Wir sehen zwar, dass KI sehr schnell Source Code generieren kann, aber dieser ist oft unnötig komplex oder fehlerhaft. Man braucht nach wie vor die Fachleute, die das Ergebnis einschätzen können. In der Qualitätssicherung haben wir durch KI-generierten Code bisher noch nichts eingespart – im Gegenteil, der Analyseaufwand bleibt hoch.

Über die Person
In seiner Rolle als Field CTO von Tricentis arbeitet Roman Zednik mit Kunden und Partnern zusammen, um technische Produktinnovationen voranzutreiben. Zudem fungiert er als Sprecher und Evangelist auf Events und Branchenveranstaltungen und unterstützt den strategischen Vertrieb. Er lebt und arbeitet in Wien, dem EMEA-Hauptsitz von Tricentis.