Kombinatorische Testverfahren wie Pairwise Testing und MCDC (Modified Condition Decision Coverage) vereinen eine hohe Testeffektivität mit einer überschaubaren Menge an Testfällen. Betrachtet man diese, für Tester und Manager, attraktive Kombination, wundert man sich, dass diese Testentwurfsverfahren in der Praxis relativ selten eingesetzt werden.
Dies liegt vermutlich daran, dass sie ohne Toolunterstützung mit mehreren Parametern bzw. Bedingungen schwierig bis unmöglich anzuwenden sind.
Sind die Testentwurfsverfahren ein Anwendungsfall für GenAI?
Bisher waren diese Testdesigntechniken auch für generative künstliche Intelligenz (GenAI) ein scheinbar schwer lösbares Problem. Dies liegt darin begründet, dass hier die Testfälle nicht nur aus natürlichsprachlichen Anforderungen abgeleitet werden, sondern dann errechnet werden. Und über die mathematischen Fähigkeiten von LLMs (Large Language Models) wurden in den letzten beiden Jahren sehr viele billige Lacher in Blogs und sozialen Medien generiert. So gut LLMs mit Texten arbeiten können - etwas komplexere Berechnungen führen diese Modelle schneller in die Halluzination als ich 2 + 2 zusammenrechnen kann.
Ein ganz normales Training zum GenAI assisted Test Engineer
Ihr habt richtig gelesen - die vorherigen Absätze habe ich in der Vergangenheitsform geschrieben, denn bei meinem Training zum GenAI Assisted Test Engineer im Juni 2025 in Hamburg erlebte ich eine große Überraschung.
Überraschungen sind in diesem Training nicht unüblich, da sich die Fähigkeiten der LLMs im Moment rasant entwickeln, aber diese Überraschung war ein Gamechanger.
In den Experimenten zu Testentwurfsverfahren haben wir, wohlwissend, dass es nicht gut funktioniert, Pairwise Testing aufgenommen. Hierbei zeige ich zuerst, dass die Ergebnisse im normalen Chat eher schlecht sind (meistens erhalte ich eine Tabelle mit allen möglichen Kombinationen) und zeige dann ein Custom-GPT, dass als Interface für ein kleines Python-Script fungiert, welches die Paarkombinationen korrekt berechnet.
Nach einem kurzen Aufwärmen (dieses Pattern lernt man auch im Kurs), in dem ich mir Pairwise Testing erklären ließ, gab ich die Anweisung, diese Technik auf mein Beispiel anzuwenden und erhielt ein nahezu perfektes Ergebnis. Ganz ohne umfangreiches Prompt Engineering und andere Tricks.
Überraschung! - Neben Pairwise Testing funktioniert auch MCDC mit GenAI
Daraufhin wurde ich übermütig und habe dasselbe Verfahren auch für MCDC ausprobiert. Und auch hier: Anstatt der vollen Mehrfachbedingungsüberdeckung, die ja quasi die Definition der Testfallexplosion darstellt, die korrekte Menge an Testfällen (N+1). Ein kurzer Check, ob es die richtigen sind – auch das.
Wir waren fasziniert und experimentierten direkt weiter und erzielten hierbei größtenteils die korrekten Ergebnisse für beide Techniken.
Die LLMs haben wieder etwas dazugelernt!
Vorsicht ist geboten!
Auch wenn unsere Experimente im Training vielversprechend waren, entdeckten wir auch den einen oder anderen Fehler. Dies liegt im nicht-deterministischen Charakter der aktuellen Modelle begründet und lässt sich nicht komplett vermeiden.
Die sicherste Strategie hierfür ist, wachsam zu sein, Ergebnisse zu kontrollieren und bei Fehlern gegenzusteuern.
So kann generative künstliche Intelligenz ein mächtiges Werkzeug im Werkzeugkasten von Testern werden.
Du möchtest MCDC und Pairwise Testing mit GenAI anwenden?
Dann komm in unseren ISTQB-Kurs zum Testing with Generative AI!
FAQ: Fragen rund um die Nutzung von GenAI zur Testfallermittlung
Was ist Pairwise Testing – und warum wird es in der Praxis selten genutzt?
Pairwise Testing ist ein kombinatorisches Testentwurfsverfahren, das hohe Testeffektivität mit vergleichsweise wenigen Testfällen verbindet. In der Praxis wird es trotzdem selten eingesetzt, weil es ohne Toolunterstützung bei mehreren Parametern schwierig bis unmöglich ist, die richtigen Paarkombinationen sauber zu erzeugen.
Was ist MCDC (Modified Condition/Decision Coverage) – und was bringt mir das?
MCDC (Modified Condition Decision Coverage) ist eine Testdesigntechnik, die sehr effektiv ist, aber im Vergleich zur vollständigen Mehrfachbedingungsüberdeckung die Testfallmenge begrenzt. Im Text wird betont: statt Testfallexplosion erhält man die korrekte, reduzierte Menge (im Beispiel N+1 Testfälle).
Warum sind Pairwise Testing und MCDC ohne Tool so schwer umzusetzen?
Weil die Testfälle hier nicht nur aus Anforderungen „abgeleitet“, sondern bei mehreren Parametern bzw. Bedingungen kombinatorisch berechnet werden müssen. Ohne Toolunterstützung wird das schnell unübersichtlich und ist praktisch kaum sauber durchführbar. Genau das ist laut Text ein Hauptgrund, warum die Verfahren trotz ihres Nutzens selten eingesetzt werden.
Ist Pairwise/MCDC ein sinnvoller Anwendungsfall für GenAI?
Ja, genau diese Frage stellt der Text – und liefert eine klare Erfahrung aus dem Training: Die Kombination aus GenAI und Tooling kann hier ein echter Hebel sein. Im Training (Juni 2025, Hamburg) führte ein kurzer „Aufwärm“-Dialog dazu, dass das Modell Pairwise nahezu perfekt auf ein Beispiel angewendet hat, ohne umfangreiches Prompt Engineering.
Wie gehe ich mit Fehlern und Nicht-Determinismus bei GenAI im Testdesign um?
Der Text warnt ausdrücklich: Auch wenn die Ergebnisse vielversprechend sind, traten vereinzelt Fehler auf – bedingt durch den nicht-deterministischen Charakter aktueller Modelle. Die empfohlene Strategie ist deshalb: wachsam bleiben, Resultate kontrollieren und bei Fehlern gezielt nachsteuern. So wird GenAI zu einem starken Werkzeug, ohne dass du falsche Testfälle ungeprüft übernimmst.