Testen von und mit KI

Was für eine Wahnsinnszeit, in der wir leben. Ich finde das mega aufregend und bin begeistert von den Möglichkeiten, die sich uns besonders in der Software-Entwicklung auftun. Ich habe eben den Hype-Cycle von Gartner gesehen, da ist GenAI gerade am Peak – also vor dem Absturz ins Tal der Tränen. Aber was dann kommt, wird spannend. Wo wird KI nachhaltig und produktiv seinen Einsatz finden – abseits von SEO-Optimierungen und Text-Generatoren?

Wir tun gut daran, nicht in blinden Aktionismus zu verfallen – aber auf der anderen Seite auch nicht den Kopf in den Sand zu stecken was KI betrifft. Eine Gratwanderung! Ich beobachte auch, dass sich meine persönliche Meinung zu KI ständig wandelt. Dennoch – oder deswegen – möchte ich hier meinen aktuellen Stand der Unwissenheit teilen 😉

Software-Test mit KI

…ist wie in allen Branchen gerade ein großes Thema. Hier ist natürlich viel Potential: Testfallerstellung, Testdatengenerierung, Durchführung, Fehleranalyse – ein Spielfeld für KI-Tools. Gefühlt hat mittlerweile jedes Tool den Zusatz AI im Namen bekommen – auch wenn sich gar nicht viel geändert hat. Drum genau schauen, was wirklich dahinter steckt.

Und dabei sollten wir stets auch hinterfragen: Welches Problem wollen wir eigentlich mit KI lösen? Es ist verführerisch, sich von der neuesten Technologie blenden zu lassen, aber der Schlüssel zum Erfolg liegt darin, sie gezielt einzusetzen, um spezifische Herausforderungen in unseren Projekten zu überwinden. Und wenn ich da bei meinen Kunden reinschaue, gehts weniger um noch effizientere Testdurchführung, sondern um Dinge wie Testdatenmanagement und den Klassiker: Wie überwinde ich den Medienbruch von der Vorstellung des Anforderers in die Technik hinein.

Doch wie fängt man mit KI im Testen an? Ganz einfach: Anfangen. Experimentieren. Ausprobieren. Es geht hier um Pionierarbeit, vieles ist noch nicht fertig, noch nicht entwickelt und noch gar nicht gedacht. Die ersten Webseiten sind auch nicht mit einem CMS entstanden – sondern mit notepad.exe.

Testen von KI

Wenn wir über das Testen von KI selbst sprechen, werden wir auf die Urfrage zurückgeworfen, vor der wir uns in der Software-Entwicklung gerne drücken: Was bedeutet für uns eigentlich Qualität?
Wenn ich in neue Projekte und Unternehmen komme, ist das immer meine erste Frage: Was bedeutet für Euch Qualität? Oh. Unklarheit. Ähm. Verweis auf die ISO 25010. Konkret? Stille.

Traditionelle Qualitätskriterien wie Funktionalität müssen bei KI-Systemen neu gedacht werden. Andere Kriterien wie Genauigkeit, Lernfähigkeit, Anpassungsfähigkeit, Datenqualität und statistische Kriterien werden hier viel wichtiger.

Umdenken notwendig

Als Tester, Testmanager und Quality Engineer müssen wir in beiden Feldern umdenken. Sowohl beim Einsatz von KI als auch beim Testen von KI. Lieb gewonnenes müssen wir loslassen – und Neues dürfen wir lernen. Das ist nicht immer komfortabel, aber notwendig.

Und es gibt Hilfestellungen: Als Einstieg für die KI-Nutzung bieten sich ja die populären Protagonisten an: ChatGPT, Midjourney, Gemini, Copilot, etc. Einfach mal ausprobieren 🙂 Oder man nutzt KI im Zuge einer Ausbildung, zum Beispiel dem A4Q Practical Tester
Und für Tester? Hier bietet sich die Schulung und Zertifizierung zum ISTQB Certified Tester AI Testing an. Diese Zertifizierung gibt es übrigens schon seit 2021 und die Vorläufer davon noch länger. Denn KI gibt es ja nicht erst seit ChatGPT. Und irgendwie ist es ja auch nur Software 😉