Qualitätssicherung von KI

KI hat uns einiges zu bieten. Unsere Phantasie ist gefragt: Wo setzen wir sie ein? Was soll sie leisten? Wie soll sie arbeiten? Völlig egal, welcher Einsatzbereich es wird, die Qualitätsansprüche sind hoch. Hier kommen wir mit den gewöhnlichen Testmethoden nicht mehr weit. Ergebnisse sind manchmal nicht reproduzierbar, dadurch nicht vorhersehbar und hier gilt es, Qualität anders zu definieren und sich dann dem Testen anzunähern.

“Was wir total übersehen hatten war, dass auf allen Fotos ein Zeitstempel von der Kamera war. Und dann hat die KI den Zeitstempel gelernt- und sonst nix” – Nils Röttger, Gerhard Runze

Nils Röttger hat mehr als 15 Jahre Erfahrung im Bereich Qualitätssicherung. Bereits im Studium an der Uni Göttingen beschäftigte er sich mit dem Softwaretest. Seit 2008 arbeitet er bei der imbus AG in Möhrendorf, aktuell als Senior Berater und Projektleiter für Bereiche Mobile-Testing und AI-Testing. In seinen vielen Vorträgen auf Konferenzen und als Autor von Büchern oder Fachartikeln beschäftigt er sich immer wieder mit aktuellen Themen rund ums Testen.

Dr. Gerhard Runze hat an der Friedrich-Alexander-Universität Erlangen-Nürnberg in Elektrotechnik promoviert und war von 1999 bis 2015 in der Telekommunikationsindustrie in verschiedenen Rollen, darunter als Entwickler und Test-Teamleiter, tätig. Seit 2015 arbeitet er bei der imbus AG als Senior Berater für Softwarequalität, spezialisiert auf Embedded Software, agiles Testen und KI, und ist auch als Trainer für ISTQB® Schulungen aktiv. Er ist Mitautor der „Deutschen Normungsroadmap KI“, hat am ISTQB® Certified Tester AI-Testing Lehrplan mitgewirkt und veröffentlicht 2023 ein Begleitbuch zu diesem Thema.

Highlights in dieser Episode:

• Nils Röttger und Gerhard Runze sind Experten im Bereich Qualitätssicherung von KIs und Autoren eines Buches zum Thema
• Wir diskutieren, was Qualität bei einer KI bedeutet und welche neuen Qualitätsmerkmale und Testmethoden relevant sind
• Ein spannendes Beispiel ist das Testen einer Heizungssteuerung mit KI, bei der die KI unerwartet den Zeitstempel auf Fotos lernte
• Wir beleuchten die Herausforderungen der Reproduzierbarkeit und der Testumgebungen im KI-Testen
• Es gibt viele parallelen zwischen klassischen Testmethoden und KI-Testmethoden, wie das Pairwise-Testing oder AB-Testing, die auch bei KIs Anwendung finden
• Die Bedeutung von generativen KIs für das Erzeugen von Testdaten wird hervorgehoben
• Das Buch “Basiswissen KI testen” soll Testern helfen, sich im Bereich KI-Testen weiterzubilden und bietet praktische Übungen

Weiterführende Links:

• EU AI-Act
• Artikel von Nils „KI und Ethik“

Die Kunst des KI-Testens

Heute geht es um Qualitätssicherung von KI-Systemen, die Herausforderungen und Methoden. Gerhard Runze und Nils Röttger teilen persönliche Erfahrungen und geben einen Einblick in die Komplexität von KI-Tests. Fest steht: Tester müssen hier ihr Mindset verändern, herkömmliche Testmethoden kommen hier nicht weit.

Ein neues Zeitalter für Tester

Heute spreche ich mit Nils Röttger und Gerhard Runze über das spannende Thema Qualitätssicherung von künstlichen Intelligenzen einzutauchen. Beide sind nicht nur Experten auf ihrem Gebiet, sondern auch Autoren des Buches ‘Basiswissen KI testen’. Ihre Gedanken zu Qualität bei KI und wie man diese effektiv testet, eröffnen neue Perspektiven und zeigen, dass das Testen von KI weit mehr als nur eine technische Herausforderung ist.

Qualitätssicherung trifft auf künstliche Intelligenz

Die Konversation begann mit einer grundlegenden Frage: Was bedeutet Qualität bei einer KI? Nils und Gerhard brachten zur Sprache, dass neben den klassischen Qualitätsmerkmalen wie Funktionalität und Performance nun auch Aspekte wie Autonomie und ethische Überlegungen berücksichtigt werden müssen. Ein besonderes Augenmerk legten sie darauf, dass die Funktionalität einer KI oft eine statistische Größe ist – ein Paradigmenwechsel für viele Tester.

Die Herausforderungen des KI-Testens

Eine der größten Herausforderungen im KI-Testing ist die Reproduzierbarkeit von Testergebnissen. Wie Nils erklärt, wird beim Trainieren eines neuronalen Netzes oft per Zufallsgenerator entschieden, was dazu führen kann, dass Ergebnisse schwer reproduzierbar sind. Dennoch ist es entscheidend, das Grundprinzip eines Tests reproduzierbar zu halten. Diese Erkenntnis unterstreicht die Wichtigkeit eines neuen Denkansatzes für Tester im Umgang mit KI.

Von Aha-Momenten und Lernkurven

Ein besonders prägnantes Beispiel teilte Gerhard mit uns: Bei einem Projekt zur Heizungssteuerung lernte eine KI fälschlicherweise den auf Fotos sichtbaren Zeitstempel statt der gewünschten Einstellungen – ein klassisches Beispiel für ‘Shit in, Shit out’. Dieser Aha-Moment zeigte deutlich, wie essentiell ein tiefes Verständnis der Daten und des Lernprozesses einer KI für erfolgreiche Tests ist.

Innovative Testmethoden für innovative Technologien

Das Gespräch nahm eine Wendung hin zu spezifischen Methoden für das Testen von KIs. Von Metamorphem Testen über Pairwise-Testing bis hin zum Einsatz von A/B-Testing wurden verschiedene Ansätze diskutiert. Diese Methoden ermöglichen es Testern, sich den einzigartigen Herausforderungen des KI-Testens anzunähern und bieten einen spannenden Ausblick auf die Zukunft der Softwarequalitätssicherung.

Normierung und Standardisierung

Nils und Gerhard wiesen auf die Bedeutung von Normierung und Standardisierung im Bereich des KI-Testens hin. Projekte wie die DIN-Normungsroadmap zeigen den Bedarf an klaren Richtlinien auf und stellen sicher, dass Qualitätssicherung auch in der Welt der künstlichen Intelligenz nicht zum Glücksspiel wird.