Testverfahren für das ZDF

Wie automatisiert man Tests, wenn die Anwendungen von einer großen Bandbreite an Geräten – von neu bis veraltet – genutzt werden? Dem Wunsch, alles zu automatisieren, kann hier nicht nachgekommen werden, zu komplex sind die Unterschiede der verschiedenen Betriebssysteme. Eine Kombination aus Automatisierungen und manuellen Tests schafft hierbei den Spagat. Anika und Benedikt kümmern sich um die Qualitätssicherung für mobile Anwendungen des ZDFs und teilen ihre Strategien zur Fehlerfindung und wie sie entscheiden, welche Tests automatisiert und welche manuell durchgeführt werden.

“Man muss eine gute Abwägung darin finden: Was automatisiere ich und auf wie vielen Geräten und was will ich da eigentlich alles abbilden? Und wie kann ich diesen Gap dann schließen?” – Benedikt Broich, Anika Strake

Benedikt ist seit 2016 Teil von Appmatics und begleitet die Entwicklung der QA-Prozesse. Als Teamlead arbeitet er an der Schnittstelle vom Testmanagement und Partnern, wie Klett, Kicker & Eurowings.

Anika arbeitet seit 2019 bei Appmatics. Zunächst brachte sie sich als QA-Automatisierungsingenieurin ein. Heute ist sie TeamLead Automation und betreut Testverfahren für Partner, wie ZDF, Migros & BVG.

Highlights in dieser Episode:

• Anika und Benedikt von Appmatics sprechen über ihr Testautomatisierungsprojekt beim ZDF
• Das Projekt kombiniert manuelle und automatisierte Tests, um eine hohe Testabdeckung zu gewährleisten
• Eine große Herausforderung ist die Vielzahl an Geräten und Betriebssystemen, die abgedeckt werden müssen
• Manuelle Tests sind oft schneller und flexibler, um bestimmte Fehler zu finden und einzugrenzen
• Automatisierte Tests sind besonders nützlich für wiederkehrende, zeitaufwändige Aufgaben
• Die Kombination beider Testmethoden erhöht die Flexibilität und Effizienz
• Das Team testet regelmäßig einmal pro Woche und gibt Feedback, um die Automatisierung laufend zu verbessern
• Ein wichtiger Tipp für andere ist, Zeit und Ressourcen für die Wartung und Anpassung der Tests einzuplanen
• Die größte Herausforderung bei der Automatisierung ist die Wartung und Anpassung an neue Software-Versionen und Geräte
• Benedikt betont die Bedeutung der Kritikalität und Häufigkeit von Fehlern bei der Entscheidung, welche Tests automatisiert werden sollen

Der Spagat von Testautomatisierungen und manuellen Tests beim ZDF

In dieser Episode spreche ich mit Anika Strake und Benedikt Broich über die Herausforderungen bei einem Testautomatisierungsprojekt für das ZDF. Sie betonen die Wichtigkeit einer Balance zwischen manuellen und automatisierten Tests, um sowohl Effizienz als auch Flexibilität zu gewährleisten.

Hintergrund des Projekts

Benedikt erläutert zunächst, wie Appmatics den Auftrag vom ZDF erhielt. Die ursprüngliche Ausschreibung verlangte eine vollständige Automatisierung der Tests. Doch schnell wurde klar, dass dies nicht die effizienteste Lösung war. Viele Apps hatten Tags und IDs nicht korrekt gesetzt, was die Automatisierung erschwerte. Außerdem mussten sie sicherstellen, dass auch ältere Geräte abgedeckt werden. Die Lösung: Eine Mischung aus automatisierten und manuellen Tests.

Die Rolle der manuellen Tests

Anika erklärt ausführlich die Bedeutung der manuellen Tests im Projekt. Besonders bei alten Geräten oder spezifischen OS-Versionen stoßen sie auf unerwartete Probleme. Manuelle Tests ermöglichen es ihnen, Fehler schneller einzugrenzen und zu beheben. Während automatisierte Tests einen breiten Überblick geben können, erlauben manuelle Tests eine tiefere Untersuchung spezifischer Probleme. Diese zweigleisige Herangehensweise erhöht die Testabdeckung erheblich.

Automatisierte Tests: Chancen und Grenzen

Automatisierte Tests bieten viele Vorteile, insbesondere bei wiederholbaren Aufgaben wie dem Überprüfen von Links oder dem Durchführen standardisierter Aktionen in Apps. Benedikt weist jedoch auch die Grenzen dieser Methode hin. Änderungen im Frontend oder Updates bei Betriebssystemen können automatisierte Tests leicht beeinträchtigen. Hier zeigt sich erneut der Wert manueller Tests, um kurzfristig auf solche Veränderungen reagieren zu können.

Evaluierung von Testfällen

Ein wichtiger Aspekt des Projekts ist die regelmäßige Evaluierung, welche Testfälle automatisiert und welche manuell durchgeführt werden sollten. Anika erwähnt, dass sie dabei auf mehrere Faktoren achten: Erhöht die Automatisierung die Testabdeckung? Handelt es sich um kritische Funktionen? Und wie komplex ist der manuelle Testaufwand? Diese Überlegungen helfen, die Ressourcen optimal einzusetzen.

Ergebnisse und Erkenntnisse

Nach einem Jahr intensiver Arbeit konnte das Team signifikante Fortschritte verzeichnen. Die Kombination aus manuellen und automatisierten Tests erwies sich als äußerst effektiv. Sie fanden Fehler, die sie durch reine Automatisierung nie entdeckt hätten, besonders auf Randgeräten oder in spezifischen Nutzungsszenarien. Diese Erfahrungen zeigen deutlich, dass eine ausgewogene Herangehensweise an Testautomatisierung entscheidend für den Erfolg ist.