Wie automatisiert man Tests, wenn die Anwendungen von einer großen Bandbreite an Geräten – von neu bis veraltet – genutzt werden? Dem Wunsch, alles zu automatisieren, kann hier nicht nachgekommen werden, zu komplex sind die Unterschiede der verschiedenen Betriebssysteme. Eine Kombination aus Automatisierungen und manuellen Tests schafft hierbei den Spagat. Anika und Benedikt kümmern sich um die Qualitätssicherung für mobile Anwendungen des ZDFs und teilen ihre Strategien zur Fehlerfindung und wie sie entscheiden, welche Tests automatisiert und welche manuell durchgeführt werden.
“Man muss eine gute Abwägung darin finden: Was automatisiere ich und auf wie vielen Geräten und was will ich da eigentlich alles abbilden? Und wie kann ich diesen Gap dann schließen?” – Benedikt Broich, Anika Strake
Benedikt ist seit 2016 Teil von Appmatics und begleitet die Entwicklung der QA-Prozesse. Als Teamlead arbeitet er an der Schnittstelle vom Testmanagement und Partnern, wie Klett, Kicker & Eurowings.
Anika arbeitet seit 2019 bei Appmatics. Zunächst brachte sie sich als QA-Automatisierungsingenieurin ein. Heute ist sie TeamLead Automation und betreut Testverfahren für Partner, wie ZDF, Migros & BVG.
Highlights in dieser Episode:
In dieser Episode spreche ich mit Anika Strake und Benedikt Broich über die Herausforderungen bei einem Testautomatisierungsprojekt für das ZDF. Sie betonen die Wichtigkeit einer Balance zwischen manuellen und automatisierten Tests, um sowohl Effizienz als auch Flexibilität zu gewährleisten.
Benedikt erläutert zunächst, wie Appmatics den Auftrag vom ZDF erhielt. Die ursprüngliche Ausschreibung verlangte eine vollständige Automatisierung der Tests. Doch schnell wurde klar, dass dies nicht die effizienteste Lösung war. Viele Apps hatten Tags und IDs nicht korrekt gesetzt, was die Automatisierung erschwerte. Außerdem mussten sie sicherstellen, dass auch ältere Geräte abgedeckt werden. Die Lösung: Eine Mischung aus automatisierten und manuellen Tests.
Anika erklärt ausführlich die Bedeutung der manuellen Tests im Projekt. Besonders bei alten Geräten oder spezifischen OS-Versionen stoßen sie auf unerwartete Probleme. Manuelle Tests ermöglichen es ihnen, Fehler schneller einzugrenzen und zu beheben. Während automatisierte Tests einen breiten Überblick geben können, erlauben manuelle Tests eine tiefere Untersuchung spezifischer Probleme. Diese zweigleisige Herangehensweise erhöht die Testabdeckung erheblich.
Automatisierte Tests bieten viele Vorteile, insbesondere bei wiederholbaren Aufgaben wie dem Überprüfen von Links oder dem Durchführen standardisierter Aktionen in Apps. Benedikt weist jedoch auch die Grenzen dieser Methode hin. Änderungen im Frontend oder Updates bei Betriebssystemen können automatisierte Tests leicht beeinträchtigen. Hier zeigt sich erneut der Wert manueller Tests, um kurzfristig auf solche Veränderungen reagieren zu können.
Ein wichtiger Aspekt des Projekts ist die regelmäßige Evaluierung, welche Testfälle automatisiert und welche manuell durchgeführt werden sollten. Anika erwähnt, dass sie dabei auf mehrere Faktoren achten: Erhöht die Automatisierung die Testabdeckung? Handelt es sich um kritische Funktionen? Und wie komplex ist der manuelle Testaufwand? Diese Überlegungen helfen, die Ressourcen optimal einzusetzen.
Nach einem Jahr intensiver Arbeit konnte das Team signifikante Fortschritte verzeichnen. Die Kombination aus manuellen und automatisierten Tests erwies sich als äußerst effektiv. Sie fanden Fehler, die sie durch reine Automatisierung nie entdeckt hätten, besonders auf Randgeräten oder in spezifischen Nutzungsszenarien. Diese Erfahrungen zeigen deutlich, dass eine ausgewogene Herangehensweise an Testautomatisierung entscheidend für den Erfolg ist.