Als Deep-Learning-Enigneer erforscht David die Möglichkeiten zum Einsatz der KI. Es geht um seine Annäherung an KI-generierte Testfälle, die Grenzen und die Möglichkeiten. Außerdem haben wir über Prompt-Patterns gesprochen, was kleinste Veränderungen im Prompt bewirken und wie sie gestaltet werden können, um die Qualität der Antworten zu steigern. Zum Schluss schätzt David die Entwicklung der KI ein und hat interessante Tipps für Tester, die anfangen möchten, KI in ihren Workflow zu integrieren.
“Ich habe dann aber noch nicht klassisch dieses eine Prompt verbessert, sondern bin dann übergegangen in eine Konversation. Es muss ja nicht bei einem einzelnen Prompt bleiben” – David Faragó
David ist Deep-Learning-Engineer bei der Firma mediform, die Kommunikationslösungen wie Telefon-Bots für Arztpraxen entwickelt. Er beschäftig sich dort u.a. mit Fine-tuning von Large-Language-Models, Prompt-Engineering und Data Science, aber auch mit Software-Engineering, z.B. Microservices, Kubernetes und Qualitätssicherung. Nebenher hat er noch seine Firma QPR Technologies, die Beratung und Entwicklungsdienstleistung zu innovativer Qualitätssicherung anbietet, z.B. mittels Statische-Code-Analyse oder KI. Diese hatte er mit Kollegen nach seiner Promotion zu Symbolic AI, Formalen Methoden und Modellbasiertem Testen gegründet. Er ist Mitglied des Leitungsgremiums der GI-Fachgruppe Test, Analyse und Verifikation.
Highlights in dieser Episode:
Links:
Heute geht es in die Welt des Prompt Engineering und wie es die Qualität von Softwaretests revolutioniert. David teilt seine Erfahrungen und Einblicke darüber, wie künstliche Intelligenz und Prompt Engineering genutzt werden können, um Testfälle zu erstellen und zu optimieren.
Die künstliche Intelligenz hat das Potenzial, den berüchtigten Writer’s Block bei der Erstellung von Testfällen zu eliminieren. Doch trotz der enormen Möglichkeiten stellt er klar, dass eine vollständige Automatisierung nicht realistisch ist. Seine Hauptbotschaft war eindeutig – KI kann viel, aber sie ist kein Allheilmittel.
Ein kritisches Thema ist die Frage der Korrektheit generierter Testfälle. David betonte, dass KI-erzeugte Tests besonders kritisch betrachtet werden müssen. Trotz der beeindruckenden Fähigkeit von KI zur Generierung nützlicher Inhalte sind Fehler und Ungenauigkeiten nicht ausgeschlossen. Dies ist besonders relevant im Kontext der Testgenerierung, wo Genauigkeit essenziell ist.
David teilte eine Geschichte über sein Experiment mit Commit-Nachrichten, bei dem er KI zur Qualitätsbewertung einsetzte. Dieses Erlebnis offenbarte sowohl das Potenzial als auch die Grenzen der KI – eine einzige kleine Änderung konnte das Urteil der KI komplett umkehren. Diese Erfahrung lehrte ihn, die Ergebnisse immer kritisch zu hinterfragen.
Dann sprachen wir über Davids Weg zum Experten im Bereich des Prompt Engineerings. Durch Experimentieren mit verschiedenen Patterns fand er Wege zur Verbesserung der Testqualität. Doch trotz signifikanter Fortschritte in der Testabdeckung und Strukturierung blieben Herausforderungen hinsichtlich der Korrektheit bestehen.
David ist optimistisch, dass weitere Entwicklungen im Bereich des KI-gestützten Testing bevorstehen. Trotzdem bleibt eine gewisse Skepsis bezüglich der Verlässlichkeit dieser Methoden bestehen. Wie immer gilt es, die Balance zwischen Innovation und kritischer Betrachtung zu finden.