Vorab: Entschuldigt die schlechte Audio-Qualität, das ist uns leider erst im Nachgang aufgefallen. Ich hoffe, der Inhalt tröstet Euch darüber hinweg :-) Die Entwicklung von Large Language Models (LLMs) und die Rolle von Acceptance Test Driven Development (ATDD) sind zentrale Themen in der KI-Entwicklung. David, Experte in der Entwicklung und Qualitätssicherung von KI-basierten Telefon-Bots für Arztpraxen, teilt seine Erfahrungen und Einblicke in diesen Prozess. Die Herausforderungen und Lösungsansätze beim Trainieren und Testen von LLMs, einschließlich der Nutzung von Prompt Engineering und Fine Tuning, werden beleuchtet. Besonders bemerkenswert ist der Ansatz, ATDD-Methoden auf LLM-Entwicklungen anzuwenden, um die Qualität und Effektivität der Modelle zu verbessern. Ein weiterer Fokus liegt auf dem CPMAI-Prozess, der eine moderne Herangehensweise an die Entwicklung und Implementierung von KI-Projekten darstellt.
“Das ist relativ anspruchsvoll. Letzten Endes haben wir ein paar Komponenten. Wir machen zuerst Speech-to-Text und dann auf reiner Textbasis benutzen wir ein Language-Model.” – David Faragó
David ist Deep-Learning-Engineer bei Mediform, spezialisiert auf Fine-Tuning von Large-Language-Models, Prompt-Engineering und Microservices. Nebenbei leitet er QPR Technologies, ein Beratungsunternehmen für innovative Qualitätssicherung, und ist Mitglied des Leitungsgremiums der GI-Fachgruppe Test, Analyse und Verifikation.
Highlights in dieser Episode:
Weiterführende Links:
Bei der Entwicklung KI-basierter Telefon-Bots für Arztpraxen gibt es eine Menge neuer Herausforderungen bei der Qualitätssicherung zu bewältigen. Ein Lösungsansatz im Testprozess ist Acceptance Test Driven LLM Development
David Faragó, ein renommierter Experte im Bereich KI und speziell in LLM-Themen, teilt seine umfangreichen Kenntnisse über den Einsatz von Large Language Models. Von Prompt Engineering bis hin zur Feinabstimmung von Foundational Models – David deckt alle Aspekte ab. Sein aktuelles Projekt bei Mediform zielt darauf ab, einen Telefon-Bot für Arztpraxen zu entwickeln, welcher dank moderner KI in natürlicher Sprache mit Patienten kommunizieren kann. Diese innovative Anwendung stellt einen bedeutenden Fortschritt dar und zeigt das Potenzial von LLM in der Praxis.
Das Herzstück von Davids Arbeit ist ein solide entwickelter Testprozess, der sich auf Acceptance Tests konzentriert. Durch eine sorgfältige Analyse realer Dialoge und iterative Verbesserungen wird ein hochwertiges Modell geschaffen. David erzählt von den Herausforderungen und Lösungsansätzen bei der Entwicklung von LLMs, einschließlich des Umgangs mit Nichtdeterminismus und der Blackbox-Natur dieser Technologie. Durch den Einsatz spezialisierter Tools wie dem Language Model Evaluation Harness von Eloifa gelingt es dem Team, die Qualität ihrer Modelle effektiv zu messen und zu verifizieren.
Acceptance Test Driven LLM Development ist nicht nur eine Methode, sondern eine Philosophie. Es verwebt agile Methoden mit dem maschinellen Lernen und ermöglicht so schnelle Iterationszyklen unter direkter Einbindung des Endnutzers. David erläutert den Prozess detailliert und zeigt auf, wie dieser Ansatz es ermöglicht hat, ein robustes und effektives System für Arztpraxen zu entwickeln. Dieser Ansatz stellt sicher, dass das Endprodukt genau den Anforderungen entspricht und gleichzeitig flexibel für zukünftige Anpassungen bleibt.
Ein weiteres Schlüsselelement in Davids Strategie ist die Anwendung von CPMAI (Cognitive Process Management for AI), einem modernen Prozessrahmenwerk, das Agilität mit maschinellem Lernen verbindet. Diese Methode unterstützt das Team bei jeder Phase des Entwicklungszyklus – vom Verständnis des Geschäftsbedarfs bis hin zum Deployment des Modells. Durch diesen strukturierten Ansatz können Probleme schnell identifiziert und behoben werden, was eine kontinuierliche Verbesserung des Systems ermöglicht.
Die Diskussion zeigt nicht nur die Komplexität hinter der Entwicklung von Large Language Models auf, sondern auch das enorme Potenzial dieser Technologie. Durch innovative Ansätze wie Acceptance Test Driven LLM Development wird die Tür zu einer neuen Ära der KI-Entwicklung aufgestoßen – einer Ära, in der Qualitätssicherung und agile Methoden Hand in Hand gehen. Diese Episode wirft ein Licht auf die spannende Zukunft der KI-Technologie und ihre vielseitigen Anwendungsmöglichkeiten.