Blog über Software, Mensch und Persönlicher Entwicklung

Testbeschreibung für KI-Fähigkeiten - Richard Seidl

Geschrieben von Richard Seidl | 18.02.2025

Die Regulierung von Künstlicher Intelligenz (KI) erfordert klare Normen und Standards, um Sicherheit und Leistungsfähigkeit zu gewährleisten. Besonders herausfordernd ist die Normierung von Hochrisikosystemen, bei denen Zertifizierungsstellen eine zentrale Rolle spielen. Wichtige Aspekte sind zudem die Dokumentationspflichten und Cybersicherheitsmaßnahmen für leistungsstarke KI-Systeme. Angesichts der ambitionierten Zeitpläne bis 2025 gewinnt die Entwicklung und Umsetzung dieser Standards zunehmend an Bedeutung. Ein Blick in die Zukunft zeigt, welche weiteren Herausforderungen und Chancen in der Regulierung von KI zu erwarten sind.

Podcast Episode zum Test von KI-Fähigkeiten

In dieser Episode des spreche ich mit Taras Holoyad von der Bundesnetzagentur über die Regulierung von Künstlicher Intelligenz (KI). Taras erklärt, wie Normen und Standards für KI-Systeme entwickelt werden, um deren Sicherheit und Leistungsfähigkeit zu gewährleisten. Er betont die Herausforderungen der Normierung, insbesondere für Hochrisikosysteme, und die Rolle der Zertifizierungsstellen. Die Diskussion umfasst auch die Dokumentationspflichten und Cybersicherheitsmaßnahmen für leistungsstarke KI-Systeme. Wir gehen auch der Dringlichkeit der Entwicklung und Umsetzung dieser Normen bis 2025 nach und werfen einen Blick in die Zukunft.

“Prinzipiell ist künstliche Intelligenz leider nicht vergleichbar mit dem Intelligenzlevel eines Menschen, sondern eher ein sehr aufwendig gestaltetes algorithmisches System.” - Taras Holoyad

Nach seinem Elektrotechnik-Studium an der TU Braunschweig berechnete Taras Holoyad zunächst elektrische Maschinen für Straßenfahrzeuge und stieg darauf folgend in die Standardisierung künstlicher Intelligenz bei der Bundesnetzagentur ein. Während seines Tagesgeschäfts arbeitet Taras an Strategien zur KI-Regulierung mit, ist Projektleiter für die internationale Norm zur KI-Klassifizierung “ISO/IEC 42102” und Vice Chair beim Europäischen Normungsgremium ETSI TC “Methods for testing and specification”. Ein Ziel seiner Teams ist es, ein einheitliches Verständnis für Systeme unter dem Begriff “Künstliche Intelligenz” zu erreichen sowie damit zusammenhängende Qualitätskriterien und Prüfprozesse zu erklären. Ferner erarbeitet Taras mit Kolleginnen und Kollegen aus Forschung, Industrie und öffentlichem Dienst einen Beipackzettel für KI-Systeme, ein Label für KI-Produkte sowie ein Glossar zur künstlichen Intelligenz, damit KI-Systeme innerhalb unserer Gesellschaft auch niederschwellig bewertet werden können.

Highlights der Episode

  • Regulierung von Künstlicher Intelligenz (KI)
  • Normierung und Standardisierung von KI-Systemen
  • Herausforderungen bei der Normierung von KI
  • Entwicklung von Qualitätskriterien für KI-Methoden
  • Auswirkungen der Normen auf Unternehmen, die KI entwickeln

Prüfkriterien für KI-Fähigkeiten

Künstliche Intelligenz (KI) spielt eine entscheidende Rolle in der Softwareentwicklung. Sie ermöglicht es, komplexe Datenanalysen durchzuführen, Muster zu erkennen und automatisierte Entscheidungen zu treffen. Die Integration von KI in Softwareanwendungen verbessert nicht nur die Effizienz, sondern auch die Benutzererfahrung.

Im Podcast mit Taras Holoyad wird die Bedeutung der Testbeschreibung für KI-Fähigkeiten ausführlich erörtert. Folgende Punkte stehen im Fokus:

  • Die grundlegenden Herausforderungen bei der Erstellung von Testbeschreibungen für KI-Systeme
  • Die Notwendigkeit einer standardisierten Herangehensweise zur Gewährleistung der Qualität und Sicherheit von KI-Anwendungen
  • Einblicke in die aktuellen regulatorischen Rahmenbedingungen, insbesondere durch die Rolle der Bundesnetzagentur

Taras Holoyad, ein Experte auf dem Gebiet der KI-Regulierung, teilt wertvolle Informationen darüber, wie Unternehmen ihre KI-Fähigkeiten testen und beschreiben können. Dies ist besonders wichtig in Anbetracht neuer gesetzlicher Vorgaben und Standards im Bereich künstlicher Intelligenz.

Die Rolle der Bundesnetzagentur in der KI-Regulierung

Die Bundesnetzagentur spielt eine entscheidende Rolle in der KI-Regulierung in Deutschland. Ihre Aufgaben umfassen verschiedene Bereiche, die für die Sicherstellung von Standards und die Marktüberwachung von Bedeutung sind:

Aufgaben der Bundesnetzagentur im Bereich KI

  • Verantwortlich für die Regulierung von Telekommunikation, Post, Eisenbahnen sowie Elektrizität und Gas.
  • Entwicklung von Standards für den Einsatz von KI-Systemen, insbesondere im Hinblick auf Hochrisikosysteme.

Marktüberwachung von Hochrisikosystemen

  • Überwachung der Konformität und Sicherheit von Produkten, die auf dem Markt erhältlich sind.
  • Zusammenarbeit mit verschiedenen Marktteilnehmern zur Evaluierung und Überprüfung von Risiken.

Zusammenarbeit mit Zertifizierungsstellen und unabhängigen Experten

  • Kooperation mit unabhängigen Experten zur Erstellung verlässlicher Zertifizierungen.
  • Unterstützung von Zertifizierungsstellen bei der Einhaltung erforderlicher Standards.

Durch diese Maßnahmen sorgt die Bundesnetzagentur dafür, dass KI-Anwendungen sicher und zuverlässig sind. So wird ein grundlegendes Vertrauen in Technologien gefördert, die zunehmend unseren Alltag beeinflussen.

Standardisierung von Testkriterien für KI-Systeme nach ISO/EEC 42102

Die Standardisierung von Testkriterien für KI-Systeme ist ein entscheidender Schritt zur Gewährleistung der Qualität und Zuverlässigkeit in der Softwareentwicklung. Der internationale Standard ISO/EEC 42102 spielt hierbei eine zentrale Rolle. Dieser Standard definiert zwei Dimensionen, die für die Testbeschreibung von KI-Fähigkeiten relevant sind: Methoden und Fähigkeiten.

Dimension 1: Methoden

In der ersten Dimension werden sowohl klassische als auch moderne Ansätze in der KI-Testbeschreibung betrachtet.

Klassische KI-Ansätze
  • Symbolische KI: Diese Methode basiert auf logischen Regeln und Wissensdarstellungen. Sie ermöglicht das Verständnis komplexer Zusammenhänge durch formale Logik.
  • Optimierungsverfahren: Diese Techniken zielen darauf ab, die Leistung eines Modells zu maximieren, indem sie Parameter anpassen und Evaluierungsmetriken beachten.
Moderne KI-Ansätze
  • Maschinelles Lernen (ML): Hierbei handelt es sich um Algorithmen, die aus Daten lernen und Muster erkennen können. Dazu zählen überwachte, unüberwachte und verstärkende Lernmethoden.
  • Hybride Prozesse: Eine Kombination aus symbolischer KI und maschinellem Lernen, die es ermöglicht, die Vorteile beider Ansätze zu nutzen.

Diese unterschiedlichen Methoden erfordern spezifische Strategien zur Durchführung und Dokumentation von Tests. Die Auswahl der richtigen Methodik beeinflusst die Effektivität des Tests erheblich.

Relevanz von Optimierungsverfahren

Optimierungsverfahren sind besonders wichtig für Tests, da sie helfen, die besten Parameter für Algorithmen zu finden. Sie tragen dazu bei, dass Modelle nicht nur korrekt arbeiten, sondern auch effizient sind.

Ein Beispiel für ein Optimierungsverfahren ist das Gradient Descent, das in vielen maschinellen Lernalgorithmen verwendet wird. Dieses Verfahren minimiert den Fehler einer Vorhersage durch schrittweises Anpassen der Gewichtungen eines Modells.

Die Anwendung dieser Methoden in einem standardisierten Format sorgt für Wiederholbarkeit und Konsistenz in den Testergebnissen. In diesem Kontext wird auch die Bedeutung einer strukturierten Testbeschreibung hervorgehoben. Durch klar definierte Testkriterien können Tester sicherstellen, dass alle Aspekte einer KI-Fähigkeit adäquat bewertet werden.

Die Standardisierung von Testkriterien nach ISO/EEC 42102 fördert somit nicht nur die Vergleichbarkeit zwischen verschiedenen Testszenarien, sondern schafft auch eine Grundlage für eine verantwortungsvolle Entwicklung von KI-Systemen im Einklang mit regulatorischen Vorgaben.

Dimension 2: Fähigkeiten - Wahrnehmung, Verarbeitung von Wissen und Aktionsfähigkeiten in der Testbeschreibung für KI-Systeme

Die Fähigkeiten von KI-Systemen sind vielfältig und lassen sich in verschiedene Kategorien unterteilen. Diese Fähigkeiten umfassen:

  • Wahrnehmung: Die Fähigkeit von KI, Daten aus der Umwelt zu erfassen, beispielsweise durch die Analyse von Bildern oder Sounds. Klassische KI-Systeme nutzen oft einfache Algorithmen zur Mustererkennung, während moderne Ansätze komplexere neuronale Netze verwenden.
  • Verarbeitung von Wissen: Hierbei handelt es sich um die Fähigkeit, Informationen zu speichern, abzurufen und zu verarbeiten. Symbolische KI nutzt logische Regeln zur Wissensdarstellung, während hybride Prozesse eine Kombination aus klassischen und modernen Methoden implementieren.
  • Aktionsfähigkeiten: Dies bezieht sich auf die Fähigkeit der KI, Entscheidungen zu treffen und basierend auf erlerntem Wissen Aktionen auszuführen. Roboter und autonome Systeme sind Beispiele für Anwendungen dieser Fähigkeit.

Der internationale Standard ISO/EEC 42102 spielt eine entscheidende Rolle bei der Standardisierung von Testkriterien für diese Fähigkeiten. Die Notwendigkeit der Standardisierung ist besonders wichtig, um konsistente und nachvollziehbare Testbeschreibungen für KI-Fähigkeiten zu entwickeln. Hierdurch können Unternehmen sicherstellen, dass ihre KI-Systeme den erforderlichen Qualitätsstandards entsprechen. Algorithmen erkennen Inhalte aus Bildern durch Techniken wie Bildklassifizierung oder Objekterkennung und generieren neue Daten basierend auf den erlernten Mustern.

Qualitätskriterien und messbare Metriken für die Bewertung von KI-Systemen im Software Testing

Qualitätssicherung ist ein zentraler Aspekt in der Entwicklung von KI-Systemen. Bei der Bewertung dieser Systeme spielen spezifische Qualitätskriterien eine entscheidende Rolle. Die wichtigsten Methoden im KI-Testing sind:

  • Überwachtes Lernen: Hierbei werden Modelle mit gekennzeichneten Daten trainiert. Qualitätssicherungsmaßnahmen konzentrieren sich auf die Genauigkeit der Vorhersagen.
  • Unüberwachtes Lernen: In diesem Fall erkennt das System Muster in unmarkierten Daten. Die Robustheit der Modellanpassung ist hier entscheidend.
  • Verstärkungslernen: KI-Agenten lernen durch Interaktion mit ihrer Umgebung. Die Informationssicherheit wird zum wichtigen Kriterium, um sicherzustellen, dass Agenten keine schädlichen Entscheidungen treffen.

Ein Beispiel für eine spezifische Metrik ist der Confidence Score, der die Zuverlässigkeit von Vorhersagen in Bildverarbeitungssystemen bewertet. Ein hoher Confidence Score deutet darauf hin, dass das Modell mit einer hohen Wahrscheinlichkeit korrekte Entscheidungen trifft. Um die verschiedenen Qualitätskriterien zu messen, sollten folgende Aspekte berücksichtigt werden:

  • Korrektheit: Wie präzise sind die Ergebnisse?
  • Robustheit: Wie widerstandsfähig reagiert das System auf Störungen oder unerwartete Daten?
  • Informationssicherheit: Wie schützt das System vor unautorisierten Zugriffen oder Manipulationen?

Diese Kriterien bilden die Grundlage für eine effektive Testbeschreibung und helfen dabei, die Leistungsfähigkeit von KI-Systemen zu bewerten und zu optimieren.

Herausforderungen bei der Implementierung des AI Act in Bezug auf Hochrisikosysteme und die Rolle von Zertifizierungsstellen im Software Testing von KI-Fähigkeiten

Der AI Act stellt einen bedeutenden regulatorischen Rahmen für Unternehmen dar, die künstliche Intelligenz entwickeln oder einsetzen. Die Auswirkungen sind tiefgreifend, insbesondere für Organisationen, die Hochrisikosysteme implementieren. Diese Systeme sind als sicherheitsrelevant klassifiziert und erfordern strenge Vorgaben zur Gewährleistung der Sicherheit und Transparenz.

Anforderungen an Hochrisikosysteme

  • Sicherheitskomponenten: Systeme, die als Sicherheitskomponente fungieren, unterliegen speziellen Anforderungen.
  • Dokumentationspflichten: Unternehmen müssen umfassende Dokumentationen erstellen, um Nachweis über die Einhaltung der Standards zu führen.

Rolle von Zertifizierungsstellen

Zertifizierungsstellen spielen eine entscheidende Rolle bei der Umsetzung des AI Act. Sie sind verantwortlich für:

  1. Die Prüfung der Konformität von Hochrisikosystemen mit den festgelegten Anforderungen.
  2. Die Ausstellung von CE-Kennzeichnungen, die den Marktzugang ermöglichen.

Diese Stellen müssen durch unabhängige Experten evaluiert werden, um sicherzustellen, dass sie über das notwendige Fachwissen verfügen. Der Druck auf diese Institutionen ist hoch, da nicht nur fristgerechte Prüfungen gefordert werden, sondern auch eine zügige Anpassung an sich schnell ändernde Technologien erforderlich ist.

Zukunftsausblick auf die Entwicklung und Standardisierung von Testmethoden für künstliche Intelligenz im Software Testing

Die Zukunft der KI-Testmethoden wird stark von den Fortschritten in der Regulierung und Standardisierung geprägt. Die Bedeutung der Standardisierung kann nicht hoch genug eingeschätzt werden, insbesondere wenn es darum geht, Testbeschreibungen für KI-Fähigkeiten zu entwickeln. Zukünftige Entwicklungen könnten folgende Aspekte umfassen:

  • Erweiterung der Standards: Die internationalen Normen wie ISO/EEC 42102 werden weiter verfeinert, um spezifischere Anforderungen an Hochrisikosysteme zu adressieren.
  • Integration von Qualitätskriterien: Der Fokus auf Qualität und Sicherheit in KI-Systemen wird zunehmen. Metriken wie der Confidence Score für Bildverarbeitungssysteme werden standardisiert, um eine objektive Bewertung zu ermöglichen.
  • Kollaboration zwischen Akteuren: Eine enge Zusammenarbeit zwischen Regulierungsbehörden, Zertifizierungsstellen und Unternehmen wird erforderlich sein, um praktikable Lösungen zu finden.

Die kontinuierliche Entwicklung von Testmethoden für künstliche Intelligenz wird entscheidend sein, um sicherzustellen, dass Softwareentwicklungen den neuen regulatorischen Anforderungen gerecht werden. Zukünftig könnte ein dynamisches Umfeld entstehen, in dem Anpassungen an Standards schnell umgesetzt werden können, um mit den technologischen Fortschritten Schritt zu halten.