Hallo und herzlich willkommen zu einer neuen Folge vom Podcast Software Testing. Ich bin euer Host Ritschi und habe wieder eine Folge vom QS-Tag 2024 mit dabei. Heute geht es wieder mal über das Thema KI und darüber habe ich mich mit Taras von der Bundesnetzagentur unterhalten. Er beschäftigt sich damit, wie man Testbeschreibungen für KI-Fähigkeiten erstellen kann und diese vagen Formulierungen, diese global galaktischen Prüfthemen und all die Vorgaben,
die es dazu gibt, in der Praxis und Realität greifbar zu machen. Und jetzt viel Spaß bei der Folge. Hallo Taras, schön, dass du da bist. Grüß dich Ritschi, vielen Dank auch, dass ich mit euch beim Software QS-Tag über solche tollen Themen reden darf. Ja, ich finde es klasse, weil du kommst ja von der Bundesnetzagentur und beschäftigst dich mit KI. Das ist ja schon mal ein spannender Kontext sozusagen. Ja, definitiv. Fangen wir mal vielleicht mit dem
einen an. Bundesnetzagentur, was hat die mit KI zu tun? Was ist da eure Aufgabe, deine Aufgabe? Ja, wir sind da, die Bundesnetzagentur, als Regulierungsbehörde zuständig für verschiedene Segmente für die Telekommunikation, für Post, für die Eisenbahn, für Strom und Gas. Und ich bin selber in der Regulierung der Telekommunikation und der Fokus ist bei uns beispielsweise zum einen auf der Marktüberwachung von Funkanlagen, also Bluetooth-Radios oder Handys, aber zum
anderen auch auf der Konformitätsbewertung. Das heißt, Experten von uns gehen mit unabhängigen Experten zu Zertifizierungsstellen und machen sie dann zu sogenannten Notifizierungsstellen, nachdem sie sich mit den Experten unterhalten, nachdem sie sich das Messergebiet anschauen und sich von der Expertise überzeugen lassen. Und dann ist es so, dass man als notifizierte Stelle zum Marktzugang von Produkten auf dem europäischen Binnenmarkt beitragen darf. Ah ja, okay. Das heißt,
ihr kommt auch stark von der regulären Seite her. Ich meine, das ist natürlich auch eure Aufgabe, die Standards auch dann mitzugestalten. Genau, und natürlich ist dann die Normung auch eine
Aufgabe, teilweise innerhalb der Regulierung, wenn sie gesetzlich niedergeschrieben ist. Und wir arbeiten jetzt insbesondere in der KI-Regulierung mit, wo es tatsächlich darum geht, auch Normen zu schreiben für das Gesetz für künstliche Intelligenz, weil es gibt ja jetzt seit diesem Jahr, seit August, ein Gesetz zur künstlichen Intelligenz, was jeder Marktzugänger umsetzen muss. Und da geht es dann meistens um sogenannte Hochrisikosysteme und solche
General Purpose AI Systems. Und da machen wir Normen für, die diese Marktzugänger dann erfüllen müssen. Das ist ja, glaube ich, eine Mammutaufgabe. Also ich meine, eine Technologie, die so populär jetzt auf einmal da ist, wo vielleicht die zwar eigentlich in ihrem Kern schon alt ist, aber trotzdem jetzt gerade da ist, mit der Leistung da ist, das zu normieren und zu standardisieren, ich stelle mir das total mühsam vor. Ja, definitiv. Also viele sagen ja auch dazu,
alter Wein in neuen Schläuchen. Und prinzipiell hat ja auch die Nase in den 90er-Jahren bei Weltraumfahrtprogrammen auf neuronale Netze gesetzt. Und heute gibt es nicht so extrem viel bahnbrechendes. Es gibt zum Beispiel die Transformer-Methode, die relativ viel Korrektheit hat im Vergleich zu älteren Ansätzen. Aber prinzipiell ist künstliche Intelligenz leider nicht vergleichbar mit dem Intelligenzlevel eines Menschen oder eines Menschen, sondern eher ein
sehr aufwendig gestaltetes algorithmisches System. Und wenn du jetzt wegen Normen gefragt bist, es gibt ja auch viele Bereiche, die man jetzt rund um die künstliche Intelligenz normen kann. Beispielsweise wie formuliere ich Prüfkriterien, wie beschreibe ich Tests, wie kann ich sicherstellen, dass Prüfungen nach einem einheitlichen Schema umgesetzt werden, wie beschreibe ich dann auch, was für das Gesetz für künstliche Intelligenz wichtig ist. Es gibt zum Beispiel einen Normungsauftrag
von der Europäischen Kommission. Die Europäische Kommission stellt sich Normen zu zehn Themen vor und zu diesen zehn Themen erarbeiten wir dann auch die Normen mit der Industrie, mit Consultingunternehmen, mit Zertifizierungsstellen. Jetzt hast du schon gesagt, Prüfungen und Testing auch zu normieren für KI. Du hast das ja auch, das ist ja, glaube ich, Teil deines Vortrags auch, wie man das überhaupt strukturieren kann,
so einen Test, wie man den Blick auf KI da überhaupt setzen kann. Wir holen uns da mal ins Thema, weil ich finde, das ist ja so mannigfaltig. Wie schafft ihr das oder was sind so die Ideen, da mal Pflöcke reinzuschlagen, um das dann auch standardisierbar zu kriegen? Prinzipiell ist es natürlich schwierig, ein Ökosystem zu schaffen für bestimmte Themen.
Ich finde, dass Prüfung von künstlicher Intelligenz fußt auf unterschiedlichen Normen und wir haben, ich zumindest habe mir das so vorgestellt, dass man verschiedene Normen dazu nutzt, um bestimmte Prüfungen von KI umzusetzen und diese Normen tangieren unterschiedliche Bereiche. Eine internationale Norm beispielsweise, die ich leite, das ist die ISO/EEC 42102. Da geht es um
die Beschreibung von künstlicher Intelligenz aus zwei Dimensionen. Aus der Dimension der Methoden, die dann in Algorithmen implementiert werden können, wie klassische KI mit Optimierungs- und Planungsverfahren oder die symbolische KI inklusive Wissensrepräsentation, Inferenz und das maschinelle Lernen oder hybride Verfahren, die dann regelbasierte und datengetriebene Methoden kombinieren. Und auf der anderen Seite gibt es die Dimension der Fähigkeiten. Das sind
dann die Fähigkeiten, die mittels dieser Algorithmen umgesetzt werden können. Die umfassen die Wahrnehmung von Bildern oder Gerüchen, die Verarbeitung von Wissen. Das heißt, dass ein Algorithmus in der Lage ist, Inhalte zu extrahieren aus Bildern, beispielsweise Objekte zu erkennen oder allgemein Sachen zu selektieren oder neues Wissen zu erzeugen oder Datenpunkte zu erzeugen. Und sonst ist eine Fähigkeit die Handlung, das ist dann robotisch oder softwarebasiert
und die Kommunikation, also das, was JGTPT macht. Und aus meiner Sicht, das ist auch der Dreh- und Angelpunkt meines Vortrags, kann man mit einem Fokus auf diese Fähigkeiten das Funktionsspektrum von KI-Systemen testen. Und wenn man sich jetzt beispielsweise nur auf die Verarbeitung innerhalb von KI-Modellen fokussiert, dann finde ich, dass man fünf grundlegende Fähigkeiten formulieren kann für das Verarbeiten. Hier ist Identifikation, Klassifizierung, dann Extraktion, Selektieren und
Generieren. Und man kann für diese jeweiligen Fähigkeiten Metriken formulieren und das einheitlich machen für Verarbeitung von Sound, Verarbeitung von Bildern oder natürliche Sprachverarbeitung. Und man kann dann wiederholend und skalierbar KI-Systeme oder Modelle, wenn du mich bittest, ein Modell von Hagen Face zu testen, dann kann ich das für dich machen anhand der Fünf Fähigkeiten. Und das ist aber zum Beispiel jetzt ein Standard, wo man diese beiden Dimensionen
beschreibt, die Methodenfähigkeiten. Es gibt noch einen anderen Standard, wo man Qualitätskriterien beschreibt für einzelne Methoden. Und zwar, wenn die in Algorithmen implementiert sind, dann kann man für einzelne Methoden, wie das Überwachte-Lernen oder das Unüberwachte-Lernen oder das Bestärkende-Lernen, kann man einzelne Qualitätskriterien formulieren. Und das sind dann Korrektheit, Robustheit, Schutz vor oder Vermeidung von unnötigen Verzerrungen, Schutz vor feindlichen Angriffen und
Informationssicherheit. Und man kann dann methodenabhängig für diese einzelnen Qualitätskriterien Metriken formulieren, wie beispielsweise für das Qualitätskriterium Korrektheit kann man
die Metrik Confidence Score nutzen für Überwachtes Lernen und die Bilderkennung. Und wenn man jetzt in einem Standard die Methodenfähigkeiten formuliert, in einem anderen Standard die Qualitätskriterien, dann ist es so, dass man auf der einen Seite darlegen kann, was ist künstliche Intelligenz, auf der anderen Seite kann man darlegen, welche Qualitätskriterien kann man demonstrieren oder nachweisen. Und zum Dritten ist das, woran ich jetzt beginne zu arbeiten,
ist die Testbeschreibung. Das ist ein neuer Vorschlag, den ich im Vortrag auch anführen werde, weil die anderen beiden Normen sind schon sehr fortgeschritten. Und bei der Testbeschreibung geht es darum, dass man einen Testfall in einem strukturierten Text beschreibt. Das heißt, der Testfall bei einer Bilderkennung ist Erkennung von Straßenfahrzeugen, beispielsweise mit Modellen
wie Joule oder Detir, die üblich sind bei Hagenfels. Und man kann beispielsweise dann strukturiert einen Text darlegen in Spalten, Zeilen, was man sich eigentlich vorstellt, hinsichtlich der Testschritte, hinsichtlich der festzulegenden Schwellenwerte zur Messung von Qualitätskriterien, zum Beispiel Schwellenwerten für die Korrektheit, beispielsweise 0,95. Ab dann
bin ich der Meinung, dass das System ausreichend gut erkennt. Man kann auch Akzeptanzkriterien festlegen, aber prinzipiell geht es bei dieser Testbeschreibung darum, dass wenn du mich mit einem Testbeamten auftragst, nehme ich meine beiden Normen und setze dann mit der Testbeschreibung einen strukturierten Text auf. Ich habe mich davon TdL inspirieren lassen, von der Test Description Language bei einem Gremium, wo ich sehr stark mitarbeite, das heißt ETSI, TCMTS, Methods for
Testing and Specification. Da geht es darum, dass wir Beschreibungen für Tests entwickelt haben, aber für Protokolltests im Mobilfunk oder in der Automobilindustrie. Und diese Testbeschreibung, die ist sehr inspirierend auch für KI-Systeme. Und daher kommt das dann.
Das ist ja für mich, wenn du da sagst, dass die ersten Normen auch mit diesen Fähigkeiten und mit den Qualitätskriterien, das bringt bei mir sofort das Bild, das ist ja wie eine Art Checkliste oder Matrix, die ich dann einfach auch drüberlegen kann über mein KI-System, um es mal greifbar zu bekommen. Weil ich finde, mit diesen Qualitätskriterien, da kriege ich aus Testersicht ein Herzchen in den Augen, weil ich denke, Qualitätskriterien kenne ich, damit kann ich
arbeiten. Und das ist nicht mehr so eine abstrakte Irgendwas, sondern es wird dann konkreter. Also das finde ich total charmant. Und untypisch für eine Norm, muss ich sagen. Freut mich. Deswegen ist es dann wichtig, dass man verschiedene Normen nimmt, die man selbst gestaltet, die dann im Zusammenspiel zusammen sein können. Weil unterschiedlich interessierte Kreise erlauben dann auch aus politischer Perspektive nicht
unbedingt, dass ein bestimmter Detailgrad ausgeführt wird. Deswegen habe ich es für am vernünftigsten gehalten, einzelne Detailtiefen für andere Dokumente aufzuheben. Die zwei Normen, die du erwähnt hast, die sind noch nicht final? Genau. Also das eine ist eine ISO E C 42102. Das sind das alle Normen, die dann gerade in Entwicklung ist. Das andere bei ETSI, das ist ein technischer Bericht, das ist die 103 910 von
CMTS. Und prinzipiell kann man aber Normen für die Anwendung zusammen verwenden, zusammenlegen, als Dokumente nutzen für eine Implementierung, unabhängig vom Dokumentenstatus, wenn gesetzlich nichts dagegen spricht. Und für diese Test Design Language, also diese Teststrukturierungssprache, die du da auch quasi entwickelst oder ableitest, wo siehst du da so den Beispiel? Was zeichnet die so aus? Kannst du uns das noch so ein bisschen zeigen?
Ja, die zeichnet so aus, dass man auf einen Blick erkennen kann, wo es dabei geht. Du kannst dir das so vorstellen wie im Programmieren, dass du eine Funktion schreibst und nicht, dass du sie so anfängst wie mit Dev in Python, sondern du schreibst einfach den Syntax, den du in der Norm hintergeschrieben hast, beispielsweise Test Case und dann in geschweiften Klammern Vehicle Recognition und dann darunter Test Objective, also das Testziel und schreibst dann auch,
was du damit erreichen willst und darunter dann Test Activities und das sind dann die Handlungen, die du dir versprichst dann und darunter dann die Test Steps, die Schritte,
die für die Handlungen dann vollzogen werden müssen. Und bei den Test Steps ist es beispielsweise so, dass du bei einem Bilderkennungsmodell sagen kannst, das Bilderkennungsmodell liest jetzt jeden Frame eines Videos und inferiert dann und klassifiziert dann Objekte und du kannst dann auch eine Einstellung setzen, auch im schon gerotierten Text, wie zum Beispiel Set Threshold Value für den Confidence Score zu 0,5, das heißt erst ab 0,5 wird ein Objekt überhaupt erst klassifiziert,
weil man damit eine bestimmte Sicherheit sich dann einbildet und ganz unten will man Akzeptanzkriterien setzen und sagen, dass bei einem Threshold Value von 0,95 ist man überhaupt erst damit einverstanden, dass man dem Modell eine Korrektheit unterstellen kann. Und das wäre alles im strukturierten Text hintergeschrieben und dazu würde ich bei HCMTS, bei dem Gremium, in den kommenden Monaten dann ein neues Dokument initiieren, Technische Spezifikation wahrscheinlich.
Sehr spannend. Wie fließen denn diese drei Aspekte, wenn ich jetzt nenne, diese zwei Normen, wie fließt das quasi in den Auftrag der Bundesnetzagentur oder in Richtung KI-Gesetz? Wo schließt sich da die Brücke? Also das erste Dokument ISO E C 42102, das ist unabhängig von
dem Testen ein Dokument, was zum Normungsauftrag der Europäischen Kommission passt. Also es ist ja so, dass bei europäischen Gesetzen oder bei europäischen Verordnungen gibt es auch nebenbei ein sogenanntes Stratetization Request, Stratetisierungsmandat und das wird dann an drei Organisationen geschickt, an CEN, CENELEC und ETSI. Diesmal nur an CENELEC und es ist dann so,
dass man für zehn Themen Normen erarbeiten soll in diesen Gremien. Und die zehn Themen sind diesmal Korrektheit, Robustheit, Cybersicherheit, Qualitätsmanagement, Konformitätsbewertung, Transparenz, Risikomanagement und es geht da grundsätzlich darum, dass man die KI-Verordnung feingranularer beschreibt in den Dokumenten. Es wäre am besten, dass man diese High-Level-Anforderungen übersetzt in irgendwas Messbares, aber es ist leider so, dass trotzdem bleiben viele dieser
Normen auf einer relativ abstrakten Ebene. Vielleicht nicht so gut für den Test, weil man viel Unsicherheit hat auf der einen Seite. Auf der anderen Seite ist künstliche Intelligenz noch nicht so weit erforscht. Der entscheidende Durchbruch fehlt aus meiner Sicht noch und vielleicht würde man damit neuartige Systeme vielleicht eher nicht ausreichend testen können, wenn man zu viele
Teiltiefer hätte, aber prinzipiell ist es gerade so. Aber unser Thema, diese ISO-EEC 42102, diese Matrix mit den Methoden und Fähigkeiten, die passt zum Thema Transparenz und da arbeite ich mit Kollegen aus Frankreich, USA und Deutschland intensiv dran. Das wird zum einen ein internationaler
Standard werden und zum anderen eine europäische Norm. Es gibt so eine Wiener Vereinbarung zwischen ISO und CEN, so ein Vienna Agreement, und das ermöglicht dann so eine parallele Erarbeitung, dass du am Ende zum einen einen internationalen Standard hast und zum anderen eine europäische Norm. Vielleicht kannst du noch ganz kurz, weil wir jetzt natürlich, die Community, die das hört, da wird es jetzt auch Firmen geben, die gerade KIs entwickeln, die sie umsetzen, einbauen und so
was. Wo ist denn, wo trifft mich das denn? Wo muss ich das denn dann beachten? Also vielleicht kannst du es dann auch mal ganz kurz einen Blick drauf geben, weil ich glaube, viele wissen gar nicht, trifft mich das oder nicht? Muss ich da was beachten? Ja klar. Also es ist tatsächlich so, dass man das KI-Gesetz tatsächlich seit August dieses Jahres in Kraft hat und es wird schrittweise
nach einzelnen Zeitfenstern umgesetzt und die Umsetzung findet bei Behörden statt. Die Behörden entscheiden sich dann über Marktüberwachungsbehörden, die für die Marktüberwachung in einzelnen Segmenten verantwortlich sind. Also Segmenten, Medizinprodukte, Spielzeuge, Funkanlagen und so. Und es gibt glaube ich 13 Segmente, die man abdecken muss und prinzipiell ist es aber so, dass alle, die zum Markt kommen wollen, können natürlich die Normen umsetzen. Wenn sie die Normen
nicht umsetzen, dann ist es erforderlich, zu Zertifizierungsstellen zu gehen. Und es ist tatsächlich so, dass man zu diesen zehn Themen, die ich vorhin erwähnt habe, aus dem Normen-Mandat Normen entwickelt und jeder Marktzugänger schaut sich dann an, ob sein Produkt unter die KI-Verordnung fällt. Und zwar sind zwei Sachen entscheidend. Einmal Hochrisiko-KI-Systeme und das sind Systeme,
die ein Teil einer Sicherheitskomponente sind. Also es heißt eigentlich Safety-Component und aus meiner Sicht ist Safety der Schutz des Menschen vor der Maschine oder vor der KI und Security eher der Schutz der Maschine. Und bei dieser Safety-Component ist es dann so, dass man, wenn man so etwas hat, dann ist man bei einem Hochrisiko-KI-System und dann muss man diese zehn, diese Normen aus diesen zehn Themen erfüllen. Und es ist, wenn nicht, muss man zu einer
Zertifizierungsstelle. Es gibt noch General Purpose AI-Systems. Das sind KI-Systeme mit einem sehr breitbeinigen Funktionsspektrum. Zum Beispiel ist Chet GPT eins und dort gibt es auch noch die Verpflichtung, dass man eine aufwendigere Dokumentation hat, wenn das System eine besonders hohe Hardwareleistung beim Training hatte. Also es gibt halt so einen Schwellenwert von 10 hoch 25 Flops, das KI-System als General Purpose AI-System gilt dann als General Purpose AI-System
with systemic risk. Dem wird dann so ein systemisches Risiko unterstellt, aber nur aufgrund dieser Flops. Und diese Flops ist so ein Produkt aus einer algorithmus-spezifischen Konstanten, also ob das jetzt ein Transformer ist oder CNN oder und dann auch noch der Tokenlänge
bei den Trainingsdaten und von der Zahl der Parameter. Und wenn man tatsächlich 10 hoch 25 übersteigt, ich glaube GPT-4 hat das überstiegen, ist es so, dass man aufwendigere Dokumentationspflichten leisten muss, dass man tatsächlich noch aufwendigere Vorbeugemaßnahmen im Hinblick auf Cybersicherheit umsetzen muss. Und also weil du mich fragtest, worauf müssen sich Menschen einstellen?
Es kommt natürlich auf die Perspektive an, Zertifizierungsstellen, die dann einbezogen werden, wenn die Anwendung der Normen nicht ausreichend ist oder wenn keine Normen da sind zur Anwendung, dann ist es so, dass die Zertifizierungsstelle sich Prüfergebnisse anschaut und dann aufgrund der Prüfergebnisse ein CE-Kennzeichen ausgibt für den Marktzugang.
Und so würde es halt im KI-Bereich auch sein. Es ist aber eine große Herausforderung da, weil die Zertifizierungsstellen, die gerade da sind, die müssen erst mal von einer verantwortlichen Behörde in jedem europäischen Mitgliedsland notifiziert werden. Das heißt, erst nachdem sie bewertet wurden von einem unabhängigen Experten und jemand von der Behörde, erst dann werden sie zu einer notifizierten Stelle und erst dann können die zu dem Marktzugang
beitragen, wenn jetzt keine Normen da sind oder die Normen nicht benutzt werden. Und es ist so, dass in ungefähr 8 Monaten ist es nach dem europäischen Gesetz erforderlich, dass diese notifizierten Stellen benannt sind. Das heißt, die Bewertung seitens der Behörden muss abgeschlossen sein und gleichzeitig ist es dann erforderlich, dass in zwei Jahren auch diese Stellen für einige Hochrisikosysteme auch ausreichend Kompetenzen aufgebaut haben, um diese zu prüfen.
Ah ja, verstehe. Es ist ein sehr dynamisches und wildes Umfeld, glaube ich, gerade. Also weiß ich auch, die Schnelligkeit der letzten Jahre jetzt hier auf einmal auch in diesen ganzen Dynamiken der Zertifizierungsstellen, der Normungsgräme natürlich jetzt auch irgendwo wiederfinden muss. Genau. Und es stehen natürlich alle unter Druck. Behörden stehen unter Druck. Sie brauchen
ja selber kompetente Menschen, die diese Zertifizierungsstellen bewerten. Hersteller stehen unter Druck, weil wenn man sich die aktuelle Seite anschaut von Sainz Selleck zur europäischen Normung, dann ist es so, dass die europäischen Normen relativ im Verzug sind. Die Deadline ist auf April 2025 gelegt und auf der offiziellen Seite sind Zeitfenster von 2026 angegeben. Man versucht einige Sachen wirklich stark beschleunigten Verfahren umzusetzen und der
Kommission dann etwas vorzulegen, was passt. Und da sind halt alle im Stress, in diesem Zusammenhang. Ich finde toll, dass du in dem Bereich auch so aktiv bist und auch so fit bist. Wir haben uns ja vorher schon ein bisschen unterhalten zu dem Thema. Du hast auch viele Bücher zum Software-Testen allgemein geschrieben und das ist natürlich auch insgesamt sehr inspirativ. Ja, also für mich ist das ganze Thema KI, das macht für uns, glaube ich, in der Qualitätssicherung
auch ein ganz neues Fass auf. Das merke ich an allen Ecken und das ist schon spannend, auch was für Dynamiken da drinnen gibt. Ja, Taras, vielen lieben Dank für deine Einblicke da in deine Arbeit, in die verschiedenen Modelle. Ich fand es sehr schön, dass auch mal ein bisschen in einem praktischen Level, was Qualitätskriterien und sowas runterkommt, wo ich mir quasi KI-Systeme aus Tester-Sicht, aus Qualitätssicht besser vorstellen kann. Das hat mir jetzt auch persönlich sehr geholfen.
Freut mich. Danke dir schön, dass du hier warst. Ich wünsche dir noch ganz viel Spaß hier auf der Konferenz, auf der QS-Tag. Danke sehr. Und dein Vortrag kommt ja erst, ne? Der kommt morgen. Genau, ja, da drücke ich dir die Daumen, dass du ganz viel Spaß auch dabei hast. Danke, Chi. Mach's gut, ne? Ciao. Mach's gut, ciao, ciao. [Musik]