Deepfakes, Phishing, Exploits - Gefahren von KI - podcast episode cover

Deepfakes, Phishing, Exploits - Gefahren von KI

Aug 24, 202450 minEp. 192
--:--
--:--
Download Metacast podcast app
Listen to this episode in Metacast mobile app
Don't just listen to podcasts. Learn from them with transcripts, summaries, and chapters for every episode. Skim, search, and bookmark insights. Learn more

Episode description

Diese Folge behandelt die Frage, welche spezifischen Herausforderungen und Risiken Deepfakes und andere KI-Manipulationen für die Verwaltung bedeuten. Dabei werden konkrete Beispiele genannt und besprochen. Gleichzeitig sollen Lösungen und Risikominimierungsstrategien aufgezeigt und erklärt werden.

Kommentare  unter: https://egovernment-podcast.com/egov192-gefahr-ki/


Linksammlung Teilnehmer Moderator:in Gast

Wenn ihr uns und unsere Arbeit unterstützen möchtet, dann könnt ihr das gern durch einen Einkauf in unserem Shop, per PayPal oder regelmäßig auf Steady tun.
Weitere Informationen findet ihr hier.

Sticker gibt es hier.

Transcript

Torsten

Ja, hallo und herzlich willkommen zur 192. Ausgabe des E-Government-Podcasts. Ich bin Thorsten Frenzel und heute habe ich wieder in meinem virtuellen Studio einen Gast. Hallo Christopher, ich grüße dich.

Christopher

Hallo Thorsten, freut mich dabei zu sein.

Torsten

Ja, Christopher, bevor es losgeht, vielleicht stellst du dich ganz kurz vor, damit die Zuhörerinnen und Zuhörer auch wissen, mit wem Sie hier zu tun haben.

Christopher

Gern doch. Ich bin Dr. Christopher Nehring. Ich komme aus einer ganz spezifischen Ecke zur Frage der Digitalisierung in der Verwaltung Und zwar beschäftige ich mich eigentlich jetzt so die letzten 15 Jahre mit dem Thema Informationsmanipulation, Desinformation, Fakes. Ich habe über Geheimdienstgeschichte promoviert, war lange Jahre im Deutschen Spionagemuseum in Berlin.

Ich schreibe seit acht Jahren für verschiedene deutsche Medien, die Deutsche Welle, Tagesspiegel, Spiegel, NZZ etc. Und bin seit drei Jahren Gastdozent des Medienprogramms Südosteuropa der Konrad-Adenauer-Stiftung mit dem Schwerpunkt Desinformation und Medien. Und das heißt, ich kam zur Digitalisierung, vor allem zu KI, über die Frage, wie kann ich KI am besten für Fakes und Manipulationen einsetzen. Also das war so mein KI-Moment.

Erste Woche, als JGPD draußen war, stundenlang damit verbracht, um zu gucken, wie schön kann ich damit manipulieren. Und seitdem ist das alles, was ich den ganzen Tag noch tue, also so den KI unter dem Gesichtspunkt der Cybersecurity, unter dem Gesichtspunkt Informationsmanipulation, Manipulationsmöglichkeiten anzuschauen.

Torsten

Ja und jetzt vielen Dank für diese breite Vorstellung. Jetzt wird sich der geneigte Hörer und die geneigte Hörerin fragen, was hat das Ganze mit der öffentlichen Verwaltung zu tun, weil mit KI und Manipulation haben wir in der öffentlichen Verwaltung überhaupt nichts zu tun.

Christopher

Ja, wenn das so wäre, könnten wir das Gespräch jetzt abbrechen und einen späten Frühschoppen trinken gehen.

Torsten

Das können wir nachholen auf jeden Fall.

Christopher

Sehr gerne. Allerdings sind es eher zwei logische, also zwei gravierende Denkfehler. Einmal ist der große Denkfehler, der mir allerdings Tag ein, Tag aus begegnet, der, dass mich KI-Risiken erst dann treffen, wenn ich auch eigene KI-Programme. Applikationen benutze oder in Organisationen eben etabliert habe.

Das klingt zwar logisch, ist aber vollkommen falsch, denn es gibt bestimmte Risiken, also sogenannte intrinsische Risiken, die dann kommen, wenn ich Applikationen selbst bei mir installiert habe oder benutze und andere, deren Opfer ich auch werden kann, obwohl ich selbst zum Beispiel eine bestimmte Technologie gar nicht benutze, wenn eben jemand anderes sie an mich heranspielt.

Dann so der zweite Teil, gerade Informationsmanipulation, das ist doch was für hohe Politik, für Medien oder Wirtschaftskriminalität oder was auch immer und nicht für die öffentliche Verwaltung.

Leider ist eben auch das Quatsch, weil die öffentliche Verwaltung kann und wird genauso zur Zielscheibe einerseits gezielter Informationsangriffe von Manipulations- und Betrugsversuchen und gerade in Verbindung mit dem Thema KI sind da jetzt eigentlich nochmal ganz neue Möglichkeiten aufgetan, die direkt für die Verwaltung in den täglichen Arbeitsprozessen von Bedeutung sind. Ich glaube, zu ein paar von diesen Beispielen kommen wir jetzt dann ausführen.

Torsten

Ich wollte gerade sagen, also noch kann ich so nicht so richtig greifen. Hast du vielleicht mal ein Beispiel dafür, wie mich das in der Verwaltung betrifft? Also gut, mit Chat-GPT, ich weiß, dass die ein bisschen halluziniert, aber das ist noch lange kein Fake, was sie mir da rausbringt.

Christopher

Na, ob es jetzt ein Fake ist oder nicht, wäre eine Ansichtssache, aber das trifft mich dann wirklich erst, wenn ich selbst so die Applikationen in meinem System benutzt habe. Es geht vielleicht auch nicht so unbedingt um den Bereich Text, sondern um audiovisuelle Inhalte, also sprich Deepfakes. Den Begriff hat man jetzt vielleicht auch in der Verwaltung schon mal gehört.

Torsten

Vielleicht erklärst du nochmal ganz kurz.

Christopher

Ja, genau. Also so ein neues Modewort. Es meint Manipulationen oder also audiovisuelle Inhalte, sprich Bilderton oder Videodateien, die mithilfe von KI-Technologien erstellt oder manipuliert wurden. Das heißt, um in der öffentlichen Verwaltung mir jetzt mal so einen Eindruck davon zu geben, das betrifft zum Beispiel sehr stark den Bereich Identität. Wir haben das bei großen Betrügereien, Finanzverbrechen, organisierter Kriminalität

schon gesehen. Jemand gibt vor, jemand zu sein, der er nicht ist, um zum Beispiel Zahlungen zu veranlassen. In der öffentlichen Verwaltung zum Beispiel kann ich mir mittlerweile mit Hilfe von KI-Programmen Ausweise erstellen lassen. Die sind erst mal virtuell verwendet.

Noch nicht haptisch, da sind sie noch nicht da, aber alles, was eine Datei betrifft, einen Inhalt, einen Nachweis, irgendein Dokument, das kann ich mir auch mit KI erstellen lassen, wenn ich die gut genug trainiere, gut genug meine Prompts schreibe und am besten natürlich auch Trainingsmaterialien wie jetzt ein bestimmtes Dokument ausgegeben von Behörde X zur Verfügung stelle, dann kann die KI das sehr gut duplizieren.

Das heißt, so im Bereich Identitäts- oder Nachweisfälschung sind diese KI-Tools heute schon so weit, dass sie zum Beispiel im Finanzbereich hat, dass die US-Finanzbehörde jetzt dazu aufgerufen, bei der Zwei-Faktor-Authentifizierung Stimmen nicht mehr zu benutzen, weil die KI-Tools, die Stimmen fälschen, zu gut geworden sind.

Und das kann natürlich auch jede Kreisverwaltung treffen, dass jemand mit KI gefälschte Nachweise, Dokumente bringt, um bestimmte Leistungen zu bekommen, um bestimmte Anträge zu stellen etc.

Torsten

Da möchte ich nochmal drauf eingehen. Das Tool, was wir hier benutzen, das hat übrigens auch eine KI und die hat auch schon meine Stimme synthetisiert. Also ich könnte den Podcast einfach nur über die Tastatur betreiben. Aber nochmal zurück zu den gefälschten Nachweisen. Gefälschte Nachweise kann ich auch jetzt schon machen. Da brauche ich ein paar Photoshop-Skills und kann mir, keine Ahnung, eine Geburtsurkunde ausstellen oder sonstiges, weil das ist alles Papier.

Das Papier ist irgendwie digitalisiert und wenn ich das drei, vier Mal ausdrucke, vielleicht ein bisschen verknittert oder so, dann sieht es sogar echt aus. Beim Personalausweis oder bei solchen Ausweis-Nachweisen sehe ich tatsächlich noch ein Problem, weil da sind ja Sicherheitskriterien dran, die man zum Beispiel auch nur erkennt, wenn sich dieser Ausweis bewegt. Ich habe erst neulich selber so ein Video-Ident gemacht.

Da muss man den Ausweis in verschiedene Richtungen kippen und einen Finger drauf tun und auf bestimmte Stellen und so weiter und so weiter, damit man sieht, dass es auch ein echter Ausweis ist. Kann das KI schon umgehen?

Christopher

Also ich glaube, diese spezifischen Merkmale, die du gerade angesprochen hast, wie bei so einem Video-Ident-Verfahren, wird eine große Herausforderung. Müsste man mal testen. Sollen wir mal eine Möglichkeit ist, einmal, dass das jemand anderes macht. Also ich lege eine Live-Deepfake-Software drauf, die in diesem Call, ist es jemand anderes und kann vielleicht das Bild noch bearbeiten. Dieses Wasserzeichen könnte noch eine Herausforderung werden.

Da ist es mehr so die Frage, ist der Grund oder ist der Faktor, dass es das heute noch in diesem Verfahren vielleicht nicht möglich ist, wirklich schon die Sicherheit dafür, dass diese Programme das nicht in spätestens sechs Monaten schon hinkriegen. Wir haben hier aber, jetzt speziell in dem Beispiel, das du genannt hast, ja auch die Verbindung, das ist kein rein digitales Dokument, sondern du schaltest halt quasi zwei Ebenen ineinander.

Das heißt, vor der Kamera muss noch jemand stehen, der ein haptisches, physisches Objekt bewegt oder irgendwas damit macht. Das kann KI noch nicht vollkommen übernehmen. Die Frage, wie gut das möglich ist, so eine Szene zum Beispiel auch mit einem Videoerstellungs-Tool komplett zu erstellen, ob das in ein oder zwei Jahren gut genug ist, ist eine der Fragen. Und so diesen Aspekt, den du vorher angesprochen hast, die Frage, ja, Fakes oder Fälschungen an sich sind nichts Neues.

Das ist nicht was, was die KI erfunden hat. Was die KI oder diese große Entwicklung im Bereich generative KI jetzt in den letzten zwei, drei Jahren gemacht hat, ist einmal, dass diese ganzen Fälschungen viel einfacher geworden sind, viel schneller, die Qualität viel besser. Und dass jetzt quasi jedermann, selbst egal wie technisch versiert er ist, also du hast das Beispiel Photoshop genannt, da brauche ich schon noch Photoshop-Skills.

Jetzt kann ich das einfach einem Programm mit ein paar Worten beschreiben und wenn ich das nicht gut genug hinkriege, benutze ich wieder ein anderes KI-Tool, das mir den Befehl schreibt und dann wird das gemacht. Das heißt, das ist einfacher geworden, schneller, billiger. Qualitativ besser und das ist nur der Stand, wie wir ihn heute haben und das oft auch nur jetzt mit den großen gängigen Anwendungen, für die ich mir einfach online Zugang kaufe.

Wir haben noch nicht davon gesprochen, was es ist, wenn professionelle Angreifer sich ihr KI-Modell selbst trainieren, genau für solche Zwecke. Also das gab es schon im Bereich bei den LLMs, dass im Darknet so speziell trainierte Modelle angeboten wurden, die zum Beispiel nur Phishing-Mails erstellen und nur darauf trainiert wurden, dass eben viel besser zu tun als bislang der Standard war.

Das ist auch noch so ein anderes Beispiel bei klassischen Cyberangriffen, die jetzt eine KI-Komponente bekommen, die genauso wie bislang die Verwaltung auch gleichfalls als Ziel haben. Also wir wissen ja, Cyberangriffe treffen ja jetzt nicht nur irgendwie Bundesministerien oder Unternehmen, sondern Kommunen, Städte, Krankenhäuser durch die Bandbreite weg und da eben auch die klassischen Cyberangriffe kriegen durch KI eine ganz neue Qualität.

Torsten

Vielleicht sagst du nochmal ganz kurz, was ein LLM ist und dann habe ich direkt die nächste Frage für dich.

Christopher

Okay. LLMs, eben das, was wir jetzt als Chatbots kennen, also LLM für Large Language Model, die großen Sprachmodelle, das sind die generativen KI-Anwendungen, die Text produzieren, bearbeiten oder verändern. Also da geht es um Text. Bei LLMs und den Chatbots geht es um Text. Bei Deepfakes geht es in der Regel um Bild und Ton. Mhm.

Torsten

Das heißt, wenn ich mir jetzt das richtig überlege, wenn ich mir mein E-Mail-Postfach anschaue, da kommen immer noch E-Mails rein mit, ich bin schwerreicher König oder Königssohn aus Uganda und habe mehrere Milliarden Euro, die ich transferieren möchte. Das wird jetzt einfacher und tatsächlich auch sinnvoller formuliert, ohne dass ich das direkt im Ansatz merke.

Christopher

Na, das ist erstmal, das ist die erste Stufe. Ich kann das natürlich jetzt auch schon auf Knopfdruck, also nicht nur in 30 verschiedenen Sprachen erstellen lassen. Ich kann mir eben auch neue, ganz neue inhaltliche Szenarien entwerfen lassen, je nachdem, welche Zielgruppe ich eingebe. Ich kann das automatisieren. Ich kann das auch, wenn ich jetzt mehr über ein spezifisches Ziel weiß.

Ist ja so die Frage, sende ich das jetzt raus an 5 Millionen E-Mails-Adressen und hoffe halt, dass 1.000 draufklicken oder so. Oder greife ich ein Ziel fokussierter an, dann spezialisiere ich das halt nochmal und schneide diese Botschaften speziell zu. Und das geht halt jetzt viel einfacher und schneller, das ist mal die erste Stufe. Es gibt auch schon... Die nächsten Stufen von dieser, das typische Beispiel war ja der nigerianische Prinz, der sein Vermögen transferieren will.

Die gleiche Bande, die er eben organisiert, dahinter steckt, die betreibt auf Telegram einen eigenen Channel, wo sie Videos, so Ausbildungsvideos und PR online stellen. Man sehen kann, dass auch die mittlerweile KI für sich entdeckt haben in ihren Betrugsangriffen. Speziell zum Beispiel ein Beispiel, dass die gleiche Bande Live-Deepfake-Software benutzt.

Das heißt, sie bahnt bestimmte Personen vor allem über Dating-Websites an, loggt sie dann in so einen Zoom- oder Teams-Call und benutzt dabei Deepfake-Software, um Stimme zu verstellen, anders aufzutreten. Und zum Beispiel um die Überweisung von kleinen Summen für Reisen in den Zielort, für gemeinsame Treffen oder irgendwie ein gemeinsames Event, für das man Tickets braucht, zu bekommen. Das heißt, auch da hat die nächste Stufe dank KI schon gezündet.

Und KI kann da halt sehr viel tun. Es kann inhaltlich diese Betrugsmaschen weiterentwickeln. Sprich, ich kann auch so ein Sprachmodell wie Chachapiti, HRGPT hat das am Anfang noch gemacht, wenn auch bestimmte Szenarien erstellen lassen und mir Vorschläge und Strategien entwickeln lassen dafür, wie ich das eben für kriminelle Zwecke einsetzen kann.

Plus nochmal eben diesen Faktor, dass ich zumindest im digitalen Auftritt als jemand ganz anderes auftreten kann mit anderer Stimme, anderem Gesicht und so weiter. Das sind so die Stufen. Wir befinden uns da eigentlich gerade, es ist die nächste Stufe und es ist jetzt gerade so eine Evolution und die große Revolution kommt, die steht uns wahrscheinlich eben noch bevor.

Und wir wissen noch gar nicht genau, wie sie aussehen wird, aber wir wissen, dass eben gerade bei Betrugsangriffen, bei Cyberangriffen, bei allem, was das Thema Identität, Authentifizierung angeht, gerade ein wahnsinniger Entwicklungsprozess stattfindet und eben die Möglichkeiten, die es gibt, das zu manipulieren und anzugreifen, eine ganz neue Stufe erreicht.

Torsten

Um aus diesem Negativbeispiel mal was Positives rauszuholen, also die nigerianischen Prinzen, die scheinen auch einen Fachkräftemangel zu haben. Das heißt, die können ihren Fachkräftemangel mit KI hier einfangen. Also wenn das mal nicht ein Beispiel ist dafür, dass KI funktioniert, um Fachkräfte zu ersetzen beziehungsweise zu unterstützen.

Christopher

Wenn man es so sehen will, ich glaube, die haben auch für sich entdeckt, wie viele Organisationen das, wenn sie ihr Spezialwissen, das sie haben, weitergeben in Kursen und Trainings, dass es sich auch damit Geld verdienen lässt und das eben auch auf der Seite des organisierten Verbrechens. Genau. Das sind auch noch lange nicht alle Angriffsmöglichkeiten, die es jetzt so gibt oder Einsatzmöglichkeiten für diese Technologie, auch die, die die Verwaltung betreffen.

Wenn wir daran denken, so ein großes Thema, wofür Deepfakes sowieso schon lange benutzt werden, ist so für Cybermobbing und Diskreditierung oder Imageangriffe. Sprich, ich denke jetzt da gerade an eine sehr spezielle und eindeutige politische Richtung, die generell der Meinung ist, dass der Staat, Medien und sonstige Einrichtungen alle unter einer Decke stehen und die Bevölkerung hinters Licht führt.

Die hat es noch nie so leicht, angebliche Beweise für zum Beispiel Wahlfälschung auf kommunaler Ebene oder Wahlfälschung in einfachen Wahllokalen, Beweise dafür zu erstellen oder Reden einfach zu fälschen. Das muss nicht der Bundeskanzler sein, das geht bei jedem Bürgermeister, bei jedem Abteilungsleiter.

Wir hatten schon Fälle zum Beispiel in den USA in Schulen, bei denen auf einmal ein Video aufgetaucht ist vom Schulleiter, wo er angeblich rassistische Beschimpfungen gegen Schüler vom Stapel lässt. Und wie sich herausstellte, waren das nicht mal von Schülern erstellte Deepfakes, sondern von Lehrern erstellte Deepfakes, die eben, es waren unzufriedene Mitarbeiter, wenn man es runterbrechen will, die ihren Chef diskreditieren wollten.

Jetzt soll es ja durchaus auch in der Verwaltung mal den einen oder anderen enttäuschten Mitarbeiter geben oder den einen oder anderen enttäuschten Bürger oder Kunden. Und der kann sich jetzt sehr leicht sowas erstellen, um zu behaupten, die Verwaltung hat mich diskriminiert, die Verwaltung hat mich betrogen oder ich habe doch das und das zu dem und dem Zeitpunkt gemacht, auch wenn ich es gar nicht gemacht habe und so die Beweislast umkehren.

Auch das sind alles mögliche Szenarien, die gerade Verwaltungsorgane auf der niedrigen, der unteren kommunalen Stufe sehr leicht treffen können und bei der es wichtig ist, eben Bescheid zu wissen.

Torsten

Aber gehen wir nochmal darauf ein, wie leicht das überhaupt ist. Also ChatGPT hat jeder Zugriff drauf, da gibt es kostenlose Möglichkeiten, da kann ich mir ganz schnell Texte generieren lassen. Aber wenn ich jetzt mir anschaue, es geht um Audio und Video, wie leicht ist denn da ranzukommen Oder wie leicht ist denn das für einen interessierten Laien?

Christopher

Leicht genug. Also sagen wir mal, der erste, den man erstellen will, speziell mit einer Stimme oder einem Bild, das man sich selbst besorgt, wird vermutlich so ein bis zwei Stunden dauern, bis er ungefähr die Qualität hat, die man will. Der zweite dauert dann noch ein paar Minuten.

Stimme, und das ist so ein bisschen das Schaudrige dabei, sprich reine Audio-Fakes, sind mit am leichtesten und am schwierigsten zu erkennen, weil man bei einer Stimme einfach nicht so viele, wenn man nur eine Tondatei hat, entweder am Telefon oder auch wenn sie online veröffentlicht wird, nicht so viele Anhaltspunkte hat wie bei einem Video. Das Wichtige ist erstmal, man braucht am besten eben Probe von der Stimme oder dem Video, das man bearbeiten will.

Wenn es jetzt Personen sind, die sehr öffentlich sind, wie Politiker, Journalisten, Geschäftsführer oder andere Personen des öffentlichen Lebens, ist das sehr leicht. Dann hat man genug Material davon auf YouTube oder auf anderen Plattformen. Und wenn wir jetzt zum Beispiel an einen Bürgermeister, einen Landrat oder jemanden aus der Verwaltung denken, dann hat man dann vielleicht online nicht das Originalmaterial.

Das heißt, man muss eine Veranstaltung besuchen, wo der Mensch spricht und schneidet das mit dem Handy mit und dann hat man sein Ausgangsmaterial. Dann lädt man das hoch, kopiert die Stimme oder das Video und dann tippt man den Text ein, den man will, dass das sagt, der Zugang zu diesem Programm kostet nicht besonders viel. Also gerade bei der Stimme kostet das so im Durchschnitt 5 Dollar im Monat.

Videos ist ein bisschen teurer, aber ich kann ja auch in einem Video, in einem Monat erst mal mehr produzieren und der Preis sinkt natürlich kontinuierlich. Also vor zwei, drei Jahren war der Preis dafür, für den Zugang, so ein Monatsabo, vielleicht 200, 300 Dollar. Jetzt sind es unter 50. In noch einem Jahr sind es wahrscheinlich auch keine 10 mehr. Und damit kann ich erst mal arbeiten. Wenn ich jetzt ganz lange Dateien zum Beispiel erstellen will, wird es wieder schwieriger.

Da ist einmal die technische Qualität so ein bisschen wackelig. Oder ich muss teurere Abos kaufen. Aber das ist eben auch so, da entwickelt sich die Software schnell genug. In einem Jahr oder zwei produziert es auch zehn Minuten sehr stabil. Aber so das erste Produkt zu erstellen, da spielt man ein bisschen mit der Anwendung rum und muss halt einfach gucken, dass man so eine Trainingsdatei hat oder so eine Beispielaufnahme von 30 Sekunden, eine Minute reicht.

Torsten

Also es ist also für jeden, der so halbwegs mit einem Computer umgehen kann.

Christopher

Ja, da ist keine größere Hemmschwelle mehr. Das Kompliziertere, da gehen wir dann schon ins Detail, oder die Frage, wie kann man es auch gut erkennen, ist dann eher das, was man die Person sagen lässt, Wenn das jetzt so völlig abwegig ist oder so völlig anders als das, was die Person sonst so sagt. Also wenn ich jetzt einem Politiker das komplette Gegenteil von dem erzählen lasse, was er gestern noch gesagt hat, dann ist das erstmal auffälliger und wird vermutlich auch nicht so lange wirken.

Wenn ich den Stil aber sehr gut kopiere und nur kleine Änderungen einbaue, dann wird es immer schwieriger. Aber es ist also auch gerade bei solchen Deepfake-Stimmen und Anrufen, ich kann das ja auch quasi live schalten in einem Zoom-Call oder am Telefon, da wird es auch schon sehr massiv für Betrugsmaschen zum Beispiel benutzt. Das heißt, es werden Stimmen geklont von kindernahen Verwandten und dann Fake-Anrufe gestartet, um eben auch Geld zu erbeuten.

Das ist, was es auch schon gab, hier waren zum Beispiel gefälschte Notrufe, Gefahrenmeldungen oder Verleumdungen. Also sprich, ich kann bei der Polizei mit einer falschen Stimme anrufen und einer falschen Identität.

Ich kann natürlich auch bestimmte, alle möglichen Arten von Hinweisen, Telefonen, Notrufportalen oder so überschwemmen mit einer Flut von Meldungen, nur um das System eben an den Rande der Kapazität zu bringen und das vollkommen automatisiert, ohne dass ich jetzt wirklich 100 Leute gleichzeitig anrufen lassen muss.

Torsten

Da hatte ja Google vor ein paar Jahren eine tolle Demo auf ihrer Google I.O., wo beim Friseur ein Termin gemacht wurde oder ein Tisch reserviert mit Nachfragen und allem drum und dran.

Christopher

Ja, die Simulation. Sagen wir mal, Das Grundgerüst, das dahinter steckt, ist ja jetzt nicht irgendwie erst letztes Jahr wirklich gekommen. Es hat sich halt enorm verbessert, ist quasi für jedermann zugänglich, der einen Online-Zugang hat und kann dadurch eben in verschiedene Richtungen gehen.

Also es kann einmal in der Masse viel stärker aufkommen, es kann die Qualität steigern, auch wenn die eigentlich noch gar nicht so gut ist, wie es zum Beispiel vor zwei Jahren als JGPD rauskam und andere große populäre Tools, wo befürchtet wurde, dass wir ja auch ungefähr heute im Jahr 2024 schon auf einem Stand sind, dass man es gar nicht mehr unterscheiden kann. Soweit ist es noch nicht gekommen, aber es wird eben immer besser.

Und gerade wenn es auf einen Gegenpart trifft, zum Beispiel in der Verwaltung, in Unternehmen, in der Politik oder bei Medien, die halt so gar nichts von diesem, noch nie davon gehört haben, überhaupt nicht wissen, dass es eben möglich ist, Stimmbilder, alles Mögliche so gut von KI erstellen zu lassen. Wenn die zwei Faktoren zusammenkommen, ist halt der Angreifer viel leichter.

Torsten

Jetzt sprechen wir ja die ganze Zeit über Angriffsvektoren, die eher so beim Social Hacking anzusiedeln sind. Gibt es denn auch Gefahren, die mir drohen als öffentliche Verwaltung oder generell drohen eher im IT-Bereich? Also kann eine KI mein Rechenzentrum hacken? Kann eine IT in mein Netzwerk rein? Eine KI meine ich.

Christopher

So pauschal ist schwer zu sagen. Also technisch gesehen wird das bestimmt möglich sein. Mit den populären Anwendungen wohl eher noch nicht. Da sind wir noch nicht auf der Stufe, dass das völlig automatisiert ablaufen kann. Was natürlich oft vergessen wird von denen, die nicht selbst programmieren oder sich viel damit beschäftigen. Jetship-BT und auch andere dieser KI-Generatoren können auch programmieren. Das heißt, die erstellen Computer-Code, wenn ich sie danach frage.

Und ich kann eben sagen, erstell mir ein Stück Computer-Code in der und der Sprache zu diesem und diesem Ziel. Dass ich so einen ganzen Angriff automatisiert erstellen lassen kann, auf dem Niveau sind wir noch nicht. Also sprich, ähnlich wie bei den Inhalten, die sich im Text erstellt, sind die Codes zwar von erstaunlicher Qualität dafür, dass es eben automatisiert erstellt wird, aber noch nicht irgendwie 100% einfallsfähig.

Also ich kann nicht einfach nur copy und pasten. Die Frage ist natürlich, kommt es dahin? Und auch, also gerade jetzt zum Beispiel bei JetGPT sind schon Vorfälle publik geworden, dass insbesondere staatliche Hackergruppen aus Russland, China, Nordkorea, Iran versucht haben, sich einmal Desinformationsbauteile von JetGPT erstellen zu lassen, aber auch Code-Bauteile für Cyberangriffe.

Also JTPT hat veröffentlicht, dass sie das erkannt haben und abgestellt haben, also in diesem spezifischen Beispiel. Und da war es eben so, dass sich die Hackergruppen aus diesen Ländern bestimmt, entweder haben sie Code eingegeben und analysieren lassen oder wollten bestehenden Code verbessern oder sich bestimmte Teile eines Codes neu erstellen zu lassen.

Also es war so, die wollten schon auf das Tool zugreifen, um das, was sie bislang gemacht haben, noch besser zu machen oder weiterzuentwickeln. Aber noch nicht völlig automatisiert. Deshalb ist es so beim Einsatz bei klassischen Cyberangriffen. Ob das jetzt über Phishing-Mails oder über Computer-Code oder über Deepfake-Anrufe geht, sind es eben viele Zwischenstufen von so einem großen Angriff, den auch wie bislang die Verwaltung treffen kann.

Und dass Zwischenstufen davon entweder von KI generiert werden oder das KI dabei zum Einsatz kommt. Also wir wissen, dass so diese, wie diese nigerianische Prinzen-Mail, wenn ich mir die jetzt mit KI erstellen lasse, das ist noch nicht die ganze Attacke. Das ist nur ein kleiner Bauteil. Ähnlich ist es eben zum Beispiel bei einem Fake-Anruf. Der schickt eine Mail, da ist ein Link drin, ich rufe an, um den Mitarbeiter dazu zu bringen, auf den Link zu klicken.

Das sind so Bauteile, zum Beispiel, die kann ich jetzt mit KI besser machen. Ich kann sie in einer viel größeren Bandbreite und viel schneller generieren. Und danach kommt eben noch andere Bauteile hinzu, um diese ganze Attacke immer weiterzufahren.

Ich habe zum Beispiel mit vielen Cybersecurity-Experten, mit denen ich jetzt so im letzten halben Jahr gesprochen habe, die sagen, es hat nicht nur so die Anzahl der Angriffe generell, die immer weiter zugenommen hat, sondern zum Beispiel auch in den letzten, gerade im letzten halben Jahr, ja, dass immer eigentlich kleinere Organisationen zum Opfer solcher Angriffe werden, wo stark vermutet wird eben, dass es jetzt durch diese KI-Tools eben sich Angreifer

Zeit sparen können Und automatisieren können, sodass es sich auch lohnt, jetzt mittelständische Betriebe ins Visier zu nehmen oder Stadtverwaltung oder kleinere Verwaltung, bei denen man zwar vielleicht mit einem Angriff weniger Summen rausholen kann, als wenn man ein Großunternehmen angreift, aber dass die Schwelle, die man überschreiten muss, damit sich der Aufwand lohnt, eben sich einfach durch die KI-Tools so verschiebt, dass das jetzt eben auch immer kleinere Einheiten angegriffen wird.

Torsten

Es ist ja auch nicht gesagt, dass man mit jedem Cyberangriff auch Geld verdienen will. Oftmals ist ja hier auch nur Chaos stiften und Informationen abgreifen.

Christopher

Ja, gerade das Chaos stiften, also kommt halt darauf an, wer dahinter sitzt. Das kann einen politischen Sinn haben, also bei politischen Aktivisten jetzt à la couleur, die eben eine Verwaltung lahmlegen wollen, haben jetzt auch eben ganz neue Tools, wie ich vorhin bei den falschen Alarmen oder Notrufen oder Gefahrenmeldungen mal gesagt habe. Das geht natürlich auch mit Mails-Anfragen oder einfach mit Videos, die ich online bringe, um irgendeinen Amtsleiter oder sonst jemanden zu diskreditieren.

Viel leichter, viel schneller und viel mehr. Bei spezialisierten Cyberangriffen, Informationen abgreifen ist so, ja auch immer die Frage, warum wird die Information dann abgegriffen? Also die kann ich zu Geld machen, ich kann erpressen und zu ihm sagen, ja ich veröffentlich sie sonst oder ich verschlüssel sie, also die klassischen Ransom-Angriffe.

Mir wurde zum Beispiel auch schon berichtet, jetzt nicht aus dem Kreis der Verwaltung, sondern aus dem Kreis großer Unternehmen, dass sie schon mit KI gefälschte Ransom-Forderungen bekommen haben. Sprich, eine Angreifer hat mithilfe von KI Inhalte erstellen lassen, hat die an das Unternehmen X gespielt und hat gesagt, ich war bei euch im System, habe die und die Daten abgegriffen. Hier ist ein Screenshot davon. Wenn ihr nicht bis morgen so und so viel zahlt, dann veröffentliche ich die.

Und erst eine genauere Überprüfung, eine sehr lange forensische Untersuchung, die dann zutage gefördert hat, dass überhaupt niemand in dem System drin war und dass diese angeblichen Beweise mithilfe von KI erstellt wurden. Das heißt, vorzutäuschen, dass ein Angriff stattgefunden hat, wird auch immer realistischer.

Das kann ich auch mit verschiedenen Zielrichtungen machen. Ich muss gar nicht darauf aus sein, das Geld zu bekommen, sondern ich kann so halt auch einfach Prozesse oder Organisationen lahmlegen für eine gewisse Zeit, weil erstmal alles überprüft werden muss, alles auf den Kopf gestellt, gestoppt werden muss etc.

Torsten

Du hast gerade Forensik angesprochen. Forensik brauche ich ja, wenn es zu spät ist. Aber wie kann ich denn solche KI-generierten Deepfakes zum Beispiel oder Angriffsszenarien, wie kann ich denn das im Vorfeld erkennen? Also wenn ich mir vorstelle, dass so ein Sachbearbeiter eine E-Mail bekommt, wie kann er denn erkennen, dass das eine nicht echte und vielleicht von einer KI generierten E-Mail ist?

Christopher

Bei E-Mails speziell hat man so ein paar Faktoren. Einmal Absender ist eine ganz wichtige Sache, also sprich die Adresse, von der es gesendet wurde, die oft versucht wird, authentische Adressen bis auf einen Buchstaben oder so zu kopieren. Bei Text muss man mal vorausschicken, auch wenn es nicht so geklappt wird, Text ist eigentlich das Schwierigste zu erkennen.

Text und Ton sind sehr schwierig. Beim Text liegt es daran, dass viele Menschen jetzt auch nicht wirklich delistisch besser schreiben als das, was eine KI produziert. Dann gibt es nicht das eine Tool, das überprüfen kann, ob dieser Text KI produziert wurde. Also das sind gerade die Tools für Texte sehr schlecht. Der Inhalt und der Sinn ist immer noch das größte Kriterium, gerade bei Text, dem ich nachgehen sollte. Bei Bildern und Videos haben wir viel mehr Ansatzpunkte.

Also ich habe für alle, die es interessiert, ich glaube, du bringst es auch als Link in die Beschreibung. Dazu ein, zwei ausführliche Listen erstellt, was man sich denn mal angucken soll, wenn man das überprüfen will. Gerade beim Bereich Bild von einzelnen Aspekten, also zum Beispiel bei Bildern klassisch waren die Gliedmaßen und Extremitäten immer ein Problem, das heißt, wenn zu viele Finger produziert oder zusätzliche Arme und Beine, dass Gesichtspartien oder der Hals verschwimmt.

Ohren sind und Augen sind ein Indikator, weil die Details oftmals nicht stimmen. KI-Inhalte, also gerade visuelle Bilder und Videos sind oftmals noch sehr glänzend und sehr, sagen wir mal, die Verpixelung wirkt noch nicht original. Und das liegt daran, dass es in der Regel weniger Pixel produziert sind. Das heißt, das wirkt alles noch ein bisschen wie aus einem Computerspiel, jetzt so rein von der Optik.

Und interessanterweise wird gerade bei Bild- und Videos, die produziert werden mit KI, wenn es dann irgendeine Art von Text gibt, zum Beispiel als Aufdruck auf einem Kleidungsstück oder irgendwo im Hintergrund oder sowas, dann sind es oft keine richtigen Buchstaben, sondern nur Zeichen, die Buchstaben ähneln. Wenn wir spezialisierter vorgehen, Fluchtpunkte, Spiegelungen und Schatten stimmen so gut wie nie.

Das wird zwar jetzt auch langsam besser, aber zum Beispiel bei realen Bildern und Fotos laufen Fluchtpunkte, die eingezeichnet werden in ein Bild, immer auf denselben Fixpunkt, der außerhalb des Bildes liegt, hinaus. Bei KI-Bildern gehen sie in alle Richtungen. Das ist selten was, womit man jetzt als Verwaltungssachbearbeiter arbeiten kann. Es wird bestimmt bald automatisierte Programme geben, die sowas erstellen könnten.

Torsten

Also ich glaube, ich würde ja behaupten, dass ich Bilder, die mit Doll-E oder sonstigen frei zugänglichen Systemen erstellt wurden, dass ich die so erkennen kann. Weil die haben alle eine bestimmte Stilistik. Selbst wenn ich die Stilistik ändere, sieht man es trotzdem. Dem, weil die sind sehr amerikanisch geprägt und die Bilder haben immer so einen amerikanischen Touch, egal was man machen muss. Wenn man sagt, generiere mir ein bayerisches Dorf, sieht es immer amerikanisch aus.

Christopher

Ja, ja. Wie soll ich sagen? Also du hast schon mal DALI angesprochen. DALI ist auch mit da würde ich dir zustimmen, relativ. Ich würde dir widersprechen, also ich bin mir ziemlich sicher, dass du nicht 100 von 100 erkennen würdest, aber die Mehrzahl glaube ich dir bei DALI, andere Generatoren sind aber auch meiner Meinung nach besser als DALI. Diese kulturelle Vorprägung für die Stilistik hast du schon angesprochen. Gerade daran haben wieder andere gearbeitet, die das besser hinkriegen.

Bei Videos unterscheidet sich das nochmal ein bisschen, bei Audio noch viel stärker, da wird es jeweils viel besser. Dann ist so, was seit dem Aufkommen dieser Bildgeneratoren diskutiert wird, so mehr die Frage, dass es eben sehr stark darunter betrachtet wird, okay, was ist denn zukünftig möglich?

Also jetzt, wenn wir die Entwicklung, die diese Generatoren und Tools in den letzten zwei Jahren oder so genommen hat, in die Zukunft projizieren und sagen, okay, die lernen und verbessern sich genauso schnell und genauso gut weiter in den nächsten zwei Jahren, dass es dann nicht mehr möglich ist. Es ist zum Beispiel so, wenn du einfach nur random jetzt keine Szenen dir generieren lässt, sondern Gesichter. Da wird es viel schwieriger. Also wiederum DALI finde ich nicht das richtige Beispiel.

Das ist einfach nicht dafür jetzt speziell nicht gut genug. Wenn Sie mal, es gibt eine ganz bekannte Webseite für KI-Generierte, ein Porträtbilder, heißt thispersondoesn'texist.com. Sie kriegen jedes Mal, wenn Sie draufklicken, einfach eine endlose Reihe von KI-generierten Personen. Das ist was ganz anderes. Also da gibt es auch ein paar Faktoren, die man untersuchen kann.

Ohrläppchen, zum Beispiel Halspartien, Hintergründe und vor allem, dass das auf einem spezifischen Mechanismus beruht, der die Augen immer in perfekter Symmetrie und immer an der gleichen Stelle generiert. Könnte man das so erkennen, aber das Einzelbild an sich sieht extrem schwer zu erkennen aus. Also ich schaffe auch keine 10 von 10 dabei. Garantiere ich dir.

Torsten

Okay, das gucken wir nochmal an.

Christopher

Das heißt, jetzt weißt du ja, dass wenn du dieses Bild auf dieser Seite siehst, dass es dann KI generiert ist. Wenn du halt so den Test machst und davon Bilder rüberziehst und dann Leuten zeigst, dann kommt keine hundertprozentige Trefferquote dabei raus. Plus jetzt bei anderen Sachen jetzt nicht nur so die, wenn du Szenen darstellen lässt oder bekannte Personen, sondern eben auch bestimmte Optiken, Dokumente etc., wird das deutlich schwieriger mit der Erkennung.

Bei Videos oder Stimmen hat man je nach Kontext natürlich auch Faktoren, die das beeinflussen. Also ist das zum Beispiel live und muss ich darauf achten. Wir alle wissen, wenn ich in einem Phonecall, in einem normalen Telefongespräch bin, dass Stimmen oder die Verbindung wackelt. Das ist halt auch das Gleiche in einem Videocall oder manchmal bestimmte Sachen, je nach Verbindungsqualität oder so, verschwimmen und Sonstiges.

Das heißt, das ist nie die 100-prozentige Sicherheit, die es dafür gibt und natürlich das Versprechen, dass diese Tools sehr schnell sehr viel besser werden darin.

Jetzt so bei der Erkennung, auch Hintergrunde, Hintergrundgeräusche oder auch bei die Fake Videos, ob sich jetzt bestimmte Kameraperspektiven einfach immer wieder wiederholen, wo man sieht, okay, die Originaldatei, die da reingefüttert wurde, war zehn Sekunden lang, hat drei Kameraeinstellungen und die wiederholen sich dann die ganze Zeit. Das sind auch so Anhaltspunkte. Aber alle diese Punkte muss man so zusammennehmen, um wirklich detailliert zu überprüfen.

Das dauert Zeit, das produziert einen Aufwand und man muss natürlich auch erstmal wissen, dass das möglich ist, dass man das so überprüfen sollte, um dann zu einem Urteil zu kommen. Ich habe vorhin schon mal eben das Beispiel angesprochen vom US-Finanzministerium, das jetzt sagt, wir sollen keine Stimmen oder Banken sollen keine Stimmen mehr als Authentifizierung zur Überprüfung von Identitäten einsetzen. So ähnliche Faktoren können uns in den nächsten Jahren noch viel öfter begegnen.

Torsten

Aber das ist schon mal eine gute Richtung, in die ich jetzt gerne abbiegen würde. Wir hatten jetzt darüber gesprochen, welche Möglichkeiten es gibt. Wir haben darüber gesprochen, wie man es eventuell erkennen kann. Was kann ich denn dagegen tun? Was kann ich denn gegen solche Deepfakes machen?

Christopher

Ja, das kommt jetzt darauf an, aus welcher Perspektive man spricht, ob jetzt als Einzelperson, als Organisation.

Torsten

Ja, als Organisation, also wenn ich an die öffentliche Verwaltung denke. Also was können die dagegen machen, dass sowas nicht passiert?

Christopher

Das Erste, was man braucht, wie im Cybersecurity-Bereich, sind Bildungs- und Schulungsmaßnahmen. Sprich, wenn Mitarbeiter nicht wissen, dass das möglich ist und was möglich ist und wie leicht, ist die Wahrscheinlichkeit, dass geklickt, zugestimmt und sonstiges gemacht wird, einfach sehr, sehr viel größer. Das heißt so, KI-Bildung auch, was diese speziellen Risiken angeht, ist der erste Schlüssel.

Es gibt im Bereich der Softwarelösungen, sprich Deepfake-Erkennungstools oder KI-Inhalte-Erkennungstools, das ist ein sehr heiß debattiertes Thema, weil eigentlich Stand der Forschung ist, es gibt kein einziges, das wirklich gut genug ist. Aber auch die werden besser. Die werden nie bei 100% landen. Das heißt, das ist nicht so, dass man sich darauf verlassen können wird. Wir haben die eine Software, die uns sagt, das ist KI-generiert und das nicht.

Aber es wird schon mal besser werden zur Ergänzung. Zum Beispiel eben gerade bei Live-Calls. Nächster Punkt ist, dass ich eben meine Prozesse, bei denen diese verschiedenen Angriffsszenarien eine Rolle spielen können. Sprich, wenn es um das Management von der Außendarstellung, also meines Images, meiner Glaubwürdigkeit etc. Geht, diesen Aspekt im Blick zu behalten und zu gucken, was wird denn schon damit gemacht oder angegriffen, darauf zu verweisen, dass es sowas gibt.

Man kann mithilfe von Social Media Monitoring Tools speziell danach suchen lassen. Man kann natürlich, wenn es erstmal erscheint oder wenn es erstmal da ist, muss man relativ schnell darauf hinarbeiten, dass es, Entweder gelöscht, speziell gekennzeichnet oder demobilisiert wird, sprich, dass es nicht mehr irgendwie unter den ersten Treffern auftaucht.

Das ist alles gar nicht so leicht und geht auch gar nicht so schnell, weil es nicht so ist, dass man jetzt, wenn jetzt so ein Video auf irgendeiner Social-Media-Plattform auftaucht, irgendwie eine Mail schreibt oder auf einen Button drückt und dann wird das irgendwie gelöscht oder automatisch überprüft. Dazu muss ich natürlich vorbereitet sein und mir überlegt haben, okay, wie gehe ich das denn an? Also, wie arbeite ich darauf hin, dass es dort wieder runtergenommen wird?

Mit wem muss ich sprechen? Wo kann ich sie kennzeichnen? Welche rechtlichen Schritte sind möglich und müssten so schnell wie möglich eingeleitet werden?

Torsten

Ich brauche hier auch tatsächlich einen Notfallplan, wo ich mir vorher Gedanken mache, was ich tue, wenn so ein Video zum Beispiel auftaucht.

Christopher

Ja, so eine Incident Response und Crisis Management muss eben auch diese Punkte jetzt berücksichtigen. Ähnlich wie bei der Verbindung Cyberangriffe und KI.

Torsten

Und mal noch eine andere Frage. Hast du vielleicht noch ein, zwei Links für die Shownotes, wo man schon mal im Video vielleicht sehen kann, was heutzutage alles geht? Also ich stelle mir das ziemlich interessant vor, zu sehen, wie in so einem Videocall plötzlich Stimme und Gesicht ausgetauscht werden oder ähnliches.

Christopher

Ich kann dir was schicken, also so zum Beispiel von diesen angesprochenen nigerianischen Prinzen, also dieser Betrugsbande. Ich glaube ein Beispiel, das eigentlich sehr eindrücklich war, aber ich glaube das Video ist nicht mehr verfügbar.

Es gab doch auch diese russische angebliche Comedian-Bande, die wohl aber eben doch mit dem russischen Staat unter einer Decke steckt, die Bürgermeister in ganz Europa angerufen hat, sich als Bürgermeister von Kiew Vitali Glitschko ausgegeben hat und in seinem Namen eben mit Bürgermeistern in ganz Europa gesprochen hat. Das waren auch recht eindrückliche Videos, wo man sieht, das war auch die Live-Benutzung von so einer Software.

Das heißt, eigentlich sitzen diese zwei, dieses angebliche komische Duo vor der Kamera. Sie lassen diese Software laufen mit einem animierten Bild von Wladimir Klitschko und seiner Stimme. Und alles, was sie sagen und ihre äußere Erscheinung kommt eben so rüber.

Auch hier muss man sagen, ich frage mich bis heute, wer diesen Call so organisiert hat, weil er ja auch nicht von der originalen Mail des Bürgermeisters von Kiew kam, sondern von anderen Mail-Accounts und dann Telefonanrufe geführt werden wurden etc. Das heißt, da war eben das jeweilige Büro auch nicht besonders gut darin oder schnell überhaupt auf die Idee zu kommen, zu überprüfen, ist das jetzt der echte Bürgermeister von Kiew, mit dem wir da gerade Kontakt haben, beziehungsweise sein Büro.

Torsten

Ja, ich glaube, da ist auch noch Aufklärungsarbeit in den Vorzimmern zu leisten.

Christopher

Das zieht sich durch den Bereich weg. Also ich will da nicht in eine spezifische Richtung gehen. Es ist nicht so, dass außerhalb von KI-Experten, dieses Thema durch irgendwie breit besetzt oder hinterlegt wäre mit besonderer Kompetenz. Also auch unter Cybersecurity-Experten, KI ist ein relativ neues Feld, da muss man sich reinarbeiten und natürlich je nachdem, was so mein täglich Brot ist, hat man das gemacht oder mal davon gehört oder eben auch nicht.

Aber jetzt, das ist nicht nur irgendwie, oh, da ist die Verwaltung so schlecht oder so unbeleckt bislang. Das zieht sich von Politik, Medien, Wissenschaft, Unternehmen, Wirtschaft, Schulen hin zu Zur Verwaltung. Diese Aufklärungs- und Trainingsmaßnahmen sind einfach überall notwendig, weil es für jeden von diesen Bereichen eben erhebliche Risiken gibt, die jetzt durch diese großen KI-Anwendungen so viel größer geworden sind oder dabei sind, groß zu werden.

Torsten

Nachdem jetzt hier doch ein ziemlich hohes Potenzial an Schaden entstehen kann und die Gefahr auch immer weiter wächst, gibt es denn hier schon was auf der Gesetzgebungsebene, die hier die Handhabe etwas erweitert oder einschränkt?

Christopher

Naja, ja und nein. Also das europäische KI-Gesetz nennt Deepfakes ausdrücklich. Deepfakes an sich, beziehungsweise die Technologie, ist nicht verboten. Das liegt daran, dass diese Technologie natürlich nicht nur irgendwie für Betrügereien und negative Anwendungen und Reputationsangriffe etc. Benutzt wird, sondern auch sehr viele positive Einsatzbereiche hat oder haben kann. Diese betrügerischen Deepfakes und verleumderischen etc. Sind natürlich verboten.

Das hilft mir jetzt nur so bedingt viel, weil das weiß der Angreifer natürlich vorher schon. Also Betrug war vorher verboten, ob ich jetzt KI dafür benutze oder nicht, stellt erstmal an sich noch keine besondere Schwere der Tat dar. Das heißt, das hat jetzt den Straftatsbestand zum Beispiel auch bei der Dokumentenfälschung nicht beeinflusst. Das war vorher verboten und ist danach verboten.

Was ein bisschen eine kompliziertere Sache ist, solche KI-Inhalte müssen eigentlich, wenn sie jetzt auch veröffentlicht werden, ob jetzt auf deiner Homepage oder auf YouTube, Facebook oder wo auch immer, gekennzeichnet werden. Das sagt das EU-Gesetz. Ab 2026 ist das in Kraft. Das heißt, jedes Video, das dann irgendwie mit KI erstellt wurde oder auch nur teilweise, muss ein spezielles Zeichen haben, wurde mit KI erstellt. Da sind wir noch weit davon entfernt, wie diese Zeichen aussehen sollen.

Torsten

Aber das sind ja auch eher freiwillige Angaben.

Christopher

Nee, das wird dann verpflichtend sein. Also so steht es im KI-Gesetz. Ab 2026 ist es dann verpflichtend. Und zum Beispiel die Plattformen müssten das, wenn das so nicht gelabelt ist, runternehmen. Ich sage das alles vorsichtig im Konjunktiv, weil man müsste schon sehr viel von dem, was heute noch online ist, löschen. Wird trotzdem nicht gemacht.

Torsten

Instagram hat schon angefangen. Also ich kann bei Instagram schon meinen Beitrag als von einer KI generiert kennzeichnen, aber das ist alles fakultativ.

Christopher

Ja, das können sie. Ab 2.26 ist es dann verpflichtend. Die Sache ist natürlich, dass jemand, der da speziell was veröffentlicht, um zu schaden, das nicht tun wird, weil er ja genau auf diesen Effekt setzt. Das heißt, das wirkt so ein bisschen für den Hausgebrauch sozusagen. Also für Orthonormal- User könnte das einen Unterschied machen oder eine kleinere Hemmschwelle setzen.

Je nachdem, wie rigoros das angewendet wird, was im Gesetz steht und wie es dann angewendet wird, müssen wir erstmal noch sehen. Aber für den professionellen Akteur, der schaden will, macht das keinen Unterschied. Was er tut, war vorher auch schon verboten. Da kommt jetzt nichts Neues. Und außer dieser Kennzeichnung von Inhalten steht nichts im KI-Gesetz, was da hingegen weiter auf diese Problematik eingeht. Wir können uns da nicht irgendwie auf das Gesetz verlassen.

Es gibt derzeit keine Mechanismen, die jetzt im Vorhinein etabliert sind, um uns davor zu schützen. Und auch wenn der Schaden erstmal da ist, dann eben dann Ermittlungen oder Prozesse in Gang zu bringen, ist halt die andere Sache. Das heißt, da ist dann halt im Nachhinein eine Strafe möglich für solche Sachen. Aber das bringt jetzt bei der Prävention oder bei der Abwehr erstmal noch nicht so viel.

Ja, also auf Gesetzesbasis oder auf der Basis von Normen und Standards gibt es da erstmal relativ wenig, was uns jetzt gerade vor Deepfake-Attacken schützen wird.

Torsten

Das heißt, die Technologie ist der Gesetzgebung wieder einen ganzen Schutt voraus.

Christopher

Ja, das sowieso. Allerdings ist eben so die Entwicklung von so einer Software halt auch einfach schneller als die von einem Gesetz auf europäischer Ebene. Die Frage ist auch, ob sich diese Probleme speziell durch Gesetze lösen lassen. Es würde sich eher lösen lassen, also wenn diese solche Inhalte dort, wo sie erscheinen, was eben zumeist Social-Media-Plattformen und Kommunikationssysteme sind, stärker in den Blick genommen würden. Würden, dort würde es einen Unterschied machen.

Also eher, wie es dann da bei der Verbreitung umgesetzt wird. Für bestimmte Formen von solchen Attacken, also jetzt speziell im Bereich Betrugsversuche oder solche Veröffentlichungen im Darknet, da spielt sich sowieso schon so viel außerhalb des gesetzlichen Rahmens ab, dass das, was da steht, einfach nicht den Unterschied macht.

Torsten

Du hast ja selber auch zwei Papers veröffentlicht, Deepfakes erkennen und abwehren. Die wird man bei uns in den Shownotes finden und sich durchlesen können. Wenn noch jemand mehr von dir lesen will und mehr Informationen über dich haben möchte, wo findet er denn was?

Christopher

LinkedIn ist eine gute Basis dafür. Ich glaube, wir bringen auch, wir können gerne so die Kontaktadresse für Rückfragen, Rückmeldungen, jegliche Art von Input, die gefordert wird, in die Beschreibung bringen.

Torsten

Genau, in deinen Papieren steht ja auch nochmal die Kontaktdaten alles drin.

Christopher

Richtig, richtig. Darüber get in touch. Ich bin sehr aktiv, was jetzt so dieses Thema angeht, gerade dadurch, dass es eben dieses Jahr sich so stark entwickelt und in den Fokus rückt. Und eben, wie ich vorhin auch schon mal gesagt habe, so einfach das Bewusstsein für das Problem und so zumindest mal davon gehört zu haben, dass es sowas gibt und was möglich ist, ist so der erste Schritt, uns sicherer zu machen.

Torsten

Genau so ist es. Christopher, vielen, vielen Dank, dass du bei mir hier im E-Government Podcast warst. Und ich hoffe, es hat euch, liebe Zuhörerinnen und Zuhörer, auch wieder gefallen und habt wieder neue Informationen bekommen. Und ich verabschiede mich. Bis zum nächsten Mal. Bis dann.

Transcript source: Provided by creator in RSS feed: download file
For the best experience, listen in Metacast app for iOS or Android