S4#3 Deepfake-Jagd: Faktencheck mit KI (zu Gast Neuraforge)

00:00:00: Wir glauben auch, dass es super wichtig für die Demokratie ist,

00:00:03: dass wir wieder zurückkommen in eine Form der kuratierten Medienrezeption.

00:00:07: Durch Medienschaffende auch ermöglicht.

00:00:11: Und auch da möchten wir uns einfach gerne einreihen mit unserem Tool.

00:00:15: Echte Insights aus der Medienbranche.

00:00:18: Hier sind deine Innovation-Minutes.

00:00:20: Direkt aus dem Media Lab Bayern.

00:00:23: Hallo, willkommen zurück.

00:00:25: Wir haben eine Schnapszahl darauf erst mal post.

00:00:28: Natürlich nur mit Wasser.

00:00:30: Wir sind bei Folge 33 der Innovation-Minutes.

00:00:33: Und ich bin immer noch deine Host, Sabrina Harper.

00:00:37: Wir haben ein paar Landtagswahlen hinter uns.

00:00:40: Und die US-Wahl steht kurz bevor.

00:00:42: Es ist jetzt schon ein paar Tage her,

00:00:45: aber vielleicht erinnerst du dich noch an dieses Bild von Taylor Swift,

00:00:49: das KI generiert war.

00:00:50: Und auf diesem Bild hat es sich für die Republikaner ausgesprochen.

00:00:54: Darauf hin, heißt es zumindest,

00:00:57: hatte Taylor Swift das Bedürfnis, sich öffentlich zu äußern.

00:01:00: Und hat sich dann für die Demokraten ausgesprochen.

00:01:03: Und eben dieses KI-Bild als "fake" entlarvt.

00:01:07: Musste man nicht direkt entlarven.

00:01:09: Man hat gesehen, dass es ein Fake ist.

00:01:11: Es war offensichtlich mit KI erstellt.

00:01:14: Ist aber nicht immer so.

00:01:16: Und das ist genau mein Punkt.

00:01:17: Bilder, Videos, das wird alles immer besser.

00:01:21: Und die Fakes sind immer schwerer zu erkennen.

00:01:24: Deshalb habe ich heute zwei Personen da,

00:01:26: die sich damit auskennen.

00:01:28: Und zwar Annika Gruner und Anatol Mayer sind bei mir zu Gast.

00:01:31: Sie sind auf Deep Fakes spezialisiert

00:01:34: und haben mit Nora Forge eine KI entwickelt.

00:01:37: Wieder eine KI, ja, aber diesmal,

00:01:40: die gefälschtes Bildmaterial erkennt.

00:01:43: Herzlich willkommen ihr zwei. Schön, dass ihr da seid.

00:01:46: Ja, vielen Dank. Danke für die Einladung.

00:01:49: Ich habe gerade schon ein Beispiel genannt.

00:01:51: Das war ein ziemlich plattes Beispiel.

00:01:54: Ich habe gesehen bei diesem Taylor Swift Bild,

00:01:56: das war mit KI gemacht.

00:01:58: Welche Deep Fakes sind euch denn zuletzt über den Weg gelaufen?

00:02:02: Es gibt immer wieder neue Modelle.

00:02:04: Das heißt, die ganzen Deep Fakes und die KI-generierten Daten

00:02:08: werden immer besser und immer schöner,

00:02:10: wenn man das so ästhetisch sagen will.

00:02:12: Und für mich ist in Erinnerung geblieben,

00:02:15: das sogenannte Google Girl. Ich habe es so getauft.

00:02:18: Das war ein Deep Fake von dem Modell Flux von Black Forest Labs.

00:02:22: Und das ist quasi eigentlich eine Serie von Bildern

00:02:25: von sogenannten Tat-X-Speakers,

00:02:27: die original echte Menschen aussehen.

00:02:30: Und in dem Fall war das Google Girl halt das,

00:02:33: was davon am bekanntesten wurde.

00:02:35: Das war echt eine junge Frau mit einem Mikrofon, die da steht,

00:02:38: die ein Lanyard um den Hals hat, wo auch Google drauf steht,

00:02:43: also wo auch die ganzen Buchstaben richtig sind.

00:02:46: Und das war schon ein sehr, sehr beeindruckendes Bild.

00:02:50: Man muss sagen, Deep Fake ist ein schwieriger Begriff.

00:02:53: Ich würde jetzt einfach mal sagen KI-Fake,

00:02:55: weil in dem Fall war es ein komplett KI-generiertes Bild

00:02:58: und nicht jetzt eins, wo gemischt wurde zwischen echt und fake.

00:03:01: Annika, nur kurz für alle, die das nicht so gut kennen.

00:03:05: Also zum einen Black Forest Labs ist auch ein sehr gehyptes Startup

00:03:09: aus dem Schwarzwald, was viel mit KI macht.

00:03:12: Und warum du das so spannend fandest,

00:03:14: wenn ich das richtig interpretiere ist.

00:03:17: Also Tat-X ist sehr bekannte Konferenz.

00:03:20: Es ist ein Speakerformat, jeder, der dort war, wirbt damit.

00:03:23: Also es ist wirklich ein großer Name.

00:03:25: Und dann geht es dir, weil du eben gesagt hast,

00:03:28: die Buchstaben auf dem Lanyard, auf dem Batch waren alle korrekt.

00:03:31: Weil bei KI halt oft die Details dann doch ein bisschen mangelhaft sind.

00:03:37: Wenn man bei den Bildern genau hinschaut, keine Ahnung.

00:03:40: Zum Beispiel die Zähne sind nicht korrekt

00:03:42: oder eben die Buchstaben vertauscht oder verwischt.

00:03:44: Richtig, also habe ich das so richtig interpretiert?

00:03:47: Genau, richtig. Also es gibt so ein paar Grundsachen.

00:03:50: Man kann sich alle Trainings, die man momentan machen kann,

00:03:53: zum Thema kannst du erkennen oder nicht,

00:03:55: spielen sich in die Richtung ab.

00:03:57: Das bestimmte Themen in den aktuelleren generative KI nennt man das ja,

00:04:02: wenn man quasi Bilder, Text zu wild generiert.

00:04:05: Und eben da gibt es ein paar Themen, die man immer beachten kann.

00:04:09: Zum Beispiel Symmetrien.

00:04:11: Also oft hat man zum Beispiel bei Schmuck auf der einen Seite

00:04:14: im Haldenohring und auf der anderen Seite in den Ganzen.

00:04:18: Oder man hat bestimmte Fehler im Bild bei den Proportionen,

00:04:21: physikalische Themen und eben Schriften.

00:04:23: Daran konnte man, kann man und konnte man,

00:04:27: kann ich generierte Bilder noch unterscheiden?

00:04:30: Das wird aber eben immer weniger, diese sogenannten Fehler im Bild.

00:04:35: Und das ist eben auch das Thema.

00:04:36: Da muss man eben in Zukunft andere Mittel und Lösungen finden.

00:04:40: Anathol, gibt es denn einen Fake, der dir so in letzter Zeit

00:04:44: über den Weg gelaufen ist, wo du dachtest,

00:04:46: ist das besonders gut oder besonders schlecht?

00:04:49: Ja, also in letzter Zeit sind wir natürlich halt einige Fakes

00:04:52: über den Weg gelaufen, wo ich jetzt sagen würde,

00:04:56: weder das eine jetzt noch das andere im Sinne von gut oder schlecht,

00:05:00: jedoch hängen geblieben bei mir.

00:05:03: Das war jetzt halt, weil es in die politische Richtung ging.

00:05:06: Das war tatsächlich als Kamala Harris,

00:05:09: als die neue Präsidentschaftskandidatin,

00:05:12: der demokratenvorgestellt wurde,

00:05:15: sind auf einmal dann halt auch Bilder aufgetaucht,

00:05:18: die sie mit Harvey Weinstein zeigen auf dem roten Teppich,

00:05:21: was halt eben auch dann gediebt faked wurde,

00:05:23: was halt ursprünglich halt ein Bild mit ihrem Mann war,

00:05:26: was aber halt in entsprechenden sozialen Medien

00:05:28: dann sehr stark auch durch die Decke ging.

00:05:31: Das haben wir eben auch da, speziell jetzt auch dieses Bild,

00:05:34: haben wir dann eben auch analysiert

00:05:36: und das Ganze eben mitunter auch dann als Diebfake klassifizieren können,

00:05:40: wobei das natürlich halt auch recht schnell, recht klar war,

00:05:43: weil das halt politische Geschichte ist.

00:05:45: Das war ein öffentlicher Raum,

00:05:47: wo eben auch sehr viele Fotos von dem echten Event da waren.

00:05:50: Deswegen ist jetzt auch nicht so schwer zu die Banken waren der Stelle.

00:05:54: Aber das ist tatsächlich halt hängen geblieben,

00:05:56: wo ich jetzt sagen würde, was aktuell

00:05:59: ich ein bisschen gruselig finde,

00:06:01: tatsächlich sogar, was mir jetzt begegnet ist,

00:06:03: sind die jetzt aber als Features kommen,

00:06:06: als eigentlich halt sehr, sehr interessante Anwendungen für den Nutzer.

00:06:10: Das sind eben Übersetzungs-Apps,

00:06:12: beispielsweise wie, ich glaube, Hagen heißt eine aktuelle App.

00:06:17: Und zwar ist das eine, wenn wir so ein Videocall haben beispielsweise,

00:06:22: wo ich jetzt auch französisch rede

00:06:25: und die App übersetzt quasi meine Stimme ins Deutsche

00:06:29: und gleichzeitig auch meine Lippenbewegungen,

00:06:31: werden in dem Falle ja gedieft,

00:06:33: weil die halt an die neue Sprache anwieglichen werden,

00:06:36: was mittlerweile schon sehr, sehr echt ausschaut.

00:06:40: Wenn man jetzt die Sprache kennt, wie zum Beispiel von das Deutsche,

00:06:44: dann würde man sagen, ja, es klingt noch ein bisschen höchst,

00:06:46: aber die werden mittlerweile halt echt gut.

00:06:49: Das ist jetzt nichts, wo man sagen würde,

00:06:51: oh, da will jemand eine Desinformation streuen,

00:06:53: aber die haben natürlich halt das Potenzial

00:06:56: und die Qualität von sowas ist schon halt, wird immer besser.

00:07:00: Da hast du jetzt einen Riesensprung gemacht.

00:07:02: Ich bin mit einem Bild eingestiegen

00:07:04: und da sind wir jetzt schon bei Live-Veränderungen

00:07:08: in einem Videocall.

00:07:10: Das Beispiel, das du jetzt genannt hast,

00:07:13: würde ich im ersten Augenblick als Chance,

00:07:16: als positiv bewerten, Thema Inklusion,

00:07:19: Thema Menschen, die nicht so gut hören.

00:07:22: Gleichzeitig ist das ja aber auch wieder in Schritt Richtung Videofake,

00:07:28: also, dass sich etwas eben noch mehr verändern kann.

00:07:32: Also, es geht rasend schnell.

00:07:34: Das merkt man jetzt, glaube ich, sehr an der Aussage.

00:07:36: Ihr nickt fleißig mit dem Kopf.

00:07:38: Auf was ich hinaus möchte, ist,

00:07:40: ihr habt ja auch eine KI entwickelt,

00:07:41: die gefälschte Bilder und Videos erkennt.

00:07:43: Wenn wir jetzt schon diesen Riesensprung machen und da drauf schauen,

00:07:46: dann müsst ihr ja auch recht schnell in eurer Entwicklung sein,

00:07:49: um wiederum diese Dinge erkennen zu können.

00:07:52: Könnt ihr mir mal so ein bisschen Einblick geben,

00:07:55: wie das mit eurer KI funktioniert

00:07:57: und wie ihr eben mit so einem Fortschritt,

00:07:59: mit so Neuerungen umgeht?

00:08:02: Grundsätzlich können wir eben Klassifikation machen.

00:08:06: Also, wir können im Prinzip halt eine KI

00:08:08: darauf trainieren, verschiedene Klassen zu erkennen.

00:08:11: Diese Klassen können sein, das sind echte Bilder,

00:08:14: das ist von dem Generator 1, Generator 2, Generator 3.

00:08:18: Und wir versuchen von denen, deren spezifische Fingerabdrücke zu lernen,

00:08:23: was diesen Generator eben ausmacht.

00:08:26: Und dann können wir eben relativ gut darauf arbeiten.

00:08:28: Das heißt, wenn wir dann Bilder bekommen,

00:08:30: können wir die dann eben diese Klassen einteilen.

00:08:33: Das Problem, was wir dann eben bekommen,

00:08:35: das nennt man eben im Fachbegriff "Open Set Recognition",

00:08:38: ist halt, was passiert, wenn ich jetzt aber ein Jahr später

00:08:42: ein Neuergenerator, ein Generator 4 auf den Markt kommt,

00:08:46: dessen Fingerabdrücke ich noch nie gesehen habe.

00:08:49: Und das Problem ist, was dabei eben passiert ist,

00:08:52: dass klassischerweise KI-Modelle dann halt eben sagen,

00:08:55: ja, das ist aber weder der Fingerabdruck von Generator 1,

00:08:59: noch 2, noch 3, also muss es echt sein.

00:09:02: Das heißt, es kann eben passieren,

00:09:04: dass das Modell dann sagt, das ist zu 99,9% echt,

00:09:08: obwohl das halt eben von einem ganz neuen KI-Modell stammt,

00:09:11: dessen Fingerabdrücke oder Spuren ich halt noch nie gesehen habe.

00:09:15: Und das, was wir eben machen, ist halt spezielle Verfahren eben anwenden.

00:09:18: Da würde man eben sagen, probabilistische Verfahren,

00:09:21: die eben in ihren Aussagen Unsicherheit ausdrücken können,

00:09:25: sodass wir eben in genau diesen Bereichen sehr gut agieren können,

00:09:29: wo zum Beispiel sehr unbekannte Spuren dann da sind.

00:09:32: Und das Modell sagt, hey, so was hab ich noch nie gesehen.

00:09:35: Ich bin mir da recht unsicher, weil das nichts ist,

00:09:38: was bekannt vorkam, was wir irgendwie im Training halt bearbeitet haben.

00:09:43: Vielleicht füge ich noch an,

00:09:45: weil der Begriff Generatoren ganz oft gefallen ist.

00:09:49: Was meinen wir damit?

00:09:51: Wenn man einen Text zu Bild, KI-Modell benutzt,

00:09:57: dann ist es ein so genanter Generator.

00:10:01: Das nennt man eben auch Gen AI, also generative KI-Modelle.

00:10:06: Modelle, die eben in dem Fall Bilder generieren.

00:10:09: Und zum Beispiel ein bekannter Generator wäre eben zum Beispiel Mit Journey.

00:10:14: Das ist einer oder Dolly.

00:10:16: Also das ist das, wovon wir die ganze Zeit reden,

00:10:18: wenn wir von Generatoren sprechen.

00:10:20: Ah, vielen Dank.

00:10:21: Aber das setzt also voraus, dass man jeden Generator kennen muss.

00:10:26: Es ist ein bisschen wie bei IT-Security.

00:10:31: Also wenn ich es jetzt vereinfacht darstellen müsste,

00:10:33: würde ich sagen, das, was wir machen,

00:10:36: ist vergleichbar mit dem, was die IT-Security beim Virus macht.

00:10:41: Man möchte den Virus natürlich detektieren, bevor man ihn kennt.

00:10:45: Und das ist im Prinzip das, wo jetzt auch die aktuelle Forschung,

00:10:49: aus der der Anatholie, die KI oder wir, die KI herausentwickelt haben,

00:10:53: woran die auch arbeitet, eben nicht bekannte Dinge zu detektieren,

00:10:57: die wir kennen, sondern eben auch die Möglichkeit zu haben,

00:11:01: neue, noch unbekannte Modelle eben auch zu erkennen

00:11:05: und eben da nicht fälschlicherweise davon auszugehen,

00:11:08: dass ist sicher.

00:11:09: Das ist eben wie beim Virus auch.

00:11:11: Wenn der böse Virus kommt und sieht aus wie ein freundliches Programm,

00:11:14: dann sollte natürlich der Scanner trotzdem anschlagen.

00:11:17: Wenn ich über Medien nachdenke,

00:11:20: dann ist es da eben ein ganz, ganz großes Thema.

00:11:23: Medienschaffende müssen schnell arbeiten.

00:11:26: Dann muss man auch noch verifizieren.

00:11:28: Und gerade, wenn das immer alles besser wird,

00:11:31: kann das einem schnell durchrutschen.

00:11:33: Wie schaffen es Medienschaffende, mit diesen Fakes gut umzugehen?

00:11:38: Egal jetzt ob Bild oder Video.

00:11:40: Was würdet ihr sagen, sind das so eure wirklichen Must-Haves

00:11:46: oder was sind die konkreten Tipps, wie ich da schnell vorankomme?

00:11:50: Also ich würde kurz als erstes sagen,

00:11:53: das Allerwichtigste ist verschließt nicht die Augen vor den Möglichkeiten

00:11:57: der Technik, auch wenn es unangenehmes und auch wenn es vielleicht

00:12:01: manchmal kompliziert erscheint, die Grundlagen,

00:12:04: das Thema was ist eine generative E, was sind die potenziellen Fehler?

00:12:08: Da gibt es gute Möglichkeiten und da gibt es auch Initiativen,

00:12:12: wo man sich Schulen lassen kann oder eben selber auch weiterbilden,

00:12:15: um einfach so grundsätzlich mal die Fähigkeit zu haben,

00:12:19: eben aufmerksam mit vatschel real umzugehen.

00:12:23: Und das zweite wären dann die sogenannten Tools,

00:12:26: die man benutzen kann.

00:12:27: Da übergebe ich mal einen anderen Tool, der vielleicht noch mal

00:12:31: ein paar Tipps geben kann, was für Tools es so gibt.

00:12:33: Grundsätzlich, was man als erstes eben machen kann,

00:12:37: wenn das ein Fake ist, was sehr viral zum Beispiel halt geht,

00:12:40: wie dein Eingangsbeispiel mit Taylor Swift,

00:12:43: ist auf jeden Fall mal eine Google-Rückwärtssuche bemühen.

00:12:47: Da würde man schon mal Ungereimtheiten wiederfinden,

00:12:50: wenn das jetzt in verschiedenen Varianten eben da ist,

00:12:53: zum Beispiel an der Stelle mit Banner, ohne Banner.

00:12:55: Dann hätte man schon mal so irgendwie ein "Aha",

00:12:58: weil man gemerkt hat, okay, das stimmt halt schon mal irgendetwas nicht.

00:13:01: Natürlich kann man auch versuchen, verschiedene,

00:13:04: jetzt auch Detektionstools zu verwenden, wobei man da auch eben sagen muss,

00:13:09: einzige Prozentangabe hilft einem vielleicht gar nicht mal so viel.

00:13:13: Da würde man jetzt vielleicht sagen, okay, gut,

00:13:16: dann nehme ich jetzt mehrere zur Hand,

00:13:18: um vielleicht Unsicherheiten auszuräumen,

00:13:21: aber eben auch den selber Selbstständigkeit auch nennen,

00:13:25: dass man einen scharfen Blick eben halt war.

00:13:28: Also im politischen Sinne ist es halt eben so,

00:13:31: dass man sich halt fragen muss, kann der das überhaupt gesagt haben?

00:13:35: Also wenn jetzt irgendwie ein Minister Lauterbach

00:13:38: dann auf einmal über Werbung für Proteine macht oder so was,

00:13:42: ist halt dann die Frage, okay, macht das überhaupt von dem gesagt nicht?

00:13:46: Er singt, kann das überhaupt dann sein?

00:13:48: Oder wird es höchstwahrscheinlich halt ein Liebfake sein?

00:13:51: Also auch da überhaupt Verständnis dafür haben,

00:13:54: dass diese Technologie im Raum ist und dass heutzutage

00:13:57: ich sehr, sehr wahrscheinlich über so ein Video steuern kann,

00:14:00: indem ich jeder Person alles in den Mund legen kann

00:14:03: und nicht grundsätzlich nur, weil etwas in dem Video gesagt wird,

00:14:06: es auch eben als echt anzusehen ist.

00:14:08: Also das sind ja auch Tipps, die nicht nur für Medien schaffende gelten,

00:14:12: sondern für jeden, der denkt, er muss auf WhatsApp eine Nachricht

00:14:17: zum Beispiel weiterleiten oder auf Facebook etwas teilen, etc.

00:14:22: Exakt effektiv für jeden Rezipienten von Medien,

00:14:25: weil auch, also wir durch das Thema mit Social Media

00:14:29: haben wir mittlerweile, werden wir ja geflutet von Medien.

00:14:33: Also das, was ich auf Instagram oder auf TikTok an einem Tag durchsweipe,

00:14:37: ist ja schon massiv.

00:14:39: Das heißt, ich kann auch sehr, sehr schwer,

00:14:41: oder es wird für den Einzelnen auch immer schwieriger,

00:14:44: bei jedem einzelnen Video, was mir das so angezeigt wird,

00:14:47: irgendwo erst mal meine kritischen zehn Sekunden anzuwenden.

00:14:51: Aber auch da ist es eben wichtig, immer wieder so eine kurze Schere

00:14:55: im Kopf zu haben, so kann es überhaupt sein, was jetzt zum Beispiel

00:14:58: der Mensch aus der Politik hier gerade irgendwie erzählt

00:15:02: oder ist es irgendwie ein bisschen zu sehr weit hergeholt.

00:15:05: Und dann würde ich vielleicht dann entweder als Medien schaffender

00:15:08: oder eben auch als ganz normaler Mediennutzer beispielsweise eben sagen,

00:15:13: okay, ich mache jetzt so was wie eine Rückwärtssuche oder so was.

00:15:16: Ich schau mal, ob das in diesem Kontext überhaupt woanders schon mal vorgekommen ist,

00:15:21: jemand anderes vielleicht dann darüber berichtet oder so.

00:15:24: Anath Odo, du hast jetzt oft die ...

00:15:26: Politik angeführt als Beispiel. Das bringt mich zu einer naheliegenden Frage. Ich hatte es auch

00:15:32: eingangs schon erwähnt. Viele Wahlen liegen hinter uns, einige Wahlen liegen noch vor uns. Deepfakes

00:15:39: und Demokratie. Was bedeutet denn Deepfake eben für unsere demokratische Gesellschaft?

00:15:46: Deepfake und unsere demokratische Gesellschaft ist ein Spannungsfeld und unser größter Antrieb auch

00:15:54: bei der Gründung dieses Start-ups und auch bei der Weiterentwicklung unserer Tools ist unser

00:16:00: Wunsch, dass wir wieder in Diskurs kommen, die faktenorientiert sind. Es wurde ja auch schon

00:16:05: oft das postfaktische Zeitalter ausgerufen und diese Deepfakes beschleunigen diesen Prozess,

00:16:11: der Individual timelines, die überall nur noch aus ganz also undurchsichtigen Informationen

00:16:21: bestehen und unser Wunsch und wir glauben auch, dass es super wichtig für die Demokratie ist,

00:16:26: dass wir wieder zurückkommen in eine Form der kuratierten Medienrezeption, vor allem bei den

00:16:32: Nutzer*innen und Nutzern durch Medien Schaffende auch ermöglicht und auch da möchten wir uns

00:16:40: einfach gerne einreihen mit unseren Tools. Sei es jetzt das Deepfake Detection Tool,

00:16:45: wo man eben bei schwierigen Fällen, wenn man keine Rückwärtssuche, wenn die nichts mehr bringt,

00:16:49: dann kann man eben an uns nicht wenden und dann helfen wir, aber sei es auch mit vielleicht

00:16:54: einfacheren Tools langfristig, wo man einfach auch mit Schulungen und so, wo wir alle die Wahrheit

00:17:00: wieder einzuschätzen oder einzufangen lernen und festhalten können. Wir glauben, das ist super

00:17:07: wichtig. Thema Deepfakes und Demokratie, das sind zwei, glaube ich, sehr, sehr wichtige Faktoren in

00:17:15: unserer heutigen Zeit. Man muss es halt eben auch mittlerweile so sehen, dass Deepfakes auch eben ein

00:17:22: sehr scharfes Schwert sind, um Desinformationskampagnen zu starten und es auch durchaus ein Mittel der Wahl

00:17:30: ist, um eben taktische digitale Kriegsführung zu betreiben, genauso wie Hacking-Angriffe, genauso

00:17:37: wie eben staatliche Akteure, die ja auch quasi an vielen bestimmten Fronten Cyberwarfare betreiben,

00:17:44: sind natürlich Deepfakes und falsche Informationen im Generellen. Also das müssen jetzt nicht nur

00:17:49: unbedingt Deepfake-te Gesichter sein, sondern einfach Fake News im Allgemeinen extrem gutes

00:17:55: Mittel, um Demokratien auch zu zersetzen. Es gibt ja auch verschiedene Dinge, die wir auch hier jetzt

00:18:01: auch in Deutschland auch aufgedeckt wurden mit den Zwillingsnachrichtenseiten beispielsweise,

00:18:07: wo jetzt das jetzt nicht unbedingt etwas mit Deepfakes zu tun hat, aber mit Fake News im Allgemeinen.

00:18:12: Das sind natürlich halt Deepfakes, wo ich heutzutage sehr, sehr gut entweder mir das Gesicht eines

00:18:18: Politikers auflegen kann, Dinge sagen kann, was immer ich möchte oder eben auch die Stimme eines

00:18:25: Politikers, einer Politikerin hernehmen. Und das ist natürlich halt bietet sehr viel Sprengstoff.

00:18:31: Ich würde noch mal kurz zusammenfassen, die Punkte, die so genannt wurden. Also was du zum

00:18:37: einen angesprochen hast in diese Doppelgängerseiten, dass von bekannten Medienmarken quasi die Online-Auftritte

00:18:44: geklont wurden und dann mit anderen Inhalten bespielt. Und da wird auch eine KI im Einsatz

00:18:52: gewesen sein, weil von Menschenhand wäre das sehr, sehr viel Arbeit. Und das andere, was du

00:18:57: genannt hattest, sind quasi Bot-Armeen zum Beispiel oder KI-getriebene Informationseinheiten,

00:19:06: die zur strategischen Kriegsführung benutzt werden. Also wenn es Cyberangriffe sind oder

00:19:13: wenn eben gezielt durch Bots-Dinge überflutet werden. Hab ich das so richtig verstanden,

00:19:18: Anathol? Ja genau, also zum einen eben in dem Case, aber halt eben auch um bestimmte politische

00:19:25: Parteien entweder in einem Land zu treiben oder zu diffamieren. Und das kann natürlich auch über

00:19:31: viele Jahre hinweggehen. Ich meine, das sehen wir in vielen Ländern in Europa, das sehen wir auch

00:19:36: halt bei uns. Der komplette Diskurs driftet halt auch immer weiter ins Extreme und funktioniert

00:19:42: tatsächlich halt auch. Und an der Stelle sind auch sehr, sehr viele Unwahrheiten im Raum, vor allem

00:19:49: halt in sozialen Medien. Also was bestimmte Parteien eben möchten, was bestimmte Parteien eben nicht

00:19:53: möchten, was ich in den politischen Gegner in den Mund reinlege. Und es ist heutzutage so einfach

00:20:00: wie doch nie. Man kann es aber auch positiv drehen. Also man kann auch sagen, dass Medienunternehmen

00:20:07: schon synthetische Stimmen einsetzen, um Vertrauen herzustellen. Also dass man zum Beispiel

00:20:11: bekannte Nachrichtensprecher nimmt von einem Sender und das die dann nochmal für Online,

00:20:16: Audiumaterial oder etc. zur Verfügung stellen, was auch synthetisiert ist. Also wir denken ja auch

00:20:23: immer so ein bisschen an die Medienwelt und wie wir da auch was entlasten können. Also das

00:20:27: wäre jetzt ein positiver Dreh. Annika, hast du auch noch einen positiven Dreh für uns? Also erst

00:20:33: mal habe ich einen kleinen Disclaimer. Es ist natürlich nicht legal, die Stimme von jemandem

00:20:38: fremdes ohne dessen Zustimmung zu benutzen. Also bitte an dieser Stelle alle eine Hörerinnen und

00:20:43: Hörer nicht ausprobieren und wenn dann bitte vor Eurer Fragen auch Eure Freunde. Und generell

00:20:50: positiv, also meistens negativ gesehen, ich sehe es aber positiv, ist tatsächlich in dem Fall auch die

00:20:55: EU mit dem AI-Act, weil die vielleicht auch es ist unbequem, auch das Thema GDPR, so Datenschutz

00:21:02: Grundverordnung ist unbequem. Aber am Ende des Tages haben wir einfach eine Chance durch

00:21:07: Regulation auch eben wieder ein bisschen Kontrolle zurückzugewinnen beziehungsweise die guten und

00:21:13: die bösen voneinander zu unterscheiden. Wir werden immer Identitätsbetrug haben. Es wird

00:21:19: tatsächlich eine riesige Zahl. Weltweit wird der Schaden durch Identitätsbetrug, also jede Form,

00:21:24: auf fünf Billionen geschätzt. Das ist richtig viel Geld. Und diesen Schaden wollen wir alle

00:21:31: zusammen eindämmen und dafür können eben generative Kain genauso helfen wie eben Detektoren,

00:21:36: die wir bauen. Die ganze Technologie hilft wirklich auch dabei, dass vielleicht noch viel stärker

00:21:42: einzudämmen, diese Fraud Attempts, diese böse Wichte, die versuchen mit dieser Technologie bis es

00:21:49: eben zu tun. Annika, du hattest vorher auch erwähnt, dass die Stärkung der Demokratie ein Grund war,

00:21:55: euer Start-up zu gründen. Ihr arbeitet ja zum Beispiel auch mit Korrektiv zusammen. Das weiß ich

00:22:00: und ich weiß auch, dass da drei verschiedene Tools im Einsatz sind. Zumindest weiß ich von

00:22:07: drei, vielleicht sind es auch noch mehr und eines davon ist von euch. Wie kam es denn da zu dieser

00:22:14: Zusammenarbeit und warum sind das mehrere Tools? Korrektiv haben wir kennengelernt, eben im Rahmen

00:22:21: unserer Medientour. Wir sind ja momentan im Media Lab Fellowship Programm und lernen eben auch viele

00:22:28: Medienmacher*innen und Macher* kennen und haben eben auch mit Korrektiv gesprochen, haben unser

00:22:32: Tool vorgestellt und dann kamen die Redakteuren in dem Fall bei einem Faktencheck auf uns zu und

00:22:38: hat eben uns gebeten, hier unser Tool anzuwenden. Man muss dazu sagen, wir sind noch in der

00:22:43: Entwicklung, deswegen ist das Tool noch nicht frei verfügbar. Also man kann uns ein E-Mail schreiben

00:22:48: und dann liefern wir eine Analyse, aber momentan gibt es eben noch kein Log-Dich hier ein. Das kommt,

00:22:54: da sind wir gerade dran. In dem Fall hat sie eben uns gebeten, eine Einschätzung zu treffen, weil

00:23:00: aber und das ist total verständlich, das ist gerade aktueller Stand der Forschung. Also auch unsere

00:23:06: Arbeiten bzw. unser Tool ist auf Basis einer peer-reviewed Forschungsarbeit vom Anatol,

00:23:13: und es ist einfach so, dass der Markt noch nicht komplett fertig ist und es ist einfach

00:23:18: verständlich als guter Faktenchecker, dass man sagt, momentan stütze ich mich auf mehrere

00:23:25: Schultern, ich habe einfach auch die Verpflichtung, mehrere Quellen zu haben für meine Information,

00:23:31: deswegen werden momentan eben noch von Journalist*innen und Journalisten mehrere Tools eingesetzt. In dem

00:23:37: Fall hat die Redakteur*innen ein frei verfügbares Online-Tool verwendet, mit einem Professor

00:23:44: gesprochen, der Informatik und eben von uns eine Analyse angefordert. Wir glauben aber,

00:23:50: dass langfristig es natürlich dann auch so ist, dass man das konsolidiert, also dass man irgendwann

00:23:56: eben auch ein bestimmtes Siegel hat und sagt, guck mal, wenn die das gemacht haben, dann kann man

00:24:01: denen da auch vertrauen. Darauf zählen wir ab. Wer sich so ein bisschen mit KI beschäftigt, der kennt

00:24:07: eben in der Zwischenzeit ChatGPT, vielleicht auch Anatol, du hast vorher auch erwähnt,

00:24:12: Mid Journey so als Bildgenerierungstool und wir haben natürlich jetzt bei den ganzen Browsern

00:24:19: und so weiter die großen Firmen, die KI-Assistenten, sag ich mal, einführen, also sowas wie Clippy

00:24:27: früher nur mit KI. Wo würdest du sagen, sollte man den hinschauen, Anatol, für die KI, die auf uns

00:24:35: zukommt? Das sind jetzt alles schon Sachen, die sind so ein bisschen angekommen. Aber was sind denn so

00:24:40: KI-Tools, wo du sagen würdest, das sollte man auf dem Schirm haben oder diese Anwendungsfälle

00:24:46: sollte man auf dem Schirm haben? Ich würde nur kurz einhaken, was auf jeden Fall super wichtig

00:24:50: ist, ist Vertraue einfach keiner KI. Erst mal ganz wichtiges Thema, egal ob es ChatGPT ist oder

00:24:58: ChatGPT 15.1 in 10 Jahren, vertraue deinem Gehirn und versuche dich nicht abhängig zu machen,

00:25:04: vor allem dein Denken nicht abhängig zu machen von KI-Tools, es sind Werkzeuge.

00:25:08: Finde ich total wichtig, was an was ich da denken muss, weil KI ist ja immer so ein bisschen schwer

00:25:13: greifbar. Früher gab es öfters diese Geschichten, dass Leute mit ihrem Auto in ein Wasser, in ein

00:25:19: Fluss irgendwo reingefahren sind, weil sie nur auf Google Maps geguckt haben und nicht mehr auf

00:25:23: die Straße. Exakt gutes Beispiel tatsächlich. Es ist auch so, weil es halt ein blindes Vertrauen

00:25:30: in der Technik ist, die zwar vieles gut macht, aber halt trotzdem halt nicht fehlerfrei ist und

00:25:36: auch eben Modelle wie ChatGPT, die fast schon wirklich wie ein Mensch vielleicht wirken oder

00:25:43: halt wirklich auch Sätze und Sprache auch sehr gut beherrschen und auch Inhalte wiedergeben können.

00:25:49: Das wirkt fast menschlich, aber man darf immer nicht vergessen, das sind statistische Modelle.

00:25:55: Das heißt, was die unter der Haube immer berechnen, ist einfach nur basierend auf den Trainingsdaten,

00:26:02: was halt immer mit einer Häufigkeit zu tun hat, sich anzuschauen, okay, jetzt habe ich hier das

00:26:08: Wort Buch und was ist ganz, ganz häufig wurde im Zusammenhang bei den Texten, die ich gelernt

00:26:15: habe, mit Buch öfter erwähnt, zum Beispiel Lesen und dann ist das quasi das wahrscheinlichste Wort,

00:26:22: was da darauf hin folgen kann. Das heißt, es hat an sich nichts mit wirklich menschlicher

00:26:27: Intelligenz zu tun und auch eben auch nicht mit menschlichem Denken. Das ist einfach nur,

00:26:31: was ist das statistisch Sinnvollste, was darauf folgen kann. Okay, dann würde ich diese Frage

00:26:38: dich dir gestellt habe, damit beantworten, welches Tool man auf jeden Fall auf dem Schirm haben

00:26:42: sollte, ist das eigene Gehirn. Auf jeden Fall. Sehr, sehr gut. Ich hätte gerne auch eine Einschätzung

00:26:50: von euch bezüglich Fake News, Deep Fakes, ob das zukünftig zunehmen wird und zwar möchte ich

00:26:59: euch das fragen, den ich habe gelesen, dass immer mehr und mehr in Klammer gesetzt seriöse, also

00:27:06: das meint seriöse und unseriöse Nachrichtenseiten auf jeden Fall eine Sperre reinmachen, dass

00:27:12: KI das nicht mehr crawlen kann online. Und die Folge davon sei, dass die KI natürlich auf immer

00:27:19: schlechtere Datenquellen zurückgreifen kann und mit schlechteren Datenquellen quasi gefüttert wird

00:27:25: und dadurch wieder der Output auch schlechter wäre und die Ableitung daraus wäre, ist jetzt

00:27:30: kompliziert vielleicht, dass eben Deep Fakes, Fake News und so weiter zunehmen, weil du hattest ja

00:27:37: vorher Anathol auch gesagt, dann soll man gucken, ob man mehrere andere Quellen findet, aber das

00:27:43: durch eben diese Konstellation von Sperre, dadurch minderwertige Informationen, dadurch werden

00:27:49: die Trainingsdaten auch minderwertig und dadurch entsteht mehr Fakezeug und damit wird das Problem

00:27:56: zunehmen. Ist das eine korrekte Ableitung? Das sind jetzt quasi tatsächlich mehrere Aspekte in

00:28:03: einem. Das eine ist tatsächlich halt die Frage, wie qualitativ sind dann die Trainingsdaten und

00:28:10: natürlich ist viel Text im Internet, aber wenig davon ist hochqualitativer, journalistischer,

00:28:17: grammatikalisch sinnvoll zusammengesetztes. Ob das einen direkten Zusammenhang haben wird oder

00:28:24: haben kann zur Verbreitung von Desinformation oder Deep Fakes, kann ich jetzt so nicht unbedingt

00:28:31: genau beantworten. Es kann durchaus einen Einfluss haben, aber ich würde da jetzt zumindest keine

00:28:37: 1 zu 1 Korrelation sehen, dass aus dem einen das andere folgt, was wir aber sehen können ist.

00:28:43: Und heutzutage haben wir einfach nur eine Anmeldemaske, hinterlegt eine E-Mail, meldet dich an,

00:28:49: nutzt das und das ist sehr, sehr einfach, weil ich kein technisches Verständnis mehr brauche.

00:28:53: Also sowas macht es natürlich halt extrem leicht und extrem zugänglich, Deep Fakes zu verbreiten.

00:28:59: Vielleicht würde ich eher da die Korrelation sehen, dass einfach die Zugänglichkeit deutlich,

00:29:04: deutlich besser geworden ist oder deutlich einfacher geworden ist. Ich glaube, dass wir schon das Thema

00:29:11: Deep Fakes und das Thema Fake News, das ist jetzt ein dauerhaftes Thema. Das ist eben wie bei

00:29:17: IT Security. Es ist hier to stay und wir können es bekämpfen, wir können damit arbeiten,

00:29:22: wir werden das tun und wir alle können uns dafür einsetzen, dass es auch natürlich sich im Rahmen

00:29:27: hat, so würde ich das sagen. Annika, Anatol, dann möchte ich mich an dieser Stelle bei euch bedanken

00:29:33: für euren Einsatz und dass ihr die KI im guten Sinne der Macht verbessert, einsetzt und da mit

00:29:40: eurem Startup wirklich impact schafft. Vielen Dank, dass ihr hier im Podcast wart. Ja, vielen

00:29:44: Dank, es hat uns sehr Spaß gemacht. Vielen Dank für die Einladung. Ihr habt es gehört. Mit KI

00:29:52: kann man viel Schindluder treiben, man kann es aber auch sehr, sehr gut einsetzen und gerade

00:29:56: wenn es um Deep Fakes geht, kann KI auch helfen, die zu identifizieren. Das war es für heute mit

00:30:03: den Innovation Minutes. Bitte folgt diesen Podcast, dann verpasst ihr auch keine neue

00:30:08: Folger und ich habe euch natürlich alle relevanten älteren Folgen zum Thema KI auch noch mal in

00:30:14: die Show Notes gepackt. Ich wünsche euch noch einen schönen Tag und wie immer viel Erfolg bei allem,

00:30:20: was du tust. Das waren deine Innovation Minutes direkt aus dem Media Lab Bayern. Du willst mehr?

00:30:28: Dann besuch uns auf media-lab.de und starte dein eigenes Projekt. Last but not least,

00:30:36: dieser Podcast ist möglich, weil wir tolle Unterstützer und Unterstützerinnen haben. Besondere

00:30:41: Dank geht an die Staatskanzlei Bayern, die Bayerische Landeszentrale für neue Medien BLM und natürlich

00:30:47: an meine Kollegen und Kolleginnen in der Medien Bayern.

00:30:50: [Musik]