Gute KI – Schlechte KI
Shownotes
In Folge 16 von HiWay spricht Rengbar Hardam über Chancen und Risiken von Künstlicher Intelligenz – und darüber, warum der Mensch dabei immer der Entscheider bleiben muss.
Als Security Consultant bei HiSolutions schult Rengbar Organisationen im sicheren Umgang mit KI und kennt die Vorteile genauso wie die Schattenseiten: Wo kann KI kreativ unterstützen – und wo wird sie zum Risiko? Ein Gespräch über Halluzinationen, Biases und das Missverständnis, dass KI mehr weiß als wir selbst. Und über die klare Botschaft: Wer KI einsetzt, braucht ein eigenes Urteilsvermögen – und Verantwortung.
Moderation: Valerie Knapp
Shownotes:
Quelle aus Intro: Sicherheits-Risikoliste von LLM´s: https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
Quellen zum Thema Klarna: https://tanyasolati.substack.com/p/klarnas-ai-gamble-backfired?utmcampaign=post&utmmedium=web https://www.golem.de/news/wende-beim-kundensupport-klarna-hat-jetzt-ki-kater-2505-196076.html https://openai.com/index/klarna/
Zu DeepSeek: https://www.dw.com/de/deepseek-welche-fragen-die-chinesische-ki-nicht-beantwortet/a-71485451 https://www.theguardian.com/technology/2025/jan/28/we-tried-out-deepseek-it-works-well-until-we-asked-it-about-tiananmen-square-and-taiwan
Transkript anzeigen
00:00:00: Du als Mensch, du kannst nicht nicht zurücklehnen und sagen "ChatGPT, mach mal." Nein, du musst
00:00:08: fragen. Wie gesagt, das Ding halluciniert von Anfang an. Und das ist ja sogar ein Risiko,
00:00:15: was im Rahmen von Overs Top 10 for LLM-Oplication sogar als einer der wichtigsten Risiken genannt
00:00:22: wird, Overreliance. Du musst als Mensch hinterfragen, weil da kommt sehr wahrscheinlich Stuss raus. Und weil
00:00:30: dieser Chatbot die gefallen möchte, wird er auch im schlimmsten Fall dich anlügen. Und es passiert,
00:00:36: und es kann sein, dass er einen Autoren erfindet.
00:00:39: HiWay, dein Wegweiser für Digitalisierung und Sicherheit. Präsentiert von HiSolutions.
00:00:52: Hi und herzlich willkommen zu einer weiteren Folge von Highway, dem Podcast von High Solutions.
00:01:01: Mein Name ist Valerie Knapp und heute spreche ich mit meinem Kollegen über das Thema Künstliche
00:01:06: Intelligenz oder KI. Für das Thema habe ich mir heute Rengba mit an die Seite genommen und Rengba
00:01:13: ist Security Consultant hier bei uns bei HiSolutions und er berät seine Kunden zum
00:01:19: sicheren Umgang mit KI oder zum sicheren Einsatz von KI in den Unternehmen. Dazu hat er auch Schulungen
00:01:25: mitentwickelt, die er auch mit unseren Kollegen gemeinsam durchführt und er ist Teil des internen
00:01:31: KI-Teams. Und vielleicht noch ein kleiner Fakt am Rande. Wir beide arbeiten auch zusammen oder haben
00:01:37: zusammen in einem Projekt gearbeitet, in dem wir KI für Berliner Lehrer aufgearbeitet haben.
00:01:42: Genau. Hallo Rengba. Hi. Willst du noch was ergänzen? Ansonsten starten wir gleich rein.
00:01:47: Ich bin noch leidenschaftlicher IT-Grundschützer, aber... Wie konnte ich das vergessen? Nein,
00:01:53: alles gut. Okay. Frage 1. Welche Vorteile bringt denn der Einsatz von KI? Vielleicht noch mal so
00:02:01: als kleiner Ausschweifer, wenn wir mit Lehrern zum Thema oder über das Thema KI gesprochen haben,
00:02:08: kam oft Bedenken, ich habe Angst, was falsch zu machen. Aber welche Vorteile bringt es denn,
00:02:14: dass wir KI nutzen? Also ich sehe das alles im Kontext von Chancen. Aber Chancen in dem Sinne,
00:02:22: dass es nichts Neues ist. KI gab es schon seit... seit eh und je. Also KI ist jetzt nichts, was seit
00:02:31: 2022 mit der Einführung des ChatGPT von OpenAI erfunden wurde, sondern das gab es schon
00:02:38: immer. Du hast doch ein iPhone, oder? Face ID. Also du hatte KI war schon immer allgegenwärtig. Jetzt
00:02:47: ist es im Sinne von einem LLM-Modell ist das jetzt aktiv. Vorteil in dem Sinne oder als Chance,
00:02:53: es kann dir im kreativen Prozess weiterhelfen. Es soll dir hoffentlich nicht die Arbeit abnehmen,
00:03:04: aber es kann dein persönlicher Assistent in der Hosentasche sein. Dann kannst du nutzen,
00:03:09: um beispielsweise Brainstorming durchzuführen oder vielleicht Grammatik oder Rechtschreibfehler
00:03:16: zu korrigieren. Das kann dir bei der E-Mail-Formulierung helfen, wenn du keine Lust hast,
00:03:21: eine E-Mail zu formulieren, wo auch jetzt keine vertraulichen Daten enthalten sind. Hey ChatGPT,
00:03:28: kannst du es mir mal kurz umformulieren. Da gibt es ganz klare Vorurteile. Bei den
00:03:33: Lehrern war das der Fall, hey, ich kann meinen Schulunterricht eventuell mit KI gestalten. Da
00:03:40: kann mir neue Ansätze geben, wie ich beispielsweise Aspekte von Montessori einbringe, initial
00:03:47: das da drauf selbst zu kommen. Das ist so schwierig, aber ChatGPT beispielsweise kann
00:03:55: dir dabei helfen. Ja, genau. Wichtig hierbei ist, dass du ganz klar Grenzen setzt, wo hört
00:04:03: die KI auf, wo übernehme ich als Mensch? Denn die KI sollte niemals deine Arbeit übernehmen. Es
00:04:11: ist lediglich dein persönlicher Assistent, bei dem du die Leitplanken gesetzt hast. Du hast
00:04:18: das Wort oder die Abkürzung LLM benutzt. Ich erkläre das nur einmal kurz. Das ist nämlich,
00:04:24: steht für Large Language Models und das sind ja eben genau die Chatbots, die wir jetzt mit
00:04:28: Chatchivit oder Co-Pilot eben kennengelernt haben in Abkürzung zu anderen KI-Modellen. Da hast
00:04:35: du gesagt, zum Beispiel, oder zu anderen KI's, die wir schon länger kennen, sowas wie Face ID oder
00:04:39: auch in der Medizin gibt es ja auch verschiedene KI's, die eingesetzt werden. Da weiß ich zum
00:04:44: Beispiel, da hatten wir drüber gesprochen, KI's, die Brustkrebs zum Beispiel früher erkennen können
00:04:49: als Menschen in der Lage gewesen wären. Genau, zum Teil 70 Prozent besser als jetzt ein Arzt,
00:04:56: der mit seinen menschlichen Sinnen jetzt drauf schauen muss, auf dem Bild sagen, erkennen soll,
00:05:02: hey, ist das jetzt Krebs oder ist das kein Krebs? Und da ist einfach ein KI-Modell besser, weil es mit
00:05:09: einem gewissen Trainingsdatensatz so gut trainiert wurde, so dass es klassifizieren kann. Das ist
00:05:15: ein positiver Anwendungsfall und da zeigen sich schon erste gute positive Effekte. Frage 2. Also wir
00:05:25: haben jetzt viele positive Sachen genannt, aber leider gibt es ja auch Gefahren und vielleicht
00:05:31: kannst du uns mal sagen, welche Gefahren gibt es denn bei der Nutzung von KI? Leider überwiegen auch
00:05:36: hier die Nachteile zum Teil, also ich kann dir sagen, dass es noch nicht so ist, dass der Nutzen,
00:05:44: den Kosten überwiegt. Jetzt habe ich ganz früh von meinem Kollegen Konstantin Kirsch auch erfahren,
00:05:49: dass der positivste wirtschaftliche Fall mit Klaner, wo dieser Chatboard beispielsweise First-Level-Support
00:05:59: ersetzen sollte, gescheitert ist. Klaner will jetzt zurück rudern und will wieder auf menschliche
00:06:06: Interaktion. Warum? Die Menschen wollen nicht mit einem Roboter sprechen, auch wenn es sich so
00:06:14: effizient anhört. Ich möchte Menschen haben, mit dem ich interagiere. Ich möchte mit
00:06:19: mit dir sprechen, nicht mit einem Roboter, der auf den Namen Valerie hört.
00:06:23: Und ein weiteres Problem bei LLMs, Chatbots, ist, sie haben Biases ist.
00:06:30: Sie haben sowohl einen Social-Bias als auch einen eingebauten Bias in ... Ja?
00:06:36: Ich will nicht unterbrechen, aber vielleicht kannst du das Wort Bias einmal erklären.
00:06:39: Bias sind einfach vor gewissermaßen, ich würde es vorbehalte, vor Urteile bewusst oder
00:06:48: unbewusst Vorurteile, die eingebaut sind. Einmal im Neuron, was worauf dieses
00:06:55: neuronale Netz basiert. Y ist gleich Mx + B, dieses berühmte B, was einfach, wo
00:07:01: man gewichten kann. Aber es gibt auch noch mal die Social-Biases ist.
00:07:05: Beispielsweise ist im asiatischen Raum der Trainingsdatensatz einfach ein
00:07:11: anderer als jetzt bei uns in Europa oder bei den Amerikanern. Das sind
00:07:18: einfach die Trainingsdatensätze. Andere und dementsprechend ist auch der
00:07:22: Output ein anderer. Aber er kann auch bewusst, sage ich mal, anders gewichtet
00:07:29: werden. Bestes Beispiel Deepseek China oder Google
00:07:35: Gemini Amerika. Und da gibt es Unterschiede. Ein weiterer Unterschied ist, wenn du als
00:07:41: Mensch es der KI überlässt, Wissen zu generieren und quasi nur noch du übernimmst.
00:07:50: Du machst das Copy-Pasting, weil dann braucht es dich als Wissensgenerierung nicht mehr.
00:07:55: Der Chatbot hat für dich die Antworten gegeben. Wenn dann nur noch der Prompt von
00:08:00: mir kommt und dann aber gar keine wirkliche Eigenleistung mehr dahinter steht.
00:08:04: Und dieser Chatbot will dir gefallen. Der ist so gebaut, dass er dir gefallen
00:08:09: möchte und ist ganz ganz wichtig zu wissen. Dieser Chatbot halluziniert von
00:08:16: Anfang an. Die meiste Zeit hört sich einfach nur richtig an. Aber selbst das
00:08:22: Richtige basiert nur auf reinster Stochastik. Da gibt es keine Logik.
00:08:28: Das sind ja nur die Wahrscheinlichkeiten, die dann eben die Reihenfolge der Tokens
00:08:32: oder der Worte und Silben und so bestimmen, in der die Antwort kommt.
00:08:36: Können wir vielleicht noch ein bisschen konkreter werden bei den Gefahren?
00:08:42: Also hast du Beispiele, konkrete Beispiele, welche gefahren da?
00:08:47: Ein weiteres Beispiel, ein drastisches Beispiel. Also es gibt auch, sag ich mal,
00:08:52: harmlosere Negativbeispiele. Aber ich bin jetzt in den extremen Stable-Diffusionen.
00:08:57: Natürlich, wenn du das Internet crossed und sage ich mal pornografische
00:09:05: Inhalte auch als Trainingsdatensatz nutzt, dann brauchst du dich nicht zu
00:09:09: wundern, wenn du bei Stable-Diffusionen, wenn du dir ein Bild generieren lassen
00:09:13: möchtest, sie sehr anzüglich aussehen. Sehr freizügliche Bilder dieren.
00:09:19: Sehr freizüglich. Und das ist tatsächlich auch passiert bei Stable-Diffusionen und
00:09:22: wie willst du das denn verhindern? Stable-Diffusionen meinten das Wissens
00:09:26: nach auch dann zur Bildgenerierung. Genau, genau. Das ist ein Negativbeispiel.
00:09:31: Aber auch ein weiteres Beispiel ist, gemäß der geografischen Lage wird die
00:09:39: Geschichte neu geschrieben, wenn ich es mal so formulieren darf. Wenn du ein
00:09:44: chinesischen Chatbott nutzt, um geschichtliche Fragen zu stellen und
00:09:48: Antworten zu bekommen, kriegst du eine andere Antwort als wenn du jetzt OpenAI
00:09:54: ChatGPT fragst oder den Chatbot von Google oder Claude von Entropic. Du
00:10:00: kriegst immer eine andere Antwort und jetzt muss man sich die Frage stellen,
00:10:04: welche Geschichte ist wahr? Ja, was sind die wirklichen Fakten dahinter und was
00:10:09: ist eben durch die Vor-Einstellungen, durch die Biases? Deswegen solltest du
00:10:15: immer als Mensch das ganze hinterfragen. Du als Mensch, du kannst dich nicht
00:10:21: zurücklehnen und sagen, ChatGPT, mach mal. Nein, du musst fragen. Wie gesagt, das
00:10:27: Ding haluziniert von Anfang an. Und das ist ja sogar ein Risiko, was im Rahmen von
00:10:33: Overs Top 10 for LLM-Oplication sogar als einer der wichtigsten Risiken
00:10:39: genannt wird, Overreliance. Du musst als Mensch hinterfragen, weil da kommt sehr
00:10:46: wahrscheinlich Stuss raus und weil dieser Chatbot die gefallen möchte, wird
00:10:50: er auch im schlimmsten Fall dich anliegen. Und es passiert und es kann sein, dass er
00:10:55: einen Autoren erfindet. Genau, das hatten wir ja mit Quellenangaben, die erfunden wurden.
00:10:59: Genau, es passiert. Ich pass jetzt nochmal zusammen über, was wir heute
00:11:02: gesprochen haben und zwar wir haben einmal uns angesehen, was sind denn die Chancen?
00:11:06: Also die Chancen sind für mich ganz klar, ich habe einen Assistenten, der mir
00:11:09: helfen kann, der mich im Alltag unterstützen kann, der mir Texte
00:11:13: zusammenfassen kann und auch mal mit dem ich Brainstorming machen kann. Es gibt
00:11:17: auch noch andere KI-Modelle, die Vorteile bieten, wie eben die Krebserkennung oder
00:11:21: Sachen, die uns den Alltag erleichtern. Hier gerade in Berlin ist ja auch
00:11:25: verkehrstechnisch oft schwierig und dann kann mir ja mein Navi auch sagen, hey,
00:11:29: nimm jetzt mal lieber die andere Route, da ist gerade irgendwas passiert. Aber es
00:11:33: gibt eben auch die Gefahren, die Halluzination, es gibt die Biases und
00:11:37: da muss ich mir einfach bewusst sein, dass nicht alles Gold ist, was glänzt. Also
00:11:40: nicht alles, auch wenn es noch so logisch klingt, stimmt, was mir der Chatbot, was
00:11:45: mir mein KI Assistent sagt. Und deswegen am Ende muss ich noch mal überprüfen,
00:11:51: muss selber gucken, was ist da rausgekommen, kann das stimmen, stimmt das.
00:11:56: Also meine persönliche Note sollte nicht verloren gehen.
00:11:59: Unterschreibe ich. Okay, dann vielen Dank und ich hoffe, dass es unseren
00:12:05: Zuhörern heute auch wieder gefallen hat. Damit bedanke ich mich auch wieder bei
00:12:09: ihnen und hoffe, dass sie uns beim nächsten Mal auch wieder hier zuhören
00:12:14: wollen oder zu sehen wollen. Ja, dann abonnieren nicht vergessen und bis zum
00:12:19: nächsten mal. Subscribe and Like.
00:12:23: HiWay, der Wegweiser für Digitalisierung und Sicherheit, präsentiert von
00:12:29: HiSolutions. Hat dir diese Episode gefallen?
00:12:33: Dann abonniere den Podcast und empfehle unsere Folgen weiter.
Neuer Kommentar