Gute KI – Schlechte KI

Shownotes

In Folge 16 von HiWay spricht Rengbar Hardam über Chancen und Risiken von Künstlicher Intelligenz – und darüber, warum der Mensch dabei immer der Entscheider bleiben muss.

Als Security Consultant bei HiSolutions schult Rengbar Organisationen im sicheren Umgang mit KI und kennt die Vorteile genauso wie die Schattenseiten: Wo kann KI kreativ unterstützen – und wo wird sie zum Risiko? Ein Gespräch über Halluzinationen, Biases und das Missverständnis, dass KI mehr weiß als wir selbst. Und über die klare Botschaft: Wer KI einsetzt, braucht ein eigenes Urteilsvermögen – und Verantwortung.

Moderation: Valerie Knapp

Shownotes:

Quelle aus Intro: Sicherheits-Risikoliste von LLM´s: https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/

Quellen zum Thema Klarna: https://tanyasolati.substack.com/p/klarnas-ai-gamble-backfired?utmcampaign=post&utmmedium=web https://www.golem.de/news/wende-beim-kundensupport-klarna-hat-jetzt-ki-kater-2505-196076.html https://openai.com/index/klarna/

Zu DeepSeek: https://www.dw.com/de/deepseek-welche-fragen-die-chinesische-ki-nicht-beantwortet/a-71485451 https://www.theguardian.com/technology/2025/jan/28/we-tried-out-deepseek-it-works-well-until-we-asked-it-about-tiananmen-square-and-taiwan

Transkript anzeigen

00:00:00: Du als Mensch, du kannst nicht nicht zurücklehnen und sagen "ChatGPT, mach mal." Nein, du musst

00:00:08: fragen. Wie gesagt, das Ding halluciniert von Anfang an. Und das ist ja sogar ein Risiko,

00:00:15: was im Rahmen von Overs Top 10 for LLM-Oplication sogar als einer der wichtigsten Risiken genannt

00:00:22: wird, Overreliance. Du musst als Mensch hinterfragen, weil da kommt sehr wahrscheinlich Stuss raus. Und weil

00:00:30: dieser Chatbot die gefallen möchte, wird er auch im schlimmsten Fall dich anlügen. Und es passiert,

00:00:36: und es kann sein, dass er einen Autoren erfindet.

00:00:39: HiWay, dein Wegweiser für Digitalisierung und Sicherheit. Präsentiert von HiSolutions.

00:00:52: Hi und herzlich willkommen zu einer weiteren Folge von Highway, dem Podcast von High Solutions.

00:01:01: Mein Name ist Valerie Knapp und heute spreche ich mit meinem Kollegen über das Thema Künstliche

00:01:06: Intelligenz oder KI. Für das Thema habe ich mir heute Rengba mit an die Seite genommen und Rengba

00:01:13: ist Security Consultant hier bei uns bei HiSolutions und er berät seine Kunden zum

00:01:19: sicheren Umgang mit KI oder zum sicheren Einsatz von KI in den Unternehmen. Dazu hat er auch Schulungen

00:01:25: mitentwickelt, die er auch mit unseren Kollegen gemeinsam durchführt und er ist Teil des internen

00:01:31: KI-Teams. Und vielleicht noch ein kleiner Fakt am Rande. Wir beide arbeiten auch zusammen oder haben

00:01:37: zusammen in einem Projekt gearbeitet, in dem wir KI für Berliner Lehrer aufgearbeitet haben.

00:01:42: Genau. Hallo Rengba. Hi. Willst du noch was ergänzen? Ansonsten starten wir gleich rein.

00:01:47: Ich bin noch leidenschaftlicher IT-Grundschützer, aber... Wie konnte ich das vergessen? Nein,

00:01:53: alles gut. Okay. Frage 1. Welche Vorteile bringt denn der Einsatz von KI? Vielleicht noch mal so

00:02:01: als kleiner Ausschweifer, wenn wir mit Lehrern zum Thema oder über das Thema KI gesprochen haben,

00:02:08: kam oft Bedenken, ich habe Angst, was falsch zu machen. Aber welche Vorteile bringt es denn,

00:02:14: dass wir KI nutzen? Also ich sehe das alles im Kontext von Chancen. Aber Chancen in dem Sinne,

00:02:22: dass es nichts Neues ist. KI gab es schon seit... seit eh und je. Also KI ist jetzt nichts, was seit

00:02:31: 2022 mit der Einführung des ChatGPT von OpenAI erfunden wurde, sondern das gab es schon

00:02:38: immer. Du hast doch ein iPhone, oder? Face ID. Also du hatte KI war schon immer allgegenwärtig. Jetzt

00:02:47: ist es im Sinne von einem LLM-Modell ist das jetzt aktiv. Vorteil in dem Sinne oder als Chance,

00:02:53: es kann dir im kreativen Prozess weiterhelfen. Es soll dir hoffentlich nicht die Arbeit abnehmen,

00:03:04: aber es kann dein persönlicher Assistent in der Hosentasche sein. Dann kannst du nutzen,

00:03:09: um beispielsweise Brainstorming durchzuführen oder vielleicht Grammatik oder Rechtschreibfehler

00:03:16: zu korrigieren. Das kann dir bei der E-Mail-Formulierung helfen, wenn du keine Lust hast,

00:03:21: eine E-Mail zu formulieren, wo auch jetzt keine vertraulichen Daten enthalten sind. Hey ChatGPT,

00:03:28: kannst du es mir mal kurz umformulieren. Da gibt es ganz klare Vorurteile. Bei den

00:03:33: Lehrern war das der Fall, hey, ich kann meinen Schulunterricht eventuell mit KI gestalten. Da

00:03:40: kann mir neue Ansätze geben, wie ich beispielsweise Aspekte von Montessori einbringe, initial

00:03:47: das da drauf selbst zu kommen. Das ist so schwierig, aber ChatGPT beispielsweise kann

00:03:55: dir dabei helfen. Ja, genau. Wichtig hierbei ist, dass du ganz klar Grenzen setzt, wo hört

00:04:03: die KI auf, wo übernehme ich als Mensch? Denn die KI sollte niemals deine Arbeit übernehmen. Es

00:04:11: ist lediglich dein persönlicher Assistent, bei dem du die Leitplanken gesetzt hast. Du hast

00:04:18: das Wort oder die Abkürzung LLM benutzt. Ich erkläre das nur einmal kurz. Das ist nämlich,

00:04:24: steht für Large Language Models und das sind ja eben genau die Chatbots, die wir jetzt mit

00:04:28: Chatchivit oder Co-Pilot eben kennengelernt haben in Abkürzung zu anderen KI-Modellen. Da hast

00:04:35: du gesagt, zum Beispiel, oder zu anderen KI's, die wir schon länger kennen, sowas wie Face ID oder

00:04:39: auch in der Medizin gibt es ja auch verschiedene KI's, die eingesetzt werden. Da weiß ich zum

00:04:44: Beispiel, da hatten wir drüber gesprochen, KI's, die Brustkrebs zum Beispiel früher erkennen können

00:04:49: als Menschen in der Lage gewesen wären. Genau, zum Teil 70 Prozent besser als jetzt ein Arzt,

00:04:56: der mit seinen menschlichen Sinnen jetzt drauf schauen muss, auf dem Bild sagen, erkennen soll,

00:05:02: hey, ist das jetzt Krebs oder ist das kein Krebs? Und da ist einfach ein KI-Modell besser, weil es mit

00:05:09: einem gewissen Trainingsdatensatz so gut trainiert wurde, so dass es klassifizieren kann. Das ist

00:05:15: ein positiver Anwendungsfall und da zeigen sich schon erste gute positive Effekte. Frage 2. Also wir

00:05:25: haben jetzt viele positive Sachen genannt, aber leider gibt es ja auch Gefahren und vielleicht

00:05:31: kannst du uns mal sagen, welche Gefahren gibt es denn bei der Nutzung von KI? Leider überwiegen auch

00:05:36: hier die Nachteile zum Teil, also ich kann dir sagen, dass es noch nicht so ist, dass der Nutzen,

00:05:44: den Kosten überwiegt. Jetzt habe ich ganz früh von meinem Kollegen Konstantin Kirsch auch erfahren,

00:05:49: dass der positivste wirtschaftliche Fall mit Klaner, wo dieser Chatboard beispielsweise First-Level-Support

00:05:59: ersetzen sollte, gescheitert ist. Klaner will jetzt zurück rudern und will wieder auf menschliche

00:06:06: Interaktion. Warum? Die Menschen wollen nicht mit einem Roboter sprechen, auch wenn es sich so

00:06:14: effizient anhört. Ich möchte Menschen haben, mit dem ich interagiere. Ich möchte mit

00:06:19: mit dir sprechen, nicht mit einem Roboter, der auf den Namen Valerie hört.

00:06:23: Und ein weiteres Problem bei LLMs, Chatbots, ist, sie haben Biases ist.

00:06:30: Sie haben sowohl einen Social-Bias als auch einen eingebauten Bias in ... Ja?

00:06:36: Ich will nicht unterbrechen, aber vielleicht kannst du das Wort Bias einmal erklären.

00:06:39: Bias sind einfach vor gewissermaßen, ich würde es vorbehalte, vor Urteile bewusst oder

00:06:48: unbewusst Vorurteile, die eingebaut sind. Einmal im Neuron, was worauf dieses

00:06:55: neuronale Netz basiert. Y ist gleich Mx + B, dieses berühmte B, was einfach, wo

00:07:01: man gewichten kann. Aber es gibt auch noch mal die Social-Biases ist.

00:07:05: Beispielsweise ist im asiatischen Raum der Trainingsdatensatz einfach ein

00:07:11: anderer als jetzt bei uns in Europa oder bei den Amerikanern. Das sind

00:07:18: einfach die Trainingsdatensätze. Andere und dementsprechend ist auch der

00:07:22: Output ein anderer. Aber er kann auch bewusst, sage ich mal, anders gewichtet

00:07:29: werden. Bestes Beispiel Deepseek China oder Google

00:07:35: Gemini Amerika. Und da gibt es Unterschiede. Ein weiterer Unterschied ist, wenn du als

00:07:41: Mensch es der KI überlässt, Wissen zu generieren und quasi nur noch du übernimmst.

00:07:50: Du machst das Copy-Pasting, weil dann braucht es dich als Wissensgenerierung nicht mehr.

00:07:55: Der Chatbot hat für dich die Antworten gegeben. Wenn dann nur noch der Prompt von

00:08:00: mir kommt und dann aber gar keine wirkliche Eigenleistung mehr dahinter steht.

00:08:04: Und dieser Chatbot will dir gefallen. Der ist so gebaut, dass er dir gefallen

00:08:09: möchte und ist ganz ganz wichtig zu wissen. Dieser Chatbot halluziniert von

00:08:16: Anfang an. Die meiste Zeit hört sich einfach nur richtig an. Aber selbst das

00:08:22: Richtige basiert nur auf reinster Stochastik. Da gibt es keine Logik.

00:08:28: Das sind ja nur die Wahrscheinlichkeiten, die dann eben die Reihenfolge der Tokens

00:08:32: oder der Worte und Silben und so bestimmen, in der die Antwort kommt.

00:08:36: Können wir vielleicht noch ein bisschen konkreter werden bei den Gefahren?

00:08:42: Also hast du Beispiele, konkrete Beispiele, welche gefahren da?

00:08:47: Ein weiteres Beispiel, ein drastisches Beispiel. Also es gibt auch, sag ich mal,

00:08:52: harmlosere Negativbeispiele. Aber ich bin jetzt in den extremen Stable-Diffusionen.

00:08:57: Natürlich, wenn du das Internet crossed und sage ich mal pornografische

00:09:05: Inhalte auch als Trainingsdatensatz nutzt, dann brauchst du dich nicht zu

00:09:09: wundern, wenn du bei Stable-Diffusionen, wenn du dir ein Bild generieren lassen

00:09:13: möchtest, sie sehr anzüglich aussehen. Sehr freizügliche Bilder dieren.

00:09:19: Sehr freizüglich. Und das ist tatsächlich auch passiert bei Stable-Diffusionen und

00:09:22: wie willst du das denn verhindern? Stable-Diffusionen meinten das Wissens

00:09:26: nach auch dann zur Bildgenerierung. Genau, genau. Das ist ein Negativbeispiel.

00:09:31: Aber auch ein weiteres Beispiel ist, gemäß der geografischen Lage wird die

00:09:39: Geschichte neu geschrieben, wenn ich es mal so formulieren darf. Wenn du ein

00:09:44: chinesischen Chatbott nutzt, um geschichtliche Fragen zu stellen und

00:09:48: Antworten zu bekommen, kriegst du eine andere Antwort als wenn du jetzt OpenAI

00:09:54: ChatGPT fragst oder den Chatbot von Google oder Claude von Entropic. Du

00:10:00: kriegst immer eine andere Antwort und jetzt muss man sich die Frage stellen,

00:10:04: welche Geschichte ist wahr? Ja, was sind die wirklichen Fakten dahinter und was

00:10:09: ist eben durch die Vor-Einstellungen, durch die Biases? Deswegen solltest du

00:10:15: immer als Mensch das ganze hinterfragen. Du als Mensch, du kannst dich nicht

00:10:21: zurücklehnen und sagen, ChatGPT, mach mal. Nein, du musst fragen. Wie gesagt, das

00:10:27: Ding haluziniert von Anfang an. Und das ist ja sogar ein Risiko, was im Rahmen von

00:10:33: Overs Top 10 for LLM-Oplication sogar als einer der wichtigsten Risiken

00:10:39: genannt wird, Overreliance. Du musst als Mensch hinterfragen, weil da kommt sehr

00:10:46: wahrscheinlich Stuss raus und weil dieser Chatbot die gefallen möchte, wird

00:10:50: er auch im schlimmsten Fall dich anliegen. Und es passiert und es kann sein, dass er

00:10:55: einen Autoren erfindet. Genau, das hatten wir ja mit Quellenangaben, die erfunden wurden.

00:10:59: Genau, es passiert. Ich pass jetzt nochmal zusammen über, was wir heute

00:11:02: gesprochen haben und zwar wir haben einmal uns angesehen, was sind denn die Chancen?

00:11:06: Also die Chancen sind für mich ganz klar, ich habe einen Assistenten, der mir

00:11:09: helfen kann, der mich im Alltag unterstützen kann, der mir Texte

00:11:13: zusammenfassen kann und auch mal mit dem ich Brainstorming machen kann. Es gibt

00:11:17: auch noch andere KI-Modelle, die Vorteile bieten, wie eben die Krebserkennung oder

00:11:21: Sachen, die uns den Alltag erleichtern. Hier gerade in Berlin ist ja auch

00:11:25: verkehrstechnisch oft schwierig und dann kann mir ja mein Navi auch sagen, hey,

00:11:29: nimm jetzt mal lieber die andere Route, da ist gerade irgendwas passiert. Aber es

00:11:33: gibt eben auch die Gefahren, die Halluzination, es gibt die Biases und

00:11:37: da muss ich mir einfach bewusst sein, dass nicht alles Gold ist, was glänzt. Also

00:11:40: nicht alles, auch wenn es noch so logisch klingt, stimmt, was mir der Chatbot, was

00:11:45: mir mein KI Assistent sagt. Und deswegen am Ende muss ich noch mal überprüfen,

00:11:51: muss selber gucken, was ist da rausgekommen, kann das stimmen, stimmt das.

00:11:56: Also meine persönliche Note sollte nicht verloren gehen.

00:11:59: Unterschreibe ich. Okay, dann vielen Dank und ich hoffe, dass es unseren

00:12:05: Zuhörern heute auch wieder gefallen hat. Damit bedanke ich mich auch wieder bei

00:12:09: ihnen und hoffe, dass sie uns beim nächsten Mal auch wieder hier zuhören

00:12:14: wollen oder zu sehen wollen. Ja, dann abonnieren nicht vergessen und bis zum

00:12:19: nächsten mal. Subscribe and Like.

00:12:23: HiWay, der Wegweiser für Digitalisierung und Sicherheit, präsentiert von

00:12:29: HiSolutions. Hat dir diese Episode gefallen?

00:12:33: Dann abonniere den Podcast und empfehle unsere Folgen weiter.

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.