In Folge 33 geht es um Fair AI und die Frage, warum künstliche Intelligenz menschliche Vorurteile übernimmt und in großem Maßstab verstärken kann. Data Scientist und KI-Trainerin Simone Scholz erklärt, wie Verzerrungen in Trainingsdaten, Algorithmen oder deren Bewertung entstehen. An Beispielen aus Recruiting, Kreditvergabe, Wohnungssuche und anderen Bereichen zeigt sich: KI entscheidet nicht unabhängig von der Gesellschaft, sondern lernt aus menschlich erzeugten Daten – einschließlich unserer Rollenbilder und blinden Flecken. Die Folge macht zugleich deutlich, wie wir gegensteuern können: stereotype Ergebnisse hinterfragen, vielfältigere Perspektiven einfordern, persönliche und unternehmerische Werte einbringen und bei folgenreichen Entscheidungen den Menschen im Prozess behalten. Die zentrale Botschaft: Fairere KI beginnt mit Bewusstsein und Verantwortung. KI hält uns einen Spiegel vor – doch wir können mitentscheiden, welche Bilder und Muster wir fortschreiben.
Wenn wir eine Bild-KI bitten, einen Menschen darzustellen, erhalten wir erstaunlich oft ein ähnliches Bild: Ebenmäßiges Aussehen und makellose Haut - irgendwie normschön, glatt. Aber ist die KI deshalb unfair – oder zeigt sie uns, welche Vorstellungen und Urteile sie von uns Menschen gelernt hat?
In Folge 33 spricht Petra Liebl mit der Data Scientist und KI-Trainerin Simone Scholz über Fair AI und die Frage, wie menschliche Vorurteile in KI-Systeme gelangen. An Beispielen aus Recruiting, Kreditvergabe, Wohnungssuche, Polizeiarbeit, Medizin und Marketing wird deutlich, wie verzerrte Daten reale Entscheidungen beeinflussen können.
KI-Outputs sollten nie unkritisch übernommen werden. Denn KI kann bestehende Vorurteile reproduzieren und verstärken – etwa wenn sie beim Beruf Mechaniker automatisch an einen Mann statt an eine Mechanikerin denkt. Aber warum ist das so, und was können wir dagegen tun?
Besonders problematisch ist die Skalierung: Während einzelne Menschen nur eine begrenzte Zahl an Entscheidungen treffen, kann ein KI-System dieselbe Schieflage tausendfach wiederholen. Deshalb braucht es vielfältige Teams, eine bewusste Kontrolle der Ergebnisse und Menschen, die Verantwortung übernehmen.
Simone zeigt außerdem, wie wir bereits beim Prompten gegen stereotype Rollenbilder steuern, diskriminierende Ergebnisse hinterfragen und unsere persönlichen oder unternehmerischen Werte in die Arbeit mit KI einbringen können.
Gesprächspartnerin Simone Scholz, Data Scientist und KI-Trainerin
Simone Scholz ist Data Scientist und selbstständige KI-Trainerin mit einem Schwerpunkt auf Fair AI und Female AI. In ihrer früheren Tätigkeit bei A1 gestaltete sie Themen von Marketinganalysen bis zum Change Management mit. Ihr Weg führte sie vom Ballett und der Bühne der Wiener Staatsoper in die Welt der Daten. Fairness begleitet ihren Werdegang als persönliches und fachliches Leitmotiv.
Key Takeaways aus der Episode
Über Simone Scholz
Simone Scholz ist Data Scientist und selbstständige KI-Trainerin mit einem Schwerpunkt auf Fair AI und Female AI. In ihrer früheren Tätigkeit bei A1 gestaltete sie Themen von Marketinganalysen bis zum Change Management mit. Ihr Weg führte sie vom Ballett und der Bühne der Wiener Staatsoper in die Welt der Daten.
Links
Wenn wir KI bitten, uns einen Menschen zu designen, zu zeigen, dann bekommen wir erstaunlich oft ein ähnliches Bild. Meistens junge Menschen, makellose Haut, sehr symmetrisches Gesicht. Mm, kurz könnte man sagen, sie entsprechen der Norm. Aber ist die KI deshalb unfair oder zeigt sie uns nur ziemlich schonungslos, welche Bilder oder Urteile sie von uns Menschen schon erhalten hat.?Willkommen bei Vom Hype zum Handeln, dem Podcast für Wandel im Zeitalter der digitalen Transformation.Ich bin Petra Liebl, digitale Marketingberaterin und Host dieses Podcasts.Heute geht es um faire KI und um die Frage, warum künstliche Intelligenz unsere menschlichen Vorurteile übernimmt, vielleicht noch vergrößert und vervielfacht und was das für reale Folgen hat.Wir werden uns ansehen, wie das bei Bewerbungen, Krediten, vielleicht sogar medizinischen Diagnosen aussieht und was sichtbar wird und wer nicht.Darüber spreche ich heute mit Simone Scholz.Sie hat in ihrer Tätigkeit bei A1 als Data Scientist von Marketinganalysen bis zum Change Management sehr vieles mitgestaltet.Heute ist Simone als selbstständige KI-Trainerin tätig und beschäftigt sich ganz intensiv mit fairer künstlicher Intelligenz und Female AI.Dabei führte sie ihr Weg von der Bühne der Wiener Staatsoper in die Welt der Daten.Und genau dieser ungewöhnliche Werdegang hat ihren Blick auf jene Frage geschärft, die wir heute klären wollen: Wie unfair ist KI wirklich und was können wir alle ganz konkret dagegen tun?Herzlich willkommen, Simone.
Vielen Dank für die liebe Einladung, Petra.
Ja, voll gern. Von der Wiener Staatsoper zu Data Science. Das klingt jetzt für mich so aufs erste Mal Hinhören ziemlich ungewöhnlich. Was hat dich denn am Thema Fair AI so gepackt, dass es heute dein Herzensthema geworden ist?
Ja, das Thema Fairness, ähm, hat mich ein bisschen auch zum Leistungssport, also zum Ballett gebracht. Ich war schon als kleines Kind immer große Freundin der Fairness, habe mich auch immer sehr dafür eingesetzt und hatte da so ein paar Erlebnisse. Ich komme aus einem kleineren Ort in Kärnten und habe dann das Gefühl gehabt, dass jetzt Leistungssport total fair ist, weil, weil durch deine eigene Leistung kannst du ja weiterkommen. Also es ist egal, wo deine Herkunft ist, ähm, welchen Background du hast, du kannst durch dein eigenes Tun weiterkommen. Und diesen Fairnessgedanken habe ich dann eben auch im Leistungssport verfolgt und bin auch echt belohnt worden. Also ich habe meine Fairness gefunden und habe sie dann auch nachdem ich dann, ähm, aufgehört habe zu tanzen, weiter verfolgt, ähm, und ganz speziell halt jetzt zum Thema KI und auch Frauen.
Das klingt total schön. Wir werden ja noch mehr davon hören. In diesem Podcast sprechen wir immer wieder darüber, wie Unternehmen KI sinnvoll einsetzen und wie sie das tun können, ohne dass sie die Verantwortung eben an irgendwelche Tools, sei es jetzt künstliche Intelligenz oder sonst was, delegieren, zumindest nicht die Denkarbeit davon. Und heute schauen wir da eben eine Ebene tiefer, weil was passiert denn, wenn die künstliche Intelligenz aus Daten lernt, was sie ja tut, wenn sie trainiert wird, und die dann aber irgendwelche Schieflagen enthalten. Ja, dann haben wir ja eigentlich ein nicht perfektes Tool, das wir da einsetzen. Und deshalb wollen wir halt eben schauen, äh, welchen Spiegel uns da die KI vorhaltet. Also in dem Sinne darf ich dich gleich fragen: Würdest du das so sehen? Ist die KI, die künstliche Intelligenz, so wie wir sie jetzt heute einfach in Chatbots wie ChatGPT, Claude et cetera, Gemini benutzen, ist die so ein Verstärker?
Definitiv. Die, diese Chatbots wie eben ChatGPT und Co, die beruhen ja auf extrem großen Datenmengen und im Hintergrund steckt ja ganz viel Mathematik, Wahrscheinlichkeitsrechnung und Mustererkennung. Und diese Mustererkennung komprimiert halt, äh, sämtliche Muster, die wir Menschen halt, äh, sozusagen vorgelebt haben. Und diese Muster werden halt dann ganz komprimiert, äh, in dieser KI quasi geballt, äh, dargestellt und uns halt dann auch ausgespielt. Und dementsprechend nehmen wir das dann auch teilweise stärker wahr über die KI, diese Diskriminierungen, diese Biases, als es jetzt so querbeet in unserer Gesellschaft zu spüren ist.
Interessantes Phänomen. Erinnert mich jetzt gerade ein bisschen an Social Media. Da findet oder fand man sich ja auch sehr schnell in irgendwelchen Gruppen oder Gruppierungen wieder, ohne es vielleicht überhaupt gewollt oder gemerkt zu haben. Kann ich mir das ein bisschen so vorstellen, nur noch stärker.
Genau, genau. Also Social Media ist ein super Beispiel in puncto KI, weil einer, ein sehr großer Datenteil, der in die KI einfließt, kommt ja aus Social Media, weil halt das sind, äh, öffentlich zugängliche digitale quasi Daten, die halt dann mit, ähm, die KI damit gefüttert wurde. Und bei Social Media sieht man das eh immer ganz stark, wenn man da sich für irgendwas interessiert, dann rutscht man automatisch in so eine Bubble rein, ne, weil der Algorithmus drängt einen dann ganz stark in diese Ecke rein und da kommt man dann schwer raus. Und dadurch hat man immer so diesen Selbstbestätigungsbias, dass man quasi das, was man selber denkt, bestätigt dann das Social Media. Im Hintergrund ist es ein Algorithmus, der einen dazu triggert und man kriegt so eine self-fulfilling Prophecy die ganze Zeit, ja. Also ein ganz klarer Bestätigungsbias, der in Social Media drinnen ist, ne.
Wir reden da von Bias. Ich übersetze es jetzt nur mal für die Nicht-Data Scientists, zu denen ich auch gehöre. Also das schreibt man B-I-A-S und hat nichts anderes als Wahrnehmungsfehler. Darf ich das so übersetzen?
Genau, genau. Also im Englischen heißt unconscious bias. Wir Menschen haben jeder von uns, ob er will oder nicht, ähm, so einen Bias. Auch wenn wir uns noch so bemühen, ähm, möglichst neutral zu anderen Menschen zu sein, wir sind trotzdem einfach gebiased, also verzerrt nennt man das auf Deutsch. Und diesen Bias, also unsere verzerrtes Verhalten, übertragen wir halt natürlich, äh, in die Daten. Wir Menschen sammeln ja oder produzieren genauer gesagt Millionen von Daten täglich in verschiedensten Arten, sei es Social Media oder medizinisch oder wo auch immer. Und diese Daten, diese verzerrten Daten werden dann eben an, äh, KI übergeben und die KI spiegelt das dann halt uns wieder zurück.
In den Antworten, die wir von ihr bekommen.
Genau.
Genau. Ähm, wir haben ganz zu Beginn oder in der Intro habe ich das Bild von den normschönen Menschen erwähnt. Äh, ich weiß nicht, wer von den Zuhörern und Zuhörerinnen schon aller versucht hat, sich Bilder generieren zu lassen. Also einmal gibt's natürlich Tendenzen in KI-Modellen, Illustrationen zu machen. Das ist so ein bisschen ihr Lieblingsthema. Das schaut dann ein bisschen so aus, zeichnet und man kann sich da Dinge wünschen. Aber wenn wir versuchen, eben fotorealistische Bilder zu erzeugen statt Illustrationen, passiert es ja, dass wirklich so der Durchschnittstyp, wie man sich halt so einen Mann oder eine Frau vorstellt, die ist dann so mittelalt oder mitteljung, hat immer glattes Gesicht. Ich glaube, die, ja, die müssen natürlich auch nicht schlafen und sind nicht müde. Also man hat's da mit so wirklich nicht realen Personen zu tun und man hat schon ein bisschen ein Auge dafür entwickelt. Kann man anhand dieser Bilder als Data Scientist, so wie du eine bist, sagen, was da dahinter steckt. Ist es dieses Learning, das du gerade beschrieben hast, also diese Akkumulation von Daten? Oder was steckt da dahinter?
Ähm, also im Prinzip ist es das, so wie wir uns den Social Media, äh, Bereich darstellen, das ist das, was dann rauskommt. Das heißt, wir, wenn wir Fotos in Instagram zum Beispiel hochladen, ähm, wollen uns ja immer von der schönsten Zuckerseite oder Schokoladenseite her zeigen. Das heißt, wenn man gerade einmal nicht die schönste Haut hat oder irgendwie übermüdete Augen hat, dann wird halt ein Filter drübergelegt. Ähm, dann gibt's so eigenes Posing. Wie stelle ich mich hin, dass ich halt möglichst so aussehe optisch, wie ich's gerne möchte. Also das heißt, wir gehen ja in einer Tour vor, ähm, wie, wie wir gern sein möchten und sind eigentlich nicht wirklich so realitätsnah, wie wir wirklich normal ausschauen, ja. Und meine Frage ist dann immer: Würdest du dich zum Beispiel, Petra, trauen, morgen in der Früh nach dem Aufstehen gleich ein Selfie zu machen und das auf Instagram hochzuladen? Und das machen dann Millionen von Menschen. Und dann würde in kürzester Zeit, äh, dieser Algorithmus, der KI wissen, wie wir wirklich ausschauen, wenn wir in der Früh aufgestanden sind. Ähm, dass wir da eben nicht gestylt, äh, schlank und ich weiß nicht was aussehen, sondern eher übermüdet, verknittert, was auch immer, ja. Also-
Ja. Das, was wir vor, das kommt halt danach nachher wieder raus.
Also ja, wahnsinnig wohl würde ich mich nicht dabei fühlen. Das Phänomen ist natürlich richtig, das du beschreibst. Das führt ja auch zu ganz großen Problemen. Das wollen wir heute nicht diskutieren, aber die werden ja auch Gesetze wahrscheinlich erlassen oder Verordnungen, damit eben junge Leute nicht so reinkippen, weil ja die noch sehr diesem ganzen Ideal, ob es junge Männer sind, die dann ganz viel trainieren und nur noch Eiweiß essen oder Mädels, die halt nach einem Normbild ausschauen wollen. Das kann ja wirklich zu schlechten Mustern führen, oder?
Genau, und es gibt auch bereits eine Foto-KI quasi, die, ähm, realitätsechte Menschen darstellt. Also da gibt's auch schon ein eigenes Modell, das genau auf das trainiert wurde. Da wurden eben bewusst sehr diverse Menschen reingefüttert, damit das halt auch wirklich die Realität abbildet. Also da gibt's schon Bemühungen in die Richtung und kann ich auch sehr unterstützen, weil wir wollen ja doch irgendwie weiterhin echt bleiben und nicht alle nur normschön sein.
Genau. Aber danke für das Beispiel und vielleicht wollen wir diese, dieses Modell ja dann in den Show Notes noch ankündigen oder zeigen. Wir haben jetzt zu Beginn dieses Bild gewählt, also weil wir das alle kennen, dieses geschönte Bild, alle, die wir KI benutzen. Wenn wir jetzt aber das größere Bild machen und sagen: „Aha, die KI haltet uns ja eigentlich", wie du so schön sagst, "einen Spiegel vor", oder? Und die zeigt uns, wie, wie ihr gesagt haben, dass wir sein wollen oder sind. Das heißt, dieser Wahrnehmungsfehler, den haben wir eigentlich selber kreiert. Wie ist es denn mit anderen Dingen? Ich frage jetzt einfach mal so, man kennt das ja aus der Wohnungsvorgabe im realen Leben, meine ich jetzt. Da heißt ja, dass gewisse Personen, die einfach aus bestimmten Vierteln kommen, die einen Landesnamen und nicht einen fremden Namen oder vielleicht jung und frisch ausschauen, vielleicht mehr Chancen haben, eine Wohnung zu bekommen als jemand, der eben diese Attribute nicht hat. Da sind wir wiederum mitten in dieser Verzerrung, oder?
Mhm. Genau, richtig. Also üblicherweise sind da die Daten, die Trainingsdaten heißen sie, verzerrt, mit denen diese KI oder der Algorithmus, äh, gefüttert wird. Es gibt unterschiedliche Arten von Verzerrungen. Also es kann in den Daten die Verzerrung sein, es kann dann aber auch erst im Algorithmus, ähm, diese Verzerrung sein. Es kann danach auch in der Evaluierung dieser Algorithmen ein, eine Verzerrung sein. Also es gibt da mehrere Arten von Verzerrungen. Die häufigste Verzerrung ist sicher in den Daten, so wie eben du das gerade genannt hast. Das heißt, äh, aufgrund der historischen Daten hat die KI gelernt, dass das halt so üblich ist, dass wir halt so, äh, unfair bei der Wohnungsvergabe handeln.
Ja. Und dementsprechend zeigt sie uns das jetzt auch.
Du hast ja ein Beispiel genannt von diesem Kreditrahmen.Magst du das erzählen, dieses Beispiel? Das ist ja auch real, gell?
Richtig. Also reales Leben.
Genau, also, ähm, Banken zum Beispiel, die, ähm, handeln ja klarerweise auch aus einer wirtschaftlicher Sicht, sonst würden sie ja auch gar nicht existieren wollen. Ähm, und da gab's so einen Fall, wo, äh, eine Bank einer, äh, Frau einen gewissen Kredit nicht geben wollte, ähm, einerseits, weil sie halt natürlich Angst hatte, die Bank, dass sie das Geld nicht zurückbekommt, andererseits auch nett gemeint, weil sie halt die Frau vor Altersarmut schützen wollte, dass wenn sie jetzt einen riesenhohen Kredit hat, den sie nie zurückzahlen kann, dann wird sie da in ein Problem hineinschlittern. Umgekehrt könnte man sagen, vielleicht möchte diese Frau mit diesem Kredit ein neues Business aufziehen, um genau dann gutes Geld zu verdienen, um eben nicht in die Altersarmut zu rutschen.
Ja, genau.
Also man kann dieselbe Thematik aus zwei Blickwinkeln betrachten und daher bedarf's auch echt sehr viel Diskussion, weil es gibt nicht so ein ganz klares Richtig, falsch, sondern man muss es wirklich aus verschiedenen Perspektiven betrachten. Und verschiedene Perspektiven heißt halt immer, Diversität ist hier halt an oberster Stelle, ja. Also man kann meistens nur ein Problem verstehen, wenn man auch die Brille dieser betroffenen Personen schaut.
Absolut. Da gibt's ja ganz viele Beispiele. Ich zähl jetzt mal welche auf. Schauen, was du dazu sagst. Wir haben das, Klassiker wahrscheinlich, Frauen und Technik. Das gehört nicht zusammen. Oder, ähm, ja, Frauen sind Krankenschwester und Männer sind Pfleger zum Beispiel. Wie würde man denn da am besten mit der KI umgehen? Kann man das irgendwie selbst versuchen zu korrigieren?
Also wenn's jetzt konkret ums Prompten geht, also um die Kommunikation mit einem KI-Chatbot wie beispielsweise ChatGPT, dann wär's da natürlich vorteilhaft, wenn man diese Stereotype durchbricht. Sprich, ähm, man beginnt ja sehr gerne einen Prompt damit, dass man der KI eine Rolle zuweist. Also du bist eine erfahrene Rechtsanwältin, du bist eine erfahrene Chirurgin. Also dass man wirklich extra diese Stereotypen, Rollenbilder durchbricht und der KI halt beibringt, ähm, das ist ganz normal, dass es Rechtsanwältinnen gibt, dass es Chirurginnen gibt und so weiter, ja. Also, ähm, das Schöne an diesen KI-Chatbots ist, dass es ja ein Dialog ist, also eine Interaktion mit der KI und somit kann ich die KI auch ein wenig erziehen.
Ja. Also ich kann ihr neue Sichtweisen beibringen und, ähm, meine große Vision ist ja, wenn das jetzt Millionen von Menschen so machen, dann würden wir ganz schnell der KI beibringen: Hey, das geht auch anders. Ja, ich kann, ich kann auch genauso sie meine Blickweise verändern, äh, und neue, sie, äh, also Stereotypen wegkriegen, um neue Rollenbilder zu formen.
Genau. Statt 'nem männlichen Beispiel viele weibliche Beispiele. Ich glaub, das ist, wenn's um Minderheiten geht, es geht ja immer darum, dass man sie sichtbar macht, dass man's diskutiert, dass man's bewusst macht. Das ist ja das, was ich jetzt raushör, wenn ich da mit dir spreche. Wir dürfen jetzt gerade eben lernen, dass wir sehr selbstbewusst und mündig mit KI umgehen und ihr auch was beibringen dürfen. Sie hat zwar viel von uns gelernt, aber eben auch unsere Fehler, Neigungen oder, oder dass wir uns eben gerne geschönt darstellen. Und jetzt dürfen wir die Aufgabe annehmen, sie ein bisschen in die andere Richtung auch zu ermutigen oder zu trainieren, oder sehe ich das richtig so?
Definitiv. Also, ähm, da gibt's ja sozusagen mehrstufige Möglichkeiten, um sozusagen diesen Bias, äh, dann wieder wegzubekommen. Das eine ist bei jedem Individuum eben wie, dass wir halt einfach diese Stereotypen durchbrechen, äh, wirklich versuchen, äh, zu kontern. Also angenommen, die KI, also der ChatGPT, gibt uns einen diskriminierenden Output, dann wirklich zu kontern und zu sagen: „Hey, was sprichst du da? Das ist voll nicht okay. Ähm, die Welt schaut so und so aus, ja." Also wirklich, ähm, bewusst in Interaktion gehen und das auch bewusst gegensteuern.
Super, das find ich wirklich ganz, ganz doll, weil ich glaub, dass wir das jetzt alle lernen dürfen. Das ist vielleicht einfach noch nicht durchgedrungen. Ich werd das öfter machen, Simone. Ist 'ne gute Idee. Und wenn wir uns jetzt anschauen, warum dieser KI-Bias, wie du sagst, also diese Verzerrung, die es eben gibt in Trainingsdaten und Algorithmen, Unternehmen in 'ne falsche Richtung führen kann, 'ne Tendenz geben kann, die man vielleicht gar nicht möchte. Jetzt kann man auf der einen Ebene gegensteuern, wie du's grad gesagt hast, indem man schon einmal neutral oder, ähm, ja, bei der Eingabe eben drauf achtet. Allerdings haben wir da ja auch noch was identifiziert, gell. Es ist halt so, dass wir als Menschen eine gewisse Anzahl an Entscheidungen pro Tag treffen können. Ja, wir machen unbewusst vieles, du lie-- was essen oder spät, aber jetzt die, die jetzt eben weitreichendere Entscheidungen haben oder andere Menschen betreffen. Vielleicht fünf oder zehn oder vielleicht fünfzig Entscheidungen pro Tag, wenn man a Führungskraft ist. Wenn wir aber jetzt so ein System wie KI einsetzen und deshalb sprechen wir ja da bei KI oft davon, dass sie wie ein Brennglas ist oder wie ein Verstärker, da kann halt das sehr viel öfter passieren. Und dann haben wir halt mit so einem System arbeiten, einen Verstärker, dass der das zigtausendmal macht. Und dann haben wir diesen blinden Fleck wahnsinnig groß gemacht, weil dir a Beispiel ein, wo das passiert ist, du sagst ja, wenn man diese Überlegung nicht vorher sauber macht, dann vergrößert sich diese Entscheidung mal X.
Definitiv, definitiv. Also diese Skalierung, die ja KI verursacht, die ist natürlich enorm. Ich glaub, ein ganz berühmtes Beispiel ist das von, dieses Recruiting-Tool, das Amazon eingeführt hat. Die wollten sich das Recruiting erleichtern und haben halt eine KI so trainiert und programmiert, dass sie Top-Bewerberinnen auswählt. Und leider Gottes war halt, äh, ein massiver Bias drinnen in diesem ganzen Training. Also das heißt, es wurden primär Männer ausgewählt für die jeweiligen Jobs, weil das halt in der Historie in der Vergangenheit schon so war. Und würden das jetzt, ähm, ein oder zwei Personal, ähm, beauftragte machen, dann hätten die zwei jetzt diesen Bias. Ähm, würde man aber diesen, diesen Amazon-Algorithmus jetzt nicht nur bei Amazon einsetzen, weil Amazon verkauft ja teilweise auch die Services, sondern verkauft das im breiten Stil in viele Unternehmen, dann hat man einen Skalierungseffekt, der natürlich extrem groß ist, ja. Also das sind nicht nur zwei Menschen, die da gebiast sind, sondern das sind dann gleich Tausende. Also diese Skalierbarkeit ist ein Riesenthema und, und genau da muss man eben grad bei der KI noch einmal mehr genau hinschauen, weil eben das gleich so einen exponentiellen Wachstum hat von so einem Bias.
Ja. Trifft wiederum den gleichen Punkt, glaub ich, und den, den werden wir vielleicht heute noch ein paar Mal berühren. Geht's wieder zu dem Human in the Loop, äh, Thema, das wir öfter besprochen haben und das den meisten auch schon geläufig sein dürfte. Da geht's ja wirklich um Führen von KI. Das heißt, dass wir Menschen wirklich schlauer sind und auf das schauen, dass die Maschine, dass wir da wirklich sauber arbeiten und dürfen unser, ja, unser Führungsgen ein bisschen hervorholen, ja, selbstbewusster KI gegenüber. Wir haben uns dann noch was überlegt und haben gesagt: Ja, wie du gesagt hast, jetzt im Recruiting könnte sich der Fehler sehr stark verstärken. Im Kreditwesen haben wir schon gesagt, bei den Wohnungen, ja, die vergeben hoffentlich noch Menschen, aber wenn nicht, hätte man da auch eine Möglichkeit, dass sie sich verselbstständigt. Da gibt es noch solche Fälle, wo man einfach blind vertraut oder meint, die KI macht's besser.
Also ich glaube, ein, ein ganz schlimmes Beispiel. Schlimm insofern, weil's halt auch wirklich ganz stark Menschenrechte geht. Ich meine, das ging's beim Recruiting jetzt auch, aber ist zum Beispiel Predictive Policing. Ähm, das ist in Amerika, gab's da auch ein, ein großes Tool, das da auch leider der Schuss voll nach hinten gegangen ist, wo die Polizei primär dunkelhäutige Menschen kontrolliert hat. Daraufhin hat natürlich der Algorithmus beschlossen, dunkelhäutige Menschen sind öfter kriminell, äh, woraufhin dann der Vorschlag von der KI kam: „Kontrolliert doch öfter dunkelhäutige Menschen" und das war dann so ein Selbstläufer, ja.
Ja, also das sind so Beispiele, finde ich, wo, wo man halt echt Human in the Loop dringend drin braucht.Und mich wundert's, dass da nicht irgendwie frühzeitig die Notbremse gezogen wurde.
Ja. Aber ja, ist halt auch vielleicht wieder, Fehler sind auch menschlicher.
Das ist schon beschrieben. Die Polizei hat ja vorher schon viele dunkelhäutige Männer gestoppt und das lernte dann die KI schlussendlich und hat das dann noch mal verstärkt. Schlussendlich ist das Racial Profiling von der Kontrolle in die KI übergewandert, oder? So hast du's uns ja beschrieben und das hat dann predictive, also zu dieser Vorhersage geführt. Mach doch mehr davon.
Genau. War ja wieder unser Verhalten, unser menschliches Verhalten, oder?
Ja, da entsteht dann halt so eine Spirale und aus dieser Spirale muss man halt dann wirklich bewusst ausbrechen. Und aus einer Spirale ausbrechen kann man nur, wenn man sich das Problem bewusst macht. Also diese Awareness-Bildung ist grad bei diesem Bias-Thema ein ganz großes, weil erst wenn ich mir des Biases bewusst bin, kann ich Gegenmaßnahmen setzen, ja. Solange ich da so in diesem Strudel drin bin, ähm, glaube ich ja, es ist gut so, wie's ist und ich vertraue auf der KI und so, wir spielen miteinander. Aber erst wenn von außen meistens jemand kommt, der dann sagt: „Was macht ihr da eigentlich Irres?", ja, dann wachen viele erst auf, ja. Und deshalb, finde ich, sind eben diverse Teams auch puncto Bias in Unternehmen mega wichtig, weil nur wenn's halt diese Diversität gibt, dann fällt einer Person zum Beispiel auf, dass da irgendwas schiefläuft, ja. Weil ich mein, ich hab immer halt meine Brille und hab halt jetzt mehr aus den Frauen-Bias vielleicht stark im Fokus, aber ich als Person weiß nicht, wie es sich anfühlt, wenn ich, äh, eine dunkelhäutige Frau bin oder ein dunkelhäutiger Mann.
Ja. Welche Diskriminierung ich da erleben kann.
Genau. Und deshalb ist es ganz wichtig, egal ob jetzt Vielfalt puncto Alter, äh, Herkunft, Geschlecht, was auch immer, diese Vielfalt ist so wichtig, dass man überhaupt einmal das Bewusstsein bekommt, ist da überhaupt was, was da falsch läuft.
Dieses Bewusstsein, die Sensibilität. Und, ähm, wir haben dann auch dieses Beispiel, kennt man ja auch, dass ein Chatbot in wenigen Stunden oder Tagen rassistisch wurde. Ich glaub, der hieß Tay, weil Trolle ihn gefüttert haben. Also da ist dann immer so die Frage, wo schafft man's dann, das Ganze noch zu, zu stoppen. Aber wenn man's für sich selber im Unternehmen macht, glaube ich, das ist einmal schon das Allerwichtigste, dass man da die Augen offen haltet. Insofern ist dein Tipp, glaube ich, Gold wert. Wir kennen nämlich solche Beispiele aus dem Alltag. Äh, Frauen über so und so zahlen mehr für Gesunden- oder Krankenversicherung. Männer, die jünger sind, zahlen mehr für die Autoversicherung, weil sie halt tendenziell höheres Risiko eingehen. Also das alles ist ja schon, ob das jetzt statistisch begründet ist oder ob man's eben als menschliche Vorurteile hineingekippt haben. Schlussendlich ist da nicht die KI schuld, sondern unsere Datengrundlage. Unser Training hat die so gemacht und jetzt dürfen wir wieder gegensteuern. Kann ich das ein bisschen so zusammenfassen?
Genau, voll. Und ich meine, es gibt ja da auch mehrere Möglichkeiten, gegenzusteuern. Also Unternehmen, ähm, werden da sicher auch quasi wieder die Statistik verwenden, um gegenzusteuern. Also es gibt ja verschiedene mathematische Metriken. Da kann man schon mal messen, ob jetzt mein Prognosemodell, mein Vorhersagemodell eine Verzerrung drinnen hat. Ähm, gemeinsam mit diesen Metriken kommt dann auch natürlich der menschliche Faktor ganz wichtig dazu, weil wie vorher an dem Beispiel, äh, von diesen Banken und dem Kredit schon erwähnt, ist es ja nicht immer ganz klar, ne, nur weil das die Metrik sagt: So, es ist ein hoher Bias-Faktor da drin, bedarf es ja trotzdem ganz starker menschlicher Diskussion. Und auch dann die Überlegung: Welche Gegenmaßnahmen kann ich treffen? Also wenn ich draufkomme, ja, da ist ein Bias drinnen, was kann ich als Unternehmen bestmöglich tun, um diesen Bias wieder wegzubekommen, ja? Bis hin dazu, dass man sich vielleicht sogar entscheidet, ähm, zum Beispiel diesen Produktlaunch, wenn er extrem unfair ist, überhaupt wegzulassen, ja.
Ja. Also es gibt da eine Bandbreite von "Ich verändere ihn ein bisschen" bis zu "Ich lasse ihn ganz weg".Bedarf sehr, sehr viel Diskussion.
Ja. Und wie du gesagt hast, diverser Teams und das finde ich auch einen ganz, ganz wertvollen Input, weil wenn man da noch mal einen Schritt zurückgeht, ist, glaube ich, wahnsinnig wichtig und wertvoll und das Wort war jetzt bewusst gewählt, weil dann ja auch die Werte des Unternehmens oder auch meine, je nachdem, wer es jetzt benutzt, da ja wieder mehr reinfließen können. Das heißt, ich kann's auch wirklich versuchen zu steuern. In diese Richtung geht's ja bei dir dann auch, aber das wollen wir vielleicht eher für den Schluss aufbehalten, wenn du natürlich in das Leadership-Thema mit KI gehst. Heute tät ich dich gern noch fragen: Wir haben jetzt gesagt, es kann schiefe Trainingsdaten geben. Du hast gesagt, es kann sein, dass eben diese Systeme liefern, wofür sie gemacht wurden. Also sie wurden optimiert, um Durchschnittlichkeit oder um Empörung zu erzeugen, also um irgendwelche Extreme zu belohnen. Und wenn wir das merken, müssen wir halt versuchen, ein anderes Modell vielleicht zu benutzen, so wie du das von dem Bildmodell schon gesagt hast, dass es ja auch andere geben kann. Also es bleibt einfach uns auch nicht- Erspart, dass wir da wirklich aufmerksam sind, wenn wir uns dieser Tools bedienen. Also wenn wir aktiv selbst dagegen steuern wollen, können wir eben – ich fasse es jetzt ein bisschen zusammen und vielleicht kannst du mit mir ergänzen – können wir eben sagen, das Bild der Pflegekraft, dass wir wirklich drauf auf, drauf aufmerksam machen, das kann eine männliche oder weibliche Pflegekraft sein. Oder dass wir nicht sagen erfolgreiche Unternehmer, sondern erfolgreiche Unternehmerinnen. Was würde dir in der Richtung einfallen?
Was ich persönlich, äh, immer ganz wichtig find, ist, dass man halt wirklich so seine persönlichen Werte halt auch dieser KI mitgibt. Ja, es gibt ja diese wertbasierte KI auch, also wo man zum Beispiel Chatbots so trainiert, dass sie die Unternehmenswerte wirklich mittragen.
Richtig.
Und genauso wie ein Chatbot trainiert wird, dass er gewisse Werte trägt, kann ja auch ich als Individuum auch meine Werte der KI mitgeben, weil das Schöne an der KI, also diesen Chatbots, ist ja, dass sie lernen. Wenn man quasi zuerst einen Blödsinn gelernt hat, dann hat man ja auch das Potenzial, auch als Maschine das Gegenteil zu lernen, ja. Also ich glaube, es ist einfach wichtig, hinter seinen Werten zu stehen und eben, so wie du sagst, ähm, sämtliche Diskriminierungen, sei es jetzt das Geschlecht oder eben auch, ähm, puncto Herkunft oder so, dass halt immer wieder, also das Wichtige ist, dass man da echt dranbleibt. Jetzt nicht nur einmal, sondern wirklich kontinuierlich da dranbleibt und dieses Feedback der Maschine gibt, damit sie wirklich das versteht und lernt.
Und wie wichtig das ist, dürfen wir auch wieder aus dem realen Leben lernen. Gar nichts mit KI zu tun. Äh, aus der Medizin kennt man das, dass Medikamente so dosiert sind, dass sie für einen durchschnittlichen Mann mit diesem Gewicht wunderbar wirken, aber vielleicht für Frau, die zierlich ist, überdosiert sind. Und nicht jeder Arzt denkt vielleicht daran, dass er das dazu sagt. Auch im realen Leben müssen wir diesen Verzerrungen eigentlich, äh, begegnen, oder? Also ich glaube, dass wir's uns oft so eingerichtet haben, relativ gemütlich und Dinge halt für gegeben annimmt und wir dürfen viel mehr hinterfragen.
Also definitiv. Ähm, und hinterfragen ist immer ganz wichtig. Also eh so diese Beispiele aus der Medizin, ähm, gibt's ja noch, noch unzählige. Haben wir eh vorhin schon einige genannt im Bankenwesen, ähm, und Wohnungssuche.
Ja, wenn wir jetzt wissen, dass wir Menschen zu diversen Verzerrungen neigen, weil das einfach menschlich ist und das jetzt wunderbarerweise in die KI gekippt haben, in den Trainingsdaten, die wir jetzt dagegen steuern können. Ähm, vielleicht lass uns noch mal zu der Frage zurückkommen der Fairness. Was ist denn überhaupt fair? Was können wir denn da als fair betrachten? Das ist ja nicht schwarz und nicht weiß. Was könnte man denn da tun, um zu einer fairen KI zu gelangen aus deiner Sicht?
Ähm, also der erste Punkt, also speziell jetzt aus Unternehmenssicht, ja, ähm, ist einmal zu schauen, wenn ich diskriminiere, was hat das für Konsequenzen? Das heißt, es kann ja sein, dass ich diskriminiere, aber es hat jetzt keine Negativkonsequenzen, ja. Also ich, ich benachteilige im Prinzip jetzt insofern niemanden, dass ich jemandem schade. Also ein Beispiel dafür: Ein Unternehmen, ähm, bietet ein Produkt an und kontaktiert in Form einer Marketingkampagne gewisse Personen und bietet denen das halt proaktiv an. Also so ganz klassisch, so funktioniert Marketing und freut sich natürlich, wenn dann genau diese Personen das Angebot annehmen und diese Personen freuen sich natürlich auch, weil das ist ja schon vorher überlegt worden, warum man diesen Personen speziell das anbietet. Ja, so klassisch Campaigning nennt man das. Ähm, wenn jetzt jedoch zum Beispiel angenommen, du bekommst so ein Mailing und spezielles tolles Produkt. Du denkst dir, juhu, toll und erzählst dann deiner besten Freundin: "Boah, ich hab da ein tolles Angebot bekommen und du kaufst das jetzt." Und sie denkt sich: "Boah, cool, möchte ich auch gern haben." Sie hat aber nicht von demselben Unternehmen dieses Mailing bekommen. Sagen wir mal, es gibt ein Unternehmen in einem Shop, sie geht in diesen Shop, bekommt auch ebenfalls dann das Angebot, ähm, das du bekommen hast, dann ist ja alles gut, weil dann wurde ja am Ende des Tages niemand diskriminiert. Das heißt, du, die das Angebot aktiv angeboten bekommen hat, wurde quasi positiv diskriminiert und deine Nachbarin oder Freundin, wie auch immer, die wurde halt quasi neutral behandelt, ja. Aber am Ende des Tages bekommen alle dasselbe. Eine negative Diskriminierung wäre so, dass du das Angebot bekommst und wenn aber jetzt deine Freundin in den Shop geht, dann heißt's: "Oh nein, tut uns leid, Sie bekommen das nicht." Das wäre eine negative Diskriminierung, wenn es vor allem keine wirklich echten Gründe gibt, außer dass die jetzt keine Ahnung aufgrund Geschlecht, Herkunft, was auch immer, das nicht bekommt.
Also in dem Sinne, wenn wir das Ganze ein bisschen abrunden möchten, könnte man das vom Kleinen – wir haben jetzt gesagt, was kann Unternehmen tun, angeschaut, woher kommt das Ganze, aha, aus Trainingsdaten kann das kommen und wie kann man gegensteuern. Ja, es gibt da noch was Größeres. Da hat sich ja die EU was überlegt. Vielleicht magst du mir was dazu sagen. Und zwar geht's ja genau darum, dass diese Modelle eben – es ist der EU bewusst, dass Modelle in sich schon einmal Schwierigkeiten tragen können und wie man's halt kennen aus Social Media schon, Konzerne wie Meta sind einfach nur mäßig bereit, diese Vorurteile, nenn ich's jetzt einfach mal, die ihre Modelle so drin tragen, zu verändern, weil das für sie halt gut funktioniert und ihre Nutzer bei der Stange hält. Wie machen's denn die KI-Firmen und wie gehen wir denn da am besten damit um? Gibt's da Mittel und Wege?
Genau, also das eine ist natürlich der Gesetzgeber, wie schon erwähnt, ähm, im EU AI Act, der schreitet da halt auch ein und fordert dann ganz große Transparenzpflicht auf, was ich sehr gut finde. Ähm, auch diese Nachvollziehbarkeit, warum entscheidet ein Algorithmus so, wie er entscheidet. Das wird mit diesen aktuellen Deep Learning Algorithmen, die zum Beispiel hinter diesem Chatbot stehen, extrem schwer, weil die Erklärbarkeit bei diesen Algorithmen sehr mühsam ist. Es sind extrem komplexe Algorithmen. Ähm, in den good old times, äh, als es normale Vorhersagemodelle so à la Regression gab, war die Erklärbarkeit sehr einfach. Also da konnte man sehr schnell und einfach sagen, warum ist das Ergebnis so, wie es ist. Also eine absolut große Herausforderung mit diesen neuen, sehr komplexen Algorithmen, dass man das erklären kann. Ähm, das Zweite ist eben auch, dass der Gesetzgeber vorschreibt, dass man auch Kundinnen informieren muss, wenn die KI relativ autonome Entscheidungen trifft. Also angenommen, Recruiting, ähm, werden Lebensläufe hochgeladen und dann soll die KI entscheiden, wer sind die Top drei Kandidatinnen aufgrund jener und welcher Kriterien. Und wenn das dann wirklich autonom passiert und dann das Ergebnis so übernommen wird und die sagen: "Okay, super, die drei Kandidatinnen nehmen wir und alle anderen brauchen wir gar nicht anschauen", dann hat die, dieses Unternehmen eine Pflicht, dem Bewerber der Bewerberin zu sagen, dass sie dafür KI verwendet haben, ja. Also da gibt's eine definitive Transparenzpflicht.
Ja, weiß nicht, wie sehr das nachweisbar ist, aber ja, bei den Großen wiederum weiß man ja und die Kleinen haben ja wahrscheinlich gar nicht so KI im Einsatz. Allerdings, in diesem Sommer wird, äh, der EU AI Act ja einige Fristen wiederum scharf stellen. Anfang August zum Beispiel ist es so, dass, äh, das kommt, dass Texte und Bilder gekennzeichnet werden müssen, die mit KI generiert wurden. Da gibt's eine Ausnahme, nämlich wenn der Text überarbeitet wurde. Bei Bildern meines Wissens gibt's die Ausnahme nicht. Und da sehen wir schon, also diese Schritte, die du gesagt hast. Und da steht ja auch drin, wenn etwas eben gefährlich ist in diesem AI Act beziehungsweise wenn's eben Personenrechte betrifft, ich glaub, da finden wir uns genau wieder, dann muss das eben kenntlich gemacht werden, richtig?
Genau, also dieser AI Act, ähm, zielt darauf ab, dass er halt Menschenrechte schützt und das ist eben auch so ein Fall. Ähm, Bilder sollten ab nun gekennzeichnet werden, also mit einem kleinen Wasserzeichen und optimalerweise auch noch, dass das dr-unter dem Bild drunter steht. Genauso für Videos gilt das. Ähm, bei Videos muss ganz am Beginn des Videos schon klargestellt werden, wenn es KI generiert ist, dass es so ist. Bei Texten sagt der Gesetzgeber, dass primär Texte, also KI generierte Texte, die im öffentlichen Bereich ausgespielt werden, ge-gekennzeichnet werden müssen. Also angenommen, eine Zeitung oder irgendein öffentlicher Rundfunk, der muss dann halt klar dazuschreiben, wenn der Text KI generiert ist, dass es so ist. Hier jetzt, äh, würde ich mal sagen, kleine Otto Normalos müssen jetzt nicht bei jedem Text das dazuschreiben. Äh, ich persönlich empfehle aber grundsätzlich, dass man immer, nachdem man einen KI generierten Text erzeugt hat, ihn noch mit seiner persönlichen eigenen Note versieht, weil es ist ja der eigene Text, da steht der eigene Name dabei. Also ich fänd's so oder so jetzt unpraktisch oder auch nicht sehr vorteilhaft, wenn man einfach den Text eins zu eins übernimmt.
Ja, danke Simone, dass du eine Lanze für meine Zunft brichst. Ja, das ist ganz wichtig, weil da bin ich, ist ein bisschen meine Mission. Ich hab's dir schon mal erzählt, glaube ich, dass ich für diese Kleinstunternehmen unterwegs bin, die da vielleicht zu wenig Augenmerk drauflegen und mein Felix ja für sie mit mir gemeinsam auf das achtet, dass eben die Persönlichkeit da nicht rauskommt. Und das haben wir ja, glaube ich, in der ganzen Folge betont, wie wichtig das ist. Wenn, wenn meine Stimme, wenn ich nicht mehr erkennbar bin, sondern da KI im Prinzip hörbar oder sichtbar ist, dann ist die Persönlichkeit weg, ist die Marke weg und dann haben wir ein Problem. Schlussendlich ist es einfach so.
Ja.Schlussendlich, wenn ich's ein bisschen zusammenfassen möchte, geht's jetzt mal so in die Richtung, okay, Verzerrungen zu erkennen, das ist jetzt eigentlich die Lernaufgabe für uns, die nächste, oder? Wenn wir uns mit KI beschäftigen, dass wir das lernen dürfen, dass wir Vielfalt brauchen. Du hast, glaube ich, Diversität genannt im Team. Das ist so was wie ein Superfilter für solche Verzerrungen, weil dann jemand hoffentlich sagt: "Bitte, so können wir das nicht machen. Es ist wichtig, dass wir auf das auch noch schauen." Fallen dir da noch welche ein, Simone?
Ja, ganz grundsätzlich ist mein Credo immer, dass halt jeder und jede Einzelne einen Beitrag leisten kann. Also das haben wir halt eher schon gesagt. Das ist mir halt ganz, ganz wichtig, dass man nicht darauf wartet, dass jetzt irgendwie von Gesetzgebern, Regierungen, Unternehmen immer so die allwissende Lösung daherkommt, sondern dass ich als einzelner Mensch ganz viel, äh, in der Hand hab, ne. Also ich bin jetzt zwar nur ein kleines Sandkorn, aber wir sind so viele Menschen auf dieser Erde und wenn jeder sein kleines Sandkorn in ein Loch schmeißt, dann haben wir bald dieses Loch gefüllt und, äh, sämtliche Gaps, die wir so im Laufe der Jahrzehnte sozusagen aufgerissen haben, die können wir dann auch damit stopfen, ja.
Super schönes Bild. Ich hoff nur, es gab daneben nicht noch jemand ein neues Loch, ein neues Modell. Aber du hast recht, man darf dann bei allen diesen Dingen nicht sagen, ma, äh, ma, das bringt nichts, wenn ich dann nicht anfange. Doch, wir sollten das tun. Und zwar ab sofort immer. Ich bin dabei. Ich glaub, äh, da, da könnten wir alle etwas bewirken im Kleinen, so wie es halt bei allen Dingen ist. Das ist bei Konsumentscheidungen so, das ist in der Demokratie so und das ist bei der KI so. Vielen, vielen Dank, Simone, für deine Zeit. Ich tät mich sehr dafür interessieren, dass wir vielleicht das mal vertiefen, wie man KI gut führen kann. Ich glaub, da hätten wir ein, zwei, drei Gedanken, wir beide, oder?
Ja, definitiv.Also da habe ich auch noch ganz viele.
Ja, gut.Danke dir dann fürs Gespräch.Einen schönen Sommer und hoffentlich bis bald mit KI und wie wir sie genau führen können.
Genau.
Danke dir.
Also genieß den Sommer auch manchmal ohne KI.Also man muss jetzt nicht immer die KI dabei haben.
Ganz bestimmt nicht.
Gerne.