Vertrauensvoller Einsatz von KI | Data Performance Days '24

gut meine Damen meine Herren herzlich willkommen  zum Grande Finale im Track 2 wir haben mittlerweile fünf Präsentationen hinter uns eine  ganze Menge gelernt auch vor allem von Kundenseite was IT Modernisierung ausmacht welche Fallstrecke  es gibt welche Hürden es zu überwinden gilt wir hatten auch Präsentation von unserem Partner SAP  und ich freue mich jetzt als letzten Vortrag einen weiteren Partnervortrag anzukündigen diesmal  von der IBM und hier konnten wir den Maximilian Burkardt gewinnen dass er uns ein wenig über  KI KI-Projekte Piloten erzählt und wie man sie in die Praxis überführt der Maximilian Burkhardt  ist advisory technical specialist for AI bei der IBM und seit gut 3 Jahren dabei ist Spezialist  für das Produktportfolio Datenanalyse und KI das bedeutet er kümmert sich um Beratung technische  Leitung Produktdemos und eben auch Fachvorträge wie heute hier und wird drauf eingehen wenn Sie  ein Prototypen erstellen dann wollen Sie den natürlich gerne auch irgendwann in die Produktion  überführen und was bedeutet das was bedeutet das hinsichtlich Risikomanagement in Klammern eben  auch EU AI berücksichtigen und wie kann die IBM da unterstützen und Fun Fact an der stelle  ich hatte letztens aus meinem Netzwerk heraus ein Gespräch mit einem Berater der zu mir sagte  sag mal Daniel ganz ehrlich Watson Watson X das macht doch keiner oder und in der Vorbereitung auf  diesem Track sehe ich dann ja Watson X Governance ist genau das Werkzeug was hier zum Einsatz kommt  und kann also Watson X wird schon gemacht und darauf bin ich sehr gespannt ich freue mich auf  deinen Vortrag Maximilian und the stage is yours Test können Sie mich hören perfekt dann hallo  auch noch mal von meiner Seite Maximilian Burkardt mein Name ich bin wie schon eingeleitet wurde  technischer Spezialist für das stanalyse und KI Portfolio habe im Endeffekt eine presales Rolle  mit einer technischen Verantwortung für bei mir jetzt knapp 300 Kunden bei drei Jahren seit drei  Jahren bei IBM war davor 7 Jahre im Handels und Logistikbereich gewesen also hab sehr sehr viel  mit tatsächlichen Business Units gearbeitet an praktischen Anwendungsfällen habe auch selber  ein Gabelstapler Führerschein also ich habe mich heute Morgen in der Keynote sehr schnell  wiedergefunden in den handels use cases im Endeffekt und Ziel für heute ist es darüber zu  sprechen wie können wir das was wir heute den ganzen Tag über schon in spannenden Vorträgen  gehört haben verantwortungsvoll sicher und langfristig erfolgreich in die Praxis überführen  das ist im Endeffekt eins meiner Hauptthemen womit ich mich die ganze Woche beschäftige bei  den Rechtsthemen ist es grundsätzlich so die heute kommen werden wir sind im Endeffekt als  IBM der Technologielieferant und stellen die Technologie bereit aber was da stellt jetzt  keine Rechtsberatung da hat do erstmal jetzt auf die Funktionen kein Einfluss aber ist nur  mal so eine Standardfolie und genau das ist im Endeffekt eine der wesentlichen Voeteile eine  der wesentlichen Folien wenn ich mit Kunden und Partnern ins Gespräch komme nämlich was was  kommen für Herausforderungen auf uns zu wenn wir gemeinsam sagen wir möchten jetzt tolle Use Cases  die wir entwickelt haben in die Praxis überführen wo man sehr sehr oft hört Kunden haben letztes  Jahr angefangen teilweise auch mit generativer KI haben ihre ersten Piloten gemacht POCs MVPs und  sobald jetzt aber jemand sagt Mensch das finde ich ja total klasse das will ich jetzt ausrollen  bei mir produktiv nutzen mehrere Abteilungen gegebenenfalls weltweit kommen Anforderungen da  hat vorher niemand dran gedacht im Unternehmen und da bin ich jetzt eben der Situation als Kunde oder  als generell als Nutzer wo ich ja ein workload ein gewisses vor mir habe und das im Endeffekt aus  meiner Sicht diese drei Dimensionen indem man sich da sehr sehr gut vorstellen kann zum einen das  Thema Compliance das Thema operatives Risiko und das Thema Lebenszyklusmanagement das erste Thema  Compliance sehr sehr oft kommen aktuell Kunden auf uns zu und sagen wie können wir dann Compliance  sicherstellen wie können wir denn sicherstellen z. B. dass wir compliance sind gemäß AI acted  was kommt da auf uns zu ziemlich großes Thema im Moment und hier ist es so ich hab z.

B. gerade  einen POC mit einem weltweiten Chiphersteller in dem Bereich wo die Gesamtlösung auf Basis von  Watson x Governance so aussieht dass der Kunde einen Fragenkatalog zu einem Use Case beantworten  kann und bekommt jetzt eine Empfehlung vom System welche Risikoklasse gemäß EUA i ist das ist das  ein verbotener Use Case ist es ein high risk Use Case ist es ein limited risk Use Case welche  Erfordernisse oder welche Anforderungen kommen damit auf dich als Endkunden zu und auch welche  Risiken entstehen in diesem Use Case muss ich hier mein Modell auf Robustheit überprüfen habe ich  hier einen Fairness Thema zu überwachen was sind im Endeffekt relevante Themen oder relevante  Risiken die in diesem Use Case passieren und dass ich eben diese Risiken jetzt auch überwachen  kann ich habe Workflow Prozesse Freigabeprozesse im Unternehmen das heißt z. B.

vor neue Use  Cases live gehen kann muss ein Ethik Check gemacht werden ein rechtscheck ein Finanzcheck  z. B. manche Unternehmen schließen das auch an ihre technischen Prozesse an das heißt bevor  ein Modell in production deployed werden kann von einer Testumgebung muss auch noch mal jemand  draufschauen und muss seinen grünen grünen Haken geben z.

B. das heißt wir haben zum einen die Sicht  auf extern was macht der AI Act je nach Kunde wird auch Richtung US geschaut Richtung Asien geschaut  was passiert hier regulatorisch aber wir haben auch Kunden die die darüber hinaus auch sagen  wir haben auch unser eigenes internes Governance white paper unsere eigenen governanceprozesse  wo es z. B.

ein externes Rating gibt gemäß AI z. B- und ein internes Rating gemäß Unternehmen  XY im Endeffekt und das ist so dieser erste Teil rund um Compliance Sicherheit in diesem Thema der  zweite Punkt ist in dem Fall auch jetzt nicht nur auf die Legislative zu schauen in der Überwachung  sondern auch auf das Thema operative Überwachung das heißt grundsätzlich unterscheiden wir zwischen  traditionellem data science und generativer KI traditionelles data science mein klassisches  machine learning wo wir sagen wir schauen in die Vergangenheit lernen historischen Daten erkennen  Muster und können jetzt Ableitungen Treffen für die Zukunft z. B.

eine Prognose wie viele Bananen  verkaufe ich in der nächsten Woche welche Kunden haben ein ähnliches Einkaufsverhalten welcher  Kunde ist gefährdet sein Abonnement bei uns zu kündigen zu einem Mitbewerber zu gehen solche  Themen das beschreibt im Endeffekt klassisches data science und alles was wir jetzt heute schon  gehört haben in den Vorträgen rund um generative KI large language Modelle Arbeit mit diesen mit  Foundation Models das heißt großen vortrainierten Modellen beschreibt in dem Fall den Teil rund  um generative KI auf unseren Plattform wird beides abgedeckt aber die Anforderungen und  die Herausforderungen unterscheiden sich noch mal generell sagen wir wir ermöglichen es Kunden  diese Modelle zu überwachen auf Qualität Fairness bias Drft und explainability heißt jetzt  im Praxiskontext wir würden gemeinsam einen Use Case machen oder sie haben womöglich schon Use  Case im Haus davon gehe ich jetzt mal aus und in der Praxis wird eine Anforderung sein ein solches  Modell eben zu überwachen verhält sich dieses Modell so wie es soll das heißt z. B. wir geben  Kaufempfehlungen Kunde dieses Produkt gekauft hat kauft doch das Produkt nach Go Live sagen  wir vielleicht okay unsere Metrik ist jetzt 70% der Kaufempfehlungen werden angenommen auf einmal  auf einmal habe ich vielleicht Marktveränderung Krise Inflation Trend eine andere Saisonalität  wo ich jetzt Situation bin die Kaufempfehlungen werden vielleicht nur noch zu 30% angenommen  das heißt das Modell performt nicht mehr so wie es performen soll und das ist im Endeffekt ein  Punkt den muss ich in meinem Unternehmen entdecken den ich muss den erkennen wenn wir jetzt jetzt  aber an Unternehmen denken wo wir jetzt nicht nur ein Use Case haben sondern eine Vielzahl  an Use Cases kann ich nicht warten bis mich irgendjemand anruft und sagt h stimmt irgendwas  nicht sondern ich möchte das eben ganzheitlich überwacht haben das heißt das Thema Qualität sehr  sehr wichtig dann grundsätzlich auch so ein Thema thrift das heißt auch wieder das Thema externe  Informationen ich war damals zur Corona Zeit noch im Handel gewesen man kann sich vorstellen man  konnte nahezu jedes Vorhersagemodell erstmal zur Seite stellen weil sich nichts mehr hat adaptieren  lassen in dem Fall generell beobachtet Saisons können sich ändern Trends politische Faktoren  Zinsentwicklung all solche Sachen die einfach eine Auswirkung darauf haben dass Modelle nicht  mehr aktuell sind einfach und hier ist auch eine gängige Anforderung zu sagen einen Data Drft zu  erkennen das heißt Daten die heute mal an so ein Modell gesendet werden die differenzieren eben  irgendwo sehr sehr stark zu den Daten die ich ursprünglich mal verwendet habe und so ein  Modell zu trainieren z.

B. auch so ein Punkt ich muss den das Auge drauf haben und wir bieten eben  Möglichkeiten um genau solche Sachen zu überwachen genauso das Thema Fairness man stellt sich eine  Risikoklassifizierung vor im Unternehmen z. B.

für einen Kredit wo ich ebenfall in dem Fall bewerten  könnte schon im Rahmen von meiner Entwicklung ich habe hier ein fariness Problem in dem Fall  weil ich eben eine bestimmte Schlechtergruppe Geschlechtergruppe in einem Altersbereich  z. B. permanent schlechter Stelle von den Modellentscheidungen als jetzt die anderen Gruppen  z.

B. all solche Themen habe ich einfach auf der Agenda wenn ich sage ich möchte ein Use Case nicht  nur für meinen ersten Test verwenden sondern in die Masse ausrollen dass ich eben sage ich bin  einfach angehalten prozessual einfach schon zu sagen ich muss die Qualität beobachten ich muss  mein thrift beobachten achten ich muss schauen habe ich irgendwo eine fairness ein bias Problem  und im Punkt generative KI habe ich auch noch andere Themen in dem Fall wo es war jetzt vor ein  paar Wochen oder schon einige Monate her in den Medien wo von einem Paketdienstleister der Chatbot  gegen das Unternehmen selber gehetzt hat das war über das Wochenende selber schon in allen Medien  verteilt im Endeffekt darf nicht passieren und in dem Fall ist bei in dem Fall Fragen Kunden  sehr sehr häufig mit welchen Daten wurde denn euer Modell trainiert oder wie kann ich denn  sicherstellen dass das Modell jetzt sich nicht manipulieren lässt im Sinne von beschimpft mal den  Unternehmen selber beschimpf mal meinen Nachbarn wen auch immer dass solche Sachen im Endeffekt  einfach abgehalten werden wo unser Ansatz ist zum einen zu sagen wir bieten auf unserer Plattform  grundsätzlich an ein Kunde kann Open Source Modelle verwenden im Bereich generative KI ein  Kunde kann sein eigenes Modell mitbringen aber IBM hat auch eigene large language Modelle entwickelt  wo wir sicherstellen diese Modelle sind trainiert worden auf bereinigten Daten das heißt wir sind in  den vor invest gegangen und haben gesagt bevor wir eben Millionen Milliarden Datensätze einlesen um  so ein Grundlagenmodell zu trainieren bereinigen wir vorher Hass Diskriminierung Kriminalität  Urheberrechtsverletzungen damit dieses ja diese ja Sprachgrundlage gar nicht in dem Wort im  in dem Modell drinnen ist genauso das Thema Urheberrechtsverletzungen wenn ich jetzt fragen  würde das Modell wie kann ich mein Golf Handicap verbessern dürfte ich nicht die Antwort bekommen  die in einem Golfbuch drin steht wo der Autor niemals se Erlaubnis gegeben hat dieses Buch  einzulesen vielleicht taucht aber irgendwo in der Google Suche Vorschau auf wo mancher  Hersteller gar nicht sagen kann oder möchte was für Daten wurden im Endeffekt eingelesen wo  wir an dem Punkt zumindest z. B.

auch sagen auch Urheberrechtsverletzungen wurden rausgefiltert  und sollte ein Kunde unser Modell einsetzen wie wir es ausliefern nicht durch eigene Daten  anreichern und äh würde jetzt verklagt werden weil doch irgendwo was durchgerutscht ist haftet  IBM im Endeffekt dafür das heißt nennt sich IP identification das heißt wir haften für dieses  Urheberrechtsthema im Endeffekt und es gibt auch noch solche Gatrails so nennt sich das wo es  auch Methoden gibt vor Modell hinter so Modell sozusagen noch mal so eine künstliche Ebene zu  haben wie so eine Schranke die bewertet was in das Modell reinkommt habe ich da ein Thema mit  Hass Diskriminierung Urheberrechtsverletzungen äh nennt sich im Fachkontext HAP hated puse profanity  mit persönlichen Informationen oder ja all solchen negativen Sachen und kann das eben schon abfangen  sozusagen oder steuern was kommt das was geht das Modell rein von dem Benutzer und was kommt auf  der anderen Seite auch raus und das sind einfach Themen die sind immanent gerade jetzt in so  Themen wenn wir sagt ich habe so ein Chatbot oder virtuellen Assistenten nach extern gerichtet zu  Kunden nach außen Kunden arbeiten damit tausende Mitarbeiter arbeiten damit da ist dieses Thema  einfach ziemlich weit oben auf der Agenda um genau solche Sachen eben zu vermeiden und dann  grundsätzlich das Thema Lebenszyklusmanagement das heißt gerade wenn man jetzt davon spricht  solche Themen operativ zu nutzen kommt sehr sehr viel dann darauf an auch wie wie wie viel Aufwand  habe ich für die Entwicklung von diesen Lösungen für den Weiterbetrieb was wir eben  gehört haben ein Modell wird nicht immer so bleiben wie wir es heute mal deploy  haben in dem Projekt da wird sich Sachen einfach ändern wie viel Aufwand habe ich denn  hinter einer Applikation ein neues Modell zu platzieren wie viel Aufwand habe ich eben um  dieses Modell auch wieder zu bewerten wie viel Aufwand habe ich vor allem in dem ganzen in  der ganzen Nachvollziehbarkeit und ein tolles Feature auch aus data science Sicht von mir aus  was wir nachher noch sehen werden ist z. B. ein AI effect sheet nennt sich Faktenblatt und damit  habe ich könnte ich habe ich im Unternehmen die Übersicht hinter einem Use Case kann ich genau  sagen hinter unserem virtuellen Assistenten oder hinter unserer Prognose für Frachtvolumen das  kann alles sein was für ein Modell liegt denn dahinter wer hat damals den prompt geschrieben  wenn es jetzt einen also den System prompt wenn es jetzt ein generatives KI Modell wäre oder  mit welchen Daten wurde dieses machine learning Modell trainiert welche Datenversion war das wie  ist das Modell parametrisiert wer hat damals das Modelltraining im Endeffekt gemacht oder das  Modell deployed auch wenn die Person nicht mehr im Unternehmen ist dass ich auch ein Jahr  später noch sagen kann warum verhält sich diese Applikation so wie sie sich eben verhält und das  auch noch ohne dass ich jetzt 10 Backend System schauen muss ich kann das Exportieren im  Endeffekt und das sind eben Anforderungen wo wir wöchentlich mit Kunden aktuell reden um das  ganze Thema sozusagen ganzheitlich zu betrachten im Sinne von Nachvollziehbarkeit Überwachung und  um wirklich zu sagen ich bin zum einen complient aber ich habe auch alle meine operativen Prozesse  im Griff und das ist auch eine Folie den Großteil habe ich davon schon gesagt aber wo auch wo  auch einfach noch mal ziemlich unten zeigen soll die quindessence daraus alles was man wo  man so drüber spricht data science KI das ist im Endeffekt viel mehr als der Einsatz von reinen  Algorithmen als der Einsatz von Modellen da drauf liegt immer erstmal ein großer Fokus das ist  das schicke Thema aber der ganze andere Rest ist mindestens genauso entscheidend im Endeffekt  für den für den langfristigen Erfolg von so einer Lösung und jetzt auch hier noch bei generativer  KI hatten wir schon mit HAP intellectual property hatten wir Lebenszyklusmanagement was hier noch  mal interessant ist wenn wir über generative KI sprechen wesentliches Punkt wesentlicher Punkt  ist das Thema Größe von Modellen im Endeffekt steht und fällt damit viel mit grundsätzlich  sagen wir jetzt als IBM von der Philosophie wir haben einen Plattformansatz das heißt Open Source  Modelle kundeneigene Modelle IBM eigene Modelle und das Entscheidende ist ich man hat nicht den  Ansatz ein großes Supermodell zu haben sondern dedizierte Modelle in der kleinen bis mittleren  Größe die ich dann für dedizierte die Use Cases einsetze wo sie am besten geeignet sind aus dem  Grund ein kleineres Modell ist grundsätzlich schneller vor allen Dingen aber auch günstiger  und ressourcenärmer weil für so ein Betrieb im Unternehmen das ist schon relevant brauche ich für  so ein Modell vier GPUs also vier Grafikkarten von Nvidia zu dem aktuellen Kurs oder eine GPU oder  habe ich vielleicht auch Use Cases wo ich aktuell schon ohne GPU auskomme im Endeffekt auch vor dem  Punkt Energieverbrauch auch hier achten immer mehr Unternehmen drauf das auch hinterfragt wird bei  diesen ganzen Use Cases wie viel CO2 Äquivalent schieße ich denn damit im Endeffekt hinten raus  mit meinen Technologien wo es durchaus dann auch eine Frage Stellung ist brauche ich tatsächlich  jetzt ein großes Modell oder reicht mir einfach dieser Ansatz kleine dedizierte Modelle  einzusetzen für bestimmte Use Cases und das ist im Endeffekt so diese grundsätzliche Einstimmung im  Endeffekt was die Themen sind die kommen wenn ich mich eben mit der Produktivnahme von diesen Use  Cases beschäftige und äh fangen eigentlich mal mit hier mit ist glaube ich schöner und das was im  Endeffekt jetzt die Antwort darauf ist wie wir das wie wir vorgehen ist Watson X ist die KI Plattform  im Endeffekt von IBM Watson x Data ist für heute out of scope ist auch nicht mein persönlicher  Fokus das ist ein Data Lakehouse Watson X AI ist jetzt der hands on Teil davon wo ich tatsächlich  hands on operativ mit Modellen arbeite machine learning Modelle trainiere mit large language  Modellen interagiere ich kann auch auch neben den IBM eigenen Modellen Lama 3 verwenden z.

B.  von Meta ein mixtral Modell ich kann mich mit dem prompt end Engineering beschäftigen ich kann  auch Modelle tunen auf der Plattform selber also alles was ich als hands on Teil habe wenn ich  jetzt als data scientist AI engineer arbeite und das worauf der Fokus für heute liegt ist  watson x Governance und watson x Governance ist der Teil als die künstliche Schicht oben drüber  sozusagen für die AI Governance in Unternehmen die gesamte Plattform ist offen gestaltet wir sind  so realistisch zu sagen nicht jeder Kunde wird jetzt sagen er stellt alles auf IBM um wird nicht  passieren leider und die gesamte grundsätzlich passiert das alles auf Red Hat openshift das heißt  das ist deploybar wo immer ein Kunde das möchte ich kann das Software servicen der IBM Cloud  nutzen gehostet in Frankfurt ich kann das lokal beim Kunden und Prem nutzen ein Kundenbereich bei  mir ist z. B.

die werttechnische Industrie und für die ist das eins Alleinstellungsmerkmal am Markt  dass wir als IBM sagen wir bieten generative KI on Prem an beim Kunden airgapt abgeschottet im  lokalen Rechenzentrum ich kann das aber auch auf einer Drttanbieter Cloud deployen auf AWS Azure  z. B. auf AWS ist es sogar über den Marketplace im Endeffekt beziehbar und zweiter offener Punkt  wenn wir über Watson x Governance sprechen ich kann Modelle überwachen die auf Watson x AI  deployed sind aber ich kann auch sagen als Kunde ich kaufe nur Watson x Governance und überwache  damit Modelle auf AWS auf Azure on the edge im Endeffekt also das gibt der gesamte Lebenszyklus  oder das gibt die gesamte Produktpolitik hier im Endeffekt her so dass Unternehmen sagen ich  habe eine zentrale Plattform und diese zentrale Plattform ist für jegliche data science und KI Use  Cases im Endeffekt denkbar der weitere Teil vom Vortrag wird jetzt primär um Watson x Governance  gehen und um mal so eine Grundeinstimmung zu haben je nachdem wie viel jemand vom EU AI  Act schon gehört hat hatte ich noch mal so ein paar gemeine Folien dazu kurz mitgebracht also  grundsätzlich ist für jeden für jedes Unternehmen zu prüfen gilt der EU AI Act im Endeffekt für  mich und welche Rolle habe ich da drin wo auch noch mal relevant ist bin ich jetzt ein Anbieter  von KI-Lösungen im Endeffekt stelle ich das in Deutschland her biete ich das nur in Deutschland  an bin ich im Endeffekt von Betreiber von KI basierten Lösungen wo es für mich als Unternehmen  im Endeffekt relevant ist zu wissen auch teilweise abhängig vom Use Case in welcher Rolle trete ich  im Endeffekt auf im Zuge EU AI Act im Endeffekt um da auch meine Anforderungen zu kennen und was  für die Gesamteinordnung auch relevant ist der EU AI ACT denkt in R denkt in Use Cases das heißt  wir haben jetzt keine Modellebene oder keine Applikationsebene sondern eine Use Cases Ebene und  das ist auch der Grund warum die platt Watson Ex Governance in Use Cases denkt weil grundsätzlich  gemäß EUA AI Act werden Use Cases eingeordnet das heißt ich habe bestimmte ich habe bestimmte  Kriterien woraus wonach am Ende rauskommt das ist ein verbotener Use Case das heißt quasi ein nicht  akzeptables Risiko das betreffe jetzt Lösungen wo ich sage das würde jetzt tatsächlich ja der Wort  laut ist dann immer Leben und Rechte der Menschen würden im Endeffekt eindeutig bedroht werden das  heißt klassische Anwendungsfall wäre jetzt social scoring wenn jetzt hier wenn wir jetzt hier vorne  am Eingang ein Bild Bilderkennungssoftware hätten die jetzt genau wissen würde wer arbeitet jetzt  wie viel wer verdient wie viel und wer bekommt was zum Mittagessen äh z.

B. solche Lösungen das  wäre einfach nicht erlaubt äh grundsätzlich und äh da habe ich eben als Unternehmen auch einfach  mal meine Limitierung was darf ich und was darf ich nicht nicht akzeptables Risiko ist in dem  Fall verboten ich habe Use Cases mit einem hohen Risiko in dem Fall geht's eben darum wo kann das  wo kann die Sicherheit von Menschen im Endeffekt äh ja negativ beeinträchtigt werden wo kann  ich wo habe ich irgendwo ein gewisses Risiko dass jemandem geschadet wird in irgendeiner  Form hier sind so zwei populäre Beispiele mit medizinische Geräte und Recruiting das heißt  Medizinkontext wenn ich jetzt sagen würde das System gibt eine Empfehlung für eine Medikation  z. B.

oder bestimmte Medikamentenempfehlungen generell solche Sachen das Thema HR wenn jetzt  jemand sagt ich mache jetzt mein HR Screening damit und die KI gibt mir irgendwo Empfehlungen  welcher Kandidat ist jetzt wie gut geeignet wen würde ich sofort aussortieren wenn ich solche Use  Cases habe ist dann grundsätzlich auch wichtig KI kann erstmal viel aber ich muss bewusst sein  was darf ich überhaupt und dem Fall in welcher Risikoklasse befinde ich mich hier in dem Fall  hohes Risiko und welche Anforderungen bestehen jetzt als unternehmen wenn der Use Cases eben  als hohes Risiko eingeordnet ist was dort eben geliefert werden muss um das eben so tun zu dürfen  es gibt Use Cases mit einem begrenzten Risiko das meint dann wir haben ja im Endeffekt primärer  Fall z. B ein Mensch interagiert mit einer Maschine Kundenservice Mitarbeiter in dem Fall und da muss  z. B kenntlich gemacht werden du interagierst jetzt nicht mit einem Menschen sondern mit einer  Maschine ist in dem Fall z.

B auch eine der Anforderungen und Beispiel ist jetzt hier Chatbot  wo man jetzt ausgeht von einem begrenzten Risiko und geringes und minimales Risiko wer jetzt z. B  wenn jetzt jemand eine KI in Videospiel einbaut die jemanden jetzt motivieren soll dass hier ein  bisschen mehr Stimmung reinkommt sozusagen die man nicht aufhört zu spielen solche Fälle wären jetzt  z. geringes minimales Risiko und für Unternehmen ist jetzt eben zu wissen welche Use Cases oder  Fall ich unter den EU AI ACT in dem Fall dann ja und dann welches Risiko habe ich denn für  meinen Use Case und wer möchte kann die Folien im Nachgang bekommen und da ist auch hier noch mal  so eine separate Übersicht mit dabei um mal so ein Gefühl dafür zu bekommen wenn ich jetzt eben ein  Use Case habe als hohes Risiko was sind denn jetzt beispielhafte Anwendungsfälle und was kommen da  im Endeffekt für Regularien und Anforderungen Ende raus um mal so ein Gefühl im Endeffekt dafür  zu bekommen was im Endeffekt dahinter steht kann man sich im Nachgang noch mal anschauen wir  können auch wir noch den ganzen Abend da auch unten da noch mal anschauen genau wenn wir jetzt  sagen wir haben jetzt verstanden warum Governance so relevant ist das ist im Endeffekt jetzt mal so  ein Ausschnitt was alles in Watson x Governance integriert ist wir haben der erste Teil in vielen  Fällen ist der Punkt unten rechts in dem Fall Risikobewertung und Workflow das heißt das war  das Beispiel eben ich kann einen Fragenkatalog beantworten und bekomme dann eine Aussage welche  Risikoklasse gemäß EU AI ACT ist das oder gemäß meiner eigenen Unternehmenspolicy welche Risiken  entstehen ich kann hier solche Workflows gestalten um z.

B . zu sagen ein Ethikcheck Rechtscheck  Finanzcheck all solche Themen kann ich im Endeffekt prozessual abdecken bei mir  im Unternehmen der nächste Punkt wenn wir wissen was sind meine Risiken gilt es dann  eben ich muss diese Risiken überwachen und dafür gibt's jetzt diesen Teil oben rechts in dem Fall  Modellbewertung Überwachung wo es jetzt darum geht die Modelle die im Unternehmen irgendwo laufen  auf einer IBM Plattform auf auf einer Open Source Plattform auf AWS wo auch immer die gilt eben zu  überwachen um Qualität Fairness bias und shift im Endeffekt das ist auf der Plattform mit dabei wir  liefern hauseigen quasi sehr sehr viele Metriken mit die automatisch bewertet werden je nachdem was  die Modellaufgabe ist und ein Kunde kann aber zu jeder Zeit auch eine kundenspezifische Kennzahl  mitbringen da ist eine gängig Anforderung dass jemand sagt ist ja schön wie ihr die Fairness  berechnet wir berechnen die aber anders in dem Fall z. B.

kann kann man zu jeder Zeit sagen per  API ich habe möchte meine kundeneigene Kennzahl haben und im weiteren Prozess merkt auch keiner  mehr was ist jetzt eine IBM eigene Kennzahl was ist eine kundeneigene Kennzahl also das jetzt kein  umfangreiches Customizing sondern Standardvorgehen dass ein Unternehmen seine eigene Kennzahl  mitbringen kann z. B. das wir ein schick überwacht also wird überwacht ich habe auch so eine schicke  Oberfläche wo ich das analysieren kann wo ich ein paar Grafiken habe ich kann das auch exportieren  das was wir jetzt evaluiert haben sehe ich dann in einem solchen AI fact sheet hier was aus ja  meiner Sicht sehr sehr interessant ist ist erstmal pragmatisch weil es nur dieses Faktenplatte ist  ist aber kommen im Kundentext Kunden Kundenkontext super gut an dass man sagen kann hinter einem  Use Cases welches Modell liegt dahinter wer hat den prompt geschrieben im Kontext von generativer  KI was für Beispieldaten wurden dem Modell dann gegeben in dem Fall was ist wie parametrisiert hat  der Max das Modell damals getestet ja was waren damals die Metriken die da rausgekommen sind um  dann noch so nachzuvollziehen dieses Modell wurde eben live genommen mit diesen Performancemäriken  oder der Max hat damals fünf Modelle getestet und hat sich jetzt für das Größe teuerste Modell  entschieden oder das ressourcenintensivste Modell und das alles im Endeffekt nachvollziehbar  auch wenn ich nicht mehr im Unternehmen wäre auch exportierbar im Endeffekt für den Audit  z.

B . Compliance Anfragen und abhängig vom Rollenmodell natürlich intuitiv einsehbar niemand  muss mehr in irgendeinem fünf Systemen wühlen und muss sowas zusammensuchen sondern wenn jemand  die Rollenberechtigung hat kann er sehr einfach eben sowas exportieren zur Verfügung stellen und  es gibt auch oben links diese zentrale Übersicht ein schickes Dashboard wo ich eben sehe als  z. B head of AI Compliance Officer risk Manager wie viele Use Cases KI oder wie viele KI Use  Cases habe ich denn im Unternehmen in welchem Reifegrad sind die wie viele Leute wie viele  Use Cases sind aktuell Entwicklung wie viele es sind aktuell Test in production wie viele Use  Cases habe ich denn in welchem Reife in welchem risikolevel gemäß EU AI Act und sehr sehr relevant  rotes Fähnchen zu heben wenn ich eben merke und Nacht waren evaluationslauf Business Unit 1 hatten  diesem Use Cases einen Grenzwert gerissen z.

B und das wäre einsehbar über das Dashboard ich kann  auch automatisch E-Mails verschicken lassen oder alerts wenn irgendwo was auffällt dass ich hier  eben ein Compliance issue im Endeffekt habe und das alles im Endeffekt ja an einer Plattform für  jegliche Use Cases im Unternehmen und wenn er sein Unternehmen sagt wir haben schon se ein Teil  davon selber z. B im Sinne von jemand hat schon ein ontrust z. B ein Risiko dictionary im Endeffekt  kann ich sowas auch importieren wenn jemand sagt wir nutzen gerade Open Source Technologie das  habe ich gerade in einem Fall für diesen Teil der bekommt jetzt auch nicht gesagt du muss es alles  neu machen sondern in dem Fall ist das dann auch alles so ob so oder Open Source contributed in dem  Fall dass man sagt du kannst z.

B ML Flow nutzen als Endbenutzer um deinen ML Ops Teil zu machen  und deine Evaluation zu machen und das Ergebnis schreiben wir dann aber in unser fact sheet rein  und damit ist es in den Prozessen und im Dashboard auch wieder ersichtlich im Endeffekt also man  ist dann auch wiederum als Kunde flexibel was ich dort in welcher Form anbinde und das ist  im Endeffekt ja aus bin gespannt auf ihr auf euer Feedback am Ende des Tages aber aus meiner  Sicht ein sehr sehr mächtiges Tool was auch von und Partnern häufig zurückgemeldet wird  ist dann so W man das mal live angeschaut hat und auch hands on man hätte manche Sachen  womöglich mit einem ähnlichen Reifegrad auch separat hinbekommen das ist eine aber mit einem  viel viel höheren Aufwand an Ressourcenleistung an teuren Leuten an begrenzten Leuten und auch  dass jemand sagt es gibt separate Tools um diesen risikoteil zu machen es gibt auch separate  Tools um die Modellevaluation zu machen aber nicht so dieses verlinkte wo ich tatsächlich diese  Modellevaluation direkt systemisch verlinken kann eben mit den Risiken in bestimmten Use Cases im  Endeffekt genau das ist so die Grundgeschichte von was wir grundsätzlich im KI Bereich machen als IBM  was in Kundensituationen häufige Herausforderungen sind speziell auf Watson x Governance noch mal  warum ist Watson x Governance so relevant welche Rolle spielt der EU AI Act EU AI Act ist ein Use  Cases orientiert und genau wir können jetzt mal ganz kurz durchgehen was auch noch mal interessant  ist zum Abschluss das das was wir jetzt gesehen haben ist im Endeffekt wir haben zum einen den  Punkt KI Dokumentation das ist das fact sheet wir haben den Teil Evaluation haben wir gesehen und  diesen ganzen Teil rund um Risikomanagement und sieht erstmal umfangreich aus ein Kollege hat  sich jetzt aber mal die Arbeit gemacht zu schauen welche Punkte davon darfman adressieren denn  überhaupt den EU AI Act im Endeffekt in welchem Rahmen oder welche Artikel wo man jetzt rauskommt  je nachdem in welcher Risikoklasse sich meine Use Cases befinden ist da vieles davon jetzt nicht die  Luxusausstattung sondern eine gängige Anforderung je nachdem was für ein betrieblichen Umfeld  sich jemand bewegt auch mit welchen Use Cases und das wird im Endeffekt prozessual unterstützt  über die gesamte Plattform hinweg und ich habe auch diese Verknüpfung aus prozessualer Sicht  sozusagen und Complient ähm und sozusagen dieser technischen Sicht um zu sagen ich habe diesen  Dokumentationsteil mit dabei und auch diesen Evaluationsteil wir haben unten den Stand also  jeder herzlich willkommen da können wir uns auch gleich noch mal live anschauen wir haben eine  live Demo mit dabei wo man sagt ja dann immer noch mal schöner wenn man sagen kann ich kann mir  das live anschauen im Endeffekt die Screenshots würde ich jetzt mal überspringen im Endeffekt so  sieht so ein Fragebogen aus auf sehe dann auch was für ein Risikolevel kommt jetzt hier raus  für diesen Use Case was für Risiken entstehen in diesem Use Case im Ende Effekt über die  Benutzeroberfläche ich habe meine Evaluationsläufe und habe dann hier so dieses Faktenblatt alles  ein bisschen klein wo ich jetzt genau sehe was ist jetzt der Hintergrund von diesem Use Case  welches Modell mit welchen Einstellungen ich würde damit schließen meine Lampe ist auch gelb  sehe ich wir können nachher gerne noch mal die Live Demo unten anschauen und jetzt haben wir  noch Zeit für bestimmt ein zwei Fragen [Applaus] super erstmal vielen Dank Maximilian gerne was  mir in den Sinn kam als ich dir zugehört habe wenn ich mich dafür entscheide dass Watson  x Governance tatsächlich so ein Werkzeug ist was ich brauche was mir helfen kann wie lange  muss ich einplanen als Kunde damit das Flughöhe gewinnt damit ich sozusagen eben auch meine  Modelle dagegen fahren kann damit ich eben auch die Mehrwerte eurer Lösung nutzen kann was  für ein Vorlauf was für eine Projektierung muss man da einplanen es ist pro Kunde tatsächlich  sehr sehr unterschiedlich also die klassische Antwort depends nämlich davon was wir haben Kunden  die sagen die fangen jetzt erst an sich mit dem Risikomanagement zu beschäftigen wir haben Kunden  die haben schon fertige Kataloge in onetrust z.