[Musik] wie meistens habe ich eine ganze Menge Folien mitgebracht deswegen starte ich ohne große Vorrede eine kleine Vorbemerkung sei mir aber vergönnt ich möchte hier kein argumentum aboritate machen und einfach behaupten ich sei Expertin deswegen sind die Überschriften auf allen Folien farbcodiert weiße Überschriften stehen für objektive Fakten wenn die Überschrift blau ist dann gebe ich wirklich meine fundierte Ansicht als Expertin wieder als Expertin für Korps und Computerlinguistik die ich sehr gut begründen kann und von der ich überzeugt bin rosa rosa Überschriften das sind dann eher persönliche Ansichten also auch die habe ich durchdacht und ich finde meine Argumentation da schlüssig aber mir fehlt bei diesen Folien die Fachkenntnis die tiefere Fachkenntnis um hundertprozentig davon überzeugt zu sein nur dass Sie einschätzen können meine diversen hauptung hier so eigentlich geht's in meinem Vortr Vortrag ja um die Frage wie intelligent den künstliche Intelligenzen wie Chat GPT sind aber erst sollen wir uns ein bisschen damit beschäftigen was eigentlich hinter jat GPT steckt bzw die erste Frage was ist eigentlich künstliche Intelligenz das ist eine Frage die sich heute wahrscheinlich fast jedem stellen wird ich habe darauf auch eine ganz klare Antwort die nicht unbedingt jedem gefällt meine Ansicht nach ist künstliche Intelligenz in erster L Linie ein Marketingbegriff was und das ist jetzt schon paar Monate her aber man wird ja Tag für Tag in den sozialen Medien und auch sonst bombardiert mit Werbung den neuen kifmen die tolle neue Möglichkeit mit Hilfe von KI versprechen oder einem androh dass man völlig abgehängt wird wenn man nicht auf den kizug aufspringt was hinter der ganzen kirevolution eigentlich steckt ist eine bestimmte Klasse maschineller landverfahren die als deep learning bekannt sind und die auch tatsächlich sehr große Fortschritte erzielt haben so ungefähr seit 2010 sind die richtig erfolgreich geworden breit in die Anwendung gekommen und haben in vielen Gebieten auch in meinem Fachgebiet der Computerlinguistik eben ganz enorme Fortschritte gebracht und diese deep learning Verfahren die wurden dann hat man dann entdeckt die KI wieder aufzugreifen die künstliche Intelligenz als Marketingbegriff in der computerlinguisti ist KI jetzt vor allem in Form dieser sogenannten large language Modus vertreten oder LLM die sind allgemein bekannt geworden durch jat GPT das ist ein large language Model ein ganz besonderes large language Model aber darauf will ich jetzt ein bisschen ähm so darauf will ich jetzt ein bisschen zu sprechen kommen was eigentlich hinter jat GPT stckt ähm wenn man sich anschaut was jat GPT kann und es wird ja von Monat zu Monat besser also die Ergebnisse od es gibt immer mehr Möglichkeiten was man dam machen kann fragt man sich manchmal schon ist das jetzt noch Wissenschaft ist das schon fast Magie oder sind wir hier eigentlich in ein Science Fiction Film gelandet womöglich auch noch im falschen Film auch darauf habe ich eine klare Antwort ja wir leben tatsächlich jetzt in einem Science Fiction Film aber es ist ein ganz harmloser Sciencefiction Film aus den 1950er Jahren denn wenn man sich genau anschaut was Jack GPT eigentlich macht dann stecken da drei Ideen dahinter die alle aus den 1950er Jahren kommen es ist also kein tollle neuen Algorithmen die jetzt entstanden sind die entwickelt wurden es ist eigent sind Gedanken die mit dem Aufkommen der ersten elektronischen Computer in der 1950er Jahren von Mathematikern informationstheoretikern entwickelt wurden die damals aber mit der vorhandenen Technik bei weitem noch nicht umgesetzt werden könnten was wir also sehen ist die technische Weiterentwicklung die technologische Ausnutzung dieser alten Ideen ich will auch erklären welche drei Ideen das sind die erste Idee ist die statistischen sprachmodelle die geht zurück auf Claud shennon den Begründer der Informationstheorie und mit dem paper das die Informationstheorie eingeführt hat von 1948 hat er auch diese Idee aufgebracht dass wir mit Hilfe von Statistiken zufallstexte generieren können die erstaunlich nach realen Texten aussehen also hier sehen Sie ein Beispiel für so ein zufallstext der ist mit einem sogenannten vigramm Modell entstanden das heißt wir machen Statistiken wir schauen uns immer die letzten drei Wörter als Kontext an und machen dann eine Statistik welche Wörter am häufigsten drauf folgen also hier z. bispiel da braucht man natürlich ein trainingskorpus und in trainingskorpus D ich hier verwendet habe ist es so dass auf die Wörter es ist doch in 18,5% aller Fälle das Wort nur folgt in 5,2% das Wort so und so weiter und jetzt kann ich zufallstexte erzeugen indem ich mir immer diesen Kontext anschaue also die letzten drei und dann zufällig ein Wort auswähle aber natürlich mit den Wahrscheinlichkeiten die ich aus dem Korpus bestimmt habe das heißt inm Fünftel alleer Fälle wird jetzt tatsächlich zufällig die fortsitzung nur gewählt in jedem 20 Fäll so ja falls so oder alles oder schon und der gleichen wenn man jetzt das Schritt für Schritt anwendet so kann ich immer ein weiteres Wort generieren nehme wieder die letzten drei also dann ist doch nur danach ist es sehr wahrscheinlich dass ein ein kommt und so weiter ähm da entstehen solche Texte wie Sie hier sehen das ist auf de ersten Blick glaube ich sieht man nicht dass das jetzt nicht in echter Text von telegram ist wenn man genauer liest fällt einem auf dass er irgendwie überhaupt keinen inhaltlichen Zusammenhang hat aber das lässt sich relativ leicht lösen indem man einfach den Kontext größer macht wenn ich statt soum 4G Modell 6 g oder 7 g oder 10 g Modell wähle dann kann es sich natürlich viel mehr merken was gerade schon gesagt wurde und dann auch passende Fortsetzung finden das ganze hat aber einen großen Haken das ist auch der Grund warum jetzt Chat GPT nicht auf so einem Sprachmodell basiert diese Modelle sind rein symbolisch das heißt die Wörter sind für die einfach Symbole die keinerlei Bedeutung haben und wenn ich jetzt so ein Kontext habe wie es ist doch klar das dann ist es für das Modell ein völlig anderer Kontext als es ist doch Glas klar das oder es ist doch offensichtlich das für uns ist ist ja fast der gleiche Kontext weil die Bedeutung weil die Wörte die da ausgetauscht wurden so ähnlich sind für solche sprachmodelle sind es aber komplett verschiedene Kontexte wir bräuchten also irgendwas damit wir die Wörter nicht mehr nur als symbolische Einheiten ohne Bedeutung behandeln sondern irgendwie algorithmisch auch ihre Bedeutung erfassen können da kommt uns die zweite Idee aus den 1950er Jahren zu Hilfe nämlich die distributionelle Semantik m für uns in der corpuslinguistik eigentlich JR first als einer der Begründer der distributionellen Semantik er hat den bekannten Ausspruch getätigt you shall know a word by the company keeps das heißt wie witgenstein schon sagte die Bedeutung eines Wortes liegt in seinem Gebrauch wenn wir uns anschauen in welchen Kontext ein Wort vorkommt dann können wir erraten was das Wort bedeutet und so lernen wir eigentlich auch ein Großteil unserer Muttersprache nicht dadurch dass wir im worörtebuch nachschlagen oder explizit gesagt bekommen was ein Wort bedeutet sondern wir hören das Wort lesen es in verschiedenen Kontexten und können uns dann bald zusammenreimen was es bedeutet wenn das nicht ganz einleuchtenend ist dass es tatsächlich möglich ist habe ich hier ein Beispiel mitgebracht also hier sind fünf englische Sätze bei denen ich jeweiss ein dasselbe wort maskiert habe und wenn sie sich die genau anschen anschauen können Sie vielleicht inzwischen schon erraten um welches Wort es sich handelt vielleicht nicht genau das richtige Wort aber es scheint doch klar zu sein ähm glass of das scheint sich um ein Getränk zu handeln night n Stacker to his feet face Flush V too much das deutet darauf hin dass es wohl ein alkoholisches Getränk ist wenn man rotes roten Kopf kriegt und unsicher läuft dann war da wohl Alkohol drin und schließlich ist es noch aus Trauben gemacht also handelt sich doch wahrscheinlich um Wein und tatsächlich es handelt sich um ein roten bordeau Wein den clarit auf diese Weise ähm das ist jetzt was was wir mit menschlichem Verständnis erreicht haben aber wir können natürlich wie es eben FTH ausgedrückt hat den Kontext diesen gebrauchskontext auch dadurch beschreiben dass wir uns anschehen welche Wörte im Kontext vorkommen also hier z. B das Claret zusammen mit Glas vorkommt ähm dass es zusammen mit face flushed und Stacker vorkommt dass es zusammen mit grapes vorkommen also in der Verbindung Claret grapes und so weiter ähm und wenn man daraus kann man wortprofile Stellen die sich als Vektoren in einem hochdimensionalen Raum kodieren lassen und solche hochdimensionalen Räume kann man dann auch als eine Art semantische Karte visualisieren also jeder Punkt steht hier für so ein bedeutungsvektor der ohne Verständnis echtes Verständnis der Bedeutung einfach nur aus den gebrauchskontexten rein durch Berechnung abgeleitet wurde und die F der Punkte die stehen für verschiedene semantische Kategorien so sieht man auf den ersten Blick dass tatsächlich hier ähnliche Wörter vor allem Wörter aus der gleichen Kategorie sehr nahe beieinander liegen also ähnliche Repräsentationen bekommen sie sehen links unten also in Mitte unten in Grün das sind verschiedene Fahrzeuge und Flugzeuge rechts sehen Sie verschiedene Werkzeuge da ist auch spoon und knife also Besteck ist nah beieinander weiter oben Cup bow bottle also Gefäße die wir für Nahrung und Getränke brauchen können die sind beieinander screwdriver chisel sisses Hammer die sind unten beieinander also das scheint erstaunlich gut zu funktionieren so und jetzt haben wir einen wichtigen Baustein wenn wir jetzt nun in unser Sprachmodell statt der symbolischen Repräsentationen diese semantischen Vektoren einfüttern könnten dann hätten wir doch dieses ähnlichkeitsproblem gelöst dann könnte ich lernen dass wenn da eben in einem Kontext spoon steht und im anderen knife dass trotzdem die Fortsetzung sehr ähnlich oder die gleichen sein könnten leider funktioniert es nicht so denn die klassischen sprachmodelle von Chanen die basieren auf häufigkeitszählung und Häufigkeit Häufigkeiten kann ich nur für Symbole zählen und an der Stelle kommt uns jetzt die dritte Idee aus den 50er Jahren zur Hilfe die sogenannten neuronalen Netze also jetzt kommen wir schon in Richtung deep learning das ist eigentlich auch eine ziemlich revolutionäre Idee gewesen denn im Gegensatz zu meisten Algorithmen die damals entwickelt wurden und auch heute noch entwickelt wurden die meisten Programmiersprachen von Computer sind eigentlich imperative Sprachen wo man den Computer genau vorschreibt Schritt für Schritt was für Befehle er ausführen soll um ein Problem zu lösen die neuronalen Netze gehen ein ganz anderen Weg und demben sich ein biologisches Vorbild nämlich das menschliche Gehirn die versuchen also die Funktion von Nervenzellen zu simulieren und dann so wie das menschliche Gehirn wie man damals zumindest Annahme das Nervenzellen lernt wie das Gehirn Land ähm das auch als landverfahren zu verwenden dafür hat ähm haben verschiedene Leute her brosen blood ein Modell ein mathematisches Modell eine Nervenzelle entwickelt das ist ein sehr vereinfachtes Modell sie sehen hier die Nervenzelle links sind die Eingaben das sind einfach numerische Werte die werden mit verschiedenen Gewichten versehen können auch negative Gewichte sein für inhibitorische Verbindung also auf der linken Seite sind die Eingaben numerische Werte die werden mit Gewichten versehen und aufadiert und wenn die Summe dieser Eingaben dann bestimmten Schwellenwert überschreitet dann feuert das Neuron das heißt dann liefert es ein Ausgabesignal diese schwellenwertbildung die wird implementiert durch eine nichtlineare sogenannte Aktivierungsfunktion so dieses Modell der Nervenzelle das ist dann biologisch so gar nicht so unrealistisch es entspricht aber es ist eigentlich simples Prinzip das entspricht den einfachsten landverfahren die wir kennen nämlich den linearen klassifikationsverfahren die werden auch sehr häufig eingesetzt für einfache landprobleme sind aber sehr beschränkt in dem was sie len können sie können vor allem keine komplexeren Zusammenhänge leren erstaunlicherweise ändert sich diese Situation sobald ich nicht nur einzelne Neuronen nehme sondern mehrere Neuronen in Ebenen hintereinander schalte in sogenannten lern und ganz berühmtes mathematisches Ergebnis hat nachgewiesen wenn ich nur einen einzigen sogenannten hidden Layer also Zwischenebene in dieses neuronale Netz einbaue dann kann es beliebig komplexe Funktionen im Prinzip lerden dazu muss der zwischenlayer natürlich auch extrem groß sein aber im Prinzip wird aus dem einfachstmöglichen landverfahren ein extrem mächtiges landverfahren in der technischen Entwicklung der letzten Jahrzehnte hat man dann irgendwann festgestellt solche neuronalen Netze mit einem hitten Layer sind zwar sehr mächtig aber auch schwer zu trainieren wir können die aber viel effizienter len lassen wenn wir nicht einen hidden Layer machen sondern ganz viele hidden Layer also das sind dutzende oft sogar hunderte von solchen versteckten Layern von Neuronen die jeweils dann auch Hunderte oder Tausende von Neuronen enthalten dadurch entstehen diese gigantischen Netze mit denen wir es heute zu tun haben das ist ein sehr effektives landverfahren und was man auch feststellt dann ist dass die tieferen leayer die Weite hinten liegenden Layer hier ist es jetzt von links nach rechts zu lesen dass die immer zunehmend abstrakte und komplexere Muster lernen können also wir haben ähnlich wie es im Menschen in Kner auch funktioniert zunächst einfache Merkmale einfache Muster und dann immer komplexere und abstraktere in den leayern das ist jetzt genau das was man als deep learning bezeichnet das Lernen mit tiefen neuronalen Netzen was in den letzten 10 bis 15 20 Jahren fast inzwischen zu so eineer großen tion in vielen Fachgebieten geführt hat so jetzt packen wir das alles zusammen das gibt uns dann in neuronales sprachmodelle also hier sehen wir jetzt einen ziemlich langen Kontext das ist was was mit mit normalen statistischen Sprachmodell mit diesen ngrammodellen gar nicht mehr verarbeiten könnten weil wir viel zu wenig Daten aus dem Korpus bekommen würden aber statt hier die Wörte einfach a Symbole zu behandeln weißen wir jedem Wort seinen distributionellen Vektor als eingaberepräsentation zu das ganze schicken wir dann durch ein tiefes neuronales Netzwerk das auch noch Rekurrent sein muss damit es den ganzen Kontext aufsammeln kann und rechts oben am Schluss sag ich durch alle leer durch bin und durch alle Zeitschritte durch die ganzen Token des Kontext durchgegangen bin dann habe ich eine Repräsentation die auf eine recht abstrakten ver allgemeinen Ebene den ganzen Kontext erfasst und auf die kann ich jetzt noch mal Ausgabe ler Aufsetzen der die wahrscheinlichsten Fortsetzung vorhersagt und damit kann ich eben sehr flexibel uns sehr flexibel solche sprachmodelle lernen die für ein gegebenen Kontext das wahrscheinlichste nächste Wort vorheragen können und dabei die ganze Semantik und Ähnlichkeiten in Betracht ziehen das ganze hat wir dann noch mit dem sogenannten attention Mechanismus kombiniert sodass jedes Element von diesem Netzwerk auch noch bestimmte Wörte aus dem Kontext auch in sehr großer Entfernung rausgreifen kann um die berücksichtigen kann bei sein Aktivierung und dadurch ist Seen dann auch in der Lage sehr große kontextinformation zu verarbeiten so das waren die 50er Jahre alles was seither passiert ist einfach nur technologische Weiterentwicklung die Rechenleistung und die Speicherkapazität der Computer hat sich so ungefähr alle 10 bis 15 Jahre um den Faktor 10 vergrößert und dadurch haben wir jetzt die Möglichkeit antische neuronale Netze zu trainieren und das ist im Prinzip das was Jet GPT ist das ist einfach so ein large language Model und Modell des zufallstexte generieren kann und dabei sehr gute Vorhersagen machen weil es erstens ein riesigen Kontext verwendet das ist jetzt nicht wie wir es gerade gesehen haben irgendwie drei oder Zeh Wörter sondern das ein Kontext von 4000 bis zu 32 000 Wörtern und es ist ein gigantisches Netzwerk das hat nämlich also gpt4 wird gemunkelt hat ungefähr 1,7 Billionen Parameter also 1700 Milliarden Parameter es ist auf gigantischen Textmengen trainiert worden und wenn man es plakativ ausdrücken will das ist meisten textind aus dem Internet mit dieser Anzahl Parameter kann das Modell eigentlich das ganze Internet auswendig lernen mehr oder weniger und das ist auch was worauf wir dann nachher zurückkommen wenn wir versuchen die Intelligenz vonsem Sprachmodell zu beurteilen eine Besonderheit kommt noch hin zu wenn wir nur so ein Sprachmodell hätten das zufallstexte generiert würden wenige Hähne danach grhen momentan so enorm berühmt ist Chat GPT geworden nach seiner Veröffentlichung weil man mit ihm reden kann weil man also nicht einfach nur Texte generieren lässt sondern hat Fragen stellen kann Aufgaben stellen und sogar ein Dialog führen um das zu ermöglichen wurde das Modell eben nicht nur darauf trainiert irgendwelche Texte V also das nächste togen immer zu erzeugen sondern auch gan ganz speziellen Dialogen die sehen ungefähr so aus also tatsächlich genau das was nachher Chat GPT für uns anbetet da ist sogar markiert mit human was die Eingabe von Menschen ist und mit assistant was die erwünschte Ausgabe von jetgbt ist und dann wird einfach so lange trainiert bis das Modell gelernt hat alle möglichen Arten von Fragen zu beantworten es wird tatsächlich mit den Typen von Fragen die es beantworten soll mit den Typen von Aufgaben die es lösen soll ganz speziell trainiert also ganz wichtig für jat GPT für den Erfolg ist dass hier unglaubliche Menge an Trainingsdaten teilweise kostenlos aus dem Internet geklaut wurden teilweise von billigen klickarbeitern die doch ziemlich ausgebeutet werden für billigstlöhne erstellt wurden speziell für das Training hier so jetzt kann ich aber zur eigentlichen Frage kommen nämlich ist Chat GPT denn intelligent wenn man sich die Werbung von ai anschaut das hier sind die ist die Leistung von Jet GPT bzw zu grundelegen Modellen auf verschiedenen Tests das sind teilweise Eingangstests für amerikanische univers viele Eingangstests für amerikanische Universitäten das sparexamen das die Voraussetzung um als Rechtsanwalt arbeiten zu dürfen vor Gericht und so weiter ähm das sind teilweise erstaunlich gute Ergebnisse die Prozentzahlen sind immer Vergleich zu den menschlichen Kandidaten in diesen testen also auf manchen Test es ist schon unter den besten 10 bis 20% der Menschen und man sieht auch dass GPT 4 hier bei vielen Tests noch mal enorme Verbesserung erreicht hat das ist auch kein Wunder dass sich das so verbessert hat hier links sehen Sie das Bar exam das war bei GPT 3.
5 also das was wir als Jet GPT öffentlich gekriegt haben noch sehr schlecht bei 10% also und den schlechtesten 10% der Kandidaten weit D von inffern es zu bestehen ein Jahr später erreicht plötzlichch 90% gehört also in 10% besten warum open ai hat das als werbe Element entdeckt um zu beweisen dass intelligent ist und dann haben sie einfach viel Geld reingesteckt das auf den typischen Fragen dieses barxam zu trainieren damit genau dieses exam nachher besteht und so sind viele von den Sachen die Chat GPT kann sind durch so hochspezialisiertes Training entstanden das sollte jetzt rosa sein was ich gerade behaupte das sind natürlich jetzt Behauptung die niemand nachweisen kann der nicht bei JET GPT arbeitet gut wenn wir also die Frage noch mal ernster stellen wollen dann muss man sich erst überlegen wie kann man eigentlich testen ob irgendwas intelligent ist ob jetzt ein Lebewesen oder eine Maschine intelligent ist ähm auch da gibt's wieder eine Antwort aus den 1950er Jahren nämlich den Touring Test den allen Touring 1950 vorgeschlagen hat das ist im Prinzip ein empirischer Test man lässt einen menschlichen judge an menschlichen Prüfer mit verschiedenen Gesprächspartnern sprechen damals hat man gesagt das machen wir per Terminal damit wir jetzt nicht auch eine Sprachausgabe und so ein Spracheingabe lösen muss heutzutage können die künstlichen Intelligenzen teilweise auch schon sehr überzeugend ähm sprechen äh ähm Text Sprachsynthese machen und wenn der Mensch nicht mehr unterscheiden kann ob man mit dem anderen Menschen spricht oder mit der künstlichen Intelligenz dann muss die künstliche Intelligenz wirklich intelligent sein dann hat die Maschine in menschenliches Intelligenzniveau erreicht denn unser einziger Maßstab für Intelligenz ist natürlich die eigene menschliche Intelligenz so äh den Test will ich nachher noch machen ich hoffe dass wir noch genug Zeit haben man kann natürlich jetzt versuchen diesen Test eigentlich machen wir das die ganze Zeit mit Chat GPT indem wir halt Fragen stellen und eine fragesorte die da sehr schön funktioniert sind mathematische fragen also wenn man z. B nach Primzahlen fragt das macht immer wieder Spaß z. B ob 99 eine Primzahl ist die Antwort die sie sehen von jatgpt das war schon vor über einem Jahr ist beeindruckend eigentlich also nicht nur gibt's die richtige Antwort das ist keine Primzahl ist sondern wie J gtpt so ist es erklärt uns auch noch warum das so ist die Definition der przahl auch was die Faktoren sind nämlich das in 3 x 33 zerlegt werden kann also eigentlich eine perfekte didaktische Antwort wenn man jetzt nach anderen Fragen äh nach anderen Zahlen fragt das war eine frühe Version von GPT 4 wo man als eigentlich was elich noch besser sein sollte dann ist es nicht nur so dass die Antwort falsch werden also das 19677 keine Primzahl sei weil es durch 3 teilbar ist dass es durch 32259 teilbar ist ist ja sowieso absurd ähm wenn man dann aber erstmal anfängt nachzufragen dann verwickelt sich das System ganz schnell in widersprüch okay also was es gibt denn das durch drei rechnet es sogar richtig aus das geht aber nicht auf weil es eben nicht durch drei teilbar ist und wenn man dann noch mal nachfragt wo jetzt so würde man ja einem Studenten erklären warum man ein Fehler gemacht hat das wenn wir erwarten würde ein Mensch jetzt selbst erkennen dass es dann n keine Primzahl sein kann oder zumindest nicht durch dreiteilbar ist aber das beeindruckt dieses Modell überhaupt nicht und genau an der Stelle sieht man eigentlich dass so ein Chat GPT keine Menschen ähnliche Art von Intelligenz besitzt denn sonst müsste das System ja so die Kia hier erkennen dass es sich widersprichtt das Ganze ändert sich natürlich dummerweise von Woche zu Woche da die Modelle stets aktualisiert werden das heißt man kann sowas fast gar nicht wissenschaftlich wirklich untersuchen weil die Ergebnisse sofort wieder veralteret sind z.