Die KI-Technik RAG (Retrieval-Augmented Generation) und die Anwendung im Unternehmen #48

Was? Moin, zu einfach, komplex und ein frohes neues Jahr vom Team von Heisenwear und einfach komplex. Ja, willkommen im 24. Er, Burkhardt, ist jetzt schon ein Jahr her, dass wir gemeinsam podcasten oder wir podcasten schon seit einem Jahr nun gemeinsam. Krass, ja gar nicht mitgefilmt. Und bevor wir in unser neues Thema für heute einsteigen, was reg. Ai also mal wieder ein Thema zur künstlichen Intelligenz sein wird, habe ich ein paar

Statistiken mitgebracht. Wir wollen euch nicht allzu lange langweilen, aber nur mal ja die Gelegenheit nutzen, jetzt wo wir das schon ein Jahr machen, noch mal danke zu sagen und mit euch zu teilen. Ja, wie viele Hörer und Hörerinnen ist denn eigentlich so? Gibt es von Podcast. Und zwar sind wir inzwischen bei knapp über 1000 Abonnentinnen und Abonnenten angekommen. Cool. Ja, also über alle Plattformen weg haben knapp 25 nicht ganz 25 000 Abrufe in Summe.

Also das ist schon eine ganze Menge, kann man sich jetzt den Durchschnitt im Monat ausrechnen, das ist aber noch steigend und. Was glaube ich auch noch bemerkenswert ist, sind die Top Episoden. Ich sag noch mal die ersten 3 das die erfolgreichste oder am meisten gehört Episode ist die Folge Nummer 6 zum Thema Datenbanken. Wer hätte das gedacht? Also ich nicht, ehrlich gesagt. Ich auch nicht, überhaupt nicht. Also ich dachte, es ist ein trockenes Thema über

Datenbanken, aber gut. Und die Zweitbeliebteste Folge war die Folge zum Thema Microservices und Docker. Auch unsere Folge Nummer 2. Und die Drittbeliebteste Folge ist die Folge Nummer 3. Was ist Software also? Sehr allgemeine generelle Themen, natürlich aus der Anfangsphase, die sind auch im längsten draußen die Folgen.

Ja, das ist einfach mal vorweg, also bleibt uns, bleibt uns treu, wir haben uns viel vorgenommen fürs neue Jahr, machen weiter zu zweit natürlich ab und zu mit spannenden Gästen, wenn es passt. Und ja, würden uns freuen, wenn ihr auch dabei bleibt, so viel erstmal der Vorredner, jetzt steigen wir mal ein in Reg. Ai voll cool gerettet.

Hat mich überrascht mit der Statistik, davon wusste ich doch gar nichts, aber richtig schön, ja genau und reg Ai und wir haben sogar ein bisschen Datenbank dabei mitgebracht, also wer Datenbanken mochte, der darf heute auch noch mal ein bisschen dran bleiben, da kommt nochmal der Datenbank vorbei. Du dann leg mal los mit Drag AI. Also ich glaube generative AI ist das was die meisten aktuell so unter AI verstehen, also den

klassischen Chat GPT. Ich tippe was ein und der gibt mir halt irgendwie generierten in dem Fall Text auch zurück. Die AI, da sag ich mal ausgedacht hat, kennt man ja auch mit Bildern. Also wo man mit einem prompt ein Bild beschreibt und bekommt ein Bild zurück, das ist ja auch generativ Ai. Genau. Das hatten wir auch schon mal, glaube ich, relativ am Anfang besprochen. Was ist denn jetzt reg AI und inwiefern unterscheidet sich das eigentlich zur.

Generative. Ai. Klar, Gerrit, Die generativen AIS und die spannenden heutzutage, ich auch schon mit mit Dall E und wie sie alle heißen Bilder generiert und zu fahren.

Wir sind heute bei mit reg AI bei bleiben wir ein bisschen bei den Sprachmodellen, den textbasierten Sachen und hier das haben glaube ich alle auch schon mal gehört gesehen gefühlt auch, es ist ja so, dass wenn du jetzt Chat GPT eine Frage stellst die einen aktuellen Bezug hat zu aktuellen Informationen, dann wird der Chat GPD das nicht beantworten können warum das jetzt auch kein neues Wissen?

Weil das Modell das Large Language Modell, was unter Jet GPT liegt, trainiert wurde zu einer Zeit, die Halt jetzt nicht heute ist, sondern das dauert ja auch sehr lange und damit quasi Daten gesehen hat, verarbeitet hat und wissen aufgebaut hat, die nicht aktuell sind und auch nicht domänenspezifisch. Also es wird nichts zu deinem Privaten, es sei denn du hat das quasi vor Jahren schon ins Netz gestellt, irgendwie größere private Daten von dir vielleicht mit drin irgendeinen Teil.

Aber es wird halt nicht die spezifischen Domänenspezifischen Sachen kennen und darauf dann nicht antworten können.

Das ist jetzt aber gerade ne ziemlich spannende Anwendung, ich geb mal nur so n paar Beispiele, könnte zum Beispiel ne Firma sein die sehr viele dokumentations PDFS hat oder oder oder Datenblätter oder irgendwie was ne also viel Information und du würdest jetzt quasi die sprachliche Kompetenz eines eines Chat GPTS eines Sprachmodells nutzen wollen um auf aufgrund dieser Informationen quasi einen Chatbot zu erstellen, wo dann halt quasi Leute fragen können,

wie ist denn das und das, wie geht das und das oder. Was nehme ich denn am besten für ein Produkt, wenn ich das und

das habe oder oder oder? Also die Problemstellung ist die das öffentliche oder generative KI an der Stelle einfach limitiertes Wissen hat, und zwar nur das Wissen bis zu einem bestimmten Zeitpunkt und vor allem nur das Wissen, was eben dann auch zur Verfügung stand bei bei Chat GPT jetzt zum Beispiel ja das Internet bis weiß ich nicht 2022 oder sowas in der Form. Ganz genau, ganz genau das ganze Internet wird ja gescrapt und es wird, auch das ist glaube ich,

auch was Open Air erfolgreich macht. Also es gibt ja so n paar Phasen sag ich mal so ne von so nem Training von so nem großen sprachmodus es gibt sogenanntes Vortraining, da wird halt so quasi im Prinzip nur erstmal. Datendaten Daten gescrapte Daten aus dem Internet eingesetzt und das Modell lernt quasi erstmal, wie funktioniert Sprache, wie funktioniert Semantik und das kann man vielleicht noch einmal wiederholen. Wir hatten ja schon mal eine Folge bei KI, aber im Prinzip ist es so.

Dass das Modell Wahrscheinlichkeiten lernt, was für ein weiteres Wort auf ein vorheriges folgt. Also das ist also tatsächlich sind so Sprachmodelle, also die haben jetzt kein echtes Bewusstsein, sondern das ist ne Wahrscheinlichkeitsmaschine gewichtet, so dass wenn du jetzt irgendein Wort oder mehrere Wörter in der in der AI heißt, es immer Tokens ist nicht ganz n Wort und auch nicht ganz n Buchstabe ist. N ja so n technisches Mittelding, sag ich mal. Ja, das Modell lernt erstmal.

Was sind die wahrscheinlichen Folgewörter auf einem? Bestimmt ist damit quasi Sätze gebildet werden können, die irgendwie normal klingen in einer beliebigen Sprache und dann kommt ein zweites, ein zweites Training dran, das ist ein bisschen aufwendiger, das hat aber Open Area dann auf sich genommen und das ist so ein Frage Antwort Spiel. Denn sonst hast du ja kein generative AI.

Du hast wie in der Schule kann man es sich vorstellen in der Human sagt man immer, der Human stellt eine Frage und der Assistant beantwortet die dann und damit wird quasi trainiert, also man hat einen ganzen Datensatz von von Frageantwort rätseln Lösung die richtig sind und dass man lernt quasi also man trainiert das Modell und gibt ihm quasi. Punkte, wenn es schlechter ist. Und es ist besser, wenn wenn die Antwort richtiger ist, ne, dann wird das Halt trainiert.

Aber alle diese, also sowohl das vortraining halt als auch die Frage Antwortspiele sind halt passieren halt auf Daten die ja nicht individuell sind und auch nicht aktuell sind. So, und jetzt kann man sich die Frage stellen, aber die Kompetenz dieses Modells haben wir sprachlich ordentlich zu antworten auf beliebigen Kontext ist halt trotzdem gegeben, das ist halt eintrainiert und wenn ich die jetzt nutzen möchte, dann könnte ich, dann gibt es jetzt im Prinzip 2.

Offensichtliche Möglichkeiten oder sagen wir mal 2 Möglichkeiten, ob die offensichtlich sind, steht noch mal auf einer anderen Frage, aber man kann ja Modelle, man kann Modelle weiter trainieren, also so n so n so NGPT so n Chat GPT Modell GPT 4 oder irgendsowas könnte ich nehmen und es mit meinem Domainspezifischen Wissen weiter trainieren. Jetzt ist bei GPT nicht so einfach, weil das glaube ich nicht so einfach Open Source weiter zu trainieren geht es gibt aber mittlerweile passiert

ja viel bei KI es gibt. Open Source Modelle Elama zum Beispiel. Die kann man sich quasi runterladen und dann mit seinen Daten weiter trainieren und weiter trainieren. Heißt halt ich mach frage Antwort spiele ich füttere Informationen quasi rein in dieses Modell und in der Anatomie des Gehirns.

Ich stelle mir immer so ein AI Modell vor, tatsächlich wie ein menschliches Gehirn mit und was wir quasi an Neuronen haben und so weiter das sind quasi die die ganzen Gewichtungen die da drin liegen, dann kommt ein neuer Datensatz rein, dann wird er durch gewichtet und kommt etwas raus und. Ich kann quasi das Gehirn weiterentwickeln, das Modell selbst, in dem ich weiter trainiere mit Daten, die halt quasi aus meinem Bestand sind und die aktuell sind, das kann

ich machen. OK, und da gibt es quasi Open Source Projekte, die in Anführungszeichen so sind. Wie.ch PT, also das ganze Internet oder das Internet bis zu einem gewissen Zeitpunkt. Wir haben schon in sich haben in sich. Tragen? Richtig damit. Genau.

Und du kannst bist jetzt in der Lage dazu, als Entwickler das zu nehmen und dann noch weiter mit zum Beispiel firmeninternen Wissen. Was diese, diese Dokumentation, diese PD fs da erwähnt, die da noch reinzugeben um ein Modell, was schon das Internet kennt oder ein Teil des Internets noch weiter zu trainieren, richtig, das war jetzt der Anfang. Das wäre der Anwender. Die erste Lösung? Und damit veränderst du quasi anatomisch das Modell, das Gehirn quasi. Also so, wie wenn der Mensch

weiter lernen würde. Dann man sagt ja auch, anatomisch entstehen neue Verbindungen und so weiter dies entwickelt sich alles weiter so wäre es dann da auch und das ist halt langwierig und teuer und du brauchst extrem krass Hardware, weil weil diese Modell. Diese großen Sprachmodelle sind

halt groß, also die freien. Es gibt auch kleinere von denen, die dann schon abgespeckt wurden, da gibt es auch wieder Techniken, wie man die etwas reduzieren kann, aber du brauchst da halt ne Grafikkarte, mindestens ne gute und du brauchst Zeit und brauchst Geld. Und du musst die Daten hervorragend aufbereiten, dass du quasi dieses Training vornehmen kannst. Extrem rechenintensiv, da deine

Daten reinzugeben. Ja, deswegen ist das ne Alternative, aber jetzt auch vielleicht nicht die schnellste und naheliegendste. Wenn ich jetzt nämlich, wenn ich jetzt quasi einfach mal ganz schnell irgendwie mein Wissen da rein bekommen möchte, möchte was haben, was dann einfach funktioniert. Und jetzt kommen wir quasi auf die auf das Rack. Dafür ist halt dieses Retrieval Augmented Generation ist halt eine Methode.

Wie man das, wie man das erreichen kann, ohne ein Modell weiter zu trainieren ne. Ja, also ich sag es noch mal ganz klar, man kann ein fertiges Modell, egal welches zum Beispiel das Chat TPT 3.5 Turbo oder Irgendsowas nehmen so wie es ist. Und trotzdem erreichen. Dass dieses Modell quasi mit neuen Informationen gefüttert wird und Kontextuell antwortet, ja. OK, genau. Also das ist, das wollte ich

heute mal. Also erstmal, dass das geht ist auch das relativ neuer Ansatz, ne neue Idee, das ist ungefähr seit 220 20. Und wie das funktioniert technisch. Ich hatte gar keine Ahnung, ich wusste nicht, dass das geht, es ist mal wieder so, dass wir aktuellen Fall haben und mich die Nase da auch beruflich, sag ich mal, reinstecken muss und das wollte ich einfach mal heute im Chat teilen, das ist nämlich ne.

Ja, eigentlich ne ganz einfache Geschichte, wie das funktioniert und das kann man ganz schnell mal. Also ganz schnell, aber in einem Podcast schon mal erklären. Cool, das hat mir extrem geholfen.

Diese Unterscheidung zwischen diesen 2 Möglichkeiten, entweder dass ein bestehendes Large Language Language Model eben entsprechend weiter zu trainieren mit dem spezifischen Wissen, was es noch können muss oder nicht, weiter zu trainieren, aber trotzdem es in die Lage dazu zu versetzen, dieses Wissen zu verarbeiten, was dann eben die Reg. Ai also nochmal langsam retrieval Augmented Generation AI. Ist genau.

Okay sehr cool. Ich habe ein paar Fragen, aber vielleicht erklärst du es erstmal noch ein bisschen und ich stelle den dann am Ende, wie das jetzt genau funktioniert, weil erstmal klingt es ja so, also erstmal nicht so. Logisch, dass das überhaupt geht.

Das stimmt. Ich versuche das mal zu erklären, also ganz wichtig bei dieser Methode ist, dass wir eine, dass wir eine zweite Knowledge Base Aufbenologisch Base, eine zweite Wissensbasis aufbauen, die erst mal nichts mit dem Modell zu tun hat, und ich hatte ganz am Anfang gesagt, Datenbasis Datenbank. Jetzt, so die, die die Fachleute sprechen jetzt schon von der Vektordatenbank es müsste eine Vektordatenbank aufgebaut werden, in der das spezifische

Wissen gespeichert wird. So kann man es auch überall lesen, aber damit kann man nichts anfangen. Also was ist das ja. Im Prinzip ist es so, ich hab ich hab jetzt Informationen, die kommen zum Beispiel aus Dokumenten, also aus dem PDF aus dem Word Dokument textuelle Informationen, die ich jetzt quasi als aktuellen Kontext dem Modell beigeben will, so und die die können auch. Also ich finde die kommen entweder aus dokumententypischer Weise oder die kommt tatsächlich aus dem Web.

Du könntest ja auch eine neue Webseite aufgemacht haben, da hast du dir irgendwie schon die Mühe gemacht, hast alles hingemacht, da gibt es ja auch ganz viel texturelle Informationen, die muss ich jetzt irgendwie noch so ein bisschen aus dem HTML rausziehen, aber da steht ja schon was drin, so, da kann das alles herkommen. Was wir jetzt machen müssen. Wir müssen im Prinzip diese textuelle Informationen. Speichern, und zwar so, dass wenn wir jetzt eine Frage stellen.

An das an das Modell, die sich natürlich im Kontext irgendwie darauf bezieht, auf die aktuellen Daten. Dass dass die, dass die bestimmten Teile dieser ganzen Information nicht reingebe die relevanten Teile rausgesucht werden und dem Modell auch noch mit zur Verfügung gegeben werden. Denn also Key von dem Ganzen ist, dass ich nicht nur, denn das also prompt Engineering

haben wir auch schon mal gehört. Ich kann natürlich dem Chat GP T eine einfache Frage stellen, ich kann aber dem Chat GPS prompt auch sehr viele andere Informationen noch mit beigeben, ich muss ja nicht nur eine Frage stellen, ich kann auch sagen. Liebes Jet GPT, meistens noch nicht so freundlich, aber hier hast du ein ganzes Stück Code oder Irgendsowas. Ja und dann und dann stellst du eine Frage, finde zum Beispiel den Film. Diesen Code, ja.

Ist auch bei einer Übersetzung, ist es doch quasi auch ähnlich, oder? Ja, genau. Also wenn ich jetzt sage, hier ist NNN Absatz auf Deutsch, bitte werf mir den auf. Französisch raus, richtig, richtig genau. Und das ist halt ne Kompetenz, die kann halt, die kann halt das.

Große Sprachmodell sowieso. Ja, du kannst halt, da kannst du ja beliebig viele, das ist meistens gesperrt, irgendwann kann das nicht mehr aufnehmen, das ist so die Anzahl der maximalen Tokens, das ist modellbasiert, aber das sind ein Paar, also du kannst das schon richtig Kontext rein reinkleben

ja du kannst halt nicht einfach. Und, und das ist wichtig, du kannst halt nicht einfach deine ganzen PDFS irgendwie zu Texten machen oder irgendwie und die da bei jeder Anfrage vor das Modell knallen und sagen gegeben, diesen ganzen Informationen, sag mir mal das und das, ja das wär zu krass und das wär auch zu aufwendig und und aber im Prinzip funktioniert das so Gerrit, also die Idee ist eigentlich nimm die extra Informationen die ich hab und gib sie mit in den prompt und

stell quasi darunter deine Frage die sich auf diesen Kontext bezieht, du sagst halt quasi und das ist der Key, du sagst halt. Liebe Sprachmodell, gib mir eine gute Antwort auf meine Frage, gegeben auf den Kontext, den ich dir jetzt hier mitgebe und dann dann dann copy pastest du quasi den Inhalt von deinem neuen Kontext einfach mit rein und gibst halt in der Anfrage die Informationen dazu. Das will.

Ich jetzt wahrscheinlich, aber nicht bei jeder Anfrage machen, die ich dann an dieses doch an das LM Stelle. Musst du musst bei jeder Anfrage den entsprechenden Kontext mitgeben. Aber jetzt kommt's. Jetzt ist es nämlich so. Du willst halt also jede Frage benötigt ja für die Antwort nicht den gesamten Kontext deinen gesamten Webauftritts oder aller deiner 1000 PDFS, sondern nur n bestimmten Teilbereich und jetzt kommt das was ich gesagt hatte, jetzt müsste man quasi ne Möglichkeit

haben. Aus einer Datenbank genau die Stellen, also die vielen Stellen, die potenziell vielen Stellen, die sich darauf beziehen auf das, was du jetzt gerade anfragst, rauszufinden und nur diese gefiltert. Dem Sprachmodell mitzugeben als Kontext. Du hast verstanden, ich weiß nicht, ob ich es erklärt. Habe also ich hab es verstanden, aber das klingt als würde jetzt für mich so klingen als wäre da irgendein Mechanismus im Gange oder Algorithmus oder sowas der erstmal.

Raussucht, welches die relevanten Stellen sind und diese dann mitgibt als. Kontakt exakt, und das ist ja, dass die KI Technologie, wir brauchen also ne Datenwahl, also die Datenbank, die speichert quasi alle Informationen die wir reinpacken, und zwar nicht einfach nur als Text. Sondern als sogenannte Vektoren vom Text.

Und so funktionieren auch die Sprachmodelle wir wissen, ich weiß nicht aus der 1. Folge vielleicht, dass wir haben immer so Gewichtungen, im Prinzip können so mit Modelle immer nur mit Nummern und Wahrscheinlichkeiten umgehen, das heißt, aus so einem Wort oder so ein Text wird quasi ne Abfolge von. Von von Floating Points, also von von Nummern generiert. So also tatsächlich in Mathe.

In der Mathematik sind das Vektoren, entstehen aus Tokens halt multidimensional und diese diese Tokens kann ich nachher dann vergleichen miteinander, ob die sich ähnlich sind oder nicht und kann quasi. Kann dann quasi so ne Art

Semantik erreichen. Also wenn ich so ne Anfrage habe und Speicher jetzt meine ganzen Daten die ich hab als Vektoren ne also als Nummer als durchnummerierte Informationen quasi ja in der Datenbank, das sind sogenannte Vektordatenbank, gibt es viele von viele verschiedene Arten, dann kann ich quasi meine Anfrage auch in so einen Vektor verwandeln live.

Das passiert auch. Also ich gebe in den prompt ein meine Frage zum aktuellen, zum aktuellen Kontext, der wird in so einen Vektor umgewandelt, damit wird die Wissensdatenbank

die ich aufbaue. Auch zu meinem Vater versucht so ein Vektorensearch quasi, das ist so Nearly's Naval Search und so weiter da werden also alle Stellen sehr schnell rausgefunden, die jetzt irgendwie relevant sind für für meine Anfrage. Die werden in Text zurückverwandelt und in den prompt geklatscht, in den prompt geklatscht und dann kommt die Frage dazu und dann kommt das große Sprachmodell und kann halt mit dem Vortrainierten Wissen, wie Sätze baut und wie es Antworten zu geben hat.

Und im Kontext, den ich da gerade schnell rausgesucht habe aus der Wissensdatenbank eine ordentliche Antwort zu geben. Ne, ja, krass. So funktioniert das also ganz grob so. Also das da wirklich 2 Technologien die da geschickt miteinander kommuniziert werden. Genau, ganz genau. Und diese diese Technologien, das also so Vektordatenbanken, die sind halt quasi während des Trainierens von Large Language Models. Halt quasi auch schon Bestandteil.

Also das braucht man da auch, das sind halt quasi Technologien, die ich dafür sowieso brauche, deswegen sind die extrem weit entwickelt und man nimmt einfach dann die, die im Prinzip die die Embedding sagt man auch so ne die Arten und weisen wie ich quasi vom Text auf diese. Vektoren komme das, da steckt ja so ein bisschen die Magie drin,

sage ich mal. Die nimmt man eigentlich schon, die man hat, macht es aber quasi als extra Kästchen sich hin, als extra Datenbank und und fragt dann schnell vorher ab und packt dann den Kontext in den man braucht. Dadurch werden die Anfragen. Minimal klein. Das ist wichtig, damit das Sprachmodell halt quasi ja auch irgendwie nicht überfordert ist und sich da die richtigen Sachen

raussucht. Ja und auch für die Geldbörse ist es wichtig, denn dann die Anzahl der Tokens normal rechnen, die es also wenn du jetzt das als Service nimmst und das davon muss man mal ausgehen, man kann sich ja quasi nicht ein Modell selber hosten, weil dafür brauchst du extrem viele Ressourcen, dann willst du quasi die Anfrage Größe klein.

Halten die LM schon vorbereitet darauf sage ich mal. Also ich weiß oder oder man weiß, dass ja die beim Training von den LMS bestimmte Quellen. Höher gewichtet werden als andere. Also ich glaube zum Beispiel Reddit. Alles was auf Reddit ist, geht mit einer höheren Gewichtung ein als ein x beliebiger Block oder so im Internet. Warum? Aber man glaubt, dass das bei Reddit so um die Wahrheit steht, eher die Wahrheit steht als woanders, sagen wir es mal so.

So. Und jetzt müsste ja so ein LNM auch wiederum vielleicht den den Kontext wieder miteinander mit Vergleichen, mit mit, mit so etwas, was da zum Beispiel bei bei Reddit gelesen hat. Also was ist ne, was ist höhergewichtet? Ja, der sehr gute Frage. Ja, also ist das ist das vorbereitet ist, das schon vorher mit drin oder oder ist das egal? Das ist auch so überraschend einfach, wenn man sich das vorstellen kann. Das ist einfach die Frage, wie

du dein prompt formulierst. Du kannst also wenn also wenn du jetzt zum Beispiel möchtest, dass das Sprachmodell tatsächlich nur und explizit nur aussagen. Zu den Informationen, die du da noch mit rein gibst, deine aktuellen Informationen, dann schreibst du halt in deinen prompt. Also während du den Kontext davor geklatscht hast, sagst du. Gib mir eine Antwort, basierend nur auf den von mir hier gegebenen Kontext.

Ja, und wenn du das tust und du sagst, gib mir ne Antwort, basierend nur auf diesem Kontext, dann tut es das und wenn du jetzt ne Mischung haben willst zwischen wissen was quasi das Sprachmodell auch in sich trägt und deinem Kontext, also wenn es ein bisschen aufmachen willst, sage ich mal, dann kann, aber dann kann es halt sein, dass du eine halluzinierte Antwort bekommst und so weiter das Probleme kennen wir ja dann sagst du, gib mir bitte eine Antwort.

Priorisiere irgendwie meinen Kontext hoch, aber du kannst auch andere Sachen auch mit Reinmischen. Das ist halt die Frage wie, das nennt sich ja prompt Engineering, Du gibst halt quasi in dem Satz den du formulierst, was das Sprachmodell zu tun hat, gibst du ihm vor, wie stark irgendwie was gewichtet in deiner Antwort.

Und wenn du, wenn du willst, dass es tatsächlich exakt ist, weil du zum Beispiel weiß ich nicht, was du, weil du für ein Unternehmen intern irgendwie Dokumentation wiedergeben willst und du willst auf keinen Fall, dass du irgendwie Quatsch steht, dann dann sagst du dem Sprachmodell, bitte antworte nur gegeben den Informationen, die ich dir da reingegeben hab und dann passiert auch kein, da passiert auch kein kein komisches Zeug, dann passiert vielleicht nicht ganz richtig,

dann passiert leicht ein bisschen komisches Zeugs, weil irgendwie die Sprachmodell in sich durcheinander kommt, zwar auf der Information, aber wirbelt das in sich irgendwie durcheinander die. Hier gegebenen Informationen, das hat das mit der Temperatur zu tun. Ich weiß nicht, ob du das schon mal gehört hast. So ein so ein Parameter, den kann man dann auch einstellen, wenn man auf dem Level ist. Du kannst quasi, das ist typischerweise ein Wert zwischen 0 und 1 Temperatur.

Beim Sprachmodell gibst du das mit an. Und wenn du es kalt machst, da so 0, dann fängt das dann ist es hat es nen kühlen Kopf, so merk ich mir das immer das Sprachmodell und gibt sehr kurze ganz klare Antworten und fängt nicht irgendwie an irgendwie blumig zu reden und

rumzuhalluzinieren. Und wenn du die Temperatur eben erhöhst, und das war bei 0,9 oder fast 1 bist, dann wirst du sehen, werden typischerweise die Antworten etwas länger und dann hast du irgendwelche Klammerausdrücke und so und relativsätze fängt es halt irgendwie an wild zu werden und dann ist die Wahrscheinlichkeit, dass da irgendwie. Ja, vielleicht eine widersprüchliche Sache.

Zum Beispiel in einem Satz steht jetzt heute morgen gerade gesehen irgendwie bei Johannes Brahms, da war er geboren, und gleichzeitig war er schon irgendwie unterwegs und hat vorgespielt, irgendwie am gleichen Tag so, das kann dir passieren, ne da. Habe ich mal den Vergleich gehört, dass das Halluzinieren von von Ai ein bisschen verglichen werden könnte mit menschlicher Kreativität, weil es ja, weil die große Frage ist, ja, kann KI auch so kreativ

sein, quasi wie ein Mensch? Und was ist ja Kreativität, das ist eigentlich. Erfinden von Dingen, aber dann doch wieder basierend auf Sachen, die man schon mal gesehen oder gehört hat. Irgendwo also Eindrücke, die man mal gewonnen hat, ob nun bewusst oder eigentlich auch unbewusst. Und. So ein bisschen eine, die halluziniert also und die Temperatur hochgestellt ist dann ja technisch gesprochen könnte könnte man als Kreativität bezeichnen. Ja, aber naja.

Genau mathematische, philosophische. Also. Es ist sehr philosophische Parameter, aber mathematisch, ja klar, das heißt ja, weil es geht ja alles um Wahrscheinlichkeiten, es gibt das Sprachmodell durchläuft mit einem Input seine ganzen Gewichtungen, und dann kommt quasi. N ganzer Satz von Tokens raus. Die Tokens sind dann quasi die Wort Bestandteile oder Satzbestandteile, die haben alle ne Wahrscheinlichkeit und und und.

Die Temperatur ist quasi so ne globale Wahrscheinlichkeits Cut off sag ich mal und alles was nicht total wahrscheinlich. Also je weiter du es nach 1 drehst desto mehr von diesen bisschen unwahrscheinlicheren Tokens werden halt noch mit Reingemengt und wenn du es kälter stellst, also gegen 0 drehst, dann ist da der Cut Off für alles was nicht ganz so wahrscheinlich ist, halt härter und fliegt halt raus und dann muss es halt kürzer antworten. So ungefähr ist es halt

mathematisch. Wenn du technisch mit der Beschreibung durch bist, also ich hab's auf jeden Fall verstanden, jetzt hätte ich noch ein bisschen fragen, wie man das jetzt so anwenden kann, aber. Ich sag noch eine technische Sache, dann bin ich durch. Das war für mich auch ein riesen aha Erlebnis. Es gibt ja auch den großen Unterschied, ob ich jetzt ein Sprachmodell mit einer einzelnen

Frage Anfrage und es gibt mir ne Antwort, was natürlich ganz klar, aber was natürlich total cool ist und was neu ist, ist ja diese dieses Chatverhalten. Also dass du nen, dass du ne Konversation führen kannst und dich beziehen kannst auf vorherige Aussagen, die du gemacht hast.

Ja also ich geb mal n Beispiel zum Beispiel ich hab jetzt diese reg AI gefüttert mit Wikipedia Eintrag von Johannes Brahms und dann frage ich irgendwie, wann ist Johannes Brahms geboren, da wird dann eine Antwort kommen die richtig ist.

Ja, Johannes Brahms ist jetzt ein schlechtes Beispiel, ich müsste eigentlich jemanden nehmen, der jetzt heute gerade gelebt hat, den Johannes Brahms ist wahrscheinlich sogar das könnte es von sich aus ja, aber egal, du weißt was ich meine, also ich nehme, ich nehme jetzt mal den Johannes Brahms und frag wann ist er geboren. Und dann? Dann kann ich quasi weiterreden, indem ich sage und.

Mit wem war er verheiratet? So, wenn ich jetzt, wenn ich jetzt n sprachmodell ohne Konversationskontext irgendwie sowas mit wem war er verheiratet, dann bezieht sich ja eher auf nix. Entschuldigung, das ist dann aber schon deine nächste Frage. Wieder ne. Also mit wem erst fragst du? Ja, genau das wäre die. Nächste Frau ist geboren der sagte 18:00 Uhr, Tschüss mich

tot und dann schreibst. Du dann kommt die Antwort von dem System, also von der AI bla bla bla ist geboren dann und dann ja und dann frage ich eine zweite Frage und beziehe mich quasi auf die Konversation und gehe dann mit Relativwörtern und er und so weiter weiter und sofort wie wir jetzt auch gerade konversieren quasi während wir während.

Podcast machen ne, das ist ja, das ist jetzt hat jetzt nichts mit direkt mit RAG zu tun, das dürfen wir nicht durcheinander bringen, aber ist natürlich ne wichtige Eigenschaft, denn ich will eigentlich, wenn ich jetzt auf Daten ich will quasi einen Chat auf Daten machen, ich will ne Konversation erreichen wenn

ich jetzt so abfragen mache. Dann möchte ich quasi, dass meine Anwender auf den aktuellen Informationen, die ich zur Verfügung stelle, so n so n so n, so n, so n Frage Antwortspiel machen können und sich beziehen können auf ihre vorherigen Fragestellungen. Ja, ich, ich hab das Gefühl, das klappt mal mehr, mal weniger oder ist mal mehr und mal

weniger ausgeprägt. Also zum Beispiel wenn ich bei Bart, wenn ich mit Bart Spiele, habe ich das Gefühl, der erklärt immer Sachen doppelt und dreifach, die eigentlich schon mal besprochen, in Anführungsstrichen besprochen. Worden. In diesem Chatverlauf sicher. Hat er ja auch immer den ganzen Kontext zur Verfügung. Also ganz bestimmt, aber ich hab das Gefühl, dass der die Bart oder was auch immer Bart auf jeden Fall immer das Gefühl hat, man müsste das alles noch mal erklären jetzt.

Oder? Ja, das kann gut sein.

Ich weiß nicht, das sind vielleicht die Modelle, wie sie ein bisschen unterschiedlich sind, aber ich hatte so ein krasses aha Erlebnis, weil ich immer gedacht habe, wie, wie ist das krasser Unterschied, also so ein Chat mit so einer Konversation ist ja auch nicht, klingt erstmal nicht so einfach und das war glaube ich auch so ein bisschen der Durchbruch warum Open AI mit ihrem Chat GPT, das war ja eine UX, quasi dass du quasi wirklich so einen Chat aufbauen konntest und du

mit der AI quasi konversieren konntest. Es war natürlich eine krasse Neuerung. Die steckt aber wieder nicht im Sprachmodell. Der Trick ist ja genau der gleiche wie mit dem, und der ist so trivial, wie man sich so denken kann. Die Prompts, das muss ich halt auch noch mal sagen, die Promts,

in denen du schreibst. Ja, also wenn du bei Open a da irgendwas eingibst oder auch jetzt, wenn wir was machen, ja das sind ja, das sind noch nicht die Proms, die das Modell tatsächlich sieht, das sind so eine Art man sagt Template prompt ja. Und der tatsächlich technische prompt, der wirklich an das Modell weitergeleitet wird, das ist n ganz anderer, ne, der wird dann quasi zusammengebaut aus den Informationen die du da reingegeben hast.

So funktioniert es ja über ne. Also ich, ich geb ja quasi nur meine Frage rein und dann bau ich eigentlich n prompt zusammen aus dem Kontext, aus dem rausgesuchten Kontext so und wenn ich jetzt den Chat habe, das ist auch nichts anderes, da wird halt einfach nur eine Historie aufgezeichnet von von meinen Fragen von jungen Fragen und von den AI antworten und es wird ja eine immer längere Liste.

Aber ich klatsche quasi bei jeder neuen Anfrage diese gesamte Liste der Konversation einfach mit in den finalen Anfrage prompt und der wirkliche prompt heißt hier ist meine Frage, bitte antworte gegeben der ganzen Konversation, die wir schon hatten, die du hier findest.

Ja, und die steht dann wieder da, eigentlich drin, es ist also im Prinzip funktioniert das ganz ähnlich und wenn du das Kombinierst, also diese diese konversations Historie mit dem Kontext mit den Relations gesuchten Kontext aus der Datenbank. Dann hast du im Prinzip reg einen Rack Chat, der auf deinen Daten richtig gut antwortete.

Rima jetzt. Hast du schon ein bisschen Übergang dahin gemacht zu dem, was ich dich noch fragen wollte, also wie man das jetzt anwenden könnte als Unternehmen oder wie das jetzt in der Praxis aussieht? Angenommen, es gibt ein Unternehmen, was weiß ich,

Maschinenbauunternehmen hat vielleicht 500 Mitarbeitende hat x Seiten Dokumentation über die Jahre angehäuft, es existieren wahrscheinlich. Zehntausende, Hunderttausende Dokumente, hoffentlich digital, die alles Mögliche an wissen über diese Firma beinhalten. Und das ist jetzt eine riesen Chance, dieses Wissen tatsächlich auch der ganzen Firma zur Verfügung zu stellen. Voll ja.

Genau das sind genau die. Anwendungsfälle jetzt möchte ich aber, also genau du kannst uns ja mal durchführen, wie würde man da anfangen, nicht im Detail und so weiter und sofort, dann wird das aussehen könnte wieso eine Firma das machen könnte und was mich jetzt besonders interessiert, was den prompt angeht, was du gerade schon mal so ein bisschen beschrieben hast, muss ich jetzt bei jedem prompt reinschreiben, bitte. Werte dieses Kontextwissen hier höher als das, was du im

Internet gefunden hast. Oder ist das genau das, was im Hintergrund eigentlich schon passiert, für einen abgenommen wird? Als Anwender tippe ich einfach nur ein, was weiß ich welche, wie ist die Stückliste von der Maschine die wir 1995 an den Markt gebracht haben als Beispiel ja. So ein Stückliste verstanden? Spiel rausziehen möchte ja also. Wir kriegen genau das hin, was du gerade gesagt hast, als zweites gerade.

Du musst dann also dem, der User muss überhaupt nichts eintippen, gar nichts wissen, der kann genau diese Fragen stellen. Das funktioniert so gut wie das prompt Engineering von dem Entwickler, der dir quasi diese RAG zur Verfügung stellt. Getan wurde. Ja, also ne, also du du schmeißt du, du generierst den finalen prompt. Mit der Anwendung mit der speziellen Anwendung für diese Firma, so wie es diese Firma Halt haben möchte und braucht.

Ja und da muss man jetzt also wenn man das machen wollte, dann könnte man müsste man hingehen, bisschen coden. Es gibt, kann man sich vorstellen, für die KI wunderbar und ganz viel, und es entwickelt sich jede 10 Minuten.

Irgendwie gibt es nen Commit, ist echt krass, Bibliotheken, Open Source, Bibliotheken eine davon, ich nenne die einmal Bananen Tappan ist lang, Chain heißt das, das sind quasi Bibliotheken die dir erlauben verschiedene Modelle mit verschiedenen Vektordatenbanken zu kombinieren usw und dir quasi diese ganze Detailarbeit wegnehmen und auch die dir erlauben quasi so ein prompt templating prompt Engineering zu machen. Und was du dann machen müsstest?

Im Prinzip brauchst du nur 2. Du brauchst 2 Funktionen. Du brauchst ad knowledge, so würde ich es nennen. Tatsächlich bauen wir sowas auch, da heißt es ADD Knowledge, deswegen weiß ich ganz genau wie ich es machen würde, ich habe es gerade gemacht und in einem Knowledge das auch vorbereitet in diesen Open Source Dingern, da kann dann quasi jemand der im Backoffice sitzt einmalig, nur braucht er das machen alle PD fs also alles was du sagst alle digitalen Dokumente zum Bestand

der Firma usw einsparen. Einfach hinzufügen, immer nimm, nimm, nimm, nimm, nimm, nimm, nimm, das dauert bei jedem Dokument irgendwie ne Sekunde oder 2, je nachdem wie lang die sind und. Wenn die, wenn die jetzt schon alle sag ich mal irgendeinem online Speicher vielleicht in der Cloud sogar alle einfach liegen.

Ja, das gibt es alles. Dann kannst du sagen, nimm das ganze Directory hier und Frierst das alles ab und sie können sogar verschiedene file Datentypen, das musst du ein bisschen gut machen, was überhaupt technisch gar kein Problem zu sagen, hier ist der Ordner, nimm alles was da drin was du da findest an Doc x, an PDF an Text und so weiter. Und dann dauert es halt das Add knowdage genau so lange, wie gut

man eben vorbereitet ist. Wenn man alles so ein Directory hat, dann schnell, wenn der ganze Kram wirklich nur auf Zettel rumfliegt, dann ein bisschen langsamer. Ein bisschen langsamer, genau. Und dann? Was dann passiert quasi. Dann baust du quasi.

Also jedes jedes Dokument wird quasi verwandelt in so einen, in diesen Vektor, also in viele Vektoren von von von Texten und der Vektordatenbank Eingegleist, die wird dann immer größer und immer größer, aber die können das ab, die legst du irgendwo hin, da gibt es jetzt auch schon wieder zig vektordatenbanken wir. Wir benutzen eine ja gar nicht

HNSWE glaube ich. Heißt das Ding, da gibt es halt auch ganz viele, muss man gucken, welches man am besten nimmt, die wächst dann und dann müsste irgendwann fertig. Du kannst ja auch erweitern, du kannst auch Sachen wieder rausnehmen und ändern, manchmal ändert sich ja auch n. Nen Faktum sag ich mal, irgendwas ist alt und neu ist

kannst du machen. So das ist und und die musst du zentral halten und dann musst du natürlich für deine ganzen Mitarbeiter, die jetzt darauf basierend Fragen stellen wollen in prompt zur Verfügung stellen. Und, und der muss halt dieses Regtechnik können, das heißt, wenn der ne Frage stellt, was

passiert dann technisch? Du hast ja gesagt, du musst n prompt zur Verfügung stellen und meinst NNNN Chatbot oder sowas genau n. Chatbot ja n Chat prompt genau ja genau, also das ist jetzt auch kein n Interface genau also du, also im einfachsten Falle gibt gibt der Kollege, der jetzt darauf wissen irgendwie haben möchte gibt das per Textuell einen kannst du auch jetzt schon, gibt's ja schon Sprache ne Sprache zu Text und so kannst sogar auch Sprache verstehen und

dann eine Ausgabe geben und so das Nextlevel so ja aber du gibst, du brauchst halt ein kleiner muss eine kleine

Anwendung bauen wo? Weiter seine Frage Reinsteckst Steckeln kannst oder das ist ja heute keine Kunst, das ist ja nur ein Textfeld, sag ich mal ja so, und diese Informationen aus diesem Textfeld. Mit dieser Information fragst du erstmal die große Vektordatenbank was gehört, was könnte semantisch oder inhaltlich, da alles zu passen, die Sachen werden rausgezogen und damit wird der prompt

zusammengebaut plus also. Also die Anfrage, die Daten, die relevant sind für die Anfrage aus Direktdatenbank. Die Liste von allen Maschinen aus dem Jahr 95 zu. Möchten zum Beispiel genau dann geht da quasi die ganze Vektor deine ganze Knowledge Base durch alle Dokumente wo irgendwas zu Stücklisten steht oder Anteilen oder was weiß ich ja.

Es wird dann alles rausgeholt aus der Vektordatenbank, in den prompt gebaut plus dem Chatverlauf, den du schon hattest, den den Fragen und den Antworten. Und das wird dem Large Language Modell vor die Nase geklemmt und dann kommt die Antwort zurück und aus dieser Antwort generierst du halt die Antwort für den Kunden plus was auch cool ist. Wenn du nämlich deine eigenen Daten einspeist, dann kann man sogenannte Metadaten dransetzen.

Es kann ganz interessant sein zu wissen, woher hat das denn genommen, aus welchem Dokument ist denn diese Information, welches PDF mit welchem Namen an welcher Stelle vom PDF. Und Zeilennummer das kann man alles mit verhaften und es kann. Du kannst quasi dann. Diese Technologie zwingen es dir zu sagen, wo hat das her? Ja. Das ist auch ganz cool, weil dann also ne, wenn du wenn du

sagst sowieso sagst du kannst mir nur auf diesen Kontext antworten, dann kann die, dann kann die auch dir beziehungsweise das ist dann ne Technologie der Vektordatenbank, die kann dir dann genau sagen hier und hier und hier, das Stand zur Verfügung, darauf basiert meine Antwort. Das ist ein Riesenthema, also sowas. Also Wissensmanagement innerhalb von von Firmen. Glaube ich jetzt. Ein bisschen älter sind. Deswegen ist KI so ein Riesenthema.

Deswegen ist, glaube ich auch KI so ein Riesenthema, weil das halt richtig große Schmerzpunkte sind, die wir lösen. Können. Aber das ist ein Riesenproblem, was man dann eben mit Hilfe von KI und. Dem Retrieval Augmented, wie auch immer der Ergänzung durch Retrible Augmented. Ja, lösen kann. Das ist total cool. Und wir können das jetzt und wir können das jetzt anbieten. Wir.

Können das auch? Wir können das Anbieten und die Kunst ist gar nicht die Technologie an sich, die Kunst ist und wo man, wo wir auch noch gerade üben und feilen. Ist gegebene Texte. Von Textform ne. Also so NPDF ist ja auch nicht nur NPDF, die sehen ja alle anders aus. Ja dann hast du Tabellen drin, Bilder drin und so weiter ja und die Kunst ist quasi diese Daten. So gut in diese Vektordatenbank reinzubringen, wie es nur geht.

Ja, also du willst halt diese tabellarischen semantischen Informationen erhalten und so, das ist, das ist, da ist es, wo der Hase im Pfeffer liegt. Also das das das korrekte Parsen damit es später wenn du es quasi als Kontext der AI gibst damit die sich daraus ein Bild machen kann was da los ist, ja. Das ist extrem wichtig und da passieren sofort riesige Qualitätsunterschiede, je nachdem, wie du das machst.

Ja, also auch wenn Du zum Beispiel Webseiten, paarst und so weiter wie du das dann quasi aufbereitest. Ja, die ganzen Informationen und dass du dann auch die HTML tags ordentlich wegschmeißt und diese ganzen Styling ansagen, die alle nicht zu dem Inhalt gehören, dass du das nicht alles der der AI vor die Nase klatscht so, sonst ist sie verwirrt, aber das nimmt. Dir so einen langen. Das nimmt dir so ein Langchain zum Teil ab, aber da bleibt noch viel an Handarbeit. Wurde noch irgendwie.

Noch Performance machen kannst also dieses ganze Token splitting kannst. Mit langen Challengen gibt es Bibliotheken, gibt es loaders, da kannst du PD fs laden und das extrahiert dir schon mal den Text, aber was du dann und dann hast du den Text auf einer ganzen Seite, du kannst aber nicht, das wäre dann quasi ein Dokument was du dann was du dann

raus bekommst. Aber du musst das quasi noch feiner Stücke in semantisch gut zusammenhängende Stücke und so weiter und damit die Vektordatenbank füttern, das sind jetzt alles aussagen, die sind heute noch richtig wahrscheinlich wenn wir in einem halben Jahr eine Folge machen würden, dann kannst du sagen, nimm das und brauchst über nichts mehr nachdenken, das ist natürlich alles alles Gegenstand

aktuell. Der Entwicklung und andauernd, also im Prinzip jede Woche, kommt irgendwie ein neuer parser, Transformer und so weiter raus und aber das ist halt auch tatsächlich noch Gegenstand aktueller Forschung und. Man spielt ja noch mit diesen, man versteht es ja nicht so ganz genau, wann das gut funktioniert

und wann nicht. Das ist ja das Geheimnis der KI, sag ich ja so n bisschen und ganz viele Forscher und so weiter arbeiten daran, was nun die besten generischen Koordinaten sind und sowas zu tun, ja. Ist auch voll davon. Wie wie kann ich irgendwie meine Inputdaten so optimieren, dass es am besten funktioniert? Dann wird es also nicht die letzte Folge gewesen sein.

Zuge. Wenn bestimmt auch mal irgendwas zur KI sagen, ja, vielleicht dann auch was zur Sprache, zu sprachverständnissen und so weiter. Ich würd sagen, für heute passt das. Passt. Ich hab alles rübergebracht, was ich wollte. Ich wollte, dass ihr versteht, dass das geht, also ich mich hat das selbst. Ich muss sagen, also KI ist ja immer wieder man, man ist dann ja wieder auch n bisschen müde, weil es halt irgendwie so krass

n aller Munde ist. Und jetzt haben wir das auch angefangen und mich hat es fast vom Stuhl gehauen, wie extrem gut das auch tatsächlich funktioniert.

Ja, mit so unstrukturierten Informationen im PDF und dann lädst du das da rein und ergibt dir ne sehr strukturierte Antwort zu den du kannst dich ja auch, du kannst die ganzen Features fass mir das zusammen oder sowas, da hat jemand irgendwie einen riesen Abstract geschrieben und du packst das halt einfach als Kontext rein, als aktuellen und sagst halt deinem Modell was steht denn da drinne und fass mir das bitte gut zusammen, das kann er halt, weil das können ja sowieso diese

Dinger. Und diese ganzen Power, der irgendwie in so einem Large Language Model steckt, den kannst du auf einmal anwenden, auf deine persönlichen Daten und das ist. Ziemlich erstaunlich, was da passieren kann, ne? Wer Lust hat da n paar Versuche zu machen mit uns meldet euch gerne, ja. Wir freuen uns da über über Interesse und gemeinsam Dinge zu arbeiten. Dann würde ich sagen, vielen dank Burkhard Reg, AI Retrieval Augmented generative AI wie du

hast gelernt. Ein krasses Wort entschärft. Und ja, euch nochmal ein gutes Start ins neue Jahr. 2 Wochen geht es dann weiter, wieder mit einem Gast und für heute macht es. Gut ciao ciao, alles klar, bis dann Tschüss aus Hamburg. Einfach komplex wird produziert und präsentiert von Heisenware. Weitere Informationen findest du unterheisenwear.com. Vielen Dank fürs Hören dieser Folge und bis nächste Woche Tschüss aus Hamburg.