Herzlich willkommen zur nächsten Folge von Sophies AI Talk . Heute geht es um ein KI-Produkt . Wer die letzte Folge gehört hat , der hat ja verstanden , was vielleicht ein KI-Produkt ist oder auch nicht , oder wo man vor allen Dingen rechtlich drauf achten muss .
Und heute geht es nicht unbedingt nur darum , sondern es geht vor allen Dingen darum , wie künstliche Intelligenz in der Patentrecherche genutzt werden kann , was da die Vorteile von Large Language Models sind . Dazu habe ich den Lennart dabei , Lennart aus meiner Heimatstadt Braunschweig .
Bevor du dich gleich selber vorstellen darfst , möchte ich noch kurz meinen Podcast-Partnern danken . Das ist CreaLog4 und CMM360 . Vielen Dank , dass ihr diesen Podcast so toll unterstützt und immer mit dabei seid .
Und Lennart natürlich auch dir danke , dass du dir jetzt die nächsten 20 bis 30 Minuten Zeit nimmst , Und vielleicht magst du mal kurz sagen , was du eigentlich den ganzen Tag so machst und was das Ganze mit Patienten zu tun hat .
Ja , vielen Dank auf jeden Fall für die Möglichkeit , heute mit dir zu sprechen und auch in diesem Podcast was beizutragen .
Und im Grunde genommen dreht sich mein ganzer Alltag darum , das Wissen , was in Patenten und Wissenschaftspublikationen schlummert , der Welt verfügbar zu machen , und da gibt es ganz viele Ansätze , die in der Vergangenheit schon probiert worden sind , und insbesondere aber mit künstlicher Intelligenz und Large-Language-Modellen ist es um ein Vielfaches einfacher geworden , sich an
diese Brocken von Informationen , die in den Patenten schlummern , heranzutasten und die verfügbar zu machen , um sie in Einsatz zu bringen für Technologieunternehmen , für Deep-Tech-Startups , und sozusagen die Innovationsgeschwindigkeit in diesen Unternehmen zu erhöhen .
Okay , das klingt jetzt für manche vielleicht noch ein bisschen abstrakt . Vielleicht kannst du mal ein sehr konkretes Beispiel geben , woran du gerade arbeitest oder was so euer Hauptfokus oder ein klassischer Anwendungsfall ist , wenn man euch nutzen würde .
Ja , klassische Anwendungsfälle sind , beispielsweise , wenn es darum geht , jemand hat im Unternehmen eine Idee , eine Erfindung womöglich gemacht , und zu prüfen , ob diese Erfindung überhaupt neu ist , also die Neuheit einer Idee , einer Innovation zu bewerten , und dafür braucht man das bislang existierende Wissen weltweit aus Patenten und Wissenschaft , um zu schauen , inwiefern so
eine Idee wirklich Neuheit hat und sich über den aktuellen Stand der Technik abhebt . Und das ist ein regelmäßiges Szenario in Unternehmen , wo Forschung und Entwicklung stattfindet . Da kommen immer wieder schlaue Köpfe auf Ideen .
Aber es ist doch erstaunlich , wie viele Sachen in der Welt schon erfunden worden sind , ohne dass die Akteure voneinander wussten und immer gedacht haben ja , die Sache muss doch eigentlich neu sein . Aber ich würde fast sagen , sagen , in 50 Prozent der Fälle kommt raus , dass bestimmte Sachen in dieser Art und Weise schon mal gedacht und erfunden worden sind .
Und mit diesem Input jedoch der muss nicht dazu führen , dass man dann die Idee verwirft kann man aber als Erfinderin , erfinder natürlich weiterarbeiten und seine Idee weiter ausführen und präzisieren .
Und da unterstützen wir beispielsweise eben in der ersten Einschätzung für die Neuheit einer Idee , um dann aber auch mit den Ergebnissen Hinweise zu geben , in welche Richtung man sich noch weiter bewegen kann , um wirklich eine neue Sache , eine neue Innovation zu erzeugen .
Hält mir gerade interessanterweise mein Call von gerade eben ein , und zwar viele von euch wissen es ja , ich forsche an der Hochschule Luzern , und wenn wir innovative Ideen haben , dann müssen wir immer Förder oder dann versuchen wir immer , fördergelder zu beantragen für unsere innovative Idee .
Und natürlich findet jeder seine Idee innovativ , und es geht dann immer darum , den Unternehmen oder den Stiftungen , wo wir Gelder beantragen wollen , auch unsere Innovationen darzulegen .
Ja , da könnte ich das , glaube ich , mal ganz gut gebrauchen , vor allen Dingen auch , was du gerade angesprochen hast , mir dann einfach einen Tipp zu geben wie kann ich denn innovativ gestalten oder eben neuartig ? Jetzt hast du , glaube ich , die Idee eigentlich schon deutlich vor Chatschipiti , wenn ich das richtig weiß , oder ?
Das ist richtig . Diese Idee bewegen mein Mitgründer Hardy und mich seit 2016 . Wir haben also damals selber als Wissenschaftler vom Deutschen Zentrum für Luft und Raumfahrt auch immer wieder diese Herausforderung gehabt , natürlich den Stand der Technik in verschiedenen Technologiefeldern zu kennen Und witzig , dass du das sagst .
Aber insbesondere auch für das Erzeugen von Anträgen , für Drittmittelanträge im Wissenschaftsbetrieb war auch immer wieder Stand der Technikrecherche notwendig , und das hat immer sehr viel Zeit gekostet , denn diese Dokumente , patente und Wissenschaftspublikationen liegen sehr verteilt weltweit in verschiedenen Datenbanken , und jede Datenbank musste irgendwie besonders durchsucht werden mit
Schlagworten , und das war super zeitintensiv und fehleranfällig . Ja Moment , lass uns doch den Computer nutzen und dem Computer irgendwie beibringen , wie wir als Menschen in diesen Datenbanken recherchieren , um sich sozusagen die Arbeit zu erleichtern , zeit zu ersparen und auch die Fehleranfälligkeit zu reduzieren .
Und da haben wir angefangen mit ganz einfachen Machine Learning Methoden am Anfang noch und haben das Stück für Stück weiterentwickelt . Und letzten Endes kann man sagen , dass die Transformer-Technologie , maschinen-learning-methoden am Anfang noch und haben das Stück für Stück weiterentwickelt .
Und letzten Endes kann man sagen , dass die Transformer-Technologie , die sich etwa 2017 etabliert hat mit dem Paper Attention is all you need , und das war tatsächlich dann technologisch der Durchbruch , der dazu geführt hat , dass neuronale Netze eingesetzt werden können , denn es war dann mit dem Attention Mechanismus möglich , auch kontextbasiert und context aware Dinge zu
recherchieren , und das war vorher mit Schlagwurken oder mit Back of Words Ansätzen so nicht möglich .
Das heißt , würdest du sagen , du hattest die Idee eigentlich ein bisschen vor der technologischen Lösung .
Ja , in der Tat .
Also , wir hatten immer wieder das Problem und haben nach einem Wegen gesucht , das zu verbessern , und sind tatsächlich über Dinge auszuprobieren , schnell auszuprobieren , zu programmieren , auch dann dahin gekommen zu sagen okay , wir brauchen diese Technologie und diese Technologie , und wenn man die miteinander bringt , dann kann man da ein Produkt ausstricken , was tatsächlich
wertvoll und hilfreich ist , indem es nicht nur Zeit einspart , sondern auch Dinge findet , die man sonst klassischerweise nicht auf dem Schirm hat , also in anderen Domänen , die nicht die eigene Expertendomäne ist .
Denn es gibt ganz viele Ideen , prozesse , produkte , die in anderen Domänen schon beschrieben und erfunden worden sind , die man aber gar nicht auf dem Schirm hat , weil die Menge an Informationen einfach auch in einer gewissen Zeit gar nicht so zu erfassen ist und dafür zwangsläufig Algorithmen , computer , moderne Technologien eingesetzt werden müssen , um überhaupt in der
Geschwindigkeit , in der global Innovation vorangeht , mitschritt zu halten und auch die Übersicht zu bewahren .
Okay , jetzt könnte ich aber doch heutzutage auch sagen hey , ich nutze einfach ChatGPT , das wird mir schon was geben . Was ist da der Unterschied ? oder vor allen Dingen eigentlich Chat-GPT ist doch auch ein Large-Language-Model .
Generative AI . Wo unterscheiden sich da die Themen noch ? Ja , also , grundsätzlich brauche ich ein Modell , was trainiert ist darauf , die Sprache , die in Patenten und in Wissenschaftspublikationen verwendet wird , zu verstehen und auch interpretieren zu können .
Klassischerweise ist ja Chat-GBT im Grunde genommen am Durchschnitt des Internets trainiert , und das zu lösen , war natürlich auch eine riesige Aufgabe , und es ist immer wieder erstaunlich , was mit Large-Language-Modellen möglich ist Für diesen spezifischen Anwendungsfall Patent und Wissenschaftsrecherche .
An dieser Stelle ist es aber notwendig , dass die Besonderheiten der Sprache , die in Patenten und Wissenschaft verwendet wird , mitzunehmen , und deswegen ist es notwendig , da spezialisierte Modelle zu trainieren , und ChatGPT ist im Grunde genommen ich vergleiche das gerne so mit dem Wissensstand vom Schulabschluss , aber auch da , wenn man das in die reale Welt oder in die
analoge Welt überträgt Nach dem Schulabschluss kommen ja auch für Patentanwälte erst mal ein langjähriges Studium für Ingenieurwissenschaften oder Naturwissenschaften und dann nochmal eine Weiterbildung für die Besonderheiten der Patentwelt und der Patentsprache hinzu .
Das heißt , auch da ist nochmal ein ganzer langer Aspekt von Ausbildung mit dabei , und das ist das , was wir mit dem spezialisierten Modell , mit dem Trainieren spezialisierter Modelle auf die Gegebenheiten und die Besonderheiten von Patenten und Wissenschaft realisieren tatsächlich diese Feinheiten dann auch mitgreifbar zu machen .
Denn das ist ganz entscheidend , weil die Aussagegüte , die aus den Modellen rauskommt , muss enorm hoch sein . Es gibt ungefähr 270 Millionen relevante Dokumente aus Patenten und Wissenschaft , die , sagen wir , 1% ist .
Dann kann durchaus passieren , dass das relevante Paper nicht unter den ersten 1000 Treffern ist oder das relevante Patent nicht unter den ersten 2000 Patentergebnissen liegt . 2.000 Patentergebnissen liegt . Niemand hat die Zeit , sich durch die ersten 2.000 Ergebnisse zu scrollen und zu lesen .
Im Grunde genommen muss das auf Platz 1 bis 20 positioniert sein , damit die Menschen , die damit arbeiten , das auch als wertvolles Werkzeug begreifen . Das setzt ein Höchstmaß an Genauigkeit voraus , um es am Ende auch zu einem funktionierenden Werkzeug zu machen , was das Wertversprechen hält .
Okay , das heißt , du würdest sagen , für mich einfach übersetzt einfach nur , dass ich lesen kann , bedeutet nicht , dass ich auch Patentrecherche kann . Also ich kenne das vielleicht von Anwaltstexten . Ich würde sagen , ich kann ganz gut lesen , aber so manche rechtliche Texte verstehe ich dann doch nicht , Und dafür braucht es eben das spezielle Feintuning , richtig ?
Genau In einfachen Worten ausgedrückt , trifft es das sehr gut .
Okay , jetzt gehen wir mal einen Schritt weiter . Du hast ja gesagt , ihr passt das jetzt auf Patente an .
Jetzt gibt es vielleicht einen Zuhörer , der sagt okay , ich bin aber ganz aktiv in der Medizindomäne , und ich möchte da vielleicht irgendwie Ja ein LLM machen , was sich speziell mit medizinischen Krankheiten auskennt da ist vielleicht auch was anderes oder mit Symptomen . Sagen wir mal , wie geht man denn vor , wenn man so ein LLM für sich feintunet oder trainiert ?
Ja , in der Tat ist das auch dieser Medizinbereich ein sehr spannender , und wenn es um die Anwendungsfälle geht , die du gerade beschrieben hast , ist tatsächlich ein Feintuning für diesen speziellen Bereich wichtig und entscheidend .
Und das Vorgehen ist im Grunde genommen so , dass Punkt 1 , es startet immer mit dem Trainingsdatensatz , also der muss repräsentativ sein , der muss eine ausreichende Größe haben , und der muss vor allen Dingen für ein KI-Training qualitätsmäßig so aufbereitet sein , dass es wirklich ein sehr , sehr hohes Maß an Genauigkeit , aber eben auch an Qualität der Trainingsdaten hat .
Das ist enorm wichtig . Das heißt also , wir kennen ja alle die Analogie von Shit in , shit out Wenn meine Trainingsdaten schlechte Qualität haben , dann werde ich niemals ein qualitativ hochwertiges Modell trainieren können .
Das heißt also , das ist enorm wichtig , und es beginnt mit der Auswahl des Trainingsdatensatzes , Und der zweite Schritt ist dann natürlich , das Training durchzuführen . Da bedarf es insbesondere auch einer geeigneten , dem man geeigneten Zugang zu Hardware . Wir realisieren das hier auf unseren eigenen Servern mit unserer eigenen Hardware und haben die Prozesse im Griff .
Und wenn das Modell trainiert ist , tatsächlich , dann muss natürlich das Ergebnis irgendwie verifiziert werden . Das heißt , ich brauche ein Qualitätsmaß , an dem ich ablesen kann , ob das Modell ausreichend gut trainiert ist , vorher überlegt hat , und die Verifikation sollte dann auch möglichst nah an einem Anwendungsbeispiel liegen .
Also , es gibt oftmals so mathematische Metriken , die man einsetzen kann , aber die täuschen eigentlich darüber hinweg über die Leistungsfähigkeit des Modells , denn ich kann natürlich ein Modell sehr nah an irgendeine mathematische Metrik heranführen .
Entscheidender vielmehr ist aber doch , für den Einsatz und für das Einsatzgebiet ein reales Beispiel , einen realen Benchmark zu finden , der dann auch später das Nutzungsszenario widerspiegelt , und das ist ganz entscheidend . In der Patentwelt ist es schwierig , so ein reales Benchmark-Modell , da gibt es kein etabliertes . Da haben wir uns selber was überlegt .
Und für den angesprochenen Bereich der Medizin , da bin ich jetzt nicht direkt firmendrin , aber ich denke , es sollte auch da ein gewissen Benchmark geben , der sozusagen dann das realektionsweise des neuronalen Netzes und über die reale , also eine Metrik , die der realen Anwendung später möglichst nahe kommt . Das ist aus meiner Sicht entscheidend .
Das sind die drei Bestandteile für das Training , für das Feintuning , das heißt also , einen guten , qualitativ sehr hochwertigen Datensatz fürs Training , datensatz fürs Training , das Training selber durchzuführen und die Trainingsgüte anhand einer an der realen , späteren Anwendung angelehnten Metrik sich anzuschauen , um auch zu überlegen ja , wie weit möchte ich denn das Modell
noch trainieren ? Trainingskosten sind immer noch sehr hoch , und im Grunde genommen ist wichtig , ja auch dann den Punkt zu treffen , wo man das Training beendet Und an der Stelle dann vielleicht auch Ressourcen spart , die gegebenenfalls knapp sind .
Jetzt hast du eigentlich einen guten Punkt angesprochen . Und das , was ich auch noch fragen wollte du sagst Training beendet . Ich würde sagen , Training erst mal anfangen . Klingt ja so ein bisschen charmant . Jeder hat sein eigenes Large-Language-Model , Würde ich mir auch zu Hause hinstellen .
Aber man muss ja sicherlich auch so ein bisschen abwägen ist das jetzt nötig , dass ich jetzt auch noch mein eigenes Large-Language-Model habe , Oder kann ich eben das von ChatGBT nutzen ? Kann ich , wenn ich jetzt eben ein Patent suchen will , euch nutzen ? kann ich , wenn ich jetzt eben Patent suchen will , euch nutzen ?
Gibt es da irgendwie so eine Faustregel , ab wann oder wie viel Anfragen oder wie viel Spezifität sich ein eigenes Slash-Language-Modell lohnt ?
Also , tatsächlich ist mein Eindruck , dass es sich im Moment lohnt oder nicht lohnt , eine eigene Sache zu trainieren oder ein eigenes Netz zu trainieren , wenn man wirklich in dem Bereich unterwegs ist , der Ja , also umgangssprachliche ja , oder wo man das Modell mit umgangssprachlichen in umgangssprachlichen Situationen nutzt .
Also , sobald es irgendwie ganz spezifisch wird , also wirklich medizinspezifisch , patentspezifisch , physikspezifisch , also wo man wirklich in so eine spezifische Domäne hineingeht und die Anforderungen der Qualität sehr hoch sind , die bei den generierten Texten , bei der Vorhersagegüte , bei der Qualität des neuronalen Netzes wichtig sind , dann muss ein oder sollte man wirklich sehr ,
sehr ernsthaft erwägen , ein eigenes neuronales Netz zu trainieren .
Und letzten Endes mit Blick auf ein Geschäftsmodell ist es natürlich auch wichtig , dass das ja die Art und Weise , wie man das eigene neuronale Netz für das eigene Produkt , was man vertreiben möchte , trainiert und in Händen hat , dass man tatsächlich die Hoheit hat darüber , wie das Netz trainiert wird und wie die Qualitätsmetrik am Ende ist .
Denn im Grunde genommen kann man immer anfangen , existierende Modelle in seine Minimum Viable Products einzubauen , aber es kommt irgendwann der Punkt beispielsweise , wo ein Chat-GPT-Modell nicht mehr zur Verfügung steht . Was mache ich dann ? Und es ist auch nicht immer klar , ob das aufwärts oder abwärts kompatibel ist .
Letzten Endes mache ich also , um das aus einem Business-Kontext heraus zu betrachten . wenn ich existierende Modelle einbinde , ist das immer ein guter erster Schritt .
Aber wenn ich tatsächlich mein eigenes Business- , businessmodell darauf aufbauen will , habe ich hier eine enorme Abhängigkeit , und es ist aus meiner Sicht auch nicht ganz klar , ob das mit den Kosten in Zukunft weiter so bleibt .
Sam Altman hat kürzlich auch geschrieben , dass sie eigentlich draufzahlen , weil OpenAI mehr genutzt wird , als sie ursprünglich erwartet haben in ihren Bezahlmodellen .
Und ja , also , wenn man ein eigenes Business aufbauen will , dann ist aus meiner Sicht die Entscheidung , relativ schnell da eigenes neuronales Netz zu trainieren , das selber in der Hand zu haben und damit auch eben eine solide Basis zu haben , um das eigene Geschäftsmodell voranzutreiben .
Okay , also das hat mir , glaube ich , ganz gut geholfen hinsichtlich eigenes Geschäftsmodell . Mein Geschäftsmodell bin ja immer noch ich selber , und ich nutze einfach diese Tools zur Unterstützung . Das klang jetzt ein bisschen komisch , aber ich glaube , ihr wisst , was gemeint ist . Von dem her danke für die Ausführungen .
Ich glaube , ich habe erstmal so für mich die wichtigsten Fragen geklärt . Für die Zuhörer kann ich das jetzt nicht direkt sagen , weil die dürfen sich natürlich oder hoffentlich auch noch bei dir melden . Ich würde dir gleich gerne noch das letzte Wort dieser Folge übergeben oder überlassen , möchte mich aber zunächst auf jeden Fall noch bei meinen Partnern bedanken .
Das sind Crealog AG und FIA und CMM 360 . Und ich fand es mega interessant , mit dir zu reden . Ich habe mich auch sehr gefreut , dass ich mal einen KI-Experten aus meiner Heimatstadt Braunschweig dabei habe . Das ist doch auch immer mal schön zu sehen , was dort alles abgeht .
Ich durfte sogar bei den Jungs über Weihnachten beziehungsweise kurz vor Weihnachten mal im Büro sein . Das ist wirklich so , wie man sich das vorstellt . Neben den KI-Experimenten gibt es ganz viele Pflanzenexperimente , würde ich sagen , und eine gute Kaffeemaschine . Also , von dem her danke nochmal dafür . Und ja , möchtest du noch was hinzufügen ?
Auf jeden Fall herzlichen Dank für die Einladung zum heutigen Podcast . Es hat sehr viel Spaß gemacht , die Welt der Patent und Wissenschaftsrecherche KI-basiert ein Stück weit zu beleuchten und so zu schauen was sind eigentlich die entscheidenden Dinge , die man braucht , um sowas zu realisieren , und ganz gerne natürlich auch der Hinweis .
Dinge zum Ausprobieren sind auf unserer Website verfügbar . Quintelyde ist der zentrale Spot , um auf die ganzen Sachen Zugriff zu haben . Also schaut gerne vorbei , probiert es aus , aus . Es gibt auch eine freie variante unserer patentrecherche , und wenn das gefällt , dann kommt gerne mit mir in austausch , bin auch auf linkedin ziemlich aktiv .
Das ist eigentlich ein zentraler anlaufstelle , und ja , also , wir treiben unsere pflanzen , experimente weiter voran , und die kaffeemaschine hat heute früh auch schon ordentlich ihren dienst getan . Sei ganz herzlich wieder eingeladen , wenn du ein braunschweig bis vorbeizukommen , und dann sehen wir , wie die reise weitergeht perfekt .
Ich danke dir und genau wünsche jetzt noch einen tollen tag und allen anderen natürlich auch danke .