Herzlich willkommen zur nächsten Folge von Sophies Next AI Talk . Heute habe ich einen bekannten Gast dabei , fabio Duo von Peak Privacy . Er war vor ein paar Monaten bereits mein Gast , und weil er so viel zu erzählen hat , habe ich gedacht , ich lade ihn nochmal ein . Hallo , fabio .
Hallo Sophie , danke vielmals . Ich würde dich noch einmal im Podcast , freue mich sehr , da zu sein .
Sehr gut . Bevor wir starten und bevor du auf Hochdeutsch weitersprechen darfst alles gut möchte ich meinen Partnern danken . Das ist FIA und CREALOG , beide aus Deutschland , deshalb ist auch das Hochdeutsch sehr gut Und CMM360 aus der Schweiz . Vielen Dank , dass ihr mich so toll unterstützt , und wir haben uns letzte Woche sogar alle persönlich auf der CCW getroffen .
In Berlin war sehr toll , und jetzt geht's digital weiter , würde ich sagen . Ja , fabio , vielleicht kannst du dennoch für die , die dich noch nicht ganz so gut kennen , nochmal ganz kurz sagen , was eigentlich so deine Rolle bei Peak Privacy ist und was du da den ganzen Tag machst .
Genau ich so deine Rolle bei Peak Privacy ist und was du da den ganzen Tag machst , genau also , wir sind vor gut anderthalb Jahren mit Peak Privacy live gegangen , also einer alternativen Subjectivity und Co-Pilot , die wir voll in der Schweiz betreiben , und dort bin ich als technischer Head und auch aber als Kundenbegleiter eigentlich aktiv .
Also wir sind ein Team von 16 Leuten , wo da eigentlich unsere Kunden auf AI vorbereiten und dabei begleiten . Da beschäftige ich mich natürlich sehr häufig mit neuen Technologien , wo wir dann in unsere Co-Pililoten , in unsere Lösung dann integrieren , damit wir da auch immer zuvor dabei sein können mit der Open-Source-Welt .
Ja , was ich bei dir sehr spannend finde , ist , dass du nicht einer von denen bist , die einfach nur die Business-Seite kennen und sich darauf schauen , das Geld einzutreiben und die Software zu verkaufen , sondern du hast auch technisch ja ich würde jetzt mal salopp formulieren sehr viel drauf .
Das heißt , ich kann mich noch gut erinnern als DeepSeek rausgekommen ist oder als ich das erste Mal über DeepSeek gelesen habe , bin ich eigentlich direkt zu dir gegangen und habe gesagt Fabio , was hältst du von den Reasoning-Modellen , was hältst du von dem Thema DeepSeek ? Und das ist auch das Thema , worum es heute gehen soll .
Ich möchte mit dir das Thema Reasoning-Modelle ausgelöst wahrscheinlich durch Deep-Seq diskutieren , aber dann auch den Vergleich zu den anderen Modellen und was du da siehst . Jetzt kannst du vielleicht nochmal ganz einfach erklären . Zunächst mal wo ist der Unterschied zwischen einem Reasoning-Modell und DeepSeq und den klassischen GPT-Modellen ?
Dadurch , dass oft die Reasoning-Modelle teurer sind , hat man ja schnell mal das Gefühl , das ist bestimmt was Besseres . Ich muss das jetzt kaufen , weil dann bin ich noch besser dran .
Kannst du da mal ein bisschen Licht ins Dunkle bringen . Genau , also eben die Reasoning-Modelle , die haben mich in den letzten Zeiten auch in den Ferien stark beschäftigt , und das ist auch etwas , wo wir jetzt natürlich voll dran sind bei Peak Privacy .
Der Hauptunterschied ist eigentlich bei Reasoning-Modellen gibt es wie einen Schritt , der vorne dran geschaltet ist , also bevor eigentlich die echte Antwort generiert wird , und da wird eigentlich zuerst ein innerer Dialog geführt , also wie das ein Mensch machen würde .
Wenn ich da eine Frage bekomme , die ich beantworten soll , dann überlege ich mir ja zuerst auch okay , wie könnte ich die Frage beantworten ? Was gibt es da darüber zu wissen , was wären vielleicht die Informationen , die ich wissen sollte , und welche Richtungen könnte man das beantworten ?
Auch Fragen zum Beispiel zu möglichen Missverständnissen , fragen wie wie könnte ich das Gegenüber das alles verstehen ? Jetzt bei Reasoning-Modellen wird dieser Schritt explizit gemacht , also der erste Generationsschritt dort .
Da wird eigentlich so der innere Dialog generiert , ganz normal , wie man das auch bei normalen GPT-Modellen kennt , und dann in einem zweiten Schritt wird auf Basis von diesem inneren Dialog dann die Antwort für den User generiert . Darum geht das auch ein bisschen länger , meistens , weil es ein Zwei-Schritt-Verfahren ist .
Man könnte es auch so sehen , ein bisschen als Vergleich Zuerst wird eigentlich der Prompt vom User analysiert und ein guter Prompt daraus gemacht . Dieses Zweischrittverfahren führt dann eigentlich zu sehr viel besseren und vor allem auch tieferen Resultaten in vielen Fällen .
Das würde ich gerne nochmal mit dir diskutieren , nämlich du hast ja dann auch noch angehängt in vielen Fällen . Das würde ich gerne nochmal mit dir diskutieren , nämlich du hast ja dann auch noch angehängt in vielen Fällen .
Ich habe in letzter Zeit also das , was ich ganz häufig mache mit einem Chat-GPT , ist einfach sagen formuliere mir das freundlicher , schreibe aus diesen Stichpunkten einen Text , übersetze mir das ins Italienische , übersetze mir das ins einfache Italienische .
Diese das ins Italienische , übersetzen wir das ins einfache Italienische , diese ganz klassischen ich sage es mal so Textgenerierungssachen . Und da hatte ich oft das Gefühl , dass die Reasoning-Modelle sogar fast schlechter sind , als wenn ich das klassische Chat-GPT-4o zum Beispiel nutze . Ist das nur mein Gefühl , weil ich keine Lust habe , die Reasoning-Modelle zu unterstützen ?
in dem . Moment , oder woran liegt das ?
Also schon , die Stärke von Reasoning-Modellen ist natürlich bei komplexeren Fragestellungen .
Also , wenn man da eben noch etwas begründen muss , wo es einen internen Dialog braucht , wenn es wirklich darum geht , hey , mach mir da eine Schreibkorrektur , gib mir da diese Info , dann sind zum Teil halt die anderen Modelle genauso gut , dann gibt es natürlich auch bei den Reasoning-Modellen einen grossen Unterschied .
Also wie viele Parameter haben diese Modelle , also wie viel Wissen ist dort drin überhaupt gespeichert ? also beispielsweise kann natürlich ein viel grösseres Modell , wo natürlich viel mehr Wissen eigentlich drin hat , kann bei gewissen Fragestellungen natürlich viel bessere Antworten geben .
Sage ich jetzt mal , als ein reasoning-Modell natürlich auch schneller sein muss , weil es halt auch sehr viel mehr Tokens generieren muss in einer gewissen Zeit . Genau , es kommt ein bisschen auf die Fragestellungen drauf an .
Ich denke , es wird auch immer ein Rennen , und ich denke , es kommt schon auch darauf an , welches Reasoning-Modell man jetzt gerade am Verwenden ist , also beispielsweise Cloud 3.7 , wo gerade rausgekommen ist , ist jetzt ja auch eigentlich die Erweiterung von 3.5 mit Reasoning . Das wird aber nicht für jede Frage angewendet , sondern nur dort , was halt Sinn macht , okay .
Ich habe letztens einen Blogbeitrag veröffentlicht , und ich hätte mal gern dein Feedback dazu , und zwar habe ich das ganze Thema Prompten dort in drei Kategorien eingeteilt . Ich habe gesagt , es gibt zunächst das Conversational Prompting .
Das ist einfach eine Stunde lang mit Chat-GPT über Gott und die Welt unterhalten , und da würde ich dann sagen , das war ein klassisches Conversational-Prompting . Ich nutze das auch manchmal , wenn ich Italienisch lernen will , weil dann chatte ich auch mit Chat-GPT über ja , ich nenne es mal Gott und die Welt .
Dann gibt es , wie ich das definiert habe , das Agent-Prompting . Das ist das ganz klassische Prompting , was wir kennen , wo wir gelernt haben , chat-gbt oder all den anderen Modellen so viele Informationen wie möglich mitzugeben .
Also du bist jetzt der Gründer von Peak Privacy , dein Ziel ist , das Peak Privacy doppelt so schnell zu verkaufen , und so weiter und so fort . Und dann gibt es das dritte , das wäre das Reasoning , reasoning Prompting .
Das wäre eben vielleicht genau , wenn ich sage hier ist ein Datenblatt , werte mir das Blatt aus mit Hinblick auf Trends in dem Bereich der Generation Z . Habe ich das deiner Meinung nach so gut aufgeteilt , oder wie würdest du das nennen , das ganze Thema Prompting ? oder wo siehst du die unterschiedlichen Prom ?
Also , ich finde , die Kategorisierung , die macht eigentlich ziemlich viel Sinn . so , man könnte vielleicht sogar sagen , bei Reasoning-Modellen wird das Prompting-Tendenz hier natürlich immer weniger wichtig . Dort kann man auch sagen , wahrscheinlich kommt es mehr noch auf den Kontext drauf an . Also , wie viel Kontext kann ich da wirklich noch anhängen ?
Kontext kann ich da wirklich noch anhängen . Das hat ja dort auch einen riesen Sprung gegeben mit den riesigen Modellen bei diesen Research , deep Research Geschichten , also Perplexity , clones , klone , welche jetzt ja da auch von OpenAI jetzt angeboten werden und bald auch bei Peak Privacy kommt .
Also dort , wo man grosse Datenmengen hat , sachen in verschiedenen Schritten beleuchten muss , auch ein Problem unterschiedlich betrachten muss , dort können natürlich die Reasoning-Modelle und die entsprechenden Prompts natürlich viel bringen . Und ich glaube , die anderen zwei Kategorien sind natürlich absolut korrekt vom Prompt .
Dankeschön . Das sagt mein ganz ehemaliger Chef . Da bin ich aber doch stolz . Habe ich mal wieder was gut gemacht , würde ich sagen , war es beiseite . Jetzt habe ich eingehend schon gesagt , ausgelöst wurde das Ganze ja so ein bisschen durch DeepSeek , open Source , das ist datensicher , und das verbraucht ganz wenig Ressourcen .
Und dann sind wir alle auf deepseekcom gegangen und haben mit dem Tool gechattet und haben gedacht , wir sind im datensicheren Raum . Nein , sind wir ja nicht , weil dieses deepseekcom , was wir alle im Internet finden , das hat , wie ich immer sage , gar nichts mit Daten zu tun .
Vielleicht kannst du hier nochmal aus deiner Sicht das erklären , was das hat mit deepseq weniger Ressourcen , mehr Ressourcen , open Source , datensicher und so weiter .
Genau , also , das sind natürlich jetzt verschiedene spannende Aspekte .
Also hier hat DeepSeq tatsächlich eine kleine Revolution ausgelöst , indem sie wirklich das erste Modell veröffentlicht haben , das jetzt eigentlich in den letzten Monaten wieder Top of the Pops war , sozusagen also wirklich auf den Top-Listen , weil sonst sind das halt wirklich vor allem dann nur konventionelle Modelle , auf die man keinen Zugriff hat .
Hier hat also DeepSeq wirklich das Modell veröffentlicht , also alle Parameter , das waren dann so um die 600 Gigabyte , so ein Modell . Veröffentlicht , also alle Parameter , das waren dann so um die 600 Gigabyte , so ein Modell , also das riesige Modell , wo es auch brutal viele Ressourcen braucht , jetzt die PSIC R1 wirklich so in dieser Form zu betreiben .
Was sie aber gemacht haben , das hat viel auch zu den Ressourcen , zum Ressourcensparen beigetragen . Das hat weder OpenAI noch Anthropic geschafft .
Sie haben halt das ganze Modell eigentlich in verschiedene Bereiche aufgeteilt , so dass man für die Inference , also bei der Abfrage von einzelnen Fragen , bei der Generierung von Pokens , nicht über das gesamte Modell die Abfrage stellen muss , sondern nur auf einen kleinen Teil . Mistra macht das schon seit längerem .
Sie haben ihre Modelle in acht Teilbereiche aufgeteilt , jetzt bei EAPSYC R1 , da reden wir jetzt von 256 verschiedenen Bereichen .
Wie gross so ein Bereich ist , das beeinflusst dann die Geschwindigkeit der Abfragen , wie viel Hour man braucht , sehr stark , und so konnten sie eigentlich die Abfragegeschwindigkeit sehr stark erhöhen , obwohl sie eigentlich ein grosses Modell brauchen . Dann haben Sie noch etwas weiteres .
Darf ich ganz kurz fragen .
Klar ja .
Wer wählt denn diesen Bereich aus ? Also bestimmt nicht ich als Nutzer , der keine Ahnung hat , oder ?
Nein , das passiert automatisch im Hintergrund . Da gibt es eigentlich auch schon ein vorgelagertes im Hintergrund , da gibt es eigentlich auch schon ein vorgelagertes neues netzwerk , welches dann entscheidet auf welche Schiene gehen wir da ? welchen Bereich dieses Hirns eigentlich ? fragen wir jetzt spezifisch ab .
Das war eigentlich auch so eine große Revolution , dass jetzt das halt Open Source veröffentlicht wurde , eine Techn Revolution , dass jetzt das halt Open-Source-Veröffentlichung eine Technologie war , die jetzt auch andere verwenden können , um darauf eigentlich aufzubauen . Dann etwas anderes Cleveres , was sie gemacht haben sie haben sogenannte Distilled-Varianten angeboten .
Also sie haben dieses riesige Modell , das sie gebaut haben , verwendet , um künstliche Trainingsdaten zu generieren , mit welchen dann andere kleinere Modelle trainiert wurden .
Das heisst , in den meisten Fällen spricht man also nicht mit dem Ypsi-KR1 , also mit dem grossen Modell , sondern mit einem Modell , das 20 Mal kleiner ist und so halt sehr performant , sehr , sehr , sehr gute und konsistente Leistungen anbieten kann .
Weil man nimmt dort eigentlich man versucht dort eigentlich in diesem Fall alle Parameter und die ganzen Werte aus einem Modell rauszunehmen , die man eigentlich selten braucht oder die nicht gebraucht werden . Also man destilliert eigentlich das wichtige Wissen runter , und so kann man dann eigentlich sehr schnell jetzt sehr gute Antworten liefern . Jetzt ist das natürlich so .
Also , wenn ich auf tipsiccom oder so heisst es , glaube ich dort damit arbeite , dann ist das natürlich das Null-Daten-Schutz gewährleistet . Das geht direkt nach China , die Daten sind weg , die Daten werden verwendet Für das Training . Das würde ich wirklich allen abraten , das so zu verwenden .
Aber was man jetzt die Möglichkeit hat , ist , dieses Open-Source-Modell runterzuladen und selber zu betreiben .
Wir machen das beispielsweise jetzt bei Peak Privacy , wo wir auch dieses Open-Source-Modell DeepSeq R1 genommen haben , und wir betreiben jetzt das für einen Teil von unseren Kunden , und sie können so eigentlich dann komplett im datenschutzsicheren Raum mit die Psyk interagieren , weil wir das selber hosten und selber anbieten .
Das ist ein großer Unterschied dann eben zu den API-basierten Modellen .
Sehr gut , dass du das gleich mit aufgegriffen hast . Jetzt nächste Frage dazu Du sagst das immer so einfach . das kann man sich dann runterladen , dann kann man das nutzen auf den eigenen Servern . Jaja , also , ich glaube , es kann schon nur die , die so ein bisschen Ahnung von Programmieren haben , von Entwickeln .
die breite Masse nutzt noch deepseekcom oder nimmt eure Möglichkeit , oder wie muss ich mir das vorstellen ? Oder ist das wirklich so ? ich lade mir das runter wie klassisches White Paper , und dann kann ich es nutzen ?
Da hast du natürlich absolut recht . In der Formulierung stimmt das natürlich nicht . Also , es ist , man braucht da schon auch die nötige Hardware . Also jetzt auch für die kleinste Version , da investiert man sicher mehr als 5.000 Franken für einen Computer , und dann hat man aber ein Modell . Das kann man nicht so schnell betreiben .
Da spricht man dann schnell von sechsstelligen Beträgen , die da nur schon für die Hardware investiert werden muss , damit man das betreiben kann , Und es braucht sehr viel technisches Wissen , das zu starten auch im produktiven Betrieb . Aber es ist kann , Uns braucht das sehr viel technisches Wissen , das zu starten also auch im produktiven Betrieb .
Aber es ist halt theoretisch möglich , und diese Theorie , die macht es dann aus , also auch , weil die anderen Modelle , das kostet halt Hunderte von Millionen , um diese zu betreiben , und so wird es halt auch für kleine Firmen wie uns dann möglich , da eigentlich auf Weltniveau sage ich jetzt mal LLMs unseren Kunden anzubieten .
Das heißt , höre ich daraus , wenn wir von Reasoning-Modellen sprechen , dann ist DeepSig dein aktueller Favorit , oder wie würdest du das einschätzen ?
Das kommt wirklich auf den Anwendungsfall drauf an . Also ich benutze sehr gerne DeepSeq , das gibt mir in den meisten Fällen auch sehr rasch die besten Antworten . Ich habe da aber auch meine anderen Favoriten , teilweise für andere Aufgabenstellungen .
Also jetzt das neue Cloud 3.7 , das verwende ich sehr gerne jetzt zum Programmieren , und seit ein paar Tagen arbeite ich jetzt mit dem OpenAI 4.5 Modell , wo ich gerade zum Textschreiben sehr gut gefällt , weil es doch jetzt fast ein bisschen emotionaler noch schreibt , genau als andere Modelle , aber das wechselt immer ein bisschen .
Aber eigentlich mein Kult-Modell im Moment , das ist schon die Psyche .
Okay , letzte Frage von meiner Seite aus . Das kommt nämlich dann auch ganz häufig bei den Zuhörern Wie schaffe ich das denn jetzt da , mich auf dem Laufenden zu halten ? Du hast schon gerade gesagt , ja , das wechselt immer ein bisschen .
Soll ich jetzt täglich aufstehen und alle fünf Modelle durchtesten Es sind ja nicht nur fünf Und dann entscheiden heute ist DeepSig mein bester Freund , nee , heute doch nicht . Oder kann ich auch einfach mal sagen ich entscheide mich jetzt für ein Modell und chatte mit dem , als das halt ?
Genau . Also ich würde sagen , so im letzten Jahr haben sich die Modelle eigentlich immer mehr angeglichen , oder Also der Grenznutzen oder der Grenzgewinn , der neue Wert , wo eigentlich dazu die neuen Modelle haben , das wird immer geringer , oder Das geht immer länger , bis man da wieder einen riesen Sprung hat .
Das jetzt auch bei DeepSeq , oder Das war ja nicht so , dass es jetzt so viel besser war als die bisherigen Modelle . Aber auf das erste so gute Modell , das wirklich Open-Source war und meistens ist . Tatsächlich kann man viel mehr rausholen mit den richtigen Prompts und mit dem richtigen Kontext oder halt eben Agentennetzwerken .
Es bringt eigentlich viel mehr , dort die Zeit zu investieren , und sonst , um auf dem Laufenden zu bleiben , muss man halt wirklich einfach den Podcast von Sophie abonniert haben . Dann ist man immer gut , würde ich sagen , ist man immer gut informiert .
Oh , perfekt , das haben wir nicht abgesprochen , aber ich glaube , das ist das beste Ende , was wir lange Zeit hatten . Also , nein , wir haben eigentlich immer ein cooles Ende , aber dennoch , ich danke dir vielmals , fabio .
ich würde echt sagen , wir sind mit der Zeit ein bisschen am Ende , und ich kann mir vorstellen , dass gerade bei den Zuhörern , die nicht so technisch tief drin sind , jetzt langsam der Kopf raucht , und ich würde sagen also vielen , vielen Dank für deine Insights . Es ist immer wieder spannend , dich zu hören , und das war sicherlich nicht das allerletzte Mal .
Für die , die sogar das Video von diesem Podcast anschauen nein , es ist keine KI . Ich bin heute wirklich mal draußen auf dem Boot . Ich habe gedacht , ich versuche das mal und ja , feedback willkommen , wie es funktioniert hat . Auf jeden Fall . vielen , vielen Dank , fabio , danke an eure Zuhörer und danke natürlich an meine Partner CMM360 , crealog und FIA .
Und , fabio , wenn du noch einen letzten Abschluss sagen möchtest , dann gebe ich dir gerne das allerletzte Wort .
Super . Danke vielmals . Mir hat es Spaß gemacht , wie immer , und bin gerne wieder dabei . Bei Fragen kann man sich jederzeit an mich melden , auch in den Kommentaren , und ich wünsche dir noch einen sonnigen Tag , sophie .
Dankeschön , macht's gut Tschüss .