Sophie Hundertmark: [00:00:00] Herzlich willkommen zu einer weiteren Podcast-Folge von Sophies Next AI Talk. Ich freue mich sehr, dass ich heute Marcel Rassinger, den CIO der Computec-Gruppe als Gast dabei haben darf und bin jetzt schon sehr gespannt, was Sie alles schon mit Generative AI machen Im Unternehmen machen, wie das eingeführt worden ist, welche Rolle die IT dabei gespielt hat und natürlich auch, wo es hingehen wird.
Bevor wir darüber sprechen, möchte ich mich bei meinen Partnern bedanken, Corporate Software, CMM 360 und Code Creative. Dann bedanke ich mich natürlich wie immer bei allen Zuhörern, dass ihr immer so fleißig mir zuhört, egal wo ihr gerade seid. Und bedanke mich natürlich auch bei dem Marcel, dass er sich jetzt die Zeit nimmt und uns vor allen Dingen ein paar Insights gibt.
Hallo Marcel, schön, dass du da bist.
Marcel Rassinger: Hallo Sophie, vielen Dank dass du mich eingeladen hast.
Sophie Hundertmark: Ja, sehr gerne. Vielleicht kannst du ganz zum [00:01:00] Anfang dich mal kurz vorstellen und sagen, was du eigentlich den ganzen lieben langen Arbeitstag so machst.
Marcel Rassinger: Ja, das ist eine gute Frage, die ich mir manchmal auch selber stelle.
Vielleicht kurz zu meiner Historie. Ich bin gelernter Physiker, wie viele Physiker in der IT gelandet vor langer Zeit. Habe dann dort eine nicht untypische Karriere gemacht, Softwareentwickler, Projektmanager, war dann CTO einer kleinen Softwarefirma und bin dann vor circa zehn Jahren bei Trag gelandet und dachte mir, E-Commerce ist etwas Spannendes, da kann man sehr viele verschiedene Dinge machen.
Und zumindest mit der Spannung hatte ich recht und oft auch mit den verschiedenen Dingen. Und über die letzten Jahre haben wir dann immer versucht, am Puls der Zeit zu bleiben, wo es unsere Mittel erlaubt haben. Und so sind wir dann vor ein paar Jahren schlussendlich auch über Geniai gestolpert.
Sophie Hundertmark: Also vor ein paar Jahren, [00:02:00] sagst du schon, weil viele sind da vor ein, anderthalb Jahren drüber gestolpert.
Das heißt, ihr macht das schon länger?
Marcel Rassinger: Wir machen das jetzt schon über drei Jahre. Ich würde auch gerne sagen, das war weise Voraussicht, kluge strategische Planung. De facto war es auch eine Mischung aus Zufall und Glück. Wir haben zwar damals schon Jenny Eif verfolgt Aber um ehrlich zu sein, wir haben eigentlich nicht genau verstanden wofür es gut ist.
Wir dachten, es ist mehr Spielerei. Und im Frühling 2021 kam dann Sven Koller auf uns zu, der hat eine Firma die heißt Aramis, mit der Idee, unsere Produktdaten zu generieren Wir waren damals ziemlich skeptisch, weil wir hohe Ansprüche an unsere Produktarten hatten und haben, aber auch neugierig und haben es dann [00:03:00] mal probiert.
Und auf dieser Reise haben wir dann viel gelernt, viele Dinge die wir auch nie lernen wollten. Aber am Ende des Tages hat es dann wirklich funktioniert und wir generieren heute einige der Produkttexte Wirklich vollautomatisch oder semi-automatisch weil was wir auch gelernt haben ist, wie subtil Fehler sein können, denn solche Large-Language-Models machen, ob es ein Beispiel ist, wir haben zum Beispiel über Produkte...
Stopp,
Sophie Hundertmark: stopp, stopp ich glaube, wir sind noch schon zu weit, ich glaube, wir gehen noch mal Step-by-Step durch, alles gut, fangen wir doch noch mal an, du sagst ja, am Anfang seid ihr so, warst so ein bisschen zufällig drauf gekommen und konntest es eigentlich ja selber noch gar nicht ganz fassen, wie kommt man denn zufällig auf Genitive AI, vielleicht kannst du dazu erstmal noch kurz zwei, drei Sätze sagen.
Marcel Rassinger: Ja, [00:04:00] das hat ein bisschen mit meinem Werdegang zu tun. Ich beschäftige neuronale Netze seit 30 Jahren schon im Studium und die Faszination habe ich nie losgelassen war aber oft gepaart mit ganz viel Frustration, weil die Versprechungen zu hoch waren. Und im Zuge dessen Habe ich dann halt auch mitgekriegt wie sich die neuronalen Netze die letzten zehn Jahre entwickeln, dann auch welche Auswirkungen das Transformer-Modell hatte.
Ich glaube, das war 2017 und mit welchen fast religiösen Glauben dann OpenAI versucht hat das Modell zu nutzen und Texte vorherzusagen. Das war zumindest damals kein großes Geheimnis, dass man ganze Geschichten damit erfinden konnte. Aber wie gesagt, uns war nicht klar, [00:05:00] wie wir in unserem Alltag ein Tool nutzen können, das Geschichten erfindet
Sophie Hundertmark: Ja, sehr interessant, wie du das gesagt hast, ein Tool nutzen können, was Geschichten erfindet.
Okay, also ja, ich habe schon beim letzten Gespräch gemerkt, du bist jemand, der sich wirklich schon lange damit beschäftigt und der da wahrscheinlich deutlich tieferes Wissen hat als einige andere von uns. Jetzt sagtest du, okay, ihr habt es einmal so ja, irgendwie schon im Blick gehabt, aber dennoch nicht so wirklich weiter.
Und dann kam irgendwie ein Unternehmen auf euch zu, was gesagt hat, hey, wir wollen damit zusammenarbeiten Produktexte generieren. Die sind direkt zu dir gekommen, die sind zu deinem Team gekommen. Was war dann so die erste Reaktion?
Marcel Rassinger: Eigentlich sind sie gelandet im Marketing. Ich denke bei vielen Unternehmen ist das auch ein guter Ausgangspunkt.
Bei uns allerdings, eben durch meine Geschichte begründet, waren wir eher die Treiber von Machine Learning. [00:06:00] Und da gibt es ja viel mehr Dinge, nicht nur Chennai, das wissen wir manchmal. So wurden sie an mich verwiesen und dann gab es erste Gespräche mit Sven Koller. Und aus den Gesprächen gab es dann zumindest die begründete Hoffnung, dass diese Tools nicht nur Geschichten erfinden können, sondern auch wirklich was Nützliches machen.
Wie zum Beispiel Produkttexte zu generieren, basierend auf Produkten.
Sophie Hundertmark: Okay, und... Wie ist es dann im Unternehmen weitergegangen? Also musstest du dann erst noch so Anfänger dafür oder Anhänger dafür finden? Ich erlebe das häufig dass erstmal eine große Angst ist, weil wir sehen was Generative AI zum Teil auch erfinden kann.
Ich habe auch letztens mal so Also falsche und fehlende Amazon-Produktbeschreibung gefunden, wo ich mir ganz sicher bin, da ist Chat-GPT irgendwie ein bisschen sehr fantasievoll gewesen und die andere Person hat das überhaupt nicht geprüft und einfach zu Amazon online gestellt. Wie ging das bei euch weiter?
Konntet ihr einfach [00:07:00] direkt mit dem POC starten? Musstet ihr hinsichtlich Datenschutz Sachen abklären Wie ging es weiter?
Marcel Rassinger: Also von all den Problemen die man heute schon kennt, wie eben Halluzinieren, hatten wir damals noch gar keine Ahnung. Und diese Naivität hat uns geholfen das Projekt zu starten Heute wären wir vielleicht vorsichtiger gewesen. Privacy-Themen hatten wir nicht, weil Produktdaten sowieso öffentlich zur Verfügung standen nur halt nicht in der Qualität und in der Form, wie wir sie gerne hatten.
Und die Ängste... Mit denen wir dann später schon zu kämpfen hatten, gab es auch noch nicht, weil für die meisten war das so neu und fremd. Es war zu fremd um Ängste auszulösen. Und darum mussten wir eigentlich nur einen kleinen Personenkreis begeistern der das Management dieser Produkte da bei sich hatte.
Und die waren dann auch [00:08:00] neugierig und haben dann sich bereit erklärt mit uns auf die Reise zu gehen.
Sophie Hundertmark: Okay, ja, ich glaube, da hast du viel mehr Glück als viele andere und natürlich, klar, Produktdaten sind sowieso öffentlich, das macht es nochmal einfacher, damit zu starten. Jetzt nächste Frage und das ist ja sehr naheliegend, wie hat es denn dann funktioniert?
Also wie sind denn dann die Produktbeschreibungen rausgekommen und was war vor allen Dingen der Mehrwert daher, weil grundsätzlich hattet ihr ja schon Produktbeschreibungen Warum brauche ich jetzt die KI, um nochmal Produktbeschreibung zu machen? Was war konkret der Case und was war der Mehrwert?
Marcel Rassinger: So muss man vielleicht verstehen, wir haben ganz viele Lieferanten
im einstelligen Tausenderbereich und die Daten, die wir von ihnen kriegen, sind sehr unterschiedlich Und von [00:09:00] manchen kriegen wir Beschreibungen, von manchen nicht, dann sind die Beschreibungen sehr inhomogen. Einfaches Beispiel, in manchen Beschreibungen wird gesiezt, in manchen Beschreibungen
Haben wir den Anspruch, dass das sehr viel homogener daherkommt, dass Nutzen-Sitzen einheitlich ist, dass wir für Produkte, die jetzt nicht oft verkauft werden, einfache Beschreibungen haben und so weiter. Dieser Qualitätsanspruch konnte damals in der Breite und auch heute in der Breite nicht erfüllt werden.
Was uns jetzt diese Tools gemacht haben, ist, sie haben mit ihrem Weltwissen und aus [00:10:00]Produktspezifikationen Texte gemacht, die einem zum Beispiel erklärt haben, wofür diese Produkte eingesetzt werden können, die einheitlich im Stil dahergekommen sind, die meistens halbwegs grammatikalisch und stilistisch korrekt waren, Und die Arbeit ist theoretisch auch manuell machbar, aber im sogenannten Longtail, im E-Commerce, wenn man ganz, ganz viele Produkte hat, wir sprechen da von 250.000 bis 300.000 Produkten, ist das ein enormer Aufwand, der sich nicht immer gerechnet hat.
Und dadurch, dass uns die Maschine jetzt diese Texte generiert hat, haben unsere Kunden es einfacher zu verstehen, was die Produkte tun und machen. Und hat es uns natürlich auch geholfen, für Suchmaschinen attraktiver zu sein, insbesondere Google natürlich, was uns wiederum geholfen hat, besser auffindbar zu sein.[00:11:00]
Sophie Hundertmark: Okay, also ja, sehr, sehr spannend und macht meiner Meinung nach absolut Sinn. Das ist auch das, was ich vielen anderen Unternehmen sage, gerade im Bereich Software E-Commerce, Online-Business, hey, Texte besser passen da zu generieren. Wie habt ihr das jetzt konkret gemessen?
Marcel Rassinger: Wir haben dann die Leute die diese Produkte managen müssen, haben viele Stichproben genommen. Das war ein Ansatz, also ein qualitatives Messen. Wir haben dann auch gelernt, dass... Wir immer noch Menschen brauchen, die drauf schauen. Heute nennt man das Human in the Loop, weil es gab so halitonatorische Effekte Ich habe es nur kurz angedeutet, wenn zum Beispiel der Text über ein Bier generiert wurde, dann war der zu 95% [00:12:00] komplett korrekt gut lesbar, aber es stand vielleicht drin, es ist ein alkoholfreies Bier.
Was falsch war in diesem konkreten Fall. Und um solche Dinge zu erkennen, braucht es einfach Menschen, die schlussendlich Qualitätskontrolle übernehmen. Im Zuge dieser Qualitätskontrolle beurteilen sie dann auch die Qualität und über dieses Feedback haben wir dann den ganzen Prozess und auch das Tool sukzessive verbessert Und last but not least hat man im E-Commerce natürlich auch immer die Möglichkeit, sogenannte AB-Tests zu machen und so menschlich generierte Texte gegenüber maschinell generierten Texten zu vergleichen im Benutzerverhalten und das haben wir auch gemacht und dabei gemerkt, dass die maschinellen Texte nicht schlechter abschneiden.[00:13:00]
Sophie Hundertmark: Okay, ja, also sehr, sehr spannend. Finde ich toll, was ihr da alles gemacht habt und getestet habt. Wie geht es denn jetzt weiter? Ihr macht das wahrscheinlich weiter. Kommen noch weitere Ergänzungen? Wird das noch ausgebaut? Wird das auch auf andere Abteilungen übertragen
Marcel Rassinger: Das war damals ja nur der Anfang.
Wir haben dann erste Erfahrungen gesammelt in denen auch Marketing versucht hat, Texte zu generieren, also komplexere Marketingbeschreibungen von Produkten oder ganzen Kategorien wie Fernseher Staubsauger. Wir haben dann auch angefangen diese Methoden einzubauen, um unsere Suchmaschine zu verbessern Also unsere interne Suchmaschine.
Wir haben angefangen die Möglichkeiten von AI [00:14:00] zu nutzen, Dokumente zu verstehen. Also es kommen Bestellungen und andere Dinge auf viele Arten und Weisen zu uns rein, nicht nur über Webshops, sondern auch über E-Mails über PDFs. Und heutige LLMs sind erstaunlich gut im Bereich Erkennen und Verstehen dieser Dokumente, das wird genutzt.
Wir haben auch unseren eigenen Bot gebaut, mit dem sich Menschen beraten lassen können und auch viel Erfahrung gesammelt und so weiter. Also Stand heute ist, dass wir das in vielen verschiedenen Bereichen einsetzen und jetzt eigentlich weniger auf der Suche nach neuen News Cases sind, sondern eher versuchen, Die bestehenden Use Cases besser auszubauen, auch besser zu verstehen, qualitativ besser zu werden und innerhalb der bestehenden Use [00:15:00] Cases zu wachsen.
Sophie Hundertmark: Okay, also da seid ihr schon deutlich weiter, würde ich sagen, als viele andere Unternehmen, vor allen Dingen in den Use Cases schon zu wachsen. Ich erlebe es häufig, dass dann Unternehmen anfangen, irgendwie fünf Use Cases mal zu machen. Und dann stecken sie da drin. Und dann werden Auswertungen gemacht, Auswertungen, Auswertungen.
Aber es wird dann doch irgendwie nichts weiterentwickelt. Und das finde ich natürlich sehr, sehr cool. Ich glaube, insofern habt ihr es komfortabel, weil vieles ohne sensitive Daten ist. Also das ganze Produktethema ist natürlich ohne sensitive Daten. Bestellungen, klar, da haben wir wieder mehr dabei. Jetzt würde mich noch kurz interessieren, Vertiefung oder Verbesserung der Use Cases.
Geht es dann vor allen Dingen darum, Diesen Teil des Humans in the Loop zu reduzieren? Oder wie hingegen verbessert ihr eure bestehenden Cases und Anwendungen?
Marcel Rassinger: Also der Anteil Human in the Loop zu [00:16:00] reduzieren, beziehungsweise es den Menschen einfacher zu machen, ist ein möglicher Ansatz. Ja. Und der ist bei den Produktivitäts-Use Cases die wir haben, glaube ich auch sehr wichtig. Bei den Use Cases die sich direkt an den Menschen wenden, also wie zum Beispiel am Produktberater, dort geht es darum zu vermeiden dass zu viel halluziniert wird, dass der Dialog mit dem Menschen möglichst natürlich ist
Dass wir sogenannte Guardrails haben, die vermeiden dass der Bot missbraucht wird für andere Tätigkeiten, dass wir auch die Kosten optimieren des Bots, die sind ja teuer und so weiter. Also im Grunde grob muss man unterscheiden zwischen [00:17:00] Produktivitäts-Use Cases und Welchen wo es um die News-Experience geht.
Da verfolgen wir ein bisschen unterschiedliche Strategien.
Sophie Hundertmark: Okay, auch ein sehr sehr guter Punkt. User Experience und mehr zur Produktivität. Ich glaube, wir zwei könnten noch stundenlang weiterreden weil ihr seid wirklich deutlich fortschrittlicher als viele andere, beziehungsweise du vor allem hast sehr viele Erfahrungen schon gesammelt, Use Cases eingebracht und ich staune, was ihr dort alles macht.
Ich weiß aber, dass die Zuhörer irgendwann am Ende der Zuhörerzeit sind, beziehungsweise die Autofahrt ist zu Ende, die Joggingrunde endet langsam und deshalb würde ich das Gespräch für heute gerne beenden Erstmal beenden oder vielleicht sagen wir pausieren und das an anderer Stelle noch weiter führen.
Aber bevor ich wirklich schließe, würde ich dir gerne nochmal das letzte Wort übergeben. Was sind so deine Tipps die du gerne noch Leuten mit auf den Weg oder Leuten Unternehmen, [00:18:00]Mitarbeitern auf den Weg geben möchtest, wenn es um das Thema Generative AI geht?
Marcel Rassinger: Ich glaube, das Wichtigste ist, Dem offen gegenüberzustehen und zu experimentieren und auch nötig zu sein.
Natürlich muss man Privacy berücksichtigen und da auch gewisse Vorsicht walten lassen.
Aber auch wenn man das tut, glaube ich, gibt es ganz, ganz viele Möglichkeiten, diese Technologien für viele Dinge produktiv zu nutzen. Und ich bin auch davon überzeugt dass diese Technologie die Zukunft gehört. Und jeder, der das nicht tut, hat mittel und langfristig Nachteile.
Sophie Hundertmark: Okay, das waren sehr gute Worte.
Ähnliches hören wir fast in jeder Folge [00:19:00] in letzter Zeit. Also vor allen Dingen das Thema Mut. Ich glaube, das braucht es auf jeden Fall noch ein bisschen. Ich finde es toll, was ihr schon macht. Ich glaube, alle von uns können mal auf die Webseite von BRAC gehen und sich selber begeistern oder einen Eindruck machen, vielleicht sogar was bestellen.
Ich danke meinen Partnern an dieser Stelle, Corporate Software, CMM360 und CodeCreative. Und Marcel, ich danke dir natürlich ganz doll zum einen für alles, was du für die Generative AI Community machst, würde ich mal sagen, indem du da ein gutes Vorbild bist. Und zum anderen natürlich jetzt hier für deine Zeit und die ganzen Insights und wünsche dir alles Gute fürs Weitere und freue mich jetzt schon auf den nächsten Austausch Allen noch einen ganz tollen Tag.
Marcel Rassinger: Vielen Dank, Sophie.