Moin zu einfach komplex, Folge 104 Wir sind Burkhard und Gerrit Moin Moin Gerrit und wir selber nutzen viel, ich steig direkt ein ne wir selber nutzen als Cloud viel hetzner und und pure Server Bern Metal wie man so schön sagt aber es gibt ja da draußen auch noch ganz viel mehr Cloud Services so von ABS zum Beispiel oder Microsoft Azure und Google Cloud um gleich mal die größten zu nennen und wir haben vor ne Kleine.
Serie zu machen. Dazu ja mal gucken, immer wenn es reinpasst, mal wieder was darüber zu machen, auf jeden Fall, weil der Bereich ist Groß, Cloud Services und zum Start wollen wir einfach erst mal unterscheiden, was bedeutet das eigentlich heutzutage, wenn man von Cloud spricht, was was kann man da alles drunter verstehen, wie sieht es vielleicht bei uns
bei der Heisenware aus? Ich hab es schon mal angeteasert gerade aber was könnte man noch alles so benutzen ja und ich glaube heute Fokus auf Amazon oder AWSS 3 bookert ja.
Ganz genau, Gerrit, ja. Hat n bisschen auch was von der Historie zu tun, denn Amazon Webservice ist quasi der der älteste Kandidat, sag ich mal, der am längsten im Markt bestehende, der der das quasi sag ich mal erfunden hat und als erstes irgendwie in den in den Markt gebracht hat und ich glaube auch mit s 3 was eine ja eine Speicherlösung ist für Files in Cloud auch so als das war auch so mit der erste Service der überhaupt im großen Stil genutzt wurde, deswegen
hatte ich gedacht irgendwie, das ist ganz cool. Und das Wort S 3 hat dann immer schon mal gehört. Aber ich selber hab auch gar nicht so viel gewusst.
Ich hab mich n bisschen vorbereiten müssen für diese Folge, weil Gerrit, Du hast es gesagt, wir selber nutzen eigentlich nicht direkt die aktiven großen Cloud Dienstleister, wir nutzen und das erklär ich auch gleich noch mal, wo da der Unterschied ist zwar auch irgendwie ne Cloud, aber irgendwie auf einem anderen Level, nämlich einfach als virtuelle Maschinen die wir haben bei Hetzner genau und deswegen hab ich gedacht. Es wär aber trotzdem mal ganz
interessant für uns alle. Also selbst für mich, weil die Technologie ist doch ganz schön erstaunlich. Dahinter muss man sagen und vor allen Dingen für unsere Zuhörer einmal so durchzugehen, was ist über die Haupt, die Cloud, was gibt es da für Dienste und was versteckt sich an diesen ganzen Namen, die da so rumschwirren und da machen wir einfach mal ne kleine Serie. Ja, sehr cool. Dann lass uns doch anfangen. Also also und wie immer ne, wir
haben hier. Nicht die Weisheit mit Löffeln gefressen also es gibt bestimmt andere Definitionen von Cloud und so, aber vielleicht so wie wir es verstehen, lass uns da rein mal starten und das ist auch vielleicht der Unterschied in in der Betrachtung ne Mhm, also welche Unterschiede kann man da sehen? Ja, ich würde erst mal anfangen
mit dem. Also Cloud ist ja die Wolke, also wenn man es mal so ganz runterbricht in meiner ganz einfachen Welt, ist das ein Prinzip, ein Server, der im Internet steht, ein Server, also Server heißt er ist 24 7 im besten falle. Das ganze Jahr lang erreichbar und hat ne public IP, also eine öffentlich ne öffentliche IP Adresse die und und ist damit erreichbar, quasi aus dem für alle Leute die im Internet unterwegs sind.
Ja und typischerweise kriegt so nen Server halt nicht nur ne IP weil du tippst ja keine IP in deinem Browser ein, sondern irgendwo gibt es ne Domain die dem zugeordnet ist, so dass du irgendwie heisenware.com oder irgendsowas, dass die am Ende des Tages diese auf diese IP zeigt und dann kommt man halt quasi an, ja. Und die, und das wäre jetzt aber nur ein Server und der Begriff Cloud heißt eigentlich ein Verbund von vielen diesen Servern, ja, also physikalisch
gesehen, man spricht gerne von Notes. Ja, also nicht nur, nicht nur ein ein Stück Hardware, sondern im Notfall ganz viele Stücke Hardware und und Cloud macht halt aus, dass die viele Stücke Hardware eine Funktion aber erfüllen im Notfall. Es kann sein, dass du eine
Webanwendung hast. Die aber nicht von einem Server tatsächlich physikalisch bedient wird, sondern im Notfall von mehreren Servern, die sich irgendwie, und das ist wild, das genau nehmen wir auseinander, auf irgendeine Art die Last
teilen. Die Last dieser Anwendung und die Last der Anwendung ist verschieden, wir haben, wir müssen computen, also müssen wir irgendwie rechnen und und und Sachen Algorithmen ausführen, wir müssen, wir haben es mit Daten zu tun, die wir speichern müssen für die User, die sind ja dann auch nicht lokal, sondern in der Cloud Datenspeicher.
Wann sprechen wir durch heute und wir haben Kommunikation dann zwischen diesen Servern und mit dem End Client und so weiter und sofort und alle diese Komponenten einer Anwendung der Definition der Cloud können quasi über verschiedene Nodes über verschiedene physikalische Server, die irgendwo dahinter stehen, das sind diese Rechenzentren, die man immer im Fernsehen sieht, ja die es immer so blinkt, werden die quasi diese Anwendung realisiert, ja, das nennt man heute, ich denke
ich Cloud und da gucken wir uns mal an was was da los ist, ja.
Genau zum Einstieg vielleicht gesagt, wir nutzen auch ne Cloud, aber für unser Produkt, aber wir nutzen quasi keine in dem Sinne keine Services, wir brauchen quasi nur die Server, allerdings virtualisiert das heißt es ist im meisten Falle haben wir gar nicht dedizierte Server, das heißt es gibt wir kennen nicht das Stück Hardware diesen diesen diesen diesen Einschub, quasi den Server den wir benutzen, sondern wir haben sogenannte virtuelle Maschinen das das kennt ihr vielleicht
von. Es gibt ja, es gibt es ja auch für den für den privaten Anwender, diese, wie heißt das Gerrit V. Box gibt es glaube ich und BMWR und so weiter man kann also quasi ne virtuelle Maschine aufmachen, in der läuft n ganzes Betriebssystem.
Ja ich kann zum Beispiel sagen, in meinem Windows starte ich ne virtuelle Maschine drauf läuft Linux ja oder umgekehrt und so weiter und das in professionell quasi bieten halt auch solche Hoster wie es dann heißt an wie zum Beispiel mach ich das, kann ich einfach sagen hetzen, aber da gibt es auch ganz viele Strato Yonos in Deutschland und auch im Ausland sowieso.
So, die bieten eigentlich nur an, diese Hardware virtuelle Maschine drauf, IP Adresse zugeordnet und dann hab ich quasi ja dann hab ich im Prinzip n Server unter der Hand, muss aber dann meine ganzen meine ganze App und so weiter da muss ich mich dann selber drum kümmern ne das ist wie wir gecloud benutzen ne. Ja, es ist, man kann auch sagen, es ist n Unmanaged Cloud. Ich glaube es ist die reine Miete, insbesondere ich glaub das ist noch n Unterschied.
Mir gehört der Server nicht, sondern wir mieten ihn, wir mieten beziehungsweise nicht mal den Server sondern eigentlich Speicher Rechenleistung. Traffic, was auch immer. Sowas mieten wir, da haben wir Bedingungen und es ist
unmanaged. Ich glaub bei Amazon oder bei ABS gibt es das auch, bestimmt kann ich mir vorstellen und im Gegensatz dazu, wenn du schon gewisse weitere Services drauf hast, dann sagt man glaub ich auch oft Managed Cloud ne also das ist ja verwaltet ist für dich wie auch immer, aber Cloud und Managed Cloud, das wird auch häufig eingesetzt auf jeden Fall. Richtig, richtig genau das Level ist. Der Unterschied ist mehr so die, die die Funktionalität, die du in die Hand kriegst, ne.
Also denn also bei einer Managed Cloud, bei bei diesen Diensten hast du dann gesagt du kriegst ne fertige Datenbank quasi in die Hand, du musst dich nicht drum kümmern, wer setzt die auf und so, die ist einfach dann da ja oder auch beim Speicher, dann hast du einfach ne API und sagst hier will ich mal n falsch speichern, dann passiert das irgendwie ja während wir.
Wir müssen dann quasi erstmal mit mit, mit dem wir müssen auf den Server drauf, müssen da was installieren und so weiter und müssen überhaupt mal dafür sorgen, dass da überhaupt
irgendein Pfeil hinkommt. Ja, das ist nicht gegeben in dem Fall, ja gut, aber wir wollen gar nicht so viel jetzt über die, das ist ja klar, also ne virtuelle Maschine auf irgendeinem Server, der da irgendwo ja geliehen wird oder wie auch immer, das ist ja irgendwie easy das da brauchen wir uns jetzt nicht lange drauf aufzuhalten, wir wollen mal jetzt gucken in tatsächlich, diese Cloud Service ist ne Cloud Dienstleistung die Managed Clouds gibt es unglaublich viele
Services werden auch noch mehr. Wir wollen irgendwie mal vorne anfangen oder es n bisschen bisschen abholen. Ne und du hast schon gesagt, Gerrit, Es gibt im Prinzip, wenn man über die Cloud spricht, gibt es eigentlich nur 33 relevante sag ich mal. Es gibt garantiert noch ganz viel mehr, aber die 3 ganz großen sind halt AWS, also Amazon Webservices. Amazon war ja mal früher der Buchladen und das war das Hauptgeschäft und dann gab es aber irgendwann diese Idee, die innen herauskam.
Die ganzen Daten und so weiter, die hatten halt quasi innen heraus das Problem, auch alleine der Datenspeicherung. Und da gab es ne Lösung für und dann entstand quasi auch diese
Idee dieser Cloud quasi. Ja, es hat der, der der Pionier quasi hat auch im Moment glaub ich den größten, wie soll ich sagen, die größte Schublade an an Funktionen und so weiter war auch am frühesten da, ja dann haben wir von Microsoft das Produkt Azure hat auch glaub ich schon mal jeder gehört, Microsoft Azure ist auch auf dem Enterprise im Geschäft unterwegs, wir haben ja viele Enterprise Kunden im im im Windows Segment und so weiter das das funktioniert besonders
gut mit den. Mit den Windows und Microsoft Anwendungen zusammen auch mit den Programmiertechnologien wie C Sharp und dot net und so weiter funktioniert auch gut im Hybriden, dass man also quasi nur Teile in der Cloud hat und Teile irgendwie trotzdem noch on Prem und dann haben wir natürlich auch den den Dritten noch Microsoft, da muss man im nächsten Anzug Google sagen, Google hat auch n Cloud Produkt, das nennt sich GCP und genau es vielleicht, ich glaube es ist
das was als letztes kam. Also das modernste auch sag ich es vorsichtig, also ich bin als letztes in den Markt gegangen. Hier sind, das ist alles immer Religion und und Philosophie und Geschmacksfrage. Man sagt dem Google nach, es habe die klarste API und so weiter ihr habt natürlich den Vorteil gehabt, dass sie abgucken konnten von denen, die schon mal in den Markt gegangen sind und ja vielleicht schon so n paar Pit falls irgendwie umshifft haben und es noch mal
neu strukturiert haben. Klar Hardware und so weiter ist ja auch alles aktueller gewesen, da konnte man vielleicht Sachen von vornherein noch mal anders denken und dann mal anders aufbauen, ne ja. Ich, ich sag dir noch die die Marketshares dazu, also also ABS hat ungefähr 31% am weltweiten Markt Cloud Markt Azure holt auf, also hat 24% holt stark auf, weil immer mehr auch so Großkonzerne in die in die Cloud gehen und die haben sowieso schon den ganzen Office Kram
typischerweise und gehen dann auch einfach zu Azure, das ist eigentlich auch das was wir am meisten unseren Kunden jetzt sehen im Industriebereich ne. So so. Aber das sehen wir ja gar nicht bei unseren Industriekunden, sag ich mal. Ist ja gar, spielt gar keine Rolle oder GCP auch nicht und GCP hat 11% Market Share
zusammen. Haben die also so 2 Drittel des Marktes, das können wir eigentlich schon als Oligopol bezeichnen, ja des des weltweiten Marktes und dann gibt es aber noch jemanden, den man erwähnen sollte, ist natürlich auf jeden Fall in im asiatischen Raum, insbesondere China ist halt Alibaba Cloud, ja. Gemessen beim weltweiten Volumen sind das aber wohl nur so 4 5%, was immer noch viel ist, so aber natürlich im Vergleich eher wenig.
Ja und dann gibt es weitere Digital Ocean, Oracle, IBM und sonst wen noch, die sich dann diese restlichen 30% glaub ich ne aufteilen. Ja, ja, und vielleicht noch zu nennen. Mhm find ich jetzt auch erwähnenswert. Das ist ja das Stacket find ich auf jeden Fall spannendes Thema. Ne das ist das von der schwarz Gruppe Gerrit ne ja. Ja, war jetzt auch gerade in den Medien ganz aktuell genau, ist super spannendes Projekt find ich auch ja. Gut, dass wir da auch was
Eigenes aufbauen. Ne, ich sag ich sag noch was zur Historie hat mir noch keine Jahreszahlen gesagt, kann man
vielleicht auch einmal wissen. Im März 2006 wurde Amazon s 3, also der verteilte Datenspeicher sag ich mal der Cloud verteilte Datenspeicher, irgendwie geleast, gelauncht für für die breite Masse der Leute, war also so mit einer der ersten Services, wenn man es jetzt ganz akribisch nimmt, soweit meine Recherche. War der war der Amazon SQS, der Simple Q Service, tatsächlich technisch der erste, der draußen war, aber in der Beta, der war 2004 schon raus rausgekommen,
aber also irgendwie kann man trotzdem sagen, dass dass es irgendwie so mit dem Storage das erste Mal irgendwie so richtig losging, weil der SQS Service war sehr noch noch sehr nischig, quasi in der Beta war noch nicht so umworben, es waren Entwickler, die das irgendwie benutzt haben und deswegen kann man, so kann man sagen, ja die Ganze das ganze Cloud business hat quasi mit s 3. Seinen Start genommen und deswegen gucken wir uns heute auch s 3 an.
Übrigens s 3 steht für SSS ja, da haben Sie also SQS simple Q Service ja SSS Simple Storage Service, ich schätze Sie haben sich einfach nicht getraut 3 Äste dahin zu malen und haben es einfach s 3 genannt, das steht halt für die 3 simple für die 3 s die simple Storage Service sind ja hab ich mich immer gefragt, jetzt hab ich es verstanden aber warum heißt das überhaupt s 3 bekloppter Name aber gar nicht so bekloppt also hat wieder so n bisschen technisch freakig ja aber haben
wir oft in der. In diesen in diesen Bereichen ne. Ja gut, dann haben wir das irgendwie zur Einordnung glaub ich Gerrit oder wollen wir dann wollen wir dann mal gucken was da los ist. Nee wir haben was wir noch nicht gemacht haben von der Einordnung vielleicht noch mal die die überhaupt die Säulen der Cloud was es gibt ich hab jetzt von Storage gesprochen. Ja, s 3 hast du schon als Storage jetzt gelabelt. Genau hab ich hab ich gelabelt, genau da.
Die Namen sind natürlich auch unterschiedlich, das heißt genau nur bei AWSS 3. Und bei den anderen Cloud Anbietern heißt das irgendwie auch anders.
Heißt das irgendwie Blog, Storage oder Managed Discs bei Azure und bei Google Cloud heißt irgendwie Cloud Storage, da pesisted Disc Pesistant Disc Sorry und das wäre quasi eine Komponente der Cloud, nämlich da einfach Datenspeicherung, das ist so wie der Kofferraum ja wo also alles an Videos, an Blogbeiträgen und so weiter alles was so Webapplikation so speichern vom Nutzer, den kann ich halt einfach da rein blasen ja und hab quasi unendlichen Speicher das ist die Idee ja.
Um das mal von vorher aufzunehmen. Die Idee ist, ich hab hier nicht eine Festplatte, muss mich kümmern was ist wenn die voll ist, sondern ich hab im Prinzip alle Festplatten des Internets na ja also der Cloud Provider
sag ich mal. Der hat ja aber riesen Rechenzentren. Ja und damit hab ich im Prinzip unendlichen Speicher ja wenn ich unendlich auch reich bin und Münzen einschmeiße weil das kostet ja auch n bisschen was lassen Sie sich ja bezahlen, dazu müssen wir nichts sagen, das ist halt so, da machen wir jetzt auch kein Fass auf Gerrit irgendwie was die Kosten sind, die sind unterschiedlich und es ist auch immer gar nicht so einfach zu wissen was wann
wieviel kostet. Was man mal sagen kann, vielleicht bei diesem Speicher ist ganz spannend, wenn man, wenn man reinspeichert in die Cloud, dann ist es noch relativ überschaubar und günstig würd ich sagen. Die Überraschung kann kommen wenn man meint man müsste das, man müsste seine Files außerhalb des also aus diesem ganzen Azure AWS System herausbringen, dann kann das n bisschen Geld kosten, ja wenn man es also extern dann speichern will ja auf ne externe Festplatte hinbeamen will ja das.
Hab ich nicht verstanden. Das heißt, wenn man da wieder raus will zahlst du Geld oder wie? Mehr Geld, als wenn du es reinspeicherst. Ja OK, das ist so n bisschen, das ist so n bisschen der Sales Hook ja irgendwie, das ist eigentlich gar nicht gar nicht ganz unclever, ja von Unternehmer her und dann irgendwas. Was ich, was ich dachte, ist, dass vor allem Traffic auch da entsteht, wenn man Sachen
abruft. Also was weiß ich, wenn Netflix lädt Film hoch, der liegt bei ich glaub Netflix ist bei Amazon oder ABS und dann haben die da n Film ja und dann wird er abgerufen und immer dann entstehen. Kosten sollte ja nicht unbedingt safe, safe, wenn du halt, wenn du halt. Wenn du jetzt gucken wir gleich die anderen Dinger noch an, wenn du die ganzen anderen Services, wenn du innerhalb quasi deines deines Wesens bleibst.
Also wenn du innerhalb der Cloud bleibst, sagen wir mal in ABS und die ganzen Dienste benutzt und in die sich die Daten austauschen ist alles cool, aber wenn du sie rausnimmst aus diesem Ökosystem ABS, dann kostet Geld ja o. K und da. Musst du n bisschen aufpassen, ne genau, also wir haben im Kofferraum angefangen, vorne ist fährt der Motor, also Computer ne Computer ist auch ne also CPU Power oder GPU Power heute ganz aktuell.
Motor, Rechenleistung, GMS und so weiter ja das das ist auch n Teil der Cloud, da gibt es auch Services für heißt bei AWS dann EC 2 und Lambda Lambda sind die serverless Funktionen und so weiter da stell ich mal nur so n Raum, das ist genau das was wir dann vielleicht mal in der nächsten Podcast Folge oder der übernächsten wenn es passt in diese Serie dann
auseinandernehmen. Im Azure sind das die Virtual Machines und die Functions vom Namen her in der Google Cloud heißt das Computer Engine und Cloud Run.
Dann haben wir also jetzt Compute und Storage und dann gibt es noch die, die Datenbanken tatsächlich auch kann man als Kategorie mal so sehen, ne, also Gedächtnis Datenbanken n bisschen anders als jetzt der Storage wenn ich sage Storage, dann ist das einfach ich schmeiß rein wirklich wie n Kofferraum im Auto ja und ziemlich unsortiert unrelational klack einfach nur Heep von Daten ja flach und Datenbanken wissen wir alle es ist noch mal n anderer ganz
anderer Hebel für die Daten ist strukturierte speichern in in Feldern und so weiter ich kann Relationen haben, ich hab diese ganze. Filtering, abfragen, Sachen und so weiter deswegen gibt es quasi auch ja Datenbanken als Service
direkt fertig. Ja und dann quasi um alles ineinander zu verglühen brauchen wir sowas wie wie Netzwerk ja also das Zentralnervensystem ja so n bisschen wie wie unser unser zentrales Nervensystem um alle Komponenten miteinander kommunizieren zu lassen und das ist würd ich sagen die 4 der vierte Bereich den die den die Cloud Dienst Dienste irgendwie realisieren müssen. Ja es hat auch alles Namen, das lass ich jetzt mal gerade weg. Interessiert nicht, aber dann,
dann haben wir es erstmal durch. Ja, ich fass zusammen, wir haben im Prinzip die die 3 relevantesten Global marktmäßigen Anbieter sind Amazon, Microsoft und Google mit ihren Cloud Produkten und wir haben wir können die Clouds jetzt angucken und in 4 Kategorien, nämlich Compute, Storage, Database und Networking und heute fangen wir an und gucken uns die Storage Lösungen von Amazon Webservices an, die heißt s 3 statefill. Simple Storage Solution und dann
los. Gut, warum hast du dir die jetzt so speziell zuerst ausgesucht? Das ist. Irgendwie hab ich Solution das erste simple Storage Solution hab ich gesagt, gerade ne Mhm, ich glaube es falsch, es heißt simple Storage Service wollen wir ja akkurat bleiben hier genau entschuldigung jetzt hab ich dazwischen gequatscht, jetzt musst du noch mal. Musst du noch mal deine Frage
stellen. Und ich hab noch mal gefragt, warum jetzt gerade s 3, also weil das das erste der erste Service war und der Relevanteste irgendwie der größte, oder?
Ja, das und weil, weil ich irgendwie keine Ahnung hatte, wie das eigentlich funktioniert, mich das irgendwie auch brennend interessiert hat, auch das, ja, das passt alles ganz gut und weil wir, weil wir ne Lösung haben, es gibt n Open Source s 3 quasi, also es gibt mehrere davon, ich nenn mal das eine was wir auch benutzen, das heißt Minio und und und.
Das ist im Prinzip ja, das kann man im Prinzip selber hosten, selber installieren und dann hat funktioniert, aber wie s 3 und es ist ganz cool weil das weil weil man halt auch ja ziemlich große Files Gigabyte große Files damit verwalten kann und sicher speichern kann und weil weil das dann irgendwie als Downloadserver zum Beispiel find ich das ne super Lösung.
Ja da kann man den Kunden Dings geben, denn damit fang ich mal an, es ist nämlich so, dass das S 3 basiert, das kann man mal ganz vorneweg sagen auf einer auf einer Rest API. Am Ende mach ich über ne HTTP put und get ja put ist Speicher hin, das file leg 1 an und get kriegst es zurück ja. Das ist natürlich ganz cool, weil dann kann ich sofort jedem
irgendwie nen File mitgeben. Ja, ich verteile nämlich nen Link, ja der das der das File quasi codiert mehr oder weniger und dann kann man es runterladen ja also für jeden für jeden Downloadservice der irgendwie ordentlich ist ist es cool. Ja ja das ist vielleicht der Grund warum ich warum ich s 3 zuerst zuerst ausgewählt hab ja OK gut so dann gucken wir uns mal an wie das funktioniert Krasserweise ist es ja so man muss sich man muss sich überlegen also.
Das haben die ja sehr früh gegründet, hab ich gesagt, und Gott und die Welt speichert ja Files jetzt in in den Amazon, in die Amazon Cloud, auf diese ganzen Services, und die müssen ja sicher sein, ne Ausfallsicher also das Gesetz der großen Zahlen und unter Wahrscheinlichkeiten sagt Halt, wenn ich so und so viele Festplatten habe, davon sprechen wir, wir haben immer noch Festplatten, ja physikalisch wohin werden die Files gespeichert, am Ende sind die
auch Festplatten ja in zig Rechnern irgendwo ja. So wenn ich jetzt aber Trillionen von Objekten habe und und und und Bytes und und so weiter dann dann ist es halt sehr wahrscheinlich, dass immer mal wieder ne Festplatte ausfällt, ja oder sogar n ganzer Server oder irgendwas, keine Ahnung, irgendwas wird kaputt gemacht oder sowas.
Ja und es im Notfall brennt mal so n ganzes Rechenzentrum ab oder ich hab n Power Cut oder oder oder ja und am allerschlimmsten ist das Problem eigentlich gar nicht so, dass ne ganze Festplatte ausfällt, das Krieg ich nämlich mit ja wenn wenn oder n Server ausfällt, dann kann ich nämlich wissen, aber den gibt es nicht mehr, man kann da irgendwelche
Gegenmaßnahmen einleiten. Das Schlimmste ist eigentlich das sogenannte Bit rotting Rott von Verrotten, ja von von Sterben, denn das muss man auch wissen. Ich, ich hab ja mal Molekularbiologie studiert und so weiter da gibt es das auch, jetzt gibt es quasi das DNA rotting, ja, das heißt glaub ich anders, aber punktmutation durch, wir haben kosmische Strahlung, ja wir haben immer mal wieder schießt dir so ne hochenergetischer Röntgenblitz
durch uns durch. Und wenn der auf die DNA trifft, dann gibt es ne punktmotation ne wenn es blöd kommt dann und das zu viel passiert, dann gibt es auch gerne mal Krebs davon und aber die kosmischen Blitze, die treffen auch unsere Festplatten, das sind ja quasi im Prinzip nur ja magnetische Entitäten, ne wo da wo einfach nen Bit auf 1 oder 0 steht und wenn du Pech hast, dann triffst du kosmischer Strahl genau so n Ding und dann flippt das Bit von 1 auf 0 oder umgekehrt ja oder auch mehrere.
Und wenn du einfach n bit flippt, dann ist halt scheiße so, dann ist es halt irgendwie, dann lügt halt, wenn du dann sagst, jetzt holt ich mir das file raus, dann lügt es halt danach, das war nicht mehr das was du gespeichert hast. Im Notfall reicht das um es komplett zu korrumpieren.
Ja und deine Datenbank funktioniert nicht mehr irgendsowas ja das nennt man bitrotting ja und das ist halt in dem Phänomen, das passiert nicht so oft, aber das passiert halt mit einer gewissen Wahrscheinlichkeit vergammeln halt deine Daten ja und das einfach bei Australien. Mhm durch kosmischen Strahlen ja OK klingt. N bisschen wie der frisch jetzt, aber ich glaub das macht. Es ist so, ja ist keiner frisch jetzt.
Ja, und das Problem gibt es halt auch, also wenn man jetzt, wenn man jetzt nicht weiterdenkt, das Problem gibt es irgendwie immer ne, also irgendwann kann jetzt mal die abstraktionsebene n bisschen verlassen von diesem einen kosmischen Strahl, aber ich sag mal was, ich denk mir neue Speichermedien aus und so weiter und vielleicht sind neue Speichermedien auch cool, aber.
Ganz selten passiert irgendwie mal n Fehler ja beim Schreiben oder beim Lesen oder beim Speichern selbst wird irgendwas alt und unterdreht sich ja, man ist halt gut angesprochen wenn man ne ne Methode hat die das auf ne technische Art und Weise rausfindet und verhindert, dass ich halt korrumpierte Dateien zurücklade ja die ich die ich ja nicht korrumpiert aufgespielt
hab. Ja und das löst zum Beispiel als Dreier auch ja das ich wusste das alles nicht, finde ich irgendwie ganz spannend, ja. OK, das war jetzt, das war jetzt die Anleitung wo du sagst, OK, da ist einfach so, da sind so viele Dateien gespeichert, so viel, ja so viele Files jetzt, dann ist es so viele Bites, dass da irgendwann immer was kaputt geht durch was auch immer genau und die haben weg gefunden das zu verhindern. Genau also und das.
Ist was die die Erkenntnis, muss man als erstes mal sehen. Es wird immer in der Cloud so gespeichert, dass ihr nichts
kaputt geht. Also es ist nicht so, dass du, dass du das Dahinspeicherst, eine Version eine Kopie von dem Pfeil und dann ist das so. Du musst hoffen und beten, dass die irgendwie, also die machen halt für dich n Backup ja in der Cloud und ich hab halt gedacht bis jetzt was ich so kenne an Backup ist halt Raid Systeme gerade hast du mal was vom Raid gehört Maid 1, Maid 2 und so weiter ja ja das sind im Prinzip das war so früher die Art und Weise was heißt früher, das ist
immer noch hochaktuell, so wird es normalerweise gemacht, dass du einfach deine Datei spiegelst quasi im Prinzip. Hast du nicht nur eine Festplatte im Rechner?
Früher war das in diesen Towern, da hast du manchmal sogar 3 Festplatten, 3 identische Festplatten und die 2 anderen waren da nur deine Daten zu spiegeln, also hast du einen Pfeil quasi aufgespielt auf die Platte, dann haben die anderen 2 Festplatten einfach davon ne komplette Kopie gemacht und auf die Platte 2 und 3 gelegt, so dass wenn ihr Platte 1 abfackelt hast du halt das file noch da. Hat man festgestellt und sich kurz ausgerechnet überlegt, was passiert, wenn ich quasi die
Cloud als Raid System aufbaue und die Files Hard Spiegel so wie sie sind, ja dann hab ich irgendwie ne Verdreifachung von allen Daten in der Cloud kannst du vergessen ne das geht einfach nicht, das kann man halt nicht leisten ne und das ist zu teuer, aber wir haben ja Gigabyte große Files, wir haben riesige Videos und so weiter ich will die nicht nicht komplett spiegeln ne und das hat dafür gesorgt, dass man sich hingesetzt hat und scharf überlegt hat das. Das ist die Technologie, der da
steht. Wie kriegt man das hin, also wie kriege ich sichere Datenspeicherung hin und wie kriege ich diese ganzen Probleme gelöst mit diesem Bitrotting und allem, ohne dass ich die Datei einfach hart dreimal spiegeln muss, jede einzelne und das cool und dahinter steht ein ein, ja, ein Wort, das nennt man oder ein Algorithmus, der ist schon relativ alt. Die Idee, ich glaube. Das ist ja meistens so ne, das sind dann Informatiker und was ich glaub 18 also irgendein Mathematiker hat irgendwas
gezeigt, dass irgendwas geht. Ja, das ist meistens schon 1860 oder irgendwas passiert ja, aber der Algorithmus heißt Erasure Coding und funktioniert mit mit Hilfe von einfach normaler Algebra. Ja also alle die also die Schulmatte reicht vielleicht nicht mehr ganz, aber alle die Vektor vektormatte hatten irgendwie und und Matrizen mal gerechnet haben, ich weiß nicht gerade ob das bei dir in der Schule, ich glaub man muss Leistungskurs haben oder
irgendwas sind die Terminanten und sowas gehört hat. Oder mindestens, man kann es auch verstehen, mit mit Gleichungssystemen. Ja, und ich will es heute ist es im Mathematikingenieur Studio Teaser ne ich. Kam es vor im Ingenieurstudium? Das ist. Ja, siehst du, da kommt spätestens vor. Genau ja. Aber ich könnt es nicht mehr. Also OK, du und du greifst jetzt das raus, muss ich kurz verstehen, weil das so faszinierend ist.
Über s 3 ja, also. Das ist der Kern der Technologie, ja. OKOKOK alles klar, also ist nur ein Feature, ist der Kern alles klar.
Das ist der Kern, ne. Also wenn man jetzt s 3 verstehen wird, das geben wir nachher, bau ich alles zusammen, ja. Es es ist ja so in s 3 was was passiert in s 3. Ich hab jetzt irgendeinen File in meiner Webanwendung, irgendjemand hat n Video erstellt und der ist jetzt in der Amazon Cloud und will das speichern ja dann dann spielt er das gegen eine API gegen eine Web API und sagt hier uploade bitte diese Bytes dieses File ja so und ich will erklären heute in diesem Podcast was passiert
denn danach? Ja es ist ja schön dass das es funktioniert ja einfach ja das finde ich immer dieses Magische bei der Cloud sind vielleicht alle ja ich pack nen file in die Cloud. Ja, so what the Fuck. Was heißt denn das? Ja, und ich kann es wieder rausholen, ja, aber was machen die denn damit?
Ja, was passiert denn da in der Wo ist denn das ja so, ich hatte keine Ahnung, ich weiß nicht vielleicht vielleicht ist das common knowledge, ich glaub nicht, ja, aber aber es ist doch eigentlich total spannend das mal zu wissen, ja. Ja, absolut ist los. Genau, und und und.
Deswegen was passiert ist. Also du lädst das file hoch und dann kommt dann kommt erstmal n Algorithmus an und haut dir das File in viele kleine Stücke. Sogenannte Data Chunks, also was ist überhaupt n Pfeil um das mal? Wir machen das ganz klar hier auf dem Podcast.
Ja n Pfeil ist ja am Ende des Tages eine Folge von Nullen und Einsen. Ja, und diese Nullen und 1, das hatten wir auch mal ganz am Anfang, dass man zurück, das sind die, die sind im Prinzip Bytes, das heißt und n Bytes, das geht von 0 bis 255 ja, das sind also, also am Ende kann man
sagen, es sind zahlen. Von also immer verschiedene Zahlen 66, 255, 14 und so weiter die hintereinander sind in der Kette. Ja und die kodieren dann auf, wie auch immer gehartete Weise entweder nen Text oder n Video oder sowas. Ja also im Prinzip ist n Pfeil wenn man es n bisschen mathematischer sieht eine Abfolge von Zahlen ja in einem bestimmten Wertebereich. Ja und jetzt schneide ich quasi aus diesem linearen Stück. Und je länger das das das Stück ist, desto größer das Pfeil.
Klar, jetzt schneid ich quasi eine feste Anzahl oder wie auch immer das konfiguriert ist, weiß ich nicht, ich schneid das in Stücke, ja und was ich jetzt mache ist, jetzt füg ich noch Stücke dazu parities nennt man das ja, ich hab dann sagen wir mal ich hab nen nen nen Pfeil und ich schneid das in 2 Stücke ja wir wir wir machen mal n ganz einfaches Beispiel wir sagen unser Pfeil besteht aus einer 3 und einer 5.
Ja das ist der Inhalt ja ja. Und jetzt ist die Idee ich, ich formuliere eine eine Formel, und zwar kann ich zum Beispiel sagen, ich, ich entnehme den den parity, ich nenn das parity, ich denk mir ne Formel aus, die mit dieser 3 und 5 arbeitet. Ich könnt zum Beispiel sagen, ich addiere ja, also sag ich also zum Beispiel 5 + 3 ist 8. Ja und diese Gleichung merk ich mir 5 + 3 ist 8 und jetzt krieg ich n neues Ergebnis diese 8. Ja das ist quasi die 8 ist quasi.
Die hat was mit der 5 und 3 zu tun. Über ne bestimmte Mathematik. Ja und diese 8 Speicher ich auch
mit. Ja das heißt ich Speicher ich nehme jetzt diese Files und jetzt kann ich diese ganzen diese Chunks von den Files die Speicher ich jetzt irgendwo hin auf irgendwelche Server lieb ich viele irgendwo und die 8 Speicher ich aber auch mit ja jetzt ist es so jetzt kann man mathematisch zeigen und es ist einfach dass wenn wenn jetzt jetzt hab ich nämlich 3 Dinger ja jetzt hab ich die 5 die 3 und die 8. Jetzt ist es so, dass wenn ich,
wenn mir jetzt die 3 abhanden kommt, also das Original der Original Chunk von dem file weg, weil irgendwie was weiß ich ja, dann kann ich das file mathematisch rekonstruieren gegeben der 5 und der 8, weil ich die Formel kenne. Ja, das ist so einfach wie jetzt, wie man normale Gleichung aufstellt ja also ich ich kann sagen 8 ist gleich 5 + 3 und wenn 3 weg ist, dann wird das quasi NX ne Variable, dann lös ich halt auf ja und dann weiß ich halt wieder was das los ist.
Ja so und und ich kürz das jetzt n bisschen ab was man. Wie das jetzt in echt funktioniert, ist natürlich das File nicht nur 5 und ne 3, sondern ganz viel und ich rechne
jetzt genügend. Also ich mach genügend Chunks vor dem original file und ich stelle genügend Gleichungen auf, da hab ich halt n Gleichungssystem, das löst man dann in der Vektoralgebra mit n mit einer Matrizenrechnung ja und jetzt Speicher ich halt quasi immer diese chunks Weg im originalen und ganz viele parity chunks, also mathematische
Krücken also und. Und dadurch quasi hab ich zwar etwas mehr Speicher, aber im im Mittel duplizier ich das file und und nicht dupliziere das und so weiter ja und und jetzt und was cool ist, ich kann es halt weil ich Chance habe.
Ich kann es halt ganz weit verteilen ne das das muss man sich mal reinstellen also ich ich pack da n Video rein und danach gibt es das so nicht mehr das File das wird halt auf den Servern tatsächlich dieses File was vorher mal ganz da war wird in kleine Teile gehackt und verteilt sich auf den Servern von Amazon ne. Hat das Vorteile, wenn man das jetzt das Hackstück speichert oder was geht das schneller oder? Das hat den gigantischen Vorteil, dass ich es halt nicht spiegeln muss.
Ich Speicher die Metadaten mit ja und ich ich kann vor allen Dingen, was ich auch machen kann ist also ich Speicher erst. Also ich spare erstmal Speicher, das ist der größte Vorteil ja wenn ich spiegeln würde brauch ich halt ne ne Verdreifachung von dem Fall. Ja und so hab ich hab ich ne so und der zweite Vorteil ist ich kann jetzt quasi. Ich Speicher Metadaten. Ja, das ist ne Art Index Service, so funktioniert das auch.
Ich Speicher mir Metadaten für jeden Chunk und jetzt hatten wir schon mal ne kryptographische Sache, jetzt kann ich aus ich kann sogenannte Hashes machen, also Signaturen von diesem originalen Chunk. Ja das geht jetzt schnell weil die weil die klein sind, ich kann das Hochparallel machen ne es ist ja immer das das Ding wenn ich wenn ich n großes Problem in viele kleine parallele Verhackstücke und der da kommt auch der Speed das ist hoch optimiert natürlich alles.
Dann kann ich das alles gleichzeitig machen mit unseren
CPUS, die wir haben. Ja, das passiert auch ja und da dadurch kommt ne hohe Geschwindigkeit zustande um das zu tun, weil das alles soll ja keine Latenz haben, ich soll ja fast nicht merken, dass da noch was passiert im Hintergrund, das soll hochgeladen werden, gespeichert und das runterladen soll vor allen Dingen auch sehr schnell sein, ja und es funktioniert deswegen schnell, weil ich jetzt kann ich gleichzeitig, ich kann wenn jetzt jemand das file haben
will, dann forder ich halt gleichzeitig diese ganzen Chancen an von den verschiedenen Servern, die spielen mir das alle gleichzeitig zu, es muss nicht einer Fett IO machen. Sondern ich hab quasi nen nen Inbound. Das macht das unglaublich schnell halt auch. Ja rechne aus und jetzt ist es noch so, dass dieses Bitrotting jetzt wird jetzt speziell gelöst.
Das find ich cool, jetzt kann ich nämlich wenn ich so nen wenn ich so ne Signatur ausgerechnet hab von meinem Original Chunk und hol das File wieder ab, dann rechne ich diese Signatur wieder aus, live gegeben dem was ich da gelesen hab und wenn jetzt so ne 0 zu einer 1 geflippt ist, weil da der kosmische Ray Durchgedonnert ist durch dieses eine Stück von dem Pfeil.
Dann wird die Signatur, die ich in einer das ist ne Datenbank, quasi was die da haben n Indexserver dann vergleichen die die Signatur, also ist das Hash was ich ursprünglich mal hatte zu diesem Chunk das gleiche wie das Hash was jetzt nen Bitrotting hatte wo ne 0 und ne 1 geflippt ist.
Nein wird es nicht sein. Ja so funktionieren diese hashing Algorithmen ne und jetzt jetzt ist glasklar OK hier ist und und was da jetzt kaputt ist ja ob das nur ein Bit ist oder ob 10 Bits geflippt sind oder was scheißegal dieses Hash ist halt unterschiedlich. Das reicht ja zu wissen, dass ich das nicht nehmen kann. Das ist halt irgendwie rotten.
Ja, das ist korrumpiert und jetzt tut der Algorithmus so, als wär halt diese platte abgeraucht, ja, oder dieses ganze Stück nicht da, dann ist auch völlig wurscht, ja weil es gibt genug andere Stücke, aus denen dieses gerottete Stück rekonstruiert werden kann, mathematisch korrekt, so wie es gerade gesagt hat. Ja, ich rechne halt das einfach aus, ja, ich brauch das gar nicht im Original. Es ist n bisschen irre, aber so funktioniert das ja.
Gibt es Überschneidungen unter diesen einzelnen Chunks? Quasi. Um Nein, es gibt keine Überschneidung, es gibt es werden, es werden Paritäten gerechnet. Also ich hab ich hab ne Zahlenfolge, es war die originale Zahlenfolge und über Vektor Algebra rechne ich andere Zahlen aus die mich quasi die mir erlauben und das kann man aus also je mehr paritäten ich habe man sagt immer k originale Stücke und m paritäten ne so viele Paritäten wie ich ausrechnen habe so viele.
Server können sterben, wenn ich 3 chunks habe, 3 original chunks und 2 paritäten, dann können und dann hab ich ja quasi 5 Stücke, dann dürfen 22 komplett abbrennen, ne und die Matte dahinter ist so elegant, dass es völlig Wurst ist, welche 2 abbrennen. Ja, im Prinzip vergrößere ich meinen Pfeil um die Paritäten, sagen wir mal 3 originale chunks, 2 paritäten, dann hab ich quasi nen Pfeil was aus 5
Stücken besteht. Für den Computer ist sind die 5 alle gleich ja irgendwelche von den 2 können sterben. Von den 5 können sterben und mit den restlichen 3 kann ich immer noch das originale File rekonstruieren. So funktioniert die Matte dahinter, das ist halt total
elegant. Ja, also in in an ganz einfachen Worten gesprochen, du changst dein file auf, dann erfindest du quasi mathematisch gültige neue Stücke, die gleichwertig dir erlauben es file wieder im Originalzustand zurückzurechnen und die dir aber auch erlauben, dass quasi so viele wie du an Stücken extra dazugerechnet hast. Dürfen quasi auch kaputt sein, ja. Und damit kriegst du ne unglaubliche Reliability.
Ja, und dieses Bitrotting Halt umsonst, weil wie gesagt beim Einspeichern des Files wird halt von jedem echten Original Chunk die Signatur Mitgespeichert verglichen und beim rausholen wird gecheckt bist du sauber? Nein du bist nicht sauber, dann egal. Ich brauch dich nicht mein Freund, ich rechne zurück mit den anderen Dingern ne es wird immer genug da sein und und dann hat man auch so n Selfie Ling Prozess weil was auch passiert ist es wird es wird nicht nur
einfach ignoriert. Weil du nämlich tatsächlich aber genau diese Stück rekonstruieren kannst, musst du ja mathematisch wird quasi das Bitrotting geheilt. Ja, das Bit war Geflippt du weißt, dass der Hash nicht mehr richtig ist. Dann wird überschrieben an der Stelle. Ja, das heißt, wenn du das nächste Mal das file anfragst ist wieder heil.
Ja, das heißt es ist völlig Wurst, wenn wenn dein ganzes Memory über die große Mitte n bisschen rottet, ja, da kannst du nämlich auch n bisschen dünnere Discs nehmen oder irgendsowas oder vielleicht sogar ne ganz andere Speichertechnologie in Zukunft. Wo er irgendwann mal irgendwie n bitflip da oder n organisches Molekül.
Wenn du da speicherst da drin oder n Kristall oder irgendwas irgendwas passiert da mal nicht so schlimm, weil weil du mathematisch quasi dieses dieses Problem lösen kannst. Ja ist völlig cool, ich wusste das alles nicht, ja, aber so funktioniert das tatsächlich im Hintergrund ja. Und weißt du wozu das führt? Thema Haltbarkeit was ABS versprichst an der Stelle. Keine Ahnung, das hab ich mir nicht angeguckt, aber wahrscheinlich relativ lang.
Ne also. Hab ich es auch nicht verifiziert, aber die Eleven Nights, also 99 Komma. 999999999 9% Haltbarkeit können die dadurch garantieren, wahrscheinlich durch dieses durch diesen Mechanismus oder diese Technologie. Das bedeutet, wenn man 10000 Dateien in s 3 speichert, dauert es statistisch gesehen 10000000 Jahre, bis auch nur eine Datei davon verloren geht. Ja, ja, das ist total krass und du kannst es quasi.
Du kannst du quasi diese Dauer steuern aktiv und das das kann man dann quasi, wenn man so Systeme selber aufsetzt. Also diese algorithmik sag ich mal.
Ja, die ist wie gesagt, das ist zusammengesetzt dieses diese Lösung ist zusammengesetzt aus Algorithmen, die gab es schon lange, ja was wir noch brauchen, das hab ich nicht angesprochen für die die die da mal einsteigen wollen die Spaß an sowas haben, die müssen sich noch golloirfelder angucken, es gibt noch ein Phänomen was ich noch hinkriegen muss, wenn ich nämlich diese neuen Gleichungen aufbaue, dann dürfen keine Ergebnisse rauskommen, also keine Lösung, keine Paritäten,
die größer als 255 oder kleiner als 0. Ich muss ja wieder falsch speichern quasi, also muss ich quasi. Paritäten generieren, die im gleichen im gleichen Zahlenraum sind wie die wie die Bytes, die ich speichern kann, und die sind dazwischen 0 und 250.
Das heißt, ich muss meine ganze Mathematik so einengen, dass quasi dass dass, obwohl ich neu rechne und krasse Rechnungen mache, das sind ja, ich brauch ja ganz viele Gleichungen, dass die nie überspringen, das Phänomen, der, das gelöst hat, mathematisch heißt, ist der Kollege Colois nicht colois, das sind die Zigaretten, ich bin nicht so gut Französisch. Also geschrieben wird der GALOIS ja, wie auch immer das
ausgesprochen wird. Ja, und das ist so n bisschen, das ist so n bisschen n Trick, der quasi die Zahlen immer wieder zurückbringt in so einer Überschlagart, das kann man sich ja gut vorstellen mit einer Uhr, es ist ja, wenn du zum Beispiel wenn du sagst, es ist 12:00 Uhr und plus 2, ja dann ist, dann wär es 14 das gibt es jetzt auch noch, aber man sagt ja, dann ist es wieder 2. Ja wenn du jetzt ne analoge Uhr anguckst, ja dann bleiben ja quasi deine Zahlen bleiben
zwischen. Zwischen 1 und 12 ja, obwohl es andauernd die Zeit weitergeht, ja im Prinzip so ähnlich kann man sich das mathematische Phänomen vorstellen und mit dem Trick kannst du halt riesige Gleichungssysteme bauen, in denen die Zahlen gleich bleiben, ja, nur für die, die nochmal tiefer einsteigen wollen, ja das wird dann mit dem x Ohr gelöst und so weiter technisch ist alles hochoptimiert voll krass und deswegen gibt es sowas halt auch manchmal nicht sofort.
Ja das sind so Sachen die wird die werden dann halt auch mit erfunden und ich find. Find das kann man sich mal reinziehen, da ist echt viel Technologie und da müssen die Engineers irgendwie auch gucken und das testen und so weiter es ist nicht nur einfach, dass man Hardware hinstellt und dann hat man ne Cloud, sondern die Services dahinter. Da steckt halt auch richtig Hirnschmalz hinter.
Wie kriege ich dieses Problem gelöst, dass ich halt auch wirklich nachhaltig langfristig solche Files sicher speichern kann, ohne dass mir die Ressourcen explodieren, ist halt super cool da. Und weißt du, ob das jetzt andere Manage Cloud, dann bitte auch mit den indischen Algorithmen machen, oder? Die machen das alle mit dem das ist. Das ist das non plus ultra.
Ja diese diese Algorithmik, genau das genau, es gibt auch noch die Raid Systeme wo hart gespiegelt wird, weil ich sag mal so n paar Nachteile wenn man das so macht, diese Mathematik und sagen wir mal du hast n großes File und machst ne kleine Änderung an einem großen Pfeil. Dann ist es aufwendig. Weil selbst also jede einzelne Änderung an einem Pfeil führt zwingend dazu, dass das Chunking und die Paritäten neu gerechnet werden müssen. Für alle.
So funktioniert die Matte ja selbst wenn ich, wenn ich einen Chunk verändere, ne, ich hab ja gerade erzählt, wie das funktioniert, ja dann, dann muss ich quasi alles neu rechnen, das heißt obwohl ich ne kleine Änderung mache, müssen halt alle Rechner und alle Chunks die verteilt wurden upgedatet werden und überschrieben werden ja das. Also das kann n Nachteil sein ne und es gibt es gibt gewisse Use Cases wie es immer so ist.
Also wenn ich meinen Pfeil nicht einfach da reinklatsche sondern wenn ich wenn ich quasi so so n Algorithmus habe oder ne Anwendung habe wo ich ständig kleine Änderungen machen will auf n großen Pfeil in einen Highspeed, dann nehm ich nicht s 3 ja das ist kacke. Ja da gibt es dann halt andere, da gibt es bessere Sachen. Frage noch mal.
Also es ist ja du hast noch was zu einem Algorithmus und wird Funktionsweise. Ich wollt eher noch mal s 3 so n bisschen einordnen oder dich dazu noch mal n bisschen was fragen. Gerne mach ich bin eigentlich durch mit Margot, wenn wenn du es einigermaßen verstanden hast Gerrit, dann hab ich es halt also ich ich weiß es ist komplex aber ich wollt es mal irgendwie anteasern ne genau ich find. Es faszinierend, aber ich glaub ich kann es jetzt nicht.
Nein, ich mach es erklären oder irgend so. Ich hab schon gemerkt, ich hab mir, ich hab mich vorbereitet und jetzt hab ich auch schon wieder n paar Stunden sind natürlich wieder durch irgendwie beziehungsweise paar Tage auch dass wir jetzt hier die Aufnahme machen, ich muss mich auch schon wieder konzentrieren, weil das ist einfach ja das ist schon auch n bisschen Materie, da ist n bisschen Fleisch dran an der ganzen Idee ja das ist schon cool.
Ja, aber jetzt noch mal so n bisschen so zum zum wie man es einsetzt. Das s 3 auch du, das find ich eigentlich auch mal spannend. Du hast ja gesagt OK wir benutzen das um große Dateien vielleicht einem Kunden bereitzustellen, manchmal ja, dafür nutzen wir das S 3 ja und es ist ja ein Teil der ganzen Services, die jetzt ABS anbietet, ja oder ein ein Service und.
Wenn ich jetzt zum Beispiel ich, ich musste gerade denken, an unseren Website Baukasten zum Beispiel, wir nutzen, wir nutzen da ja NCMSN Content Management System mit von Hubspot, aber gibt es ja ganz viele Wigs oder was auch immer. Ja also Website, Baukästen und da lade ich ja auch Ressourcen hoch, also Bilder und und und Files, die dann auf unserer Website angezeigt werden. Sollen ja, und jetzt nehmen wir
mal. An die benutzen ja auch hinten dran ne Manage Cloud. Ja ich weiß, weiß jetzt nicht was Hubspot nutzt, du bestimmt 1 von den 3 großen und wahrscheinlich nutzen die dann für die Bilder die auf unserer Website sind. Sowas wie s 3 dahinter.
Das kann schon gut sein, ne? Ja, das heißt, wenn ich jetzt da n Bild Reinschmeiße bei Hubspot zum Beispiel, in den in den in die Ressourcen, damit ich es benutzen kann, im im Baukasten, dann wird das vielleicht da hinten verhackstückelt und irgendwo sonst wo hingelegt und verteilt auf dem eigentlichen Speicher dahinter. Ja so, ja, genau so ist das ja, laufen ne. Ja, du weißt jetzt nicht, ob die jetzt ne Datenbank da haben oder irgendsowas.
Es gibt wie gesagt sehr viele Services, s 3 ist ja nur einer von diesen, also insgesamt vielleicht 2000 oder irgendsowas, die bei Amazon Web Service gibt, weiß nicht, müssen wir noch mal genau nachgucken, du kannst immer alles irgendwie anders machen, aber die Wahrscheinlichkeit schon sehr hoch, dass für Files, die jetzt vor allen Dingen jetzt nicht n relationsanspruch haben, sondern so Resources darstellen und so weiter, dass die dann ins genau in den S 3 reingehen, ja genau,
und dann ist es gehackstückt und dann genau das kriegst du alles nicht mit. Ja es passiert halt einfach alles, ja. OK, aber die Frage ist, ob es dann auch noch so angezeigt werden kann auf einer Website
dann also. Na ja, wenn das angezeigt wird, dann wird das Gefatcht ne, dann wird das also entweder wird das Zwischengecasht und so, das gibt es ja auch alles, aber du wenn du es also wenn man jetzt damit programmiert und du machst ne Cloud Lösung normalerweise macht man das ja so n bisschen 1 zu der 0. Ja entweder sag ich ich mach jetzt hier ne Anwendung die lebt halt in der Cloud oder halt nicht ja und wenn ich halt in die Cloud gehe dann guck ich mir
halt an dann deswegen machen wir diese Folge dann muss ich verstehen mit welchen Mitteln. Attackier ich denn jetzt meine Probleme? Ja. Wenn ich jetzt also Files habe und Ressourcen, die der Nutzer hochlädt, wo pack ich die denn hin? Ja und und dann hast du schon recht, also dann würde jetzt quasi der Hersteller, also Hubspot, die Entwickler von Hubspot, die haben sich gesagt ja OK wenn der Gerrit da irgendwie Files hochlädt, Ressourcen und so weiter wo
speichern wir die ab? Ja wahrscheinlich s 3, weil reicht ja der ab und zu klickt er da drauf, will das sehen, ja dann ziehen wir die zusammen, das ist ja auch alles immediated ja klang alles zu lang und langwierig und so weiter das passiert aber alles in Hundertstel von Millisekunden und so weiter ist alles schnell, ja. Das kann schon gut sein, oder ist es halt ne Datenbank als Service. Ja das weiß ich jetzt nicht,
aber. Je noch, nee, können wir ja auch nicht wissen, aber nur mal so, man könnte es so lösen, ja genau, man könnte es so. Lösen. Ja genau, ich hab. Halt geguckt. Es gibt so 200 bis 300 Services bei Amazon. Ah, guck mal, mit meinen 1000 mach ich n bisschen zu viel, dann aber ja, es ist auch schon ne ganze Menge.
Ja ja, vielleicht auch noch ein Fun Fact zu diesen zu diesen s 3 s. Das hab ich noch nicht gesagt, wenn man wenn man sich die anguckt, das hab ich auch erst gedacht, auch zum Beispiel bei uns minio, dann hat dann hat das ja ne URL diese Files ja. Die haben ne Struktur mit Slashes und so weiter also my cool picture, also my slash cool, slash picture test.png und man könnte der Meinung sein, das hat irgendwie wieso n pfeilsystem irgend ne Struktur,
ne Hierarchie und so weiter das wollt ich vielleicht auch noch mal sagen, dieses ganze Konzept ist natürlich zerbrochen. Ja das ist hoffentlich klar geworden mit dem Algorithmus, aber es wird, das ist auch krass, sich einmal ranziehen, es wird alles flach nebeneinander gespeichert, ja ist auch so ne Erkenntnis wie man weil. Was in welcher Hierarchie sollst
du da irgendwas speichern? Das Problem gibt es nicht, sind alle Files flach, ja und dieses mit den Slashes, das ist quasi der Name des Files, ist immer nur ein eine ID, eine flache ID aus diesem Namen wird quasi ne ID geformt, ne Unique ID und die Files liegen alle nebeneinander flach, da gibt es keine Hierarchien, das ist alles Fake. Ja Hierarchie ist nur ne Anzeige Fake ja physikalisch gibt es keine Hierarchien, ne. Auch flach nebeneinander von mit verschiedenen anderen.
Kunst alles durchmachen ja, du also diese, das ist ja das Wilde, diese ganzen Chunks. Auf der physikalischen Festplatte liegt ein Chunk neben dem nächsten, von den verschiedensten Nutzern. Kreuzung quer durch die Files ja völlig ihre und was du brauchst ist halt den indexing Server, das brauchst du schon, du musst halt wissen an welcher Stelle in auf welcher Platte liegt welcher Chunk von welchem Pfeil da sind die Metadaten dazu, das ist der Metadaten Service der sorgt beim
Auseinanderbauen des Files quasi und beim Reinspielen der Chunks dafür, dass sich alles gemerkt wird ja wo ist was und wie sind die Hashes ja ist übrigens n Highway Hash ja was ich mal angucken will ist ne besonders schnelle hashing Funktion. Und genau, wenn dir das in die Grützen geht, dann hast du auch n Problem. Und tatsächlich hatte Amazon auch mal n Problem wie das so wie das so ist, ne mit mit Human Failure und so weiter der ist bekannt, den kann man nachgucken. Es gab am 28.
Februar 2017 n ziemlich ziemlich krasses Outage, weil genau dieser indexing Dienst von dem ich spreche, da wurden zu viele Sachen runtergefahren, das ist auch krass ich hab ich hab dann gedacht, dass ich das gelesen hab, also was ist passiert? Den Techniker sollte irgendwelche es war irgendwas langsam und es sollten irgendwelche Kommandos abgegeben werden damit wieder neue Server ins ins Game kommen und
ausgetauscht werden. Stattdessen ist es was ganz Furchtbares passiert, es wurden ganz viele Systeme runtergefahren und von diesem Index, Server und so weiter und zwar über ein kritisches Intervall, dass halt diese Files genau nicht mehr rekonstruiert werden konnten.
Es war halt zu viel aus ja und dann gab das so n Self in Hauncing Loop. Dummerweise war dann auch noch die ganze Dashboarding und Monitoring und und Notification für die Customer von AWS System halt auch über s 3 quasi die Daten dahinter Gewicht, sodass die noch nicht mal ihren Kunden Bescheid sagen konnten, weil quasi ihr eigenes System
weggestorben ist. Das ist auch schon ganz schön krass und es hat auch ganz schön gedauert, dass man sich wieder anfahren konnte, weil es gibt quasi so ne, man kann sich fast vorstellen wieso n Atomreaktor auch, sodass es jetzt keine radioaktive Strahlung gibt, ist aber wenn du so ne kritische Menge da Unterschreitest in diesem indexing Server und wenn
da irgendwas kaputt geht. Dann hast du im Notfall n super Gauer am Hintern, weil weil wie gesagt, es gibt halt diese Files werden halt nicht logisch an einem Stück abgelegt. Ja wenn wenn dir da was kaputt geht oder wenn diese Parities und die Chancen nicht mehr zusammengesetzt bekommst, dann ist halt dann hast du halt nur noch Spaghetti ja ist schon auch wild, ja. Das klingt wirklich, wieso ne sehr vulnerable stelle, die wahrscheinlich sehr gut geschützt ist. Ist es.
Total gut geschützt da ich glaub also das das ist das wenn du ich meine wie krass ist also und da ist kurz mal n bisschen was unten gewesen ja 2017 28. Februar ja und ansonsten? Speichern alle und jeder seine Falz in die Cloud und kriegst sie immer zurück? Ja, gibt es ja keine, keine Schmerzen, ne schon schon n stabiles System, ne. Ja, OK, man merkt, du bist fasziniert von der ganzen Sache. Ja, aber ich mich fasziniert das, weil ich irgendwie dann machst du irgendwie ewig Software.
Ich weiß nicht, wie ich es unseren Zuhörern gehe und du, ich bin ja auch wirklich im Web unterwegs und so, jetzt bin ich nicht so krass in der Cloud unterwegs, weil wir halt genau dieses hetzner Sachen machen und dann dann weiß man auch einfach nicht so viel davon, weil man sich einfach nicht das tägliche Brot ist, sag ich mal. Aber ich hab nicht damit gerechnet, was da was da für ne Eleganz und für ne Algorithmik und für ne Mathematik hinter dieser Storage Lution steckt.
Das hat mich echt überrascht, weil ich dachte eigentlich Cloud ist mir so. Ja ich stell ich bin halt irgendwie ne Firma und hab sehr viel Geld und stell mir halt ganz viele Rechner hin ja und hab dann halt fette Netzwerkkabel und verteil halt den Quatsch zwischen den Rechnern irgendwie und das ist halt definiert halt schon mal Cloud weil ich halt einfach die Ressourcen hab. Pustekuchen. Aber es ist nicht nur so.
Ja, also mal gucken, was jetzt noch kommt in den nächsten Folgen, was wo noch Eleganz drin steckt bei den anderen Kategorien sag ich mal auf den Motor gucken oder oder in auf dem System kommen bestimmt auch noch n paar Highlights ja. Ja, so Content Delivery Network, so was könnten wir uns auch mal angucken, was es Cloudflare macht und so, also wo räumlich Dinge gespeichert sind, damit sie noch n bisschen schneller abgerufen werden können und solche Sachen.
Ne, ja. OK, ja dann würd ich sagen mach mal Deckel drauf oder? Ja, 1. Folge 1. Folge der Serie ab im im Kasten und mal gucken ob wir wann wir wann wir zur nächsten Folge der Serie kommen. Cloud Services. Schauen wir mal. Gut, alles klar, ja dann würd ich sagen Recalled A Podcast ja und der Recalled Podcast bis zum nächsten Dankeschön Burkhard danke euch fürs Zuhören und bis in 2 Wochen war einfach komplex tschau tschau.
Tschüss aus Hamburg. Einfach komplex wird produziert und präsentiert von Heisenware Heisenware ist deine lowcode Plattform zur Erstellung und zum Betrieb interaktiver Apps rund um den Shopfloor. Starte noch heute deinen Free trial. Unterheisenware.com einfach minus komplex.