Hoe werkt een supercomputer? - Ik heb een vraag

In 2013 had een computer nog 13 jaar nodig om een menselijk genoom te decoderen. Vandaag klaart een supercomputer dat klusje in amper 5 uur. De supercomputer heeft dus een enorme impact op wetenschappelijk onderzoek en ook op ons eigen dagelijks leven. Toch hebben nog maar weinig mensen, ook wetenschappers, al een supercomputer in het echt gezien. Wat moeten we ons voorstellen bij zo'n computer op steroïden?

Steven Latree, hoofd van de onderzoeksgroep Artificiële Intelligentie bij IMEC, geeft antwoord in deze podcast. We gaan het in deze podcast over de supercomputer, wat een supercomputer precies

is en wat die betekent voor ons en voor de wetenschap. Ik wil eigenlijk bij de meest basic mogelijke vraag starten. Wat is een supercomputer en waarin verschilt de supercomputer van de computer waarmee we elke dag werken? Ja, op zo'n basic vraag kan ik een basic antwoord geven. Een supercomputer is een computer die gewoon een pak heel veel beter is dan een gewone computer. Dat is het meest logische antwoord. Dus laten we dat misschien wat meer detail uitleggen.

Een pak beter, maar hoeveel keer beter? Dat wordt uitgedrukt in flops. Flops staat voor floating point operaties per seconde, zoals een floating point operatie. Dat is eigenlijk niet anders dan hoeveel decimalen getallen gaan vermenigvuldigen. Dat is eigenlijk de basisoperatie die we in een gelijkwelke computer hebben. En dat betekent ook dat we gelijkwelke computer kunnen gaan uitdrukken in hoeveel van die berekeningen per seconde kan hij gaan uitvoeren.

Gewone computers, als je een echt dure computer hebt, dan ga je typisch tegen de 100 gigaflops kunnen gaan uitvoeren. De duurste computer de dag voor vandaag, of de grootste supercomputer de dag voor vandaag, die kan meer dan één exaflop gaan uitvoeren. Dat is bijzonder keer meer. Dat is eigenlijk een miljard maal een miljard operaties per seconde dat hij dat kan doen. doen. En dat is ook de allereerste computer die meer dan een miljard maal miljard operaties per seconde kan gaan doen.

Dus we spreken echt over vele grote ordes meer in wat die supercomputer kan. Dus die computer staat ergens in Tennessee. Het is een gigantisch grote machine, uiteraard. Hoe slaagt zo'n supercomputer er dan in om sneller te werken? Hoe werkt een supercomputer? Ja, wel, je zou kunnen naïef denken, eigenlijk juist hetzelfde als bij een gewone computer. Ik zet er heel veel dingen bij.

Met dingen bedoel ik dan CPU's bij. Als je die computer groter en groter en groter en groter gaat maken, ja, dan kan die sneller en sneller gaan werken. En voor een deel klopt dat. En dus die echt allerduurste supercomputer de dag van vandaag, die heeft meer dan 1 exaflop, 1,7 exaflop operaties in totaal. Dat betekent dat hij daarvoor 8,7 miljoen cores, en wat is een core? Dat is eigenlijk een component van een CPU.

Een typische computer zal er misschien een 8 hebben ofzo, wel die supercomputer heeft er 8,7 miljoen. Dus dat is gigantisch veel meer. Het zorgt er dus voor dat je een computer hebt die veel sneller werkt.

Nu zou je denken, oké, dat maar groter en groter maken zal op zich voldoende zijn om die computer sneller te laten draaien. Maar dat is niet zo. Dus die supercomputeren werken toch fundamenteel anders dan gelijk welke andere computer. En waarom is dat? Je kan misschien acht miljoen van die rekeneenheden van die cores hebben, Maar als er eigenlijk maar één van die acht miljoen draait, dan is die nog altijd even traag als gelijk welke gewone computer.

Dus er wordt heel veel tijd gestopt om ervoor te zorgen dat alle berekeningen die we kunnen doen, dat tegelijkertijd zoveel mogelijk van die meer dan acht miljoen rekeneenheden tegelijkertijd aan het draaien zijn. Dat betekent dus dat je bijzonder veel moet doen om een bepaalde berekening parallel te laten draaien door zoveel mogelijk systemen. Dat is uitdaging 1, die een supercomputer anders maakt dan een gewone computer.

Uitdaging 2 is het energievraagstuk. Dat is een gewone computer die gaat uiteraard ook wel wat verbruiken. Zo'n supercomputer, bijvoorbeeld die grootste, de dag van vandaag, die vraagt 22 megawatt aan energie. Om een beetje een idee te geven, een kerncentrale in België, een goede kerncentrale, de meest recente, die zit er rond de 1000 megawatt. Dus dat is niet iets dat je zomaar in het stopcontact stopt. Er zijn ook heel veel uitdagingen richting koeling.

Het windige megawatt aan energie vraagt ook bijzonder veel warmte daardoor. Dus die systemen moeten veel meer gekoeld worden ook. Dus ja, het eenvoudige antwoord is, een supercomputer is... Gewoon echt een gewone computer op steroids. We zetten er ook heel veel grote systemen bij. Maar in de realiteit is het toch wel een pak complexer dan dat. Ja, je spreekt over koeling en over heel veel energieverbruik. Hoe ziet een setting er dan uit waar een supercomputer staat?

Moet ik me dan iets voorstellen zoals vroeger de computer, een volledige kamer, een gebouw dat helemaal is gebouwd om die computer te laten werken? Is het zoiets? Ja, absoluut. Ik zal ook het voorbeeld terugnemen van die grootste supercomputer van de dag voor vandaag. De Frontier-supercomputer staat in het Oak Ridge National Laboratory in Tennessee. Die is de grootte van 680 vierkante meter. Dus dat is toch wel meer dan een modaal appartement, om het zo te zeggen.

Toch een gigantisch grote ruimte. Dat is één grote computer, maar dat is in de praktijk zo'n 74 rekken aan allemaal computermateriaal. En in elk van die rekken staan er wat we noemen blades. Dus wat typisch een kleine server zou zijn in een datacenter. Dus in elke rek zit er al zo'n 64. Om dat allemaal te kunnen gaan connecteren met elkaar, heb je 145 kilometer aan kabel nodig ook.

En dat ding weegt 296 ton. Dus het is niet iets wat je vandaag zou zeggen van van kijk, ik ga dat misschien morgen eventjes gaan bouwen. Daar wordt jaren naartoe gewerkt en wordt inderdaad volledig van de grond op gebouwd. Zowel de computer, maar absoluut ook het gebouw, wat je nodig hebt om dat te kunnen hosten. De totale prijs van die computer was overigens 600 miljoen dollar.

Dus toch wel de moeite waard. Ook nog niet iets om onder de kerstbomen te krijgen. Nee, ik zou zeggen dat het op Coolblue staat en dat zal ook morgen niet het geval zijn, denk ik. Ook nog een heel praktische vraag waar ik aan denk, als je beschrijft hoe gigantisch zo'n supercomputer is. Hoe werk je op een supercomputer? Is dat ook gewoon een klavier aansluiten en beginnen?

Zo eenvoudig is het niet. Misschien belangrijk om te weten, er bestaan honderden, eigenlijk duizenden supercomputers, ook in Vlaanderen. Elke universiteit heeft eigenlijk wel een supercomputer. Niet van die grote, uit de kluiten gewassen systemen zoals die Oak Ridge computer, maar toch wel groot genoeg.

Er bestaan heel veel systemen de dag voor vandaag, ook aan universiteiten maar ook externe organisaties als ze dat willen, waar je tijd krijgt om op die computer te werken vaak zelfs niet jij alleen vaak is het dan verschillende mensen die tegelijkertijd een van die. Honderden van die acht miljoenen rekeningheden kunnen gebruiken en je krijgt een bepaalde periode het kan een minuut zijn het kan een uur zijn, het kan een dag zijn het kan een dagen zijn het hangt een beetje af van de soort

supercomputer computer om daar toegang tot te krijgen. En dan ga je daar, wat we noemen, een job. Dus iets van werk die je wil laten uitvoeren door die computer aan geven. Dat gebeurt vandaag allemaal via het internet. Dus in de praktijk moet je nooit naar die computer gaan. Aan de verschillende universiteiten zijn er supercomputers. Er worden door honderden onderzoekers per universiteit gebruikt.

Ik denk dat het veilig is om te zeggen dat bijna geen enkele onderzoeker ooit die supercomputer in het echt gezien heeft aan de universiteiten. Je plaatst daar iets op en op Op het einde van die job krijg je daar een antwoord van terug. En dan bekijk je die resultaten en dan ga je een nieuwe job gaan insturen enzovoort.

Is de snelheid van het internet dan niet een limiterende factor als je vanop afstand op die computer moet werken? De snelheid van het internet op zich niet. Wel de hoeveelheid data die we soms nodig hebben. Dat is een van de uitdagingen toch wel, omdat meer en meer... Ik vermoed dat we het zo meteen nog over de term artificiële intelligentie gaan hebben ook. Maar meer en meer zijn de soorten rekenopdrachten die je daarvoor nodig hebt.

Dus die jobs hebben die wel iets te maken met artificiële intelligentie, dus hebben die iets te maken met data ook. En is het nodig om die data toch ergens naar die supercomputer eerst te brengen. Vroeger spraken we over... Ja, kilobytes, megabytes, gigabytes aan data, nu is terabyte al absoluut geen uitzondering meer. Dus dat is wel een uitdaging om voldoende data over die internetlijn eerst te krijgen. Maar vanaf dan kan die computer eigenlijk zijn werk doen.

En vaak het enige wat hij moet teruggeven is, ik zal niet zeggen één cijfer, het zullen er wel wat meer zijn. Maar hij moet vooral heel veel kunnen rekenen en pas helemaal op het einde dat antwoord terug gaan geven. Het is niet zoiets als een gewone computer waar je zoals dat juist zei met een toetsenbord van alles mee interactief gaat gaan doen. Je gaat een definitie geven van kijk, dit is de rekenopdracht die je moet uitvoeren.

Je doet bij wijze van spreken op start. Je gaat een koffie gaan drinken of typisch meerdere koffies of een paar dagen gaan wachten en daar komt een antwoord uit. Zo moet je het echt gaan bekijken. Ja, je zei het inderdaad al, artificiële intelligentie en supercomputers, ze worden vaak in één adem genoemd. Wat is de relatie tussen beiden? Ja, artificiële intelligentie is een enorme slok op qua rekenkracht en daarom heb je dus eigenlijk heel vaak een supercomputer nodig.

Historisch gezien was dat niet zo. In de jaren negentig, tweeduizend, was artificiële intelligentie verre van zo populair als nu. En toen was er ook veel minder artificiële intelligentie nodig.

Er waren veel meer standaard rekenopdrachten. Maar vandaag is er een heel grote meerderheid van die rekenopdrachten AI-systemen die wij trainen, neurale netwerken die heel veel data nodig hebben en die ook door een lang proces moeten gaan om getraind te worden, dus om als AI-model te doen wat je wil dat het doet. Dus dat wordt een zeker heel belangrijke rekenopdracht, nog altijd. Maar er zijn ook nog had het andere. Dus we hebben eigenlijk twee verschillende soorten berekeningen.

We hebben die AI-systemen, dat noemen we typisch blackbox-systemen. Dat betekent dat je daar data aan gaat geven en heel veel rekenkracht nodig om die data te gaan analyseren en daar een model uit te halen. Je hebt daar technisch ook vaak meer GPU-systemen voor nodig. Dat zijn systemen die heel goed zijn in matrix-naar-matrix-vermenigvuldigingen te gaan doen. Dus eigenlijk vooral rijen en kolommen met rijen en kolommen gaan vermenigvuldigen. Traditioneel zagen supercomputers er ook anders uit.

Die waren veel meer CPU-gebaseerd. CPU is een grote rekenmachine of een eenvoudige rekenmachine waar je vooral gewoon echt getallen mee kunt gaan vermenigvuldigen. En die soorten systemen hadden we vooral nodig En hebben we nog altijd heel veel nodig in wat we de traditionele white box modellen noemen. Dat zijn zaken waar we heel makkelijk zelf, bijvoorbeeld in een stelsel van wiskundige vergelijkingen, kunnen in gaan definiëren. En waar je heel veel rekenkracht voor nodig hebt.

Simulaties waar we eigenlijk al vaak de wetten van de fysica of de chemie in kennen. En waar we die in theorie ook met de hand zouden kunnen gaan opschrijven, maar waar het wel heel veel tijd zou vragen om die allemaal manueel te gaan laten rekenen. Dat zijn de typische whitebox-modellen, die zijn ook nog altijd een heel belangrijke rekenopdracht voor supercomputers. En dat kan van alles zijn, er zijn er heel veel voorbeelden van.

Van bijvoorbeeld het gaan toepassen van bepaalde special effects in films. Uiteindelijk is dat allemaal, er wordt meer en meer AI daar ook voor gebruikt, maar dat we vandaag ook heel veel met wiskundige vergelijkingen dingen gaan tekenen. Of het menselijk genoom gaan decoderen. Ook dat zijn voorbeelden waar je bijzonder veel rekenkracht voor nodig hebt. ChatGPT is nu het standaard voorbeeld van AI, er is natuurlijk veel meer dan dat, maar het is wel het populairste, het bekendste voorbeeld.

Werkt ChatGPT ook via een supercomputer? Wel, het eerlijke antwoord is dat we dat eigenlijk niet weten. Dat klinkt misschien heel vreemd. Het zou goed kunnen, maar het zou eigenlijk ook even goed kunnen van niet. Het is niet bekendgemaakt wat eigenlijk de rekeninfrastructuur is achter ChatGPT. Waarom zou het kunnen van niet? Omdat er eigenlijk twee verschillende soorten vormen zijn voor de dag waar we vandaag grote rekenopdrachten uitvoeren.

Supercomputers zijn absoluut één ervan. Dat zijn grote computers, dat is duidelijk. De andere manier is cloud computing.

En wat is cloud computing en waar is het verschil? Bij cloud computing heb je niet één grote computer die als een geheel werkt en die er ook specifiek voor gebouwd is, maar heb je eigenlijk heel veel, kleinere, en met kleinere moeten we wel een beetje tussen aanhaling zetten ook, want dat zijn vaak ook al heel grote machines, maar toch altijd krachtige computers die allemaal aan elkaar worden, gekoppeld, maar heel makkelijk als er eentje van faalt, dan haal je die eruit

stop je er een nieuwe erin, wil je er morgen honderd nieuwe bij stoppen dat kan dat ook, en die zijn eigenlijk allemaal honderden, soms duizenden computers die allemaal in een datacenter staan, die ook kunnen gebruikt worden. Nu Nu, van ChatGPT weten we zeker dat ze de cloud-oplossing van Microsoft gebruiken. Microsoft Azure, omdat Microsoft ook een heel sterke band heeft met OpenAI. Dus ongetwijfeld gebruikt ChatGPT cloud computing.

Anderzijds heeft Microsoft ook een van de grotere supercomputers, dat is de Voyager. Je moet weten dat er een rangschikking van supercomputers bestaat. De top 500 van snelste computers. Die Frontier in Oak Ridge staat op dit moment op nummer 1. Die van Microsoft staat op nummer 23 en volgend jaar zal die ongetwijfeld weer voorbijgestoken worden.

Dus waarschijnlijk, maar dat weten we niet zeker, maar de kans is reëel, toch minstens, is dat ChatGPT een combinatie zal gebruiken van enerzijds cloud computing en anderzijds een supercomputer. En dan specifiek die Microsoft supercomputer daarin. Zijn er nog populaire toepassingen of technologieën waar wij als particulier, dan heb ik niet over wetenschappers, die wij kunnen gebruiken dankzij een supercomputer die ergens werkt?

Het is heel vaak indirect. Er zijn heel veel toepassingen die gebruikt worden in bedrijven om toch wel grote rekenopdrachten te doen, die per se in wetenschappelijk onderzoek zitten, maar die wel gebruikt worden en waar achterliggend een supercomputer voor gebruikt wordt. Om een voorbeeld te geven, decoderen van het menselijk genoom, dus DNA sequencing.

In 2013 zijn we daar in de eerste keer in geslaagd. Dat kostte ons toen 13 jaar om die berekeningen te maken. Een supercomputer in 2018 doet dit ongeveer in zo'n 19 uur, dus heel veel bedrijven, er is meer en meer massa geworden en mensen kunnen gewoon een uitsreikje nemen, opsturen, en er kan een DNA sequencing gebeuren.

Dat is toch wel een redelijke rekenopdracht. Een bedrijf zal dan achterliggend, niet altijd, zal een beetje afhangen van het soort bedrijf, maar die zullen sowieso vaak een supercomputer gebruiken. Ander voorbeeld, er zijn voorbeelden gekend, Een voorbeeld van Trek, de fietsfabrikant, die supercomputing gebruikt om de perfecte vorm van die fiets te gaan bepalen. Waarom? De wind zal daar een impact op hebben. En hoe die wind eigenlijk juist rond die fiets gaat, dat noemen ze fluid dynamics.

Dus modeleren van hoe die luchtstroom zal rond die fiets gaan. Bijzonder veel rekenkracht voor nodig. En nog misschien nog een ander voorbeeldje. Formule 1 wagens, een paar jaar geleden was er heel veel te doen. Rond hoe de nieuwe regels bij Formule 1 ervoor zorgden dat die wagens aan het stuiteren waren. Ja, de perfecte configuratie van hoe zo'n wagen er dan moet uitzien, ook om weer die wagen echt op de grond te houden, is ook iets wat met heel veel supercomputers gebeurt.

Dus ja, als particulier denken dat we daar morgen zelf onze... Het zal dan niet een toetsenbord zijn, maar dan zelf een rekenopdracht gaan uitvoeren. Dat gaat niet zo snel gebeuren, in alle eerlijkheid. Dat is op zich ook niet zo'n probleem. Ik denk dat vooral als particulier het voordeel indirect is. We kunnen allemaal een chat-gpt gebruiken, omdat een bedrijf achterliggend toegang heeft tot heel grote rekenkracht.

Er kunnen vliegtuigen gemaakt worden, omdat een bedrijf toegang heeft tot grote rekenkracht. Het is altijd een indirect effect daarin. Ja, zo merken we dus inderdaad dat de wetenschap technologie vooruitgang maakt dankzij supercomputers en artificiële intelligentie. Ik moet ook meteen denken, als het over veel data gaat, aan uitdagingen zoals de klimaatverandering, wat kunnen supercomputers daar betekenen?

Wel, eigenlijk heel veel. Dus inderdaad, naar wetenschappelijk onderzoek wordt supercomputing in heel veel zaken gebruikt om nieuwe geneesmiddelen te gaan detecteren, maar bijvoorbeeld ook naar klimaat toe, om eerst en vooral natuurrampen te gaan detecteren. Denk maar aan het detecteren van seismische activiteiten.

En dan onmiddellijk ook gaan proberen een inschatting te maken van waar zal bijvoorbeeld een vulkaan gaan uitbarsten en welke impact zal dat hebben op welk dorp, recent nog heel relevant, dat is al stap één. Maar dan eigenlijk algemeen kunnen we zeggen dat de natuur een zeer stochastisch proces is, dat betekent dat heel veel verschillende parameters een invloed zullen hebben op het uiteindelijke eindresultaat.

En daar heb je bijzonder veel rekenkracht voor nodig. Als morgen een gletsjer aan het smelten is, dan zorgt dat voor kouder water in een oceaan. Het is niet zo dat het dan onmiddellijk een direct effect heeft van hoe het bijvoorbeeld in de Noordzee er zal aan toe zijn en wat voor weer we vandaag zullen te maken hebben of in de volgende maanden zullen te maken hebben in Europa.

Er zijn bijzonder veel stappen die daarvoor zorgen. en dat allemaal gaan modelleren van wat betekent dat richting de stroming in de oceaan, wat betekent dat richting toekomstig weerbeeld. Dat gaan we voorspellen, modelleren en ook eventueel de wat-als vraag gaan beantwoorden. Wat als we nu de opwarming kunnen onder controle krijgen of juist niet onder controle krijgen? Wat zal dan gebeuren en welke acties zouden kunnen leiden om dat dan toch onder controle te krijgen? eigenlijk al die stappen.

Allemaal bijzonder veel rekenkracht, juist omdat dat proces van klimaat, we weten daar wel veel van, verre van ook alles, maar we weten daar toch al veel van. Maar dat echt op schaal gaan doen, op zo'n mondiaal effect, ja, dan heb je bijzonder veel rekenkracht voor nodig. Dus in elk van die stappen heb je sowieso rekenkracht en dus een supercomputer nodig. Ja.

Ik wil nog eens heel praktisch worden. Stel, ik ben een wetenschapper, ik begin onderzoek te doen, ik verzamel heel veel data, ik wil die laten analyseren, bestuderen door een supercomputer, wat Wat moet ik doen? Moet ik ergens een bedrijf zoeken? Inloggen op een bepaalde app? Ja, het is niet zo gemakkelijk als juist een app. Dus om te beginnen, het is belangrijk om te weten, er zijn een hele grote waaier aan supercomputers. Dat is denk ik stap één.

Elke dag, niet elke dag, maar zoveel maanden komen er nieuwe bij. Computers worden ook altijd maar sneller in die zin. En dus typisch, heel veel universiteiten hebben al historisch geïnvesteerd in supercomputers. Dus eigenlijk in elke universiteit hier in Vlaanderen is er wel grote rekenkracht beschikbaar. Die rekenkracht wordt ook tussen de verschillende universiteiten, bijvoorbeeld in Vlaanderen, perfect gedeeld met elkaar ook.

Dus als je morgen start aan de universiteit, dan kan je toegang krijgen daartoe, tot die rekencluster. Daar krijg je typisch een eerste cursus voor, hoe je dat juist moet gaan doen. Maar dat is op zich niet meer dan een stukje code gaan schrijven en dat gaan opladen op een bepaalde website. Typisch word je dan in een bepaalde wachtrij geplaatst tot het jouw beurt is om die rekenopdracht te voeren en dan krijg je het antwoord terug.

Dat is bijvoorbeeld wat betreft de rekenkracht die beschikbaar is op bestaande supercomputers aan universiteiten. Wil je echt naar de bijzonder grote powerhouses zoals die Exaflop computer die er dag voor vandaag bestaat, dan kan je ook, als je dat zou willen, een project proberen te bemachtigen. Dus er bestaan programma's, die zijn vaak die supercomputers met belastingsgeld gebouwd. Soms binnenlands, maar evengoed ook in het buitenland belastingsgeld.

En die hebben als opdracht ook om die rekenkracht ter beschikking te stellen van de brede samenleving. Dus je kan een project indienen waar je dan, zeker bij die grote systemen, waar je moet uitleggen van kijk, ik wil er dit en dit mee doen en dat zal mij zo helpen. en dan krijg je daar. Bepaalde tijd op waar je weer juist hetzelfde proces doorloopt. Stel, je bent bioloog of kankeronderzoeker bijvoorbeeld, dan weet je als wetenschapper heel veel over fysiologie, anatomie, chemie.

Moet je door die opkomst van de supercomputer ook zeer veel weten over computers en kunnen denken van dit is een onderzoeksopstelling of als ik zo data verzamel, dat is nodig om de beste analyses te kunnen aan die computer vragen? Dat is een goede vraag en daar is er niet één duidig antwoord op in die zin. Ik denk dat die supercomputer eigenlijk niet meer weg te denken is in gelijke welke discipline bij de wetenschap.

Dus het is heel duidelijk dat supercomputing absoluut niet iets is dat enkel voor computerwetenschappers is weggelegd. Er zijn in alle takken aan de universiteiten, of het nu geografie, biologie, is chemie, wordt supercomputing absoluut gebruikt. En heel vaak gebruikt. De overgrote meerderheid zit zelfs daar en zit niet bij de computerwetenschappers. Daar juist bij. Moet je daarom een computerwetenschapper zijn, Nee, maar natuurlijk,

er helemaal niets van afweten zal ook niet voldoende zijn. Dus inderdaad, we zitten wel veel meer in een soort van wereld waar data extreem belangrijk is, waar heel veel op basis van data kan gestuurd worden. Dus bij elk experiment, maar ik denk dat elke wetenschappelijke discipline dat wel sterk benadrukt, is hoe je data gaat verzamelen, hoe kwalitatief is die data, en hoe makkelijk kandidaten ook geïnterpreteerd worden door hun computer, is cruciaal.

Alles morgen gaan noteren op een blaadje papier, wat soms nog gebeurt de dag voor vandaag, is uiteraard zeer suboptimaal. Dat is cruciaal om naar de toekomst die vooruitgangen te maken. Dat betekent niet dat je de expert moet zijn en gelijk welke programmeertaal daarvoor. Basiskennis van programmeertaal en programmeren is denk ik wel relevant voor elke discipline.

Maar je moet een onderscheid maken tussen een computerwetenschapper die vooral de theorie en de technologie achter het programmeren en computerwetenschappen in het algemeen zal verleggen en een gebruiker ervan zijn al die andere disciplines daarin. We hebben het nu al uitgebreid gehad over toepassingen voor wetenschappers, technologen, bedrijven, waarvoor de supercomputer zeer interessant is. Wanneer is het aan ons, de particulieren?

Het korte antwoord is eigenlijk nooit. In die zin dat het voordeel vooral indirect is. Wat ik daar juist al een beetje aan gaf, een bedrijf, of dankzij wetenschappelijk onderzoek, gaat wel doorbraken of een duidelijk product gaat maken, dat achterliggend heel veel supercomputers gaat gebruiken.

Een individuele persoon die gaat typisch niet zo heel veel rekenkracht nodig hebben om echt morgen te zeggen van ik heb hier echt een supercomputer nodig maar ik kan natuurlijk wel de vruchten plukken van wat indirect die bedrijven aan het doen zijn, wat wel een uitdaging is is dat die technologie ook verder toegankelijk blijft zij het dan indirect ook aan particulier, het is zo dat. Rekenkracht meer en meer kost ik zei daar juist al, 600 miljoen dollar om zo'n

computer te gaan bouwen. Dat zijn investeringscijfers die gigantisch zijn. Dat zorgt er ook voor dat het moeilijker en moeilijker is als gelijk welk instituut om de investering te doen om zo'n grote computer te gaan bouwen. Dus je merkt dat meer en meer die rekenkracht gecentraliseerd wordt. Niet alleen bij universiteiten, maar vooral bij heel grote technologische bedrijven.

En dus het breed toegankelijk houden van die rekenkracht, Wat ik denk al duidelijk is van de vele voorbeelden die ik daar juist gaf, die gaan we overal in de toekomst alleen nog meer en meer nodig gaan hebben. Maar de hoeveelheid aanbieders die dat kunnen hebben, zijn minder en minder in aantal en zijn ook meer en meer in commerciële aard. En dat is wel een uitdaging, denk ik, in de toekomst. Ja, en de prijs zal daardoor ook wel een stuk zakken waarschijnlijk.

Ja, de zakken of toch op zijn minst de toegang beperkt worden. En misschien gaat die prijs zelfs omhoog gaan daardoor, omdat er natuurlijk ook een commercieel model zal nodig zijn om dat te betalen, terwijl... Heel vaak zijn supercomputers ook een verhaal geweest van publiek geld dat daar aangegeven werd. Dus we betaalden ook, maar iedereen betaalde via het belastingssysteem. We hebben het nog niet gehad over een grote beperking voorlopig nog van supercomputers,

het energieverbruik. Je zei al dat energieverbruik is gigantisch. Kan je een idee geven van wat het verbruik is van supercomputers en artificiële intelligentie? Ja, dus er moet een onderscheid te maken tussen de infrastructuur enerzijds, Dat zijn de supercomputer en dan de werklast, de rekenopdrachten die je op gaat uitvoeren. Op zich de infrastructuur, door dat allemaal samen te brengen, kan je enorme energieefficiëntie gaan behalen.

Die systemen worden gebouwd met als doel om die zo energieefficiënt mogelijk te gaan maken. Dat betekent dat die vaak dichter bij hernieuwbare energiebronnen worden geplaatst. Dat zien we ook bij datacenters, waar datacenters worden geplaatst dicht bij een dam bijvoorbeeld, om waterkrachtenergie op te wekken.

Anderzijds, door alle rekenkrachten te gaan centraliseren, heb je ook heel veel winstenschaalbaarheidsefficiëntie die je kunt gaan uithalen, om per rekenopdracht die energieefficiëntie zo hoog mogelijk te maken.

Dat is de positieve kant van het verhaal. Er is ook een andere kant van het verhaal.

En dat heeft dan inderdaad te maken met de werkopdrachten die we er zelf aan geven dat is dan artificiële intelligentie vaak, meer en meer artificiële intelligentie daar zien we toch wel dat, we daar toch een zeer grote uitdaging hebben AI is zonder meer, ongelooflijk belangrijk aan het worden als het al niet belangrijk is maar je ziet dat de hoeveelheid energie of de hoeveelheid, rekenkracht dat zo'n AI-systeem vraagt, eigenlijk exponentieel aan het stijgen is,

Tot 2010 was het zo dat een state-of-the-art neural netwerk, de basistechnologie die we gebruiken voor artificiële intelligentie. Ongeveer verdubbelde elke twee jaar. Dus dat er nieuwe AI-systemen uitkwamen die dubbel zo groot waren om de twee jaar. Verdubbelen om de twee jaar, dat is niet zo erg. We hebben de wet van Moore, dat is een wet die al decennia geleden is geponeerd.

Dat is geen fysische wet, maar eerder een observatie. die zegt dat computersystemen ongeveer verdubbelen elke twee jaar in kracht. Dus ruwweg zogezegd. Dag voor vandaag, sinds 2010, als we verdubbelen om de twee jaar is dat niet zo erg, want dan betekent ook dat je met dezelfde grootte qua koststand van een computersysteem hetzelfde nog altijd kan gaan doen. Dag voor vandaag zijn AI-systemen niet meer aan het verdubbelen om de twee jaar, maar die zijn aan het verdubbelen om de twee maanden.

Dus dat betekent plotseling dat qua werklast we meer en meer in software aan het vragen zijn en dat de hardware onvoldoende kan volgen. En dat zal ook niet veranderen. Het is niet zo dat we nu plotseling hardware gaan kunnen vinden die nu plotseling die wet van Moore gaat doorbreken. We zijn al jaren aan het tempo van de wet van Moore aan het slagen om computersystemen sneller en sneller te doen draaien.

En dat heeft ook zijn effect. Een computer dat we vandaag, wat een supercomputer was 25 jaar geleden, dankzij die wet van Moore, waar we vroeger iets miljoenen voor nodig hadden, kunnen we nu eenvoudig weg in een computer gaan stoppen. Maar AI voort daar wel een enorme uitdaging op in de zin dat de hoeveelheids rekenkracht die we nodig hebben zeer groot aan het worden is. Dat zorgt ook voor bijzonder belangrijke uitdagingen naar concrete toepassingen toe.

Bijvoorbeeld GPT-modellen, GPT-3, wat de voorganger was van Chachy-PT. Om dat ding te trainen had je de rekenkracht nodig of eigenlijk de carbon footprints nodig, om een dieselwagen naar de maan te rijden en terug. Voor één model te trainen. En dat is een model van een paar jaar geleden. Als je dan weet dat het al zoveel jaren verder gegaan is, en nog zoveel groter geworden is, we weten niet exact hoe groot GPT-4 is, maar het zal vele malen een dieselwagen zijn om dat te rijden.

En zo zie je dat in allerlei toepassingen voorkomen, dat AI zoveel rekenkracht begint te vragen, dat het eigenlijk ook een duurzaamheidsbottleneck begint te worden. Ander concreet voorbeeld. Als je morgen een wagen zou zelfrijdend maken, dan heb je ook heel veel artificiële intelligentie nodig. Wel, om die wagen zelfrijdend te maken in de binnenstad, dan zou een derde van de totale energiebudget van die wagen naar artificiële intelligentie gaan.

Dus twee derde gaat naar die wagen echt vooruit krijgen. Een derde gaat naar de vele verkeersborden die er zijn te gaan interpreteren. Dus dat is niet meer een verwaarloosbaar punt. Wordt die wagen op dat moment dan minder duurzaam dan de dieselwagen? Ja, dat is een goede vraag. Het hangt natuurlijk vanaf waar je die energie juist gaat halen. We kunnen die uit hernieuwbare bronnen gaan halen. Dus in die zin is dat een efficiëntie die je haalt.

Maar het is absoluut iets dat we moeten gaan oplossen. Ik denk dat artificiële intelligentie duurzamer moet worden om die goge populariteit die we ervan krijgen en waar we in software fantastische dingen mee aan het doen zijn, als we die niet op de juiste manier energie-efficiënter kunnen gaan maken.

Dan wordt het wel meer en meer een probleem. Absoluut. En dat zie je echt in alles. Nog een laatste voorbeeld misschien. Als je de dag van vandaag een digitale assistent zoals Siri of Alexa zou vragen wil je het licht uitoen? Dan gaan er eigenlijk een aantal AI-systemen in werking treden. Het eerste AI-systeem zal typisch lokaal draaien. en die zal zeggen, ah, Steven heeft hey Siri gezegd. Dus dat eerste gaan directeren, die keywords, dat is een AI-systeem.

Daarna komt er een tweede AI-systeem in werking die detecteert wat is juist de betekenis van wat Steven juist gezegd heeft, zijnde, doe het licht uit. Die keten samen vraagt meer energie dan één uur het licht laten branden. Dus je kunt evengoed op de knop gaan drukken om wat energie te besparen om het licht uit te zetten. En zo zie je dat de verhouding dat AI soms vraagt ten opzichte van heel eenvoudige taken soms eigenlijk buiten proportioneel veel is in de toekomst toe.

Gaat het dan vooral, als we die uitdagingen willen aanpassen van het energieverbruik, gaat het dan vooral over het slimmer toepassen van AI en bijvoorbeeld dit soort toepassingen dan er in twijfel te trekken? Of kunnen we het systeem op zich sowieso ook wel nog duurzamer maken? Ik denk dat we het systeem kunnen duurzamer maken. Dat is toch zeker mijn hoop. Dat is ook waar wij vanuit IMEC bijzonder veel onderzoek rond aan het uitwerken

zijn. We hebben als voordeel bij IMEC dat wij zowel de capaciteit rond software hebben, heel veel onderzoek naar software doen, maar ook al die wet van Moore naar nieuwe soorten rekensystemen hebben gewerkt. En eigenlijk al de laatste decennia die wet van Moore mee aan het vooruitduwen zijn. Voor mij ligt die oplossing in die twee werelden samenbrengen. Enerzijds de software, anderzijds de hardware. Misschien zelfs om dat toch eventjes wat meer biologisch te bekijken.

Als je kijkt, we hebben daar juist over die heel dure en heel krachtige supercomputer gesproken, als je dat vergelijkt naar een mens, een mens heeft eigenlijk ook een zeer krachtige computer in zijn hoofd zitten, die misschien niet juist op de exaflop zit, maar ook wel een factor 10 minder is dan die supercomputer, qua berekeningen dat wij met onze hersenen kunnen gaan doen.

Qua energieverbruik zijn wij wel een miljoen keer efficiënter dan gelijk welk supercomputer en AI systeem de dag van vandaag. En de reden daarvoor is voor mij dat die twee werelden heel sterk uit elkaar geïsoleerd geweest zijn en heel sterk uit elkaar gegroeid zijn. Vanuit software hebben we van alles kunnen gaan doen en hebben we ons weinig zorgen gemaakt over hoe efficiënt kunnen we dat in hardware gaan uitbouwen.

En in de hardwarewereld ook, dat is een dragere cyclus in hoe je snel je dingen maakt, zijn we eigenlijk niet voorbereid geweest op die snelle opmars van artificiële intelligentie. Ik denk door die combinatie van die twee samen te brengen, en we hebben daar een aantal concrete ideeën rond, denken wij dat we toch wel die energieefficiëntie kunnen gaan verhogen. Om misschien ietsje detailleerder uit te leggen, traditionele computers.

Gelijk welke computerdag voor vandaag, die bestaat nog altijd volgens het principe dat we de Von Neumann-architectuur noemen. Dat is decennia geleden het gevonden met het idee, juist na de Tweede Wereldoorlog, van ja, zo zou een computer moeten werken. En wat zegt die Von Neumann-architectuur? Heel eenvoudig gezegd zegt die van kijk, een computer moet bestaan uit een rekeneenheid, een CPU of een GPU.

En een stukje geheugen. En het enige wat een computer doet, is data uit dat geheugen halen, naar de rekeneenheid, dus een rekenmachine gaan brengen, en terugvoeren. Dat is totaal niet hoe wij als mensen werken. Het is niet dat wij aan de linkerkant een stukje geheugen hebben in onze hersenen en aan de rechterkant een grote rekenmachine waar wij continu data tussen aan het gooien zijn. Maar dat is wel in de praktijk hoe zo'n computer juist werkt.

En door veel meer computersystemen te bouwen die toch wel een beetje meer in die richting gaan van kunnen we iets leren van hoe de mens het juiste aangepakt heeft, denk ik dat we wel zeer veel grote orders energie kunnen gaan winnen in de toekomst. Maar we moeten die twee werelden echt samenbrengen. Ja, want ze zetten er blijkbaar wel op in, maar waarom zetten we dan niet keihard in op het ontwikkelen van supercomputers?

Waarom zetten die dan niet keihard in op het ontwikkelen van een kunstmatig brain, letterlijk zoals het onze werkt? En daarmee is dan misschien die energievraag ook opgelost? Ja, dat is een goeie vraag. En het is dit verleden nog geprobeerd. De Europese Unie heeft ooit nog de Human Brain Project gehad, waar in die richting is nagedacht. Er zijn heel veel goeie dingen uitgekomen. Maar tegelijkertijd denk ik dat het

een kwestie is van... Ik denk wel dat we die evolutie aan het meemaken zijn op dit moment. Maar het zijn verschillende tijdschalen. Als je vandaag iets bouwt qua hardware dat echt compleet nieuw is, dan spreek je toch over 10, 15 jaar aan ontwikkeltijd vooraleer die beschikbaar is in bijvoorbeeld zo'n supercomputer. Software daarentegen, artificiële intelligentie, gaat aan zo'n ongelooflijk snel tempo. Als je vandaag een nieuw stukje software maakt, dan is die software morgen beschikbaar.

En dat zorgt er wel voor dat het niet altijd zo evident is om dat zomaar samen te brengen en te denken, hier gaan we voor. Maar ik denk wel dat het de evolutie is waar we naar aan toe gaan zijn om te kijken van, wat kunnen we daaruit leren? En kunnen we die twee werelden dichter bij elkaar brengen? Als we naar de toekomst kijken, welke belangrijke doorbraken of vooruitgang

in de supercomputers komt er aan en waar is IMEC bijvoorbeeld mee bezig? Ik denk dat er een drietal verschillende paden zijn. Enerzijds hebben we de wet van Moore, die sowieso zegt, kijk, voor de volgende jaren kunnen we nog steeds die verdubbeling in rekenkracht hebben, elke twee jaar. Die wet van Moore is absoluut niet dood.

Wij hebben bij IMEC verschillende innovaties ook daar al rond uitgewerkt die in de roadmap van een TSMC, dat is een van de grote fabrikanten uiteindelijk voor chips, al zitten voor de volgende jaren. Dus wat je weet, computers kunnen sneller en sneller worden in die volgende jaren. Aan de andere kant van het spectrum heb je complete nieuwe paradigmes.

Denk bijvoorbeeld aan quantum computing, waar je eigenlijk de fundamenten van hoe een computer werkt, zijnde met bits en bytes, compleet onderuit haalt. Als werken aan qubits, die plotseling qua rekenkracht iets helemaal anders kunnen gaan doen. Daar zijn we ook heel actief mee bezig. Maar ik denk dat dat wel nog decennia zal zijn voor weer een paradigma zoals quantum computing echt mainstream wordt.

We zitten sinds het laatste jaar, anderhalf jaar, in de situatie dat het misschien een klein beetje uit de universitaire labo's is gekomen. Dat zit er nog altijd heel hard in, maar waar ook grote bedrijven zich mee gemoeid hebben met quantum computing om in eerste instantie iets uit te werken. Maar morgen denken dat we een quantum supercomputer zullen hebben, dat zit er echt nog niet aan te komen.

Dan heb je het stukje daartussenin, waar we aan het kijken zijn, kunnen we toch met totaal andere technologie proberen om computers toch een pak sneller te laten draaien.

Een heel veelbelovende technologie waar we bij IMEC op aan het werken zijn, is wat we superconducting noemen, of cryogenics, twee dingen die gelinkt zijn aan elkaar. Wat is superconducting? Dat zijn eigenlijk materialen die ongelooflijk goed geleiden in wat het zelf zegt, maar wel onder bepaalde voorwaarden. Voorwaarden bijvoorbeeld dat de temperatuur van die materialen heel koud zou zijn. zijn.

We zijn aan het werken aan nieuwe technologie die toch niet één exaflop aan operatie zou kunnen hebben, maar die in theorie... Dus basisonderzoek, die over tientallen exaflops aan operaties zou kunnen ondersteunen, en die qua grootte niet groter zou zijn dan een schoendoos. Dus dan spreek je wel over een totaal andere grote orde dan die 640 vierkante meter aan een supercomputer. In een kleine schoendoos zou je zo'n 8 à 9 minstens, en het zal waarschijnlijk

zelfs nog wel meer zijn, aan van die supercomputers kunnen plaatsen. En hoe doen we dat? Rond die schoendoos wordt dan een grote koelkast gebouwd, om het heel eenvoudig te zeggen, die die computer op zich zal verkoelen tot min 35 graden. En daardoor kunnen we plotseling zoveel sneller gaan dan gelijk welke computer de dag van vandaag. En ook aan een energie-efficiëntie die factor 100 is ten opzichte van wat er de dag van vandaag in computers beschikbaar is.

Dat zijn de drie paden. Enerzijds, het korte termijnpad, we zijn denk ik voor de volgende jaren, decennia nog, is er een evolutionair pad te vinden. Je hebt anderzijds met quantum computing echt misschien die grote sprong die we zouden kunnen maken. De realiteit zal zijn dat er daar iets tussenin zal zitten waarschijnlijk ook. En superconducting is voor mij een van de meest veelbelovende technologieën daar. Supercomputers worden altijd maar sterker en sterker en sterker.

Waar moet ik die supercomputers plaatsen tegenover die menselijke intelligentie? Ja, opnieuw heel belangrijk om het onderscheid te maken tussen de rekeninfrastructuur zelf en de wat je ermee doet. Een supercomputer kan ongelooflijk krachtig zijn maar als je daar gewoon weg getallen mee gaat optellen, 1 plus 1 en telkens 1 plus 1 heb je daar niks qua intelligentie krachtig mee gemaakt. Dus een supercomputer is de infrastructuur, AI is het algoritme dat toch wel.

Of het eigenlijk qua intelligentie iets kan brengen. Ik denk dat het duidelijk toont dat we met zaken zoals chatGPT toch dichter en dichter aan het aanschurken zijn bij iets dat toch lijkt op menselijke intelligentie. Wat mij betreft is chatGPT absoluut niet intelligent. Het is meer een autocomplete on steroids, maar het kan toch al heel veel krachtige dingen. Ik denk dat er nog heel veel doorbraken nodig zijn op dat vlak.

Maar we zitten duidelijk wel op een pad Dat als we dat probleem waar we daar juist over gesproken hebben, zijn de AI duurzaam genoeg kunnen maken, zodat het ook nog telkens efficiënt genoeg op een supercomputer of opgelijk welke rekeningkracht kan draaien. Als we dat probleem kunnen oplossen, kan dat pad wel blijven lopen.

En denk ik wel dat het zeker geen taboe meer zal zijn dat we binnen afzienbare tijds, ik vraag me niet om daar een exact getal op te plakken, dat we toch wel met AI op grote rekenkracht menselijke intelligentie gaan benaderen of zelfs gaan overklassen. Daar is toch meer en meer een consensus over. Als je dat vraagt aan AI-wetenschappers, zeggen sommigen binnen twee jaar tot

binnen vijftig jaar, vijftig, zestig jaar. Maar je ziet toch wel dat het tijdsvenster eerder aan het inkrimpen is en dat de vlag altijd maar verder en verder wordt geplaatst. Een vooruitblik in de toekomst is misschien ook een goeie manier om deze podcast dan stil aan af te ronden. ChatGPT was in 2021 een grote doorbraak voor veel mensen. Het heeft heel veel veranderd, zowel voor wetenschappers als voor particulieren.

Hoe zie je supercomputers en AI ons leven beïnvloeden over 10, 20, 30, 50 jaar? Ja, wel een zeer goeie vraag omdat de reden waarom we soms. IBIS had eigenlijk al decennia, sinds de jaren vijftig. En toen ik startte met mijn onderzoek waren heel weinig mensen geïnteresseerd in artificiële intelligentie. En de reden ervoor was te weinig rekenkracht. Dus die twee velden gaan meer en meer hand in hand. En ik denk dat dat juist die match made in heaven is.

Als we die combinatie kunnen brengen en er ook kunnen voor zorgen dat die rekenkracht democratisch gebeurt. Dat zijn de aandachtspunten die we hebben. Ja, dan zijn we wel vertrokken voor heel veel wetenschappelijke doorbraken die dankzij die combinatie kunnen gebeuren. Want we hebben heel veel data, we hebben meer en meer de algoritmische kennis en de technologie daarachter liggend om dat te doen.

De rekenkracht evolueert ook in de goede richting en er zijn zelfs lichtjes aan het einde van het tunnel dat we daar misschien met zaken zoals quantum computing, dan spreken we over die dertig, veertig, vijftig jaar, nog veel grotere stappen kunnen inzetten. Dan denk ik dat we sowieso in een tijd leven waar het bijna niet anders kan dan dat de ene na de andere wetenschappelijke doorbraak moet verwezenlijk worden, dankzij supercomputing en AI.

Oké, dan wil ik je heel hard bedanken voor dit zeer boeiende gesprek. Dankjewel. Graag gedaan. En jullie luisteraars, bedankt voor het luisteren. Vond je deze podcast interessant, deel hem dan zeker. En wil je op de hoogte blijven van toekomstige afleveringen, surf dan onmiddellijk naar www.eelswetenschap.eu en schrijf je in op onze nieuwsbrief. Daar vind je trouwens ook alle vorige afleveringen van deze podcast terug en

dat zijn er intussen toch al een kleine honderd. Tot een volgende aflevering. Daag!