Techtopia 380: Hvor meget strøm kræver en prompt?
Episode description
Ved du egentlig, hvor meget strøm, du bruger, hver gang du skriver en prompt i en AI app?
Hvor meget strøm kræves der egentlig for at lave en prompt? Det har vi diskuteret i et stykke tid uden, at vi egentlig har fået et svar. Jeg har hørt flere folk læne sig op ad en påstand om, at en prompt svarer til 40 mobilopladninger, hvilket står i stærk konstrast til, at jeg på min smartphone har en lokal app, der kan køre fleres forskellige sprogmodeller lokalt - uden at det dræner mit batteri nævneværdigt. Og nu hævder Google, at en prompt på deres AI tjeneste Gemini svarer til at se tv i 9 sekunder.
Her i Techtopia har jeg også talt med kloge folk, som har redegjort for forskellige estimater, men problemet har hidtil været, at AI virksomhederne har holdt deres tal for sig selv - det har simpelthen knebet med transparens.
Men på det seneste er der kommet tal fra både franske Mistral og amerikanske OpenAI. Og for et par uger siden udgav Google det hidtil mest omfattendes whitepaper om energiforbruget på firmaets AI-tjeneste Gemini.
Spørgsmålet er, hvad Googles whitepaper fortæller os, og om vi kan bruge det til at sammenligne de forskellige tjenester og dermed skabe et mere retvisende overblik over energiforbruget, når det handler om de store sprogmodeller?
Derfor har vi inviteret Google i studiet for at redegøre for, hvordan de er nået frem til, at en prompt svarer til at se tv i ni sekunder.
Bagefter får vi en ekspert i sprogmodellers energiforbrug til at sætte Googles whitepaper i perspektiv.
Medvirkende:
Jesper Vangkilde; kommunikationschef, Google Danmark.
Kasper Groes Albin Ludvigsen , forperson, Danish Data Science Community.
Link:
Googles whitepaper