Nya genombrott i AI-sektorn

De senaste dagarna har två stora resultat släpps som ännu inte fått så mycket uppmärksamhet men som båda kan påverka AI-sektorn i grunden. 

Det är dels Alibaba Clouds nya system som använder GPU från Nvidia till upp till sju olika modeller, vilket kan minska behovet av GPU med 82 %. Det är även GSI Technology som visat på ett genombrott med sina APU-chip. Dessa kan prestera liknande som Nvidia-chip med till 98 % lägre energiförbrukning. 

Vad vi ser nu kan vara början på ett skifte inom AI-sektorn, men det är fortfarande tidigt. 

Den stora utmaningen för att utveckla AI-modeller som finns är dels kostnaden för hårdvara för att kunna köra stora modeller, allt ifrån chip till stora serverhallar. Det andra är att dessa hallar förbrukar otroligt mycket energi, vilket får priserna på elektricitet att öka. 

Resultatet från två olika studier kan radikalt förbättra båda dessa problemområden. 

GSI Technologys genombrott för AI-sektorn

GSI Technologys aktie lyfte 155 % den 20 oktober efter att studieresultat från Cornell University visar att GSI:s chip, Gemini-I APU, presterade liknande som Nvidia A6000 GPU men med 98 % lägre energiförbrukning.

GPU, som är en grafikprocessor och ursprungligen togs fram för spel, används idag för AI-beräkningar. GPU kräver ofta externt minne, vilket betyder att data skickas mellan GPU och minne. Det här kräver stora mängder energi.

APU, Associative Processing Unit, kombinerar beräkning och minne i samma chip. Det betyder att data bearbetas direkt där den också lagras istället för att flyttas mellan minne och processor. Det förbrukar betydligt mindre energi. Nackdelen är dock att APU inte är lika snabba som GPU.

GSI har nu visat att deras chip kan prestera lika bra som Nvidia A6000 GPU men med 98 % lägre energiförbrukning. AI-utbyggnaden möter motstånd just från energiförbrukningen och kylsystemen som behövs för stora datacenter. Men med APU kan detta minska radikalt.

Detta är betydande och kan så småningom påverka AI-sektorn på ett omfattande sätt. Det är dock för tidigt att ropa hej än. Studien är gjord för att visa specifika arbetslaster (RAG-uppgifter) och datastorlekar. Det visar inte att resultatet kommer gälla alla AI-arbetslaster. I studien testas enbart “throughput” och energi men inte andra dimensioner som kan vara minst lika viktiga, som latens, modellstorlek och precision.

APU konkurrerar fortfarande inte med GPU på arbetslaster som behövs för större AI-modeller. Det är potentiellt disruptivt men på en konceptuell nivå.

Källa: https://ts2.tech/en/ai-chip-breakthrough-sends-gsi-technology-gsit-stock-soaring-200-what-investors-need-to-know/

Alibaba clouds nya pooling-system

Alibaba Cloud rapporterade i lördags att de lyckats minska användningen av GPU från Nvidia med 82% genom ett nytt pooling-system.

Alibaba Clouds nya system Aegaeon använder beräkningskraften i GPU för flera modeller istället för att varje modell ska använda sina egna. Till skillnad från tidigare system som kan låta två eller tre modeller använda samma GPU, så kan Aegaeon klara upp till sju olika modeller.

Genom att dela kraften mellan flera modeller kan antalet GPU:er minska med 82 % enligt resultatet.

Källa: https://finance.yahoo.com/news/alibaba-cloud-claims-slash-nvidia-093000646.html