7 apr. 2023

Google wil een stukje van Nvidia's AI taart

Bijgewerkt op: 8 apr. 2023

Tof dat je weer inschakelt! Afgelopen woensdag onthulde Google details over een van hun AI-supercomputers, waarbij ze aangaven dat deze sneller en efficiënter is dan Nvidia, vooral omdat energie-intensieve machine learning-modellen nog steeds razend populair zijn in de techsector. Aangezien ik in beide bedrijven, in totaal €70.000 heb geïnvesteerd, is het goed om even door te nemen wat hier aan de hand is.

Nvidia mag dan wel de markt domineren voor het trainen en implementeren van AI-modellen (met meer dan 90%), Google ontwerpt en implementeert sinds 2016 eigen AI-chips genaamd Tensor Processing Units (TPU's).

Google staat bekend als een belangrijke AI-pionier en heeft in de afgelopen tien jaar enkele cruciale doorbraken in AI ontwikkeld. Er zijn echter zorgen dat het bedrijf achterloopt op het gebied van het commercialiseren van hun uitvindingen. Alles wat ze bouwen blijkt in de praktijk niets op te leveren. Intern werkt Google hard om producten uit te brengen en te bewijzen dat ze hun voorsprong niet hebben verspild - een "code rood"-situatie, volgens verschillende media.

AI-modellen en producten zoals Google's Bard of OpenAI's ChatGPT, aangedreven door Nvidia's A100-chips, vereisen veel computers en honderden of duizenden chips die samenwerken om modellen te trainen, waarbij de computers weken of maanden continu draaien.

Google gaf aan dat ze een systeem hebben gebouwd met meer dan 4.000 TPU's, verbonden met aangepaste componenten om AI-modellen te draaien en te trainen. Dit systeem draait sinds 2020 en werd gebruikt om Google's PaLM-model te trainen, dat concurreert met OpenAI's GPT-model, gedurende meer dan 50 dagen.

Google's TPU-gebaseerde supercomputer, TPU v4 genaamd, is "1,2x-1,7x sneller en gebruikt 1,3x-1,9x minder energie dan de Nvidia A100", aldus Google-onderzoekers. "De prestaties, schaalbaarheid en beschikbaarheid maken TPU v4-supercomputers de werkpaarden van grote taalmodellen," voegden de onderzoekers eraan toe.

Toch werden Google's TPU-resultaten niet vergeleken met Nvidia's nieuwste AI-chip, de H100, omdat deze recenter en geavanceerder is. Nvidia-CEO Jensen Huang zei dat de resultaten voor de H100 aanzienlijk sneller waren dan de vorige generatie in een AI-chip-test genaamd MLperf.

"De MLPerf 3.0 van vandaag benadrukt dat Hopper 4x betere prestaties levert dan A100," schreef Huang in een blogpost. "Het volgende niveau van generatieve AI vereist nieuwe AI-infrastructuur om grote taalmodellen op een energiezuinige manier te trainen." De enorme computerkracht die AI nodig heeft, is kostbaar, en veel bedrijven richten zich op het ontwikkelen van nieuwe chips, componenten zoals optische verbindingen of softwaretechnieken die de benodigde computerkracht verminderen.

De energie-eisen van AI zijn ook gunstig voor cloudproviders zoals Google, Microsoft en Amazon, die computerprocessing per uur kunnen verhuren en credits of computertijd kunnen leveren aan startups om relaties op te bouwen. (Google's cloud verkoopt ook tijd op Nvidia-chips.) Zo gaf Google aan dat Midjourney, een AI-beeldgenerator, werd getraind op hun TPU-chips.

Kortom, Google's onthulling van hun AI-supercomputer toont aan dat ze concurreren met marktleiders zoals Nvidia, en ze blijven investeren in de ontwikkeling van hun eigen AI-chips en technologie. Deze vooruitgang helpt bij het stimuleren van de groei en innovatie in de techindustrie, terwijl bedrijven zich blijven richten op het verbeteren van prestaties, energie-efficiëntie en kostenbesparing. Nvidia moet dus ook blijven innoveren met de nieuwe H100 chip lijken ze hier voorlopig niet al teveel last van te hebben!