Nvidias leder for netværksforretningen Gilad Shainer (med baggrund fra Mellanox, en af hovedtalerne på GTC om emnet: Scaling Out and Across: Networking Innovations for Giga-Scale AI Systems) fortæller om udfordringerne ved netværksforbindelser i datacentre og Nvidias vision som følger:
- Skiftet fra enkelte servere til “Datacenteret er computeren”-modellen
Shainer understreger, at man i den traditionelle verden kørte opgaver på én CPU eller server. I AI-æraen er arbejdsbelastninger distribuerede: de kræver tusindvis eller endda hundredtusindvis af GPU-enheder for at fungere som en samlet enhed. Udfordringen er at forbinde alle disse så tæt, at hele datacenteret opfører sig som én enorm supercomputer.
- Synkronisering og eliminering af “Jitter”
Netværkets største udfordring er ikke kun dataoverførselshastighed, men synkronisering. Hvis en enkelt GPU i et system med 100.000 GPU’er bliver forsinket (jitter), må alle de andre vente på den, hvilket ødelægger effektiviteten. Nvidia løser dette med teknologier som InfiniBand og Spectrum-X Ethernet, der er designet specifikt til at eliminere variationer i forsinkelse og holde beregningerne i perfekt synkronisering.
- Energieffektivitet og “Co-packaged Optics”
Energi er den største barriere for vækst i datacentre. Shainer forklarer, at Nvidia stræber efter at minimere energitabet ved at gå over til Co-packaged Optics (CPO)-teknologi.
• Traditionelt er optiske sendere (transceivere) placeret uden for switchen, hvilket forbruger meget strøm ved overførsel af data til switch-chippen.
• Med CPO bringes den optiske motor direkte ind i switch-chippens pakning, hvilket kan reducere energiforbruget med op til 3,5 gange og forbedre pålideligheden.
- “Extreme Co-design” – Sømløst samarbejde mellem hardware og software
Nvidia ser ikke netværk, GPU eller software som adskilte dele. Shainer sammenligner en supercomputer med en racerbil: hver del skal optimeres til at fungere perfekt sammen. Dette betyder, at selv netværkskabler (kobber vs. optik) og switche er designet som en del af den samme “AI-fabrik”.
- Udvidelse af netværket til kanten (Edge)
Shainer ser netværkets rolle udvidet til områder uden for datacentrene. BlueField-4 DPU (Data Processing Unit) spiller en nøglerolle her: den håndterer lagring, sikkerhed og optimering af beregninger både i datacentre og ved netværkets kant (edge), hvilket gør det muligt at bringe kunstig intelligens tættere på slutbrugeren.
Opsummering: Fra Nvidias perspektiv er netværket ikke længere bare et “rør”, men derimod hele AI-infrastrukturens operativsystem, som skal være ekstremt hurtigt, strømbesparende og perfekt synkroniseret.
Gilad Shainer, NVIDIA | theCUBE + NYSE Wired: AI Factories - Data Centers of the Future I dette interview forklarer Shainer, hvorfor netværksforbindelser er ved at blive AI-infrastrukturens “operativsystem”, og hvordan det ændrer den traditionelle datacenterarkitektur.
Gemini: “Gilad Shainers synspunkter placerer Nokias datacenterstrategi i et interessant krydsfelt. Shainers betoning af “Datacenteret er computeren”-tænkningen og Nvidias mål om at kontrollere hele AI-infrastrukturen skaber både enorme kommercielle muligheder og direkte konkurrencemæssige udfordringer for Nokia.”