NVIDIA haalt 2,5x meer gebruikers uit dezelfde GPU's

TL;DR

• Wat: NVIDIA toont hoe softwareoptimalisaties hun Nemotron 3 Ultra-model 2,5 keer meer gelijktijdige gebruikers laten bedienen op dezelfde vier GPU's.
• Waarom relevant: de kosten van AI draaien niet alleen om hardware — slimme software bepaalt hoeveel je uit je investering haalt.
• Wat je ermee kunt: vraag je AI-leverancier hoe efficiënt hun inferentie-stack is; het verschil kan je rekening halveren.

Ik viel over een bericht van NVIDIA's AI-account dat me aan het denken zette. Niet over een nieuw model of een spectaculaire benchmark, maar over iets dat zelden aandacht krijgt: hoe efficiënt je een bestaand model eigenlijk kunt draaien. Want dat is precies waar de rekening zit voor bedrijven die AI inzetten.

Wat NVIDIA precies laat zien

NVIDIA publiceerde een technische deep dive over hun Nemotron 3 Ultra NIM — een pakket waarmee je hun grote taalmodel kunt draaien als een soort kant-en-klare dienst. Het draait op vier B200 GPU's, de nieuwste generatie van NVIDIA's datacenter-chips.

De kern van het verhaal: zonder optimalisaties haalde het systeem 718 tokens per seconde. Ná optimalisatie? 1.997 tokens per seconde. Dat is bijna het drievoudige aan ruwe doorvoer, wat zich vertaalt naar 2,5 keer meer gelijktijdige gebruikers die elk een vlotte ervaring houden van 50 tokens per seconde.

Om dat even in perspectief te zetten: 50 tokens per seconde is sneller dan de meeste mensen kunnen lezen. Dat betekent dat het antwoord van de AI sneller op je scherm verschijnt dan jij het kunt verwerken. En die snelheid werd volgehouden voor 2,5 keer zoveel mensen tegelijk — op dezelfde hardware.

Waar zitten die verbeteringen?

Wat ik interessant vind, is dat het niet om één trucje gaat. NVIDIA beschrijft een hele reeks aanpassingen die samen het verschil maken:

Slimmere caching

Als een AI-model een lang document verwerkt, moet het een heleboel tussenresultaten onthouden — vergelijk het met een student die tijdens een tentamen steeds terug moet bladeren in een boek. NVIDIA's prefix caching zorgt ervoor dat als meerdere gebruikers vergelijkbare vragen stellen, het systeem niet steeds opnieuw hetzelfde leeswerk doet. Er is zelfs partial-prefix matching: als een deel van de context overeenkomt, wordt dat stuk hergebruikt.

Slim verdelen over GPU's

Het model wordt verdeeld over vier GPU's via zogenaamde tensor parallelism — je kunt het vergelijken met vier koks die tegelijk aan hetzelfde gerecht werken, elk verantwoordelijk voor een ander onderdeel. NVIDIA paste dit aan zodat de specialistische onderdelen van het model (de "experts" in de mixture-of-experts architectuur) slim over de beschikbare rekenkracht worden verdeeld.

Speculatief decoderen

Dit is misschien wel de meest fascinerende techniek. Bij MTP speculative decoding probeert het systeem alvast meerdere woorden tegelijk te voorspellen in plaats van woord voor woord te werken. Als de voorspellingen kloppen — en dat doen ze verrassend vaak — bespaart dat flink wat rekentijd. Kloppen ze niet, dan worden ze simpelweg weggegooid.

Geheugen en planning

De minder zichtbare maar minstens zo belangrijke laag: hoe het systeem bepaalt hoeveel gebruikers er tegelijk bediend worden, hoeveel GPU-geheugen waaraan wordt toegewezen, en hoe groot de verwerkingsbatches zijn. NVIDIA stelde limieten in voor gelijktijdige reeksen, token-batches en blokgroottes. Klinkt technisch, maar het effect is concreet: het systeem loopt niet vast onder piekbelasting.

Waarom dit voor ondernemers relevant is

Ik merk in gesprekken over AI dat veel ondernemers denken in termen van "welk model is het beste?" Dat is een logische vraag, maar wat mij betreft mist die een groot stuk van het plaatje.

De kosten van AI voor bedrijven zitten namelijk grotendeels in inferentie — het daadwerkelijk draaien van het model voor elke vraag die een klant of medewerker stelt. Niet in het trainen, niet in het kiezen, maar in het dagelijks gebruik. En precies daar maakt efficiëntie het verschil.

Stel dat je als ondernemer een AI-chatbot inzet voor klantenservice. Met een niet-geoptimaliseerde setup heb je misschien acht GPU's nodig om je piekverkeer aan te kunnen. Met de optimalisaties die NVIDIA hier beschrijft, zou je datzelfde verkeer theoretisch met drie à vier GPU's aankunnen. Dat is geen klein verschil — dat zijn duizenden euro's per maand aan cloudkosten.

Nu moet ik hier eerlijk bij zeggen: deze cijfers komen van NVIDIA zelf, over hun eigen hardware en software. Het is logisch dat zij hun eigen stack in het beste licht presenteren. De benchmark gebruikte een specifieke werkbelasting (64K context, 400 tokens output, 76% hergebruik van cache) die gunstig kan zijn voor hun optimalisaties. In de praktijk, met jouw specifieke gebruikspatronen, kan het verschil kleiner uitvallen.

Wat dit zegt over de AI-markt

Wat mij hier opvalt, is een bredere trend. De "wedloop" in AI verschuift. Twee jaar geleden ging alles over wie het grootste model kon trainen. Nu zie je dat de concurrentie steeds meer gaat over wie een model het efficiëntst kan laten draaien.

Dat is goed nieuws voor bedrijven. Het betekent dat dezelfde hardware meer werk aankan, dat wachttijden korter worden, en dat de kosten per AI-interactie dalen. Niet door goedkopere chips — die worden juist duurder — maar door slimmere software.

Voor Nederlandse ondernemers die AI overwegen of al gebruiken, is dit een belangrijk signaal. De vraag "hoeveel kost het om dit model te draaien?" is minstens zo relevant als "welk model is het beste?" En het antwoord op die eerste vraag verandert snel.

De praktische les

Kun je je voorstellen wat dit betekent als je een AI-toepassing draait via een cloudprovider? Dan betaal je per GPU-uur. Elke verbetering in efficiëntie vertaalt zich direct naar je factuur. Het loont dus om bij je leverancier te vragen: welke inferentie-stack gebruiken jullie? Hoe is die geoptimaliseerd? Welk throughput halen jullie per GPU?

Dat zijn geen technische vragen om indruk te maken — het zijn zakelijke vragen die direct invloed hebben op je operationele kosten.

NVIDIA maakt hun geoptimaliseerde NIM-containers beschikbaar via hun GPU Cloud, en ze bieden een benchmarktool (AIPerf) waarmee je kunt testen hoe een specifieke configuratie presteert voor jouw type werkbelasting. Dat soort transparantie vind ik waardevol, ongeacht of je uiteindelijk voor NVIDIA's stack kiest of niet.

Voor mij is dit vooral een bevestiging dat de echte waarde van AI-infrastructuur niet in de hardware alleen zit, maar in de hele stapel erbovenop. En dat is iets waar je als ondernemer wél invloed op hebt — door de juiste vragen te stellen aan de partijen die je AI laten draaien.