NVIDIA's Groq 3 LPX haalt 3.400 tokens per seconde op Gemma 4

TL;DR

• Wat: NVIDIA's nieuwe inferentiechip Groq 3 LPX haalt 3.400 output-tokens per seconde op het Gemma 4 31B-model — gemeten door onafhankelijke benchmark-organisatie Artificial Analysis.
• Waarom relevant: Snellere AI-inferentie betekent dat AI-agents straks in minuten kunnen doen waar nu uren voor nodig zijn, en dat verandert de kostencalculatie voor bedrijven die AI-toepassingen willen draaien.
• Wat je ermee kunt: Houd in de gaten of jouw cloudprovider Vera Rubin-servers gaat aanbieden — de prijs per token kan hierdoor flink dalen.

Ik viel gisteren over een tweet van Artificial Analysis — een organisatie die onafhankelijk de snelheid van AI-modellen meet. Ze hadden via een privédemonstratie van NVIDIA's nieuwe Groq 3 LPX-chip een snelheid van 3.431 tokens per seconde gemeten op het open-source Gemma 4 31B-model. Dat is de hoogste snelheid die ze ooit voor dat model hebben vastgelegd. Ik vond dat het uitzoeken waard.

Wat is de Groq 3 LPX precies?

Even een stap terug, want de naamgeving is verwarrend. NVIDIA heeft eind 2025 voor naar verluidt 20 miljard dollar technologie gelicentieerd van het bedrijf Groq Inc. — een chipmaker die zich volledig richtte op inferentie, oftewel het daadwerkelijk draaien van AI-modellen (in tegenstelling tot het trainen ervan). Het resultaat is de NVIDIA Groq 3 LPX: een rekrek vol met 256 zogenaamde LPU-chips (Language Processing Units) die specifiek zijn ontworpen om tokens te genereren.

Tokens zijn de bouwstenen van tekst die een AI-model produceert. Elk woord bestaat uit één of meer tokens. Hoe sneller een chip tokens kan uitspugen, hoe sneller een AI-agent kan "denken" en reageren. De Groq 3 LPX is geen losse chip die je in een server prikt — het is een compleet reksysteem dat samenwerkt met NVIDIA's Vera Rubin GPU-platform.

Wat mij opvalt: dit is voor het eerst dat NVIDIA een product op de markt brengt dat geen GPU is voor AI-werklasten. Dat is een strategische verschuiving.

De cijfers in context

Artificial Analysis mat 3.431 output-tokens per seconde op het Gemma 4 31B-model met een context van 100.000 tokens. Om dat in perspectief te plaatsen: op de reguliere Google-API haalt datzelfde model zo'n 35 tokens per seconde. Cerebras — tot nu toe een van de snelste aanbieders — kwam tot zo'n 1.850 tokens per seconde.

Dat betekent dat de Groq 3 LPX bijna het dubbele haalt van de vorige snelste meting, en ruwweg honderd keer sneller is dan de standaard API.

NVIDIA claimt zelf dat de chip vier keer sneller reageert dan het dichtstbijzijnde alternatieve platform voor latentiegevoelige werklasten. Dat is een claim van de fabrikant zelf, dus ik zou daar iets voorzichtiger mee zijn — maar de onafhankelijke meting van Artificial Analysis bevestigt in elk geval dat de snelheden uitzonderlijk zijn.

Waarom 100.000 tokens context ertoe doet

De meting werd gedaan met een contextvenster van 100.000 tokens. Dat is relevant omdat veel praktische AI-toepassingen — denk aan het analyseren van contracten, het doorwerken van klantdossiers of het laten samenwerken van meerdere AI-agents — grote hoeveelheden tekst moeten verwerken. Snelheid bij korte berichten is leuk, maar snelheid bij lange context is wat telt voor zakelijk gebruik.

Wat betekent dit voor AI-agents?

De reden dat NVIDIA dit product positioneert rond "agentic AI" is niet toevallig. AI-agents — software die zelfstandig meerdere stappen doorloopt om een taak uit te voeren — hebben last van een fundamenteel knelpunt: decode-latency. Elke stap die een agent zet, vereist dat het model tokens genereert. Als dat traag gaat, stapelen de wachttijden zich op.

Stel dat je als ondernemer een AI-agent inzet die offerte-aanvragen verwerkt. De agent moet de aanvraag lezen, je productcatalogus raadplegen, een prijsberekening maken, en een conceptofferte opstellen. Dat zijn vier of vijf losse stappen die elk token-generatie vragen. Bij 35 tokens per seconde duurt dat al snel minuten. Bij 3.400 tokens per seconde praat je over seconden.

NVIDIA spreekt over "coderingstaken die in minuten klaar zijn in plaats van uren." Dat klinkt als marketingtaal, maar de onderliggende logica klopt: als elke inferentiestap tien tot honderd keer sneller gaat, worden workflows die nu onpraktisch zijn ineens haalbaar.

Beschikbaarheid en wat je eraan hebt

De Groq 3 LPX is sinds 24 augustus 2026 in volledige productie. Nebius — een cloud-aanbieder die zich richt op AI-werklasten — is de eerste klant die het platform gaat aanbieden. Het bedrijf Groq Inc. zelf (de oorspronkelijke ontwikkelaar van de technologie) wordt ook genoemd als een van de vroege gebruikers.

Voor een gemiddelde MKB-ondernemer in Nederland is dit natuurlijk niet iets dat je morgen koopt. Dit zijn datacentersystemen. Maar het is wél iets dat doorsijpelt naar de diensten die je als ondernemer gebruikt. Als jouw softwareleverancier, CRM-systeem of boekhoudsoftware AI-functies aanbiedt, draaien die uiteindelijk op dit soort hardware. Snellere en goedkopere inferentie betekent betere en betaalbaardere AI-features in de tools die je dagelijks gebruikt.

Wat ik zelf zou willen weten: wat gaat dit kosten per token via cloudaanbieders? Die informatie is nog niet beschikbaar. De snelheid is indrukwekkend, maar voor ondernemers draait het uiteindelijk om de prijs-prestatieverhouding. Een chip die tien keer sneller is maar twintig keer duurder, verandert weinig aan je businesscase.

De strategische verschuiving

Wat mij hier het meest interesseert, is niet de snelheid zelf maar wat het zegt over de richting van de markt. NVIDIA — het bedrijf dat groot is geworden met GPU's voor het trainen van AI — brengt nu een apart product uit voor het draaien van AI. Dat is een teken dat de industrie verschuift van "modellen bouwen" naar "modellen inzetten."

Voor ondernemers is dat goed nieuws. De trainingsrace is iets voor techgiganten met miljardbudgetten. Maar de inferentierace — sneller en goedkoper AI draaien — raakt direct aan wat jij als ondernemer kunt doen met AI in je bedrijf.

Ik denk dat we over twaalf maanden terugkijken op dit moment als het punt waarop inferentiekosten serieus begonnen te dalen. Of de Groq 3 LPX dé winnende architectuur wordt, weet ik niet — The Register plaatst terecht kanttekeningen bij hoe deze vroege benchmarks zich vertalen naar echte productieomgevingen. Maar dat NVIDIA twintig miljard dollar inzet op een niet-GPU inferentiechip, is voor mij vooral een signaal dat de volgende fase van AI niet over grotere modellen gaat, maar over het slim en snel draaien van de modellen die er al zijn.