NVIDIA DGX Spark 64GB: half geheugen, hogere prijs

TL;DR

• Wat: NVIDIA brengt een 64GB-versie van de DGX Spark uit voor $4.999 — de helft van het geheugen van het origineel, maar duurder dan de oorspronkelijke adviesprijs.
• Waarom relevant: als je overweegt lokaal AI-modellen te draaien voor je bedrijf, bepaalt de hoeveelheid geheugen welke modellen je kunt laden — en daarmee wat je er praktisch mee kunt.
• Wat je ermee kunt: bekijk of 64GB genoeg is voor de modellen die je wilt draaien, voordat je investeert in hardware die je mogelijk te snel ontgroeit.

Ik kwam een scherpe tweet tegen van @MinLiBuilds over de nieuwe DGX Spark met 64GB geheugen. De strekking: NVIDIA levert hier een halfbakken product af. Dat vond ik het uitzoeken waard — want de DGX Spark werd eerder dit jaar juist gepresenteerd als dé manier om AI lokaal te draaien, zonder cloud.

Wat is de DGX Spark eigenlijk?

De DGX Spark is een compacte desktopcomputer van NVIDIA, gebouwd rond de GB10 Grace Blackwell-chip. Het bijzondere: de CPU en GPU delen één gezamenlijke geheugenpool. Dat is anders dan bij een gewone pc, waar de processor en de videokaart elk hun eigen geheugen hebben.

Waarom is dat interessant? Omdat grote taalmodellen (LLM's) — denk aan de technologie achter ChatGPT — enorm veel geheugen nodig hebben. In een traditionele pc past zo'n model niet volledig in het videokaartgeheugen. Bij de DGX Spark wel, omdat alles in één gedeelde pool zit.

De oorspronkelijke versie had 128GB geheugen en werd aangekondigd voor $3.999. Het idee: een betaalbare machine waarmee je als ontwikkelaar of ondernemer privé AI-modellen kunt draaien, zonder data naar de cloud te sturen.

De nieuwe 64GB-versie: wat is er veranderd?

NVIDIA brengt nu een versie uit met de helft van het geheugen: 64GB in plaats van 128GB. De prijs? $4.999. De 128GB-versie is ondertussen gestegen naar $6.950 — bijna het dubbele van de oorspronkelijke adviesprijs.

Ik vind het opvallend dat de goedkopere variant duurder is dan wat het volledige model oorspronkelijk zou kosten. NVIDIA wijst naar gestegen geheugenprijzen als reden, en dat is een reëel probleem in de markt op dit moment. Maar het voelt toch wat wrang.

Wat blijft hetzelfde:

• Dezelfde GB10 Grace Blackwell-chip
• Dezelfde 20-core ARM-processor
• Dezelfde geheugenbandbreedte van 273 GB/s
• Dezelfde ConnectX-7 netwerkverbinding voor clustering

Wat verandert:

• Geheugen gehalveerd van 128GB naar 64GB
• Maximaal modelformaat daalt van circa 200 miljard naar 100 miljard parameters

De machine komt op 23 oktober beschikbaar via fabrikanten als Acer, ASUS, Dell, Gigabyte, HP en MSI.

Het bandbreedteprobleem

Dit is wat de tweet van @MinLiBuilds zo scherp maakt. De geheugenbandbreedte van de DGX Spark — zowel de 64GB als de 128GB-versie — is 273 GB/s. Dat klinkt misschien als een groot getal, maar vergelijk het eens.

Een NVIDIA RTX 5090 videokaart haalt 1.792 GB/s. Dat is ruim zes keer zoveel.

Waarom maakt dat uit? Bij het draaien van een taalmodel is geheugenbandbreedte de belangrijkste factor voor snelheid. Het model moet voortdurend stukken data uit het geheugen lezen om tekst te genereren. Meer bandbreedte betekent snellere antwoorden.

Stel dat je als ondernemer een AI-assistent lokaal draait die klantvragen beantwoordt. Bij lage bandbreedte wacht je langer op elk antwoord. Voor een enkele gebruiker is dat misschien acceptabel, maar als je meerdere verzoeken tegelijk wilt verwerken, wordt het knelpunt voelbaar.

Waarom niet gewoon een RTX 5090?

De RTX 5090 heeft weliswaar veel meer bandbreedte, maar slechts 32GB geheugen. Grotere modellen passen er simpelweg niet in. Dat is precies het spanningsveld: de DGX Spark biedt meer geheugenruimte maar minder snelheid, de RTX 5090 biedt meer snelheid maar minder ruimte.

Met 64GB in plaats van 128GB wordt het voordeel van de DGX Spark — die grote gedeelde geheugenpool — een stuk kleiner. 64GB is weliswaar nog het dubbele van de RTX 5090, maar het verschil wordt minder overtuigend.

Wat betekent dit voor een ondernemer?

Als je overweegt om AI lokaal te draaien — bijvoorbeeld voor privacygevoelige data, of omdat je onafhankelijk wilt zijn van cloudabonnementen — dan is de DGX Spark een van de weinige kant-en-klare opties. Maar de 64GB-versie dwingt je tot keuzes.

Welke modellen passen in 64GB?

Modellen tot ongeveer 100 miljard parameters. Dat klinkt abstract, dus laat ik het concreter maken: veel open-source modellen van goede kwaliteit — zoals varianten van Llama of Qwen — zijn beschikbaar in formaten die binnen 64GB passen, mits je ze comprimeert (wat in AI-jargon "kwantiseren" heet: het model kleiner maken met beperkt kwaliteitsverlies).

Maar de trend gaat richting grotere modellen, langere contexten, en meer gelijktijdige taken. 64GB kan nu voldoende zijn, maar de vraag is hoe lang dat zo blijft.

De clusteroptie

NVIDIA biedt de mogelijkheid om twee DGX Spark-systemen te koppelen via een snelle netwerkverbinding. Twee 64GB-machines vormen dan samen een 128GB-pool. Volgens NVIDIA levert dat circa 1,7 keer de prestatie van één systeem op.

Dat klinkt flexibel, maar twee keer $4.999 is $9.998 — fors meer dan de $6.950 voor één 128GB-versie. Ik zou zeggen: als je weet dat je meer geheugen nodig hebt, is de 128GB-versie de logischere keuze.

De prijsontwikkeling vertelt een eigen verhaal

Wat mij misschien nog het meest opvalt, is de prijsontwikkeling. De DGX Spark werd in het voorjaar aangekondigd als een toegankelijke instap in lokale AI. $3.999 voor 128GB geheugen met een Blackwell-chip — dat was opvallend scherp geprijsd.

Nu, een half jaar later, kost diezelfde 128GB-versie $6.950 en is er een afgeslankte variant voor $4.999. De gestegen geheugenprijzen zijn daar volgens NVIDIA de oorzaak van, en die trend is breder zichtbaar in de hardware-industrie.

Voor ondernemers die budgetteren voor AI-hardware is dit een relevante les: prijzen in deze markt zijn niet stabiel. Wat vandaag $5.000 kost, kan over zes maanden meer of minder zijn.

Reflectie

Ik begrijp de frustratie die in de tweet doorklinkt. De oorspronkelijke belofte van de DGX Spark was helder: een betaalbare, krachtige machine om grote AI-modellen lokaal te draaien. Die belofte wordt met 64GB geheugen en een hogere prijs minder overtuigend.

Tegelijkertijd denk ik dat er een groep gebruikers is voor wie 64GB volstaat — zeker als je werkt met compactere modellen of gespecialiseerde taken. Maar als "instapmodel" voelt het eerlijk gezegd als een product dat je vrij snel ontgroeit.

Voor mij is dit vooral een signaal dat lokale AI-hardware nog volop in beweging is. De technologie is er, de vraag is groot, maar de economie van geheugen en bandbreedte maakt het voorlopig een markt van compromissen.