Een 70-miljard-parameter AI-model op één videokaart draaien

TL;DR

• Wat: EXL3, het kwantisatieformaat van ExLlamaV3, perst een AI-taalmodel van 70 miljard parameters in het geheugen van één consumentenvideokaart.
• Waarom relevant: lokaal een krachtig taalmodel draaien betekent geen API-kosten, geen datalekken naar externe servers en geen afhankelijkheid van één leverancier.
• Wat je ermee kunt: onderzoek of jouw terugkerende AI-taken (samenvattingen, e-mails, vertaalwerk) lokaal kunnen draaien in plaats van via een betaald abonnement.

Ik viel over een bericht van @Mayhem4Markets op X waarin stond dat je een taalmodel van 70 miljard parameters op één enkele videokaart kunt draaien. Dat klinkt als onzin — zo'n model neemt in zijn oorspronkelijke formaat zo'n 140 gigabyte geheugen in beslag, terwijl de beste consumentenkaart 24 gigabyte biedt. Toch blijkt het te kloppen, dankzij een compressietechniek genaamd EXL3.

Wat is EXL3 en waarom doet het ertoe?

EXL3 is het kwantisatieformaat dat hoort bij ExLlamaV3, een open-source-project van de ontwikkelaar die online bekendstaat als turboderp. In gewone taal: kwantisatie is het proces waarbij je de precisie van de getallen in een AI-model verlaagt — vergelijk het met het terugbrengen van een foto van RAW-kwaliteit naar een flink gecomprimeerde JPEG. Je verliest wat detail, maar het bestand wordt vele malen kleiner.

EXL3 is gebaseerd op het zogeheten QTIP-algoritme en kan modelgewichten terugbrengen tot 1 tot 8 bits per gewicht, inclusief tussenwaarden zoals 3,25 bits. Ter vergelijking: het standaardformaat gebruikt 16 bits per gewicht. Dat betekent dat je in theorie een model tot wel acht keer kleiner kunt maken.

Wat mij hier opvalt is dat het niet alleen om compressie gaat. De makers hebben het formaat specifiek ontworpen voor de Tensor Cores in moderne NVIDIA-videokaarten (RTX 30-serie en nieuwer). Het resultaat: de gecomprimeerde modellen worden niet alleen kleiner, maar draaien ook efficiënt. Volgens de documentatie benut EXL3 bijna 100% van de Tensor Core-capaciteit.

De cijfers: wat past er op welke kaart?

Volgens benchmarks die ik terugvond op meerdere bronnen:

• Llama 3.1 70B draait op een RTX 4090 (24 GB) met een geheugengebruik van circa 22 GB en levert zo'n 30 tokens per seconde. Dat is snel genoeg om in realtime tekst te genereren.
• Llama 3.1 8B — een kleiner model — haalt op dezelfde kaart 180 tokens per seconde bij slechts 6 GB geheugengebruik.
• Zelfs op een RTX 3060 draait een Mistral 7B-model op 85 tokens per seconde.

Bij de 70B-variant gaat het om een bitrate van ruwweg 2,5 bits per gewicht. De makers melden dat het model zelfs bij 1,6 bits per gewicht nog coherente tekst produceert — al is de kwaliteit dan merkbaar lager. Ik denk dat het zoete punt voor de meeste toepassingen ergens rond de 3 tot 4 bits per gewicht ligt: klein genoeg om op één kaart te passen, kwalitatief goed genoeg voor dagelijks gebruik.

Een kanttekening bij de kwaliteit

Het is eerlijk om te zeggen dat compressie niet gratis is. Bij 6 tot 8 bits per gewicht is de kwaliteit volgens de documentatie "bijna gelijk aan FP16" — het ongecomprimeerde origineel. Maar bij 2 tot 3 bits per gewicht verlies je nuance. Voor het samenvatten van teksten of het beantwoorden van standaardvragen merk je daar weinig van. Voor complexe redenering of creatief schrijven kan het verschil relevant zijn.

Wat betekent dit voor een ondernemer?

Kun je je voorstellen wat het betekent als je een krachtig taalmodel op je eigen hardware kunt draaien, zonder maandelijks abonnement en zonder dat je data je bedrijf verlaat?

Ik zie drie concrete implicaties:

1. Kosten

Als je nu betaalt voor API-toegang tot een dienst als OpenAI of Anthropic, lopen die kosten op naarmate je meer verzoeken doet. Een lokaal model draait op hardware die je al hebt (of eenmalig aanschaft). Een RTX 4090 kost momenteel rond de 2.000 euro. Als je dagelijks honderden verzoeken doet, verdien je die investering relatief snel terug.

2. Privacy en gegevensbescherming

Bij een lokaal model verlaat je data je eigen netwerk niet. Dat is relevant als je werkt met klantgegevens, contracten, interne communicatie of andere gevoelige informatie. Je hoeft geen verwerkersovereenkomst af te sluiten met een Amerikaanse cloudprovider — een overweging die in het Nederlandse MKB steeds vaker een rol speelt.

3. Onafhankelijkheid

API-diensten kunnen prijzen verhogen, voorwaarden wijzigen of modellen terugtrekken. Met een lokaal model heb je die afhankelijkheid niet. Dat wil niet zeggen dat lokaal altijd beter is — maar het is goed om te weten dat de optie bestaat.

Beperkingen en nuance

Ik wil niet de indruk wekken dat dit een plug-and-play-oplossing is. Er zijn een paar dingen om in gedachten te houden:

• Technische drempel. ExLlamaV3 is een Python-library. Je hebt iemand nodig die het kan installeren en configureren, of je moet bereid zijn om er zelf in te duiken. Er zijn wel steeds meer tools die de installatie vereenvoudigen — TabbyAPI, de officiële backend-server, biedt bijvoorbeeld een OpenAI-compatibele API.
• Hardwarevereisten. Je hebt een NVIDIA-videokaart nodig. AMD en Intel worden niet of beperkt ondersteund. En bij een 70B-model op 24 GB VRAM zit je aan de bovengrens: er blijft weinig ruimte over voor andere processen.
• Geen vervanging voor topmodellen. Een gecomprimeerd 70B-model is indrukwekkend, maar het is niet hetzelfde als een volledig ongecomprimeerd model dat draait op een cluster van datacenter-GPU's. Stel dat je de slimste AI nodig hebt voor complexe analyses: dan is een API-dienst nog steeds het betere gereedschap. De slimme verdeling, zoals meerdere bronnen opmerken, is simpel en herhaalbaar werk lokaal doen en je betaalde abonnement bewaren voor de taken die er echt toe doen.

Een breder signaal

Wat ik interessant vind aan deze ontwikkeling is niet alleen de technische prestatie — hoewel ik het eerlijk gezegd bijzonder vind dat een opensourceproject van één ontwikkelaar dit voor elkaar krijgt. Het bredere signaal is dat de hardware-drempel voor het draaien van krachtige AI-modellen elk jaar lager wordt.

Een jaar geleden had je voor een 70B-model twee dure GPU's nodig of een Mac met 64 GB geheugen. Nu past het op één consumentenkaart. Die trend gaat door. En voor ondernemers betekent dat simpelweg meer keuze: je bent steeds minder gebonden aan één leverancier of één manier van werken.

Voor mij is dit vooral een signaal dat lokale AI niet langer een hobbyproject is — het wordt een reële optie voor bedrijven die hun AI-gebruik serieus willen inrichten.