Escha comprimeert Qwen3.8-27B naar 2 bit — en behoudt de prestaties

TL;DR

• Wat: Escha Labs heeft het Qwen3.8-27B-taalmodel gecomprimeerd naar 2-bit, waardoor het nog maar 10,15 GB groot is en op één consumentenvideokaart draait.
• Waarom relevant: AI-modellen die voorheen dure servers vereisten, kunnen hiermee mogelijk op betaalbare hardware draaien — interessant voor bedrijven die AI lokaal willen inzetten.
• Wat je ermee kunt: Inventariseer of je huidige hardware (of een enkele videokaart) voldoende is om AI-taken lokaal uit te voeren in plaats van via een cloud-API.

Ik viel deze week over een aankondiging van Escha Labs op X. Ze claimden dat ze het Qwen3.8-27B-model — een taalmodel met 27 miljard parameters — hadden weten te comprimeren tot iets van ruim 10 gigabyte. Dat model draait vervolgens op één videokaart en levert volgens hun metingen vrijwel dezelfde prestaties als de veel grotere originele versie. Dat vind ik opvallend genoeg om even bij stil te staan.

Wat is hier precies gebeurd?

Qwen3.8-27B is een taalmodel van het Chinese Alibaba-lab Qwen, uitgebracht op 14 augustus 2026 onder een open Apache 2.0-licentie. In zijn oorspronkelijke vorm is het model ruim 55 gigabyte groot. Om dat te draaien heb je flink wat geheugen nodig — meer dan de meeste standaard videokaarten hebben.

Escha Labs, een bedrijf dat zich specialiseert in modelcompressie, heeft hun zogeheten "W2"-techniek nu op dit model losgelaten. W2 staat voor een 2-bit kwantisatie. Wat dat betekent: elk getal in het model wordt opgeslagen met slechts twee bits in plaats van de gebruikelijke zestien of tweeëndertig. Stel je voor dat je een heel gedetailleerd recept terugbrengt tot steekwoorden — je verliest nuance, maar als je het slim doet, kun je het gerecht nog steeds herkenbaar bereiden.

Het resultaat: een model van 10,15 GB dat op een enkele NVIDIA RTX 5090 draait met 82,6 tokens per seconde. Ter vergelijking: dat is snel genoeg om in realtime volledige alinea's tekst te genereren.

Waarom is 2-bit opmerkelijk?

Compressie van AI-modellen is op zich niet nieuw. Veel mensen gebruiken al 4-bit of 8-bit versies van modellen via tools als llama.cpp. Maar 2-bit is een extreem laag niveau. Normaal gesproken levert zo'n agressieve compressie flinke kwaliteitsproblemen op: modellen beginnen onzin te produceren, herhalen zichzelf, of geven structureel verkeerde antwoorden.

Wat Escha Labs claimt, is dat hun gecomprimeerde versie gemiddeld circa 100% van de FP8-prestaties behoudt over acht benchmarks. FP8 is een gangbaar referentiepunt — een formaat van acht bits dat doorgaans al als een gecomprimeerde maar betrouwbare versie geldt.

Ik moet hier wel een kanttekening bij plaatsen. Bij hun eerdere project — een 2-bit versie van het Qwen3.6-35B-A3B-model — publiceerde Escha Labs uitgebreide benchmarkresultaten op Hugging Face, inclusief scores op specifieke tests als MMLU-Pro en MATH-500. Voor dit nieuwe Qwen3.8-27B-model verwijzen ze naar "8 benchmarks", maar op het moment van schrijven heb ik de individuele scores nog niet kunnen verifiëren via onafhankelijke bronnen. De claim van ~100% behoud is dus vooralsnog gebaseerd op hun eigen metingen.

Hoe verhoudt dit zich tot hun eerdere werk?

Escha Labs deed eerder iets vergelijkbaars met het Qwen3.6-35B-A3B-model, een zogeheten Mixture-of-Experts (MoE) model. Dat model comprimeerden ze van circa 69 GB naar 12,3 GB, en het draaide op een RTX 4090 met 225 tokens per seconde. De benchmarkresultaten waren daar indrukwekkend: ze publiceerden scores op twaalf benchmarks, en de gemiddelde retentie ten opzichte van FP8 was ruim 100%.

Belangrijke verschillen

Het nieuwe Qwen3.8-27B is een dense model — alle 27 miljard parameters worden bij elke berekening gebruikt. Het eerdere model was een MoE-model, waarbij slechts een klein deel van de parameters actief is per token. Dat maakt compressie van een dense model technisch gezien lastiger, omdat er geen "slapende" experts zijn die minder precies hoeven te zijn.

Dat Escha Labs beweert hier vergelijkbare resultaten te halen, is daarom interessant. Of het in de praktijk net zo goed standhoudt als bij het MoE-model, zal moeten blijken wanneer de community het model breder gaat testen.

Wat betekent dit voor ondernemers?

Ik denk dat de echte vraag voor MKB-eigenaren niet gaat over bits en benchmarks, maar over iets simpelers: wat kost het om AI lokaal te draaien, en wanneer is dat verstandig?

Op dit moment betalen veel bedrijven per API-call aan diensten als OpenAI, Anthropic of Google. Dat werkt prima, maar het heeft nadelen: kosten lopen op bij intensief gebruik, je data gaat naar een externe server, en je bent afhankelijk van de beschikbaarheid en prijzen van die dienst.

Lokaal draaien wordt realistischer

Als een model van 27 miljard parameters — dat zijn behoorlijk capabele modellen — op een videokaart van rond de tweeduizend euro past, dan verschuift de rekensom. Stel dat je als ondernemer een klantenservicetool wilt draaien, of interne documenten wilt laten samenvatten. Met een model als dit zou je dat in theorie kunnen doen op hardware die je zelf beheert, zonder maandelijkse API-kosten en zonder data die je pand verlaat.

Ik zeg bewust "in theorie", want er zitten nog praktische haken en ogen aan. Je hebt technische kennis nodig om zo'n model op te zetten. De custom SGLang-runtime die Escha Labs gebruikt is geen dubbelklik-installatie. En de vraag of 2-bit-kwaliteit voldoende is voor jouw specifieke toepassing, kun je alleen beantwoorden door het te testen.

De grotere trend

Wat mij hier vooral opvalt, is de richting. Een jaar geleden had je voor een model van deze omvang nog meerdere dure GPU's nodig. Nu past het op één kaart. De compressietechniek van Escha Labs is daar één voorbeeld van, maar je ziet het breder: NVIDIA's eigen NVFP4-formaat, GGUF-kwantisaties via llama.cpp, en diverse academische papers over ultra-lage-bit kwantisatie duwen allemaal dezelfde kant op.

Kun je je voorstellen wat dit betekent als deze trend doorzet? Over een paar iteraties draait een model als dit misschien op een laptop. Dat maakt AI niet alleen goedkoper, maar ook toegankelijker voor kleinere bedrijven die nu de stap niet zetten vanwege kosten of privacyzorgen.

Kritische noten

Er zijn een paar dingen die ik in de gaten zou houden. Ten eerste: de benchmarks die Escha Labs noemt, zijn synthetische tests. Ze meten hoe goed een model wiskundevragen beantwoordt, code schrijft, of feiten ophaalt. Dat zegt iets, maar niet alles. Voor specifieke bedrijfstoepassingen — denk aan het verwerken van Nederlandstalige e-mails of het analyseren van vakjargon in een niche-industrie — kan de werkelijke prestatie afwijken.

Ten tweede: het eerdere W2-model van Escha Labs liet bij lange code-generatietaken een retentie van 93,4% zien ten opzichte van het origineel. Dat klinkt nog steeds hoog, maar voor toepassingen waar precisie cruciaal is, kan dat verschil merkbaar zijn.

Ten derde is het goed om te beseffen dat Escha Labs zowel de compressie als de runtime levert. Ze testen hun eigen product op hun eigen infrastructuur. Onafhankelijke reproducties door de bredere AI-community zullen een betrouwbaarder beeld geven.

Een stille verschuiving

Voor mij is dit vooral een signaal dat de drempel voor het lokaal draaien van krachtige AI-modellen snel daalt. Niet met grote aankondigingen of marketingcampagnes, maar via technische optimalisaties die modellen kleiner, sneller en goedkoper maken. Als ondernemer hoef je daar vandaag nog niets mee te doen. Maar het is wel het soort ontwikkeling waarvan ik denk dat je er over een jaar blij bent dat je het op je radar had.