Saluki 27B: een 2-bit model dat past op een laptopgrafiekkaart

TL;DR

• Wat: Underdog heeft Qwen 3.8-27B gecomprimeerd van 54 GB naar 7,89 GB — en scoort op tool calling hoger dan het origineel.
• Waarom relevant: een AI-model dat als agent tools kan aansturen past nu op een enkele consumentenvideokaart van 12 GB.
• Wat je ermee kunt: nagaan of jouw lokale AI-toepassingen met een kleinere server of laptop uit de voeten kunnen, zonder direct de cloud in te moeten.

Een bericht dat deze week rondging op X trok mijn aandacht: een gecomprimeerd 27-miljard-parametermodel dat het origineel verslaat op het aanroepen van tools. Dat klinkt bijna te mooi, dus ik wilde uitzoeken wat hier precies aan de hand is — en wat het betekent als je als ondernemer met lokale AI aan de slag wilt.

Wat is er precies gebeurd?

Het bedrijf Underdog (ook wel Conway Research) heeft Saluki 27B uitgebracht, gebaseerd op het open-source taalmodel Qwen 3.8-27B van Alibaba. Via een techniek die 2-bit kwantisatie heet — je zet elk getal in het model om naar slechts twee binaire bits in plaats van de gebruikelijke zestien — is het model gekrompen van circa 54 GB naar 7,89 GB.

Om het tastbaar te maken: stel je voor dat je een complete encyclopedie hebt die normaal een hele boekenkast vult, en je perst die in één dikke ringband. Je verliest wat detail, maar het meeste staat er nog.

Volgens Underdog behoudt Saluki gemiddeld 96% van de prestaties van het originele model, gemeten over negen benchmarks. Het model draait op standaard llama.cpp — een veelgebruikte open-source tool om taalmodellen lokaal te draaien — zonder speciale aanpassingen. De modelgewichten zijn vrijgegeven onder de Apache 2.0-licentie, wat betekent dat je ze ook commercieel mag gebruiken.

Tool calling: waar Saluki voorsprong claimt

Het meest opvallende cijfer: op een test van 120 tool-calling-taken scoorde Saluki 88 correct, tegenover 84 voor het originele, zeven keer grotere model. Bij parallelle tool calls — meerdere tools tegelijk aanroepen — was het verschil nog groter: 42 versus 35.

Wat is tool calling eigenlijk? Dat is het vermogen van een AI-model om zelfstandig externe functies aan te roepen: een database bevragen, een API aanspreken, een berekening uitvoeren. Als je een AI-agent bouwt die bijvoorbeeld automatisch facturen verwerkt of voorraadniveaus checkt, dan is tool calling precies de vaardigheid die ertoe doet.

Een kanttekening bij de cijfers

Ik vind het belangrijk om hier eerlijk te zijn: deze benchmarkresultaten komen van Underdog zelf. De test is gebaseerd op taken uit de Berkeley Function Calling Leaderboard, maar het is hun eigen testopstelling. Het verschil — 88 versus 84 op 120 taken — is vier taken. Dat is niet niets, maar het is ook geen overweldigend verschil.

Zolang onafhankelijke partijen deze resultaten niet hebben gereproduceerd, zou ik ze behandelen als veelbelovend maar niet bewezen. Dat is geen kritiek op Underdog, maar gewoon hoe wetenschap werkt: je wilt bevestiging van buitenaf.

Waar het model wél inlevert

Hier wordt het interessant voor wie overweegt dit model daadwerkelijk in te zetten. De 96% gemiddelde retentie klinkt indrukwekkend, maar dat gemiddelde verbergt flinke verschillen per taaktype.

Wiskunde en redeneren

Op competitie-wiskunde (de AIME 2025-benchmark) behaalt Saluki 79,2 tegenover 96,7 voor het origineel. Dat is ruwweg 82% retentie — een stuk minder dan die 96%. Ook op complexe redeneertaken (MuSR) zakt het van 79,6 naar 67,5.

Wat mij hier opvalt: de taken waar het model het meeste verliest, zijn precies de taken die het meeste 'denkkracht' vereisen. Dat is logisch — als je informatie comprimeert, gaan de nuances het eerst verloren.

Coderen

Op een set van 50 programmeertaken (afgeleid van echte GitHub-issues) loste Saluki er 30 op, het origineel 33. Niet dramatisch, maar wel merkbaar.

Wat betekent dit voor een ondernemer?

Stel dat je als ondernemer overweegt om AI lokaal te draaien — bijvoorbeeld omdat je gevoelige klantdata niet naar een cloudprovider wilt sturen, of omdat je de maandelijkse API-kosten wilt drukken. Dan is dit nieuws relevant om twee redenen.

Ten eerste: een model van 7,89 GB past op een videokaart die je voor een paar honderd euro koopt. Het originele model van 54 GB vereist hardware van duizenden euro's, of je moet uitwijken naar de cloud. Het verschil in aanschafkosten is substantieel.

Ten tweede: tool calling is precies de vaardigheid die je nodig hebt als je een AI-agent wilt bouwen die daadwerkelijk iets doet — niet alleen tekst genereert, maar acties uitvoert. Een factuur aanmaken, een afspraak inplannen, een voorraadcheck doen. Als een klein model daar net zo goed of beter in is dan een groot model, verschuift de kosten-batenanalyse.

Maar — en dit is een belangrijke maar — als jouw toepassing draait om complexe berekeningen, financiële analyses of diep redeneren, dan lever je met zo'n gecomprimeerd model waarschijnlijk te veel in. De tweet waar ik dit bericht op baseerde zegt het zelf ook: "Math and reasoning drop more — check the card before you swap your daily driver."

Een bredere trend

Ik vind het eerlijk gezegd fascinerend dat we op een punt zijn gekomen waar een model van 27 miljard parameters — een omvang die twee jaar geleden alleen in datacenters draaide — nu op een consumentenlaptop past. En niet als een speeltje, maar met prestaties die op bepaalde taken het origineel evenaren of overtreffen.

De techniek achter Saluki bouwt voort op werk van ISTA-DASLab, een onderzoeksgroep aan het Oostenrijkse Institute of Science and Technology. Zij hadden Qwen 3.8-27B al eerder gecomprimeerd naar ongeveer 8,4 GB. Underdog heeft daar bovenop verder geoptimaliseerd, specifiek voor tool calling.

Kun je je voorstellen wat dit over twee jaar betekent? Als de trend doorzet, draait straks elk MKB-bedrijf met een fatsoenlijke werkplek-pc zijn eigen AI-agent — zonder cloudabonnement, zonder data die de deur uit gaat.

Tot slot

Voor mij is Saluki vooral een signaal dat de race in AI niet alleen gaat over grotere modellen, maar ook over slimmere compressie. Het is niet het ultieme antwoord op elke vraag — wiskunde en redeneren leveren meetbaar in. Maar voor de specifieke taak waar AI-agents op leunen — tools aanroepen, taken uitvoeren — laat het zien dat je met minder hardware meer kunt dan je zou verwachten. Ik ben benieuwd of onafhankelijke tests de tool-calling-claims bevestigen. Dát wordt het echte bewijs.