Klein model, scherp redeneren: wat BDH-CQ laat zien over AI-kosten

TL;DR

• Wat: Een model met 150 miljoen parameters scoort op een lastige redeneerbenchmark tegen een tiende van een cent per taak — ruim 11 keer goedkoper dan GPT 5.6 Luna.
• Waarom relevant: De kosten van AI-redeneren dalen sneller dan verwacht, niet door grotere modellen maar door slimmere architectuur.
• Wat je ermee kunt: Houd bij je volgende AI-project niet alleen de prestatie in de gaten, maar ook de kosten per taak — kleinere modellen worden steeds vaker een serieuze optie.

Ik stuitte op een paper die deze week verscheen: BDH-CQ: In-Context Learning with Recurrent Latent Reasoning. Het onderzoek komt van Pathway, een AI-lab uit Palo Alto, en beschrijft een model dat op een heel andere manier redeneert dan de grote taalmodellen die we kennen. Wat mij triggerde: het model is klein, goedkoop, en presteert tóch opvallend goed op een benchmark die juist mensachtig denkvermogen test.

Wat is hier precies aan de hand?

Pathway heeft een model gebouwd met 150 miljoen parameters. Ter vergelijking: GPT-4 heeft naar schatting meer dan een biljoen parameters, dus we praten hier over een factor duizend verschil. Ondanks dat kleine formaat scoort BDH-CQ 29,5% (pass@2) op de ARC-AGI-1 benchmark — een test die meet hoe goed een AI-systeem een regel kan afleiden uit een paar voorbeelden en die vervolgens kan toepassen op iets nieuws.

Dat klinkt misschien niet indrukwekkend, maar de context maakt het interessant. GPT 5.6 Luna scoort 34,2% op dezelfde test, maar kost per taak zo'n 11 keer meer — zelfs ná de prijsverlaging van 80% die OpenAI eind juli doorvoerde. BDH-CQ doet het voor $0,0007 per taak. Minder dan een tiende van een cent.

Dat verschil komt niet doordat Pathway minder hardware gebruikt. Het komt door een fundamenteel andere aanpak.

Redeneren zonder woorden

De meeste AI-modellen die we nu kennen — ChatGPT, Claude, Gemini — denken na door hun redenering uit te schrijven. Dat heet chain-of-thought: het model genereert stap voor stap tekst, en elke volgende stap bouwt voort op wat ervoor kwam. Het is effectief, maar het kost tokens, en tokens kosten geld. Hoe langer de redeneerketen, hoe hoger de rekening.

BDH-CQ doet iets anders. Het model redeneert in een zogenaamde latente ruimte — een wiskundige representatie waar berekeningen plaatsvinden zonder dat er tussentijds tekst wordt geproduceerd. Vergelijk het met het verschil tussen hardop nadenken en stil in je hoofd een puzzel oplossen. Het eindresultaat kan hetzelfde zijn, maar de stille variant kost minder energie.

Concreet werkt het zo: het model krijgt een paar voorbeelden te zien (de demonstraties), slaat die op in een soort werkgeheugen, en lost vervolgens de opgave op door herhaaldelijk door die latente ruimte te rekenen. Pas aan het eind verschijnt er een antwoord in leesbare vorm.

Ik vind dat een elegante benadering. Het scheelt niet alleen kosten, maar ook tijd — want minder tokens betekent ook minder wachten.

Waarom ARC-AGI ertoe doet

Even terug naar die benchmark. ARC-AGI is geen standaard taaltest. Het gaat niet om tekst genereren of vragen beantwoorden. De opgaven bestaan uit gekleurde rasters waarbij je een patroon moet herkennen en toepassen. Denk aan de soort puzzels die je in een IQ-test tegenkomt: je ziet drie voorbeelden van een transformatie, en je moet voorspellen wat het vierde resultaat wordt.

Wat ARC-AGI meet, is in essentie aanpassingsvermogen. Kan een systeem iets nieuws leren van een handvol voorbeelden, zonder dat het specifiek op dat type taak is getraind? Dat is precies de vaardigheid die bedrijven nodig hebben als ze AI willen inzetten voor taken die niet standaard zijn.

Stel dat je als ondernemer een proces hebt met wisselende regels — seizoensgebonden prijslogica, uitzonderingen in kwaliteitscontrole, of klantverzoeken die net steeds anders zijn. Een model dat kan redeneren vanuit voorbeelden in plaats van alleen te reproduceren wat het eerder heeft gezien, is voor dat soort toepassingen waardevoller.

Wat dit betekent voor de portemonnee

Hier wordt het concreet voor ondernemers. De kosten van AI-gebruik zijn voor veel MKB-bedrijven een serieuze overweging. Als je een taalmodel inzet voor klantservice, documentanalyse of interne processen, betaal je per token — en die kosten lopen op.

De trend die BDH-CQ illustreert, is breder dan één paper. We zien steeds vaker dat kleinere, gespecialiseerde modellen op specifieke taken vergelijkbaar presteren met de grote spelers, maar tegen een fractie van de kosten. Microsoft's Phi-4, Google's Gemma 2, Mistral Small — het zijn allemaal modellen onder de tien miljard parameters die op gerichte taken prima werk leveren.

Voor een ondernemer betekent dit: je hoeft niet altijd het duurste model in te zetten. Een gelaagde aanpak — een klein model voor routinetaken, een groter model alleen wanneer het echt nodig is — kan dezelfde kwaliteit leveren tegen aanzienlijk lagere kosten.

Zuzanna Stamirowska, CEO van Pathway, vatte het bondig samen: "The bottleneck was never intelligence. It was design." Vrij vertaald: het knelpunt was nooit intelligentie, maar ontwerp. Ik vind dat een treffende observatie. Het suggereert dat de oplossing voor betaalbare AI niet per se ligt in meer rekenkracht, maar in slimmere architectuur.

Kanttekeningen

Eerlijkheid gebiedt te zeggen dat BDH-CQ ook duidelijke beperkingen heeft. Het model struikelt over taken met conditionele regelselectie (56,7% nauwkeurigheid), heeft moeite met waarden die het niet eerder heeft gezien (0% op geëxtrapoleerde waarden), en faalt bij bepaalde complexere composities.

Ook is 29,5% op ARC-AGI absoluut geen menselijk niveau — mensen scoren doorgaans boven de 80% op dit type puzzels. Het model laat dus zien dat het iets kan met abstracte patronen, maar het is verre van waterdicht.

Daarnaast is het paper net gepubliceerd (10 augustus 2026) en nog niet peer-reviewed in de traditionele zin. De resultaten zijn wel onafhankelijk gecontroleerd door onderzoekers van onder andere New York University, wat de geloofwaardigheid versterkt — maar verdere replicatie is altijd wenselijk.

Waar dit naartoe wijst

Voor mij is dit vooral een signaal dat de kosten-prestatieverhouding van AI-redeneren sneller verschuift dan veel ondernemers in de gaten hebben. Een jaar geleden was het ondenkbaar dat een model van 150 miljoen parameters überhaupt op deze benchmark zou scoren. Nu doorbreekt het de kosten-efficiëntiegrens.

Dat hoef je niet meteen te vertalen naar actie. Maar het is wel iets om in je achterhoofd te houden de volgende keer dat iemand zegt dat AI voor jouw bedrijf "te duur" is. De rekening wordt kleiner. En de modellen die hem kleiner maken, worden steeds beter.