NVIDIA's Nemotron-modellen scoren hoog op AI-agentbenchmark

TL;DR

• Wat: NVIDIA's Nemotron 3.5 Lightning scoort 86,4% op PinchBench en komt daarmee in de top 4 van open-weight modellen voor AI-agents.
• Waarom relevant: open-weight modellen die goed scoren op praktische agenttaken geven ondernemers meer keuze en minder afhankelijkheid van één leverancier.
• Wat je ermee kunt: volg de ontwikkeling van agent-benchmarks als je overweegt AI-taken te automatiseren — de prestaties van kleine, efficiënte modellen worden snel beter.

Ik zag een bericht van NVIDIA voorbijkomen waarin twee van hun AI-modellen opvallend goed presteren op een benchmark die specifiek meet hoe goed een model functioneert als AI-agent. Wat mij triggerde: het gaat hier niet om een theoretische test, maar om taken die lijken op wat je in de praktijk zou willen automatiseren.

Wat is er precies gebeurd?

NVIDIA deelde op 24 augustus 2026 dat hun Nemotron 3.5 Lightning-model een gemiddeld slagingspercentage van 86,4% haalt op PinchBench — een benchmark die meet hoe goed AI-modellen presteren als ze draaien binnen het OpenClaw-agentframework. Daarmee landt het model in de top 4 van alle open-weight modellen op die benchmark.

Tegelijkertijd houdt het grotere Nemotron 3 Ultra de eerste plek vast.

Even voor de context: "open-weight" betekent dat de gewichten van het model — zeg maar het brein — vrij beschikbaar zijn. Je kunt zo'n model zelf draaien of via een aanbieder naar keuze gebruiken, zonder vast te zitten aan één partij.

Wat zijn PinchBench en OpenClaw?

Dit zijn misschien geen namen die je dagelijks tegenkomt, dus laat me ze even uitpakken.

OpenClaw

OpenClaw is een open-source framework waarmee je AI-agents kunt bouwen die daadwerkelijk dingen doen: e-mails afhandelen, bestanden beheren, code schrijven, een browser bedienen. Het is in korte tijd enorm populair geworden — met meer dan 347.000 sterren op GitHub is het volgens meerdere bronnen het meest populaire project op dat platform.

Denk aan OpenClaw als een soort werkbank waarop je een AI-model aansluit, waarna dat model taken kan uitvoeren in de echte wereld. Niet alleen antwoorden geven, maar ook handelen.

PinchBench

PinchBench is de bijbehorende benchmark. In plaats van een model te testen met abstracte vragen, laat PinchBench het model 23 echte taken uitvoeren: vergaderingen plannen, e-mail triëren, onderzoek doen, code schrijven, bestanden beheren. Het meet drie dingen: slaagt de taak, hoe snel, en tegen welke kosten.

Ik vind dit een interessante verschuiving. Traditionele benchmarks meten vaak hoe "slim" een model is op examenvragen. PinchBench meet of een model bruikbaar is als digitale medewerker. Dat is een ander soort vraag.

Twee modellen, twee rollen

Wat me opvalt is dat NVIDIA hier twee modellen positioneert die duidelijk verschillende rollen vervullen.

Nemotron 3 Ultra: het zware werk

Nemotron 3 Ultra is het vlaggenschip. Het telt 550 miljard parameters (waarvan 55 miljard actief), scoort 48 op de Artificial Analysis Intelligence Index en is volgens meerdere bronnen het sterkste open-weight model van Amerikaanse makelij. Het is bedoeld voor complexe redeneertaken en aansturing van agents.

Ter vergelijking: het Chinese Kimi K2.6 scoort 54 op diezelfde index. NVIDIA levert dus een sterk model, maar het is niet automatisch het allerbeste ter wereld. Dat nuanceer ik graag, want de tweet van NVIDIA spreekt over "#1 spot" — dat klopt binnen de categorie open-weight modellen op PinchBench, maar niet per se op alle benchmarks.

Nemotron 3.5 Lightning: klein maar krachtig

Nemotron 3.5 Lightning is een ander verhaal. Het model heeft 30 miljard parameters maar slechts 3 miljard daarvan zijn tegelijk actief — een zogenaamd Mixture-of-Experts-model. Stel je een kantoor voor met 30 specialisten, maar voor elke taak hoef je er maar 3 in te zetten. Dat maakt het snel en goedkoop.

NVIDIA claimt dat dit model tot vier keer sneller is dan vergelijkbare modellen en 10.000 taken 30% sneller afrondt dan Qwen3.6-35B bij vergelijkbare nauwkeurigheid. Het ondersteunt tot een miljoen tokens aan context — dat is ruwweg het equivalent van een paar dikke boeken aan informatie die het model tegelijk kan verwerken.

Wat ik hier bijzonder vind: een model met slechts 3 miljard actieve parameters dat in de top 4 eindigt op een praktijkgerichte benchmark. Dat zegt iets over hoe efficiënt dit model is ontworpen.

Wat betekent dit voor ondernemers?

Kun je je voorstellen dat je een AI-assistent inzet die niet alleen vragen beantwoordt, maar ook daadwerkelijk taken uitvoert? Vergaderingen plant, e-mails sorteert, informatie opzoekt en samenvat?

Dat is precies wat deze agent-frameworks mogelijk maken. En de benchmark laat zien dat de modellen die je daarvoor nodig hebt, steeds beter en tegelijk kleiner worden.

Voor een MKB-ondernemer zijn er een paar relevante punten:

• Kosten: een kleiner model dat goed presteert is goedkoper om te draaien. Minder rekenkracht nodig betekent lagere kosten per taak.
• Keuzevrijheid: open-weight betekent dat je niet gebonden bent aan één aanbieder. Je kunt het model via verschillende partijen afnemen of zelfs zelf hosten.
• Licentie: Nemotron 3.5 Lightning is uitgebracht onder de OpenMDW-1.1-licentie, wat commercieel gebruik toestaat. De gewichten, trainingsdata en recepten zijn openbaar.

Ik wil hier wel bij zeggen: dit betekent niet dat je morgen een AI-agent in je bedrijf draait. De technologie ontwikkelt zich snel, maar de stap van benchmark naar betrouwbare bedrijfsinzet vraagt nog het nodige aan integratie, testen en beveiligingsoverwegingen. Een recente beveiligingsanalyse van OpenClaw op arXiv benoemt bijvoorbeeld expliciet dat agenttoegang tot bestanden en commandoregels risico's met zich meebrengt.

De agentbenchmark als nieuw kompas

Wat mij het meest bijblijft aan dit bericht is niet zozeer de score zelf, maar het feit dat we nu benchmarks hebben die meten of een AI-model nuttig werk kan doen. Niet: "kan het een wiskundevraag beantwoorden?" Maar: "kan het een e-mail triëren, een vergadering plannen en daar een samenvatting van maken?"

Dat verschuift het gesprek van "hoe slim is het model" naar "hoe bruikbaar is het model". En dat is, wat mij betreft, precies de vraag die voor ondernemers telt.

Voor mij is dit vooral een signaal dat de race om AI-agents concreter wordt. De modellen worden kleiner, sneller en goedkoper — en de manier waarop we ze beoordelen verschuift mee naar praktische bruikbaarheid. Dat is een ontwikkeling om in de gaten te houden.