NVIDIA lanceert Nemotron 3.5 Lightning en NeMo Switchyard

TL;DR

• Wat: NVIDIA brengt Nemotron 3.5 Lightning uit — een open 30B-model dat slechts 3B parameters tegelijk activeert — plus NeMo Switchyard, een router die AI-taken automatisch naar het goedkoopste geschikte model stuurt.
• Waarom relevant: lokale AI-agents worden snel goedkoper en sneller; dat maakt ze ook voor kleinere bedrijven bereikbaar.
• Wat je ermee kunt: bekijk of jouw repetitieve taken (klantvragen, code-reviews, documentverwerking) inmiddels door een lokale agent opgepakt kunnen worden — zonder data naar de cloud te sturen.

Een dag nadat Meta zijn Muse Glimmer opensourcede, publiceerde NVIDIA twee eigen projecten: het taalmodel Nemotron 3.5 Lightning en de routeringsbibliotheek NeMo Switchyard. Ik vind het interessant hoe twee techgiganten binnen 24 uur elk een andere visie op lokale AI-agents neerzetten. Reden genoeg om uit te zoeken wat dit concreet betekent.

Wat is Nemotron 3.5 Lightning precies?

Nemotron 3.5 Lightning is een zogenaamd mixture-of-experts-model (MoE). Dat klinkt ingewikkeld, maar het principe is eigenlijk elegant: het model heeft in totaal 30 miljard parameters, maar activeert er per vraag slechts 3 miljard. Vergelijk het met een groot kantoorgebouw waar op elk moment maar één verdieping verlicht hoeft te zijn — je hebt de capaciteit van het hele gebouw, maar je verbruikt alleen stroom waar je die nodig hebt.

Het model is gedistilleerd uit NVIDIA's grotere Nemotron 3 Ultra. Distillatie betekent hier dat de kennis van een groot model wordt "ingedikt" naar een kleiner, sneller model. Volgens NVIDIA levert Lightning daardoor tot vier keer hogere doorvoersnelheid en 30% snellere taakafronding dan vergelijkbare open modellen.

Een paar specificaties die mij opvallen:

• 1 miljoen tokens contextvenster. Dat betekent dat een agent enorm lange gesprekken, documenten of codebases kan onthouden zonder de draad kwijt te raken.
• Hybride architectuur met zowel Mamba-2-lagen als traditionele aandachtslagen — een combinatie die zowel snelheid als redeneerdiepte moet bieden.
• Draait lokaal op NVIDIA RTX-pc's, DGX Spark en Jetson-apparaten. Je hoeft je data dus niet naar een externe cloud te sturen.
• Open en aanpasbaar. CodeRabbit, een code-reviewbedrijf, trainde er een eigen routeragent mee voor 85 dollar in ongeveer twee uur op één enkele H100-GPU.

Dat laatste cijfer vind ik eerlijk gezegd opvallend laag. Ik weet niet of elke toepassing zo goedkoop uitpakt, maar het geeft wel een indicatie van de drempel.

NeMo Switchyard: een verkeersleider voor AI-modellen

Naast Lightning bracht NVIDIA ook NeMo Switchyard uit — een open-source routeringsbibliotheek. Het idee: niet elk AI-verzoek heeft hetzelfde model nodig. Een simpele classificatievraag hoeft niet door het duurste, krachtigste model. Switchyard bekijkt per stap in een agentwerkflow welk model het beste past op basis van kwaliteit, snelheid en kosten, en stuurt het verzoek daarheen.

Stel dat je als ondernemer een klantenservice-agent hebt die binnenkomende vragen afhandelt. Een eenvoudig verzoek als "Wat zijn jullie openingstijden?" kan door een klein, snel model. Een complexe klacht die meerdere systemen moet raadplegen, gaat naar een krachtiger model. Switchyard doet die afweging automatisch.

De cijfers die NVIDIA noemt:

• Taakkosten dalen naar ruwweg een derde vergeleken met het exclusief inzetten van één groot model (Anthropic's Opus 4.8, in hun interne benchmark).
• LangChain-gebruikers rapporteerden 74% lagere kosten over 145 meerstaps-taken.
• Cognition AI zag een kostendaling van 28% ten opzichte van het routeren van alles naar één frontier-model.

Ik moet hierbij opmerken dat dit NVIDIA's eigen benchmarks zijn, of resultaten van partners. Onafhankelijke verificatie heb ik nog niet gezien. Maar de richting — slimmer routeren bespaart geld — is logisch en wordt door meerdere partijen bevestigd.

Meta's Muse Glimmer: dezelfde ambitie, andere aanpak

Een dag eerder bracht Meta Muse Glimmer uit, ook een 30B-model voor lokale AI-agents. Het verschil: Glimmer is een dense model — alle 30 miljard parameters zijn bij elk verzoek actief. Meta compenseert dat met 4-bit quantisatie, waardoor het model onder de 20 GB past en op een consumentenvideokaart met 24 GB geheugen draait.

Waar NVIDIA kiest voor efficiëntie via MoE (weinig actieve parameters), kiest Meta voor voorspelbaarheid via een dense architectuur (geen routeringsoverhead, consistent gedrag). Beide draaien lokaal. Beide zijn open. Het zijn twee antwoorden op dezelfde vraag: hoe breng je serieuze AI-capaciteit naar gewone hardware?

Wat mij hier opvalt is dat de keuze tussen deze benaderingen consequenties heeft. Een MoE-model zoals Lightning is sneller per token maar kan in theorie minder consistent zijn als de "verkeerde" expert geactiveerd wordt. Een dense model zoals Glimmer is trager maar betrouwbaarder in zijn gedrag. Voor een ondernemer die overweegt om lokaal AI in te zetten, is dat een relevante afweging — ook al is het nu nog vroeg om te zeggen welke aanpak in de praktijk beter werkt.

Wat betekent dit voor een ondernemer?

Ik denk dat de relevantie hier niet zit in de modellen zelf, maar in de trend die ze vertegenwoordigen. Twee observaties:

Lokale AI wordt serieus bruikbaar

Tot voor kort was lokale AI vooral een speeltje voor techliefhebbers. Modellen waren te traag, te dom, of allebei. Met een contextvenster van 1 miljoen tokens en 4x de doorvoersnelheid van voorgangers beginnen deze modellen in de buurt te komen van wat je van cloud-API's gewend bent — maar dan op je eigen hardware, met je eigen data.

Voor bedrijven die gevoelige klantdata verwerken, of die simpelweg hun maandelijkse API-kosten willen beheersen, is dat interessant. Je hoeft geen datacenter te bouwen; een stevige werkstation-GPU kan volstaan.

Kosten worden beheersbaar

De combinatie van een efficiënt model (Lightning) en een slimme router (Switchyard) richt zich expliciet op kostenverlaging. Kun je je voorstellen wat het betekent als je AI-kosten per taak naar een derde dalen? Voor een bedrijf dat honderden of duizenden AI-verzoeken per dag verwerkt — denk aan documentclassificatie, e-mailsortering, eerste-lijnsvragen — loopt dat op.

Ik wil hier wel nuanceren: de genoemde besparingen komen uit gecontroleerde benchmarks. In de praktijk, met jouw specifieke data en taken, kunnen de resultaten anders uitvallen. Maar de architectuur is er nu om het te testen.

Een kanttekening bij de hype

Het is verleidelijk om dit soort aankondigingen te lezen als "AI is nu voor iedereen." De werkelijkheid is genuanceerder. Je hebt nog steeds technische kennis nodig om deze modellen te installeren, te configureren en te finetunen. De documentatie is in het Engels, de community spreekt GitHub, en als er iets misgaat, is er geen helpdesk die je belt.

Maar ik merk wel dat de afstand kleiner wordt. Twee jaar geleden was een lokaal AI-model draaien iets voor onderzoekers. Nu publiceert Canonical een handleiding om Nemotron op Ubuntu te installeren, en levert AMD instructies voor Muse Glimmer op hun consumenten-GPU's. De infrastructuur groeit mee.

Afsluiting

Voor mij is dit vooral een signaal dat de strijd om lokale AI-agents nu echt begonnen is. Meta en NVIDIA zetten binnen 24 uur elk hun visie neer, allebei open, allebei gericht op gewone hardware. De keuze verschuift langzaam van "wíl ik AI inzetten?" naar "wélke AI past bij mijn situatie?" Ik vind dat een gezonde ontwikkeling — en ik ben benieuwd hoe snel de eerste praktische toepassingen in het Nederlandse MKB opduiken.