Lokale AI-snelheid meten met een gratis open-source tool

TL;DR

• Wat: Artificial Analysis brengt AA-AgentPerf-Local uit, een gratis open-source tool die meet hoe snel jouw laptop of werkstation een AI-agent kan draaien.
• Waarom relevant: Als je overweegt AI lokaal te draaien — bijvoorbeeld vanwege privacy of kosten — wil je weten of je hardware dat aankan vóórdat je investeert.
• Wat je ermee kunt: De tool installeren, een benchmark draaien op je huidige machine, en op basis van de resultaten beslissen of je hardware voldoende is voor jouw AI-toepassing.

Afgelopen weekend zag ik een aankondiging voorbijkomen van Artificial Analysis: ze hebben een open-source tool uitgebracht waarmee je kunt meten hoe snel AI-agenten op je eigen hardware draaien. Ik vind dit interessant omdat steeds meer ondernemers nadenken over lokaal draaien van AI — en tot nu toe was het lastig om vooraf te weten of je laptop of server dat überhaupt aankan.

Wat doet AA-AgentPerf-Local precies?

De tool is simpel in opzet: hij speelt opgenomen gesprekken van AI-agenten af tegen een modelserver die op jouw machine draait. Denk aan een soort stresstest, maar dan specifiek voor AI. Het gaat niet om de kwaliteit van de antwoorden — het gaat puur om snelheid.

Concreet meet de tool vijf dingen:

• Output tokens per seconde — hoe snel het model tekst genereert
• Mediaan eerste-token-tijd — hoe lang het duurt voordat het model begint te antwoorden
• P95 eerste-token-tijd — de langzaamste 5% van de reacties (om uitschieters te vangen)
• Mediaan doorlooptijd per beurt — hoe lang een volledige beurt duurt
• P95 doorlooptijd per beurt — weer die uitschieters

De standaardtest bestaat uit acht opgenomen agenttaken met 168 modelbeurten. Dat klinkt misschien abstract, maar het simuleert vrij nauwkeurig hoe een AI-agent in de praktijk werkt: taken ontvangen, bestanden lezen, code schrijven, resultaten beoordelen en opnieuw proberen.

Waarom is dit relevant voor ondernemers?

Er is een groeiende beweging richting lokale AI in het Nederlandse MKB. De redenen zijn begrijpelijk: de EU AI Act stelt strengere eisen aan hoe je met data omgaat, en als je AI lokaal draait, verlaten gevoelige klantgegevens je pand niet. Daarnaast bespaar je op termijn op abonnementskosten voor clouddiensten.

Maar er zit een probleem. Stel dat je als ondernemer overweegt om een AI-model lokaal te draaien voor het samenvatten van klantenmail of het opstellen van offertes. Je koopt een machine met een flinke GPU — investeringen van 3.000 tot 15.000 euro zijn niet ongebruikelijk. Maar hoe weet je vooraf of die machine snel genoeg is? Of dat het model dat je wilt gebruiken niet te zwaar is voor je hardware?

Dat is precies het gat dat deze tool probeert te vullen. Je kunt hem installeren, een benchmark draaien, en zien of jouw setup voldoende tokens per seconde haalt om bruikbaar te zijn. Wat mij betreft is dat een stuk verstandiger dan eerst investeren en dan pas ontdekken dat het te traag is.

Hoe werkt het in de praktijk?

Installatie

De installatie is relatief eenvoudig voor wie al met lokale AI-modellen werkt. Je installeert het via de Python-pakketbeheerder met het commando uv tool install agentperf-local. De tool ondersteunt macOS, Linux en Windows.

Welke modelservers worden ondersteund?

De tool werkt met de meestgebruikte lokale AI-servers:

• llama.cpp — populair op consumentenhardware
• LM Studio — gebruiksvriendelijke interface
• vLLM en SGLang — voor NVIDIA GPU's
• Ollama — veel gebruikt door beginners
• Splash — specifiek voor Apple Silicon (M3 en nieuwer)

Kun je je voorstellen wat dit betekent als je al Ollama of LM Studio gebruikt? Je kunt nu objectief meten hoe snel jouw setup is en die resultaten vergelijken met andere configuraties.

Wat heb je minimaal nodig?

Voor een volledige benchmark heb je een context van 65.536 tokens nodig — dat vereist behoorlijk wat geheugen. Er is ook een verkleinde modus met 8.192 tokens, maar die resultaten zijn niet vergelijkbaar met de standaardtest. Voor de meeste serieuze toepassingen praat je over minimaal 16 GB aan geheugen, en liever meer.

De bredere context: AgentPerf als benchmark-ecosysteem

Wat ik hier opvallend vind, is dat dit onderdeel is van een groter geheel. Artificial Analysis heeft eerder al AA-AgentPerf gelanceerd als benchmark voor datacenters — die meet hoeveel gelijktijdige AI-agenten een systeem aankan per megawatt aan stroomverbruik. De lokale variant is daarvan een afgeleide, maar dan gericht op individuele machines.

Het team heeft de benchmark gebouwd op echte trajecten van code-schrijvende agenten, met modellen als DeepSeek V3.2, GLM 4.7 en Kimi K2.5. Dat is een bewuste keuze: ze willen meten wat er in de praktijk gebeurt, niet wat er in een synthetische test uitkomt. Ik denk dat dat een verstandige aanpak is, al moet ik erbij zeggen dat coding-agenten niet representatief hoeven te zijn voor alle zakelijke toepassingen — een chatbot die klantvragen beantwoordt heeft een ander profiel dan een agent die code schrijft.

Wat betekent dit concreet voor jouw bedrijf?

Laat ik eerlijk zijn: deze tool is niet iets dat je morgen als niet-technische ondernemer even installeert. Je hebt iemand nodig die weet hoe je een lokale modelserver opzet. Maar het is wél iets dat je kunt laten doen door een technisch medewerker of IT-partner.

De waarde zit hem in drie dingen:

1. Vooraf testen in plaats van achteraf ontdekken. Voordat je investeert in hardware, kun je op je huidige machine al een indicatie krijgen.
2. Objectief vergelijken. Omdat de benchmark gestandaardiseerd is, kun je verschillende configuraties naast elkaar leggen — welk model op welke server op welke hardware.
3. Plannen op basis van feiten. Artificial Analysis biedt ook een lijst met servingconfiguraties, zodat je kunt zien welke combinaties van model en hardware welke prestaties leveren.

Een denkbare situatie zou zijn: je laat je IT-partner de benchmark draaien op drie verschillende configuraties, en op basis daarvan besluit je of lokale AI haalbaar is voor jouw specifieke toepassing — of dat de cloud voorlopig toch handiger is.

Tot slot

Voor mij is dit vooral een signaal dat lokale AI volwassener wordt. Niet alleen de modellen zelf worden beter en lichter, maar ook het gereedschap eromheen. Het feit dat er nu een gestandaardiseerde, open-source manier is om te meten of jouw hardware geschikt is, maakt de drempel om lokale AI serieus te overwegen weer een stukje lager. Niet elke ondernemer hoeft dit morgen te doen — maar het is goed om te weten dat de meetlat er nu ligt.