Liquid AI lanceert Pipette: benchmarks voor AI op je telefoon

TL;DR

• Wat: Liquid AI brengt Pipette uit, een open-source benchmarksuite die AI-modellen test op telefoons, laptops en andere apparaten — niet in de cloud.
• Waarom relevant: Als ondernemer die AI lokaal wil draaien (denk aan privacy, snelheid, geen cloudkosten), wil je weten welk model op welk apparaat écht werkt.
• Wat je ermee kunt: Bekijk het Pipette-dashboard om te zien hoe AI-modellen presteren op gangbare apparaten voordat je een keuze maakt.

Ik stuitte deze week op een aankondiging van Liquid AI die me meteen aansprak. Ze lanceren Pipette: een open-source platform dat AI-modellen niet in een datacenter test, maar op de apparaten waar ze straks daadwerkelijk op draaien. Samen met Artificial Analysis — een partij die onafhankelijk AI-prestaties verifieert — hebben ze meer dan 1.000 configuraties doorgemeten. Ik vind het interessant omdat het een probleem aanpakt waar bijna niemand over praat.

Waarom bestaande benchmarks tekortschieten

De meeste AI-benchmarks meten hoe goed een model presteert op krachtige servers in de cloud. Logisch, want daar draait het gros van de AI vandaag. Maar er is een groeiende beweging richting on-device AI: modellen die lokaal draaien op je telefoon, laptop of een klein apparaat in je bedrijf.

Het probleem? Een model dat uitstekend scoort op een server met tientallen GPU's, kan op een telefoon compleet anders presteren. Factoren als het beschikbare werkgeheugen, de processor, de temperatuur van het apparaat en de manier waarop het model is gecomprimeerd (dat heet quantisatie — het kleiner maken van een model zodat het op beperktere hardware past) bepalen of het in de praktijk bruikbaar is.

Liquid AI vat het kernachtig samen: "On-device behavior is a property of the deployed system, not the model in isolation." Oftewel: het gedrag van AI op een apparaat hangt af van het hele systeem, niet alleen van het model. Wat mij betreft is dat een nuchtere observatie die in de hype rond AI te weinig aandacht krijgt.

Wat Pipette precies meet

Pipette kijkt niet alleen naar hoe slim een model is. Het meet vijf dimensies tegelijk, steeds voor een specifieke combinatie van model, compressiemethode, software-omgeving en apparaat:

• Latency: hoe snel krijg je het eerste antwoord?
• Throughput: hoeveel tekst genereert het model per seconde?
• Geheugengebruik: hoeveel RAM vreet het?
• Kwaliteitsbehoud: hoe goed blijft het model na compressie presteren ten opzichte van de volledige versie?
• Context scaling: blijft het model snel als je langere teksten invoert?

De eerste dataset bevat resultaten voor meer dan 30 modellen op onder andere een iPhone 17 Pro, Samsung Galaxy S26 Ultra en een MacBook Pro met M5 Max-chip. Contexten variëren van 256 tot 8.192 tokens — dat is van een kort berichtje tot een paar pagina's tekst.

Verrassende uitkomsten

Wat mij opvalt aan de eerste resultaten: ze laten zien dat je als gebruiker behoorlijk op het verkeerde been kunt worden gezet.

Twee modellen van dezelfde grootte (350 miljoen parameters) lieten dramatisch verschillende context-scaling zien. Op een Galaxy S26 Ultra behield het ene model 78,4% van zijn snelheid bij langere teksten, terwijl het andere terugviel naar 33,8%. Dat is een verschil dat je nooit uit een standaard-benchmarklijstje haalt.

Een ander voorbeeld: twee modellen van zo'n 8 miljard parameters die qua snelheid nauwelijks verschilden (2,4% verschil in throughput), scoorden totaal anders op verschillende taken. Het ene was beter in het opvolgen van instructies, het andere in wetenschappelijke vragen. Welk model "beter" is, hangt dus af van wat je ermee wilt doen.

Ik vind dit eerlijk gezegd verhelderend. Het laat zien dat de vraag "Welk AI-model is het beste?" eigenlijk een zinloze vraag is zonder de context erbij: beste waarvoor, op welk apparaat, met welke compressie?

Waarom dit voor ondernemers begint te tellen

Kun je je voorstellen dat je als winkelier een AI-systeem wilt dat lokaal op een apparaat in je zaak draait — bijvoorbeeld voor voorraadbeheer of klantvragen — zonder dat elke vraag naar een cloudserver hoeft? Of dat je in een productiebedrijf camera's met ingebouwde AI hebt die kwaliteitscontroles doen, zonder internetverbinding?

Dat is precies het terrein van on-device AI. En voor Nederlandse MKB-bedrijven zijn er concrete redenen om hier aandacht aan te besteden:

• Privacy: data verlaat het apparaat niet. Relevant met de AVG en bij gevoelige klantinformatie.
• Kosten: geen maandelijkse cloudrekening per API-aanroep.
• Betrouwbaarheid: het werkt ook als je internetverbinding uitvalt.
• Snelheid: geen vertraging door netwerkverkeer.

Nu is het eerlijk om te zeggen dat on-device AI vandaag nog niet voor elk MKB-bedrijf praktisch inzetbaar is. De modellen die op een telefoon passen, zijn kleiner en daarmee minder capabel dan de grote cloudmodellen. Maar ze worden snel beter. En een tool als Pipette helpt om realistisch te beoordelen wat er wél kan — in plaats van af te gaan op marketingbeloftes.

Open source en onafhankelijk geverifieerd

Een detail dat ik belangrijk vind: Pipette is volledig open source onder een Apache 2.0-licentie. De hele meetinfrastructuur staat op GitHub. Dat betekent dat iedereen de metingen kan reproduceren, en dat je als bedrijf de benchmark ook op je eigen apparaten kunt draaien.

Daarnaast zijn de resultaten onafhankelijk geverifieerd door Artificial Analysis. Elk meetprotocol bevat opwarmrondes die worden weggegooid, vijf herhaalde metingen, en een controle of het apparaat thermisch stabiel is voordat er wordt gemeten. Dat klinkt als een detail, maar het maakt het verschil tussen een betrouwbare meting en een marketingdemo.

De Pipette-app is beschikbaar voor iOS en Android, al is er een kanttekening: op iOS worden GPU-berekeningen ondersteund, terwijl de Android-versie voorlopig alleen CPU-berekeningen doet. Dat verschil kan invloed hebben op de snelheidsresultaten.

Waar dit naartoe gaat

Liquid AI is zelf ook een modelontwikkelaar — hun eigen LFM-modellen staan in de Pipette-resultaten en scoren overigens goed in de bovenste regionen. Dat maakt het platform niet automatisch onbetrouwbaar, maar het is goed om te weten dat de maker ook speler is. De onafhankelijke verificatie door Artificial Analysis weegt dat voor een deel op.

Voor mij is dit vooral een signaal dat de AI-wereld volwassener wordt. De fase van "ons model is het beste" op basis van cherry-picked benchmarks maakt langzaam plaats voor transparantere, contextafhankelijke vergelijkingen. En voor ondernemers die straks kiezen welk AI-model ze op welk apparaat draaien, is dat precies de informatie die je nodig hebt om een goede beslissing te nemen in plaats van een dure.