Splash: lokale AI-inference op je Mac tot 3× sneller dan Ollama

TL;DR

• Wat: Inco AI lanceert Splash, een open-source inference engine die AI-modellen tot 3× sneller draait op Apple Silicon dan Ollama.
• Waarom relevant: als je als ondernemer AI lokaal wilt draaien — zonder cloudkosten of privacyzorgen — bepaalt snelheid of het werkbaar is of niet.
• Wat je ermee kunt: heb je een Mac met M3-chip of nieuwer en minstens 36 GB werkgeheugen, dan kun je Splash gratis installeren via Homebrew en testen of lokale AI voor jouw werkprocessen snel genoeg is.

Ik stuitte op een tweet van Inco AI waarin ze claimen dat hun nieuwe inference engine Splash het Qwen3.8-27B taalmodel op een M5 Max MacBook Pro laat draaien met 144 tokens per seconde. Dat is — als de cijfers kloppen — behoorlijk indrukwekkend, en het zette me aan het denken over wat dit praktisch betekent voor ondernemers die met AI aan de slag willen zonder afhankelijk te zijn van cloud-abonnementen.

Wat is Splash precies?

Splash is een open-source inference engine, specifiek gebouwd voor Apple Silicon. Even voor de duidelijkheid: een inference engine is de software die een AI-model daadwerkelijk laat "denken" en antwoorden genereren. Je kunt het vergelijken met een motor in een auto — het model is de auto, maar zonder motor gebeurt er niets.

Wat Splash anders doet dan bestaande tools zoals Ollama of MLX, is dat het zich specialiseert per model. In plaats van een generieke aanpak kiest Splash voor op maat gecompileerde Metal-kernels (dat zijn de instructies die de GPU-chip aansturen), een speciaal draft-model voor speculatieve decodering, en een geheugenplan dat bij het opstarten wordt berekend.

In gewone taal: waar andere engines proberen álles redelijk te doen, probeert Splash een paar specifieke modellen uitstekend te doen. Op dit moment ondersteunt het twee modellen: Qwen3.8-27B (een "dense" model van 17,4 GB) en Qwen3.6-35B-A3B (een mixture-of-experts model van 20,9 GB).

De snelheidsclaims nader bekeken

De tweet noemt concrete vergelijkingen: tot 3× sneller dan Ollama, 2× sneller dan oMLX, en bijna 4× sneller wanneer een AI-agent meerdere sub-agents tegelijk aanstuurt. Op een M5 Pro met 48 GB geheugen zou Splash het eerste antwoord binnen 282 milliseconden teruggeven bij een context van 32.000 tokens.

Ik vind het eerlijk gezegd opvallend dat het verschil zo groot is. Uit onafhankelijke benchmarks en vergelijkingen blijkt dat MLX op Apple Silicon doorgaans al flink sneller is dan Ollama met de oude llama.cpp-backend — een factor 3 op sommige modellen. Ollama is inmiddels ook overgestapt op MLX als backend voor Macs met 32 GB geheugen of meer. Dat Splash daar nóg bovenuit claimt te stijgen, is het bekijken waard.

Tegelijkertijd moet ik een kanttekening plaatsen: de benchmarks komen van Inco AI zelf. Ik heb op het moment van schrijven geen onafhankelijke, externe bevestiging gevonden van precies die 144 tok/s op een M5 Max. Dat betekent niet dat de cijfers niet kloppen, maar het is goed om dat in het achterhoofd te houden. Volgens de GitHub-pagina groeit het verschil met concurrenten bij hogere belasting — 3,8× sneller bij vier gelijktijdige verzoeken van 32.000 tokens op het 35B-model.

Wat betekent dit voor een ondernemer?

Kun je je voorstellen dat je een AI-assistent draait op je eigen laptop, zonder dat er data naar een externe server gaat? Dat is precies wat lokale inference mogelijk maakt. Voor bedrijven die met gevoelige klantgegevens, contracten of financiële data werken, is dat een serieus voordeel.

Snelheid maakt het verschil tussen bruikbaar en onbruikbaar

Bij lokale AI is snelheid geen luxe maar een voorwaarde. Als je een vraag stelt en het duurt vijftien seconden voordat je antwoord krijgt, dan is het een leuk experiment. Bij twee seconden wordt het een werktool. Het verschil tussen 40 tokens per seconde en 144 tokens per seconde is het verschil tussen "ik wacht" en "het is er gewoon".

Geen cloudkosten, geen abonnement

Splash is open-source onder de Apache 2.0-licentie en gratis te gebruiken. De enige investering is de hardware — en die heb je misschien al. Stel dat je als ondernemer een MacBook Pro hebt met een M3- of M4-chip en 36 GB geheugen of meer: dan kun je dit vandaag installeren met twee regels in je terminal.

De drempel: je hebt wel de juiste Mac nodig

De systeemeisen zijn niet triviaal. Je hebt minimaal een Apple M3-chip nodig, macOS 26.4 of nieuwer, en minstens 36 GB unified memory — 48 GB wordt aanbevolen. Dat sluit de goedkopere MacBook Air-modellen met 8 of 16 GB geheugen uit. Voor veel MKB-ondernemers is een MacBook Pro met 48 GB een serieuze aanschaf.

Hoe verhoudt het zich tot de rest?

Het landschap van lokale AI-inference op de Mac beweegt snel. Ollama heeft in maart 2026 aangekondigd over te stappen op MLX als inference-backend voor Apple Silicon. MLX zelf, ontwikkeld door Apple, is uitgegroeid tot een stevige basis. En er zijn meer spelers: Lily, uzu, en nu dus Splash.

Wat Splash onderscheidt is de focus. Het ondersteunt bewust een klein aantal modellen en optimaliseert daar alles voor. Dat is een trade-off: je krijgt snelheid, maar verliest flexibiliteit. Wil je een ander model draaien dan de twee die Splash ondersteunt, dan ben je aangewezen op Ollama of MLX.

Voor een ondernemer die specifiek met de Qwen-modellen wil werken — en die modellen zijn behoorlijk capabel — kan dat een prima deal zijn. Maar als je regelmatig wilt wisselen tussen modellen of experimenteren, is Splash op dit moment beperkter.

De API-kant: compatibel met bestaande tools

Een detail dat me positief opvalt: Splash biedt API-eindpunten die compatibel zijn met zowel OpenAI als Anthropic. Dat betekent dat tools die normaal met ChatGPT of Claude communiceren, in principe ook met je lokale Splash-server kunnen praten. Voor wie AI-agents gebruikt in zijn workflow — denk aan codeerassistenten of automatische documentverwerking — is dat praktisch. Je hoeft niet je hele toolchain om te bouwen.

Splash ondersteunt ook streaming, tool calls, JSON Schema-output, en het verwerken van afbeeldingen en PDF's. Dat maakt het breder inzetbaar dan alleen tekstvragen beantwoorden.

Afsluiting

Voor mij is dit vooral een signaal dat lokale AI op de Mac volwassener wordt. Een jaar geleden was het nog vooral iets voor techneuten die graag experimenteerden. Nu zie je gespecialiseerde engines die bewust kiezen voor snelheid boven breedte, met een installatie van twee commando's en API-compatibiliteit met de grote platforms.

Of Splash de claims volledig waarmaakt, zal moeten blijken uit onafhankelijke tests. Maar de richting is wat mij betreft helder: AI draaien op je eigen hardware wordt steeds realistischer als alternatief voor maandelijkse cloud-abonnementen. En dat vind ik, als je het mij vraagt, een gezonde ontwikkeling voor ondernemers die grip willen houden op hun data én hun kosten.