Miles v0.1: open-source RL-framework voor grote taalmodellen

TL;DR

• Wat: RadixArk lanceert Miles v0.1, een open-source framework waarmee bedrijven hun eigen AI-modellen kunnen verfijnen via reinforcement learning — op schaal en met ingebouwde foutcontrole.
• Waarom relevant: Eigen AI-modellen trainen was tot nu toe voorbehouden aan techgiganten; dit soort tooling maakt het stap voor stap bereikbaar voor bredere organisaties.
• Wat je ermee kunt: Inventariseer of jouw AI-toepassingen baat zouden hebben bij een op maat getraind model in plaats van een generiek model van de plank.

Deze week lanceerde RadixArk Miles v0.1 — een open-source framework dat reinforcement learning (RL) voor grote taalmodellen toegankelijker moet maken. Ik viel erover omdat het precies raakt aan een vraag die ik steeds vaker tegenkom: wanneer is een standaard AI-model niet meer genoeg, en wanneer ga je zelf trainen? Dat klinkt als iets voor Google of OpenAI, maar deze release verschuift die grens.

Wat is Miles precies?

Miles is een softwarepakket waarmee je AI-modellen — zowel taalmodellen als modellen die ook met beeld werken — kunt verfijnen via reinforcement learning. Reinforcement learning is, simpel gezegd, een trainingsmethode waarbij een model leert door feedback te krijgen op zijn eigen output: goed antwoord? Meer daarvan. Slecht antwoord? Bijsturen.

Dat klinkt eenvoudig, maar in de praktijk is het een logistieke nachtmerrie. Je hebt enorme rekenkracht nodig, de training moet stabiel blijven over duizenden stappen, en als er iets fout gaat is het lastig te achterhalen wáár. Miles probeert dat op te lossen door drie bestaande, bewezen bouwblokken samen te voegen: SGLang voor het genereren van modeluitvoer, NVIDIA Megatron-LM voor het daadwerkelijke trainingswerk, en Ray voor de orkestratie van alles op meerdere machines.

Wat mij opvalt: het framework is niet gebouwd als onderzoeksproject, maar als productiesysteem. Er zit ingebouwde foutopsporing in, monitoring, en ondersteuning voor zowel NVIDIA- als AMD-hardware. Dat laatste is belangrijk omdat het betekent dat je niet per se vastzit aan één leverancier.

Waarom reinforcement learning ertoe doet

Als ondernemer gebruik je waarschijnlijk al AI-modellen — voor klantenservice, tekstgeneratie, data-analyse. Die modellen komen kant-en-klaar van aanbieders als OpenAI, Google of Anthropic. Prima voor veel toepassingen.

Maar er komt een punt waarop een generiek model niet meer voldoet. Stel dat je als ondernemer in de juridische sector werkt en je AI-assistent moet leren om heel specifiek met Nederlandse wetgeving om te gaan. Of stel dat je een e-commercebedrijf runt en je wilt dat je productaanbevelingen precies afgestemd zijn op jouw assortiment en klantgedrag. Dan wil je een model dat is bijgeschaafd op jouw domein.

Reinforcement learning is één van de krachtigste manieren om dat te doen. Het is de techniek die ChatGPT mede zo bruikbaar heeft gemaakt — het model leerde via menselijke feedback wat goede en slechte antwoorden zijn. Miles maakt diezelfde techniek beschikbaar als open-source gereedschap.

Volgens onderzoek van Futurum Group noemt 45,5% van AI-beslissers hoge rekenkosten als grootste obstakel voor grootschalige AI-ontwikkeling, en worstelt 56,1% met een tekort aan specialistisch talent. Dat zijn precies de knelpunten waar een framework als Miles op mikt: minder infrastructuur zelf hoeven bouwen, meer focussen op wat je model moet leren.

Wat kan het concreet?

Een paar technische kenmerken die ik de moeite waard vind om uit te lichten — ook voor niet-technici:

Geheugen- en kostenefficiëntie

Miles kan een model van 744 miljard parameters laten draaien op 64 GPU's door slim geheugengebruik. Ter vergelijking: zonder die optimalisaties zou je een veelvoud aan hardware nodig hebben. Het framework comprimeert ook de gegevens die tussen systemen worden uitgewisseld — van 62,4 GB naar minder dan 1 GB per update in bepaalde scenario's. Dat scheelt niet alleen tijd, maar ook geld.

Ondersteuning voor veel modellen

Op dag één werkt Miles al met modellen als Kimi-K3, DeepSeek-V4, Qwen3.8 en NVIDIA Nemotron 3 Ultra. Het ondersteunt zowel 'gewone' taalmodellen als zogeheten Mixture-of-Experts-modellen (MoE) — een architectuur waarbij het model niet al zijn kennis tegelijk inzet maar alleen het relevante deel activeert, wat efficiënter is.

Niet alleen tekst

Miles heeft ook een uitbreiding voor diffusiemodellen — de technologie achter beeldgeneratie. Dat betekent dat je in principe dezelfde workflow kunt gebruiken voor het verfijnen van zowel tekst- als beeldmodellen.

Asynchroon trainen

Normaal gesproken moet de ene stap in het trainingsproces wachten op de andere. Miles kan onderdelen gelijktijdig laten draaien zonder dat ze op elkaar hoeven te wachten. Dat klinkt als een technisch detail, maar het verschil is aanzienlijk: minder wachttijd betekent snellere iteraties en lagere kosten.

Wat betekent dit voor ondernemers?

Laat ik eerlijk zijn: als je een MKB-bedrijf runt met vijftig medewerkers, ga je morgen niet zelf een 744-miljard-parametermodel trainen. Dat is niet waar dit over gaat.

Waar het wél over gaat, is de richting. De tooling om AI-modellen te verfijnen wordt steeds toegankelijker. Wat twee jaar geleden alleen mogelijk was met een team van twintig ML-engineers en miljoenen aan cloudbudget, schuift op naar iets dat een kleiner, gericht team zou kunnen oppakken — zeker met de LoRA-ondersteuning in Miles, waarmee je een basismodel kunt aanpassen zonder het hele model opnieuw te trainen.

Kun je je voorstellen wat dat betekent als je een nichemarkt bedient? Een AI-model dat specifiek is getraind op jouw domeinkennis, jouw data, jouw klantinteracties — zonder afhankelijk te zijn van wat een grote aanbieder toevallig als standaardoptie biedt.

Ik denk dat de relevantie voor de meeste ondernemers nu nog indirect is. Het zijn de AI-dienstverleners, consultants en softwarebedrijven die dit als eersten oppakken. Maar het feit dat deze tooling open-source is, betekent dat er geen licentiekosten aan hangen en dat je niet vastzit aan één partij. Dat is voor de langere termijn een belangrijk gegeven.

Kanttekeningen

Een paar dingen die ik wil benoemen om het beeld compleet te houden. Ten eerste: Miles v0.1 is een eerste publieke versie. Dat betekent dat er nog ruwe randjes zullen zijn. De documentatie is er, de code is openbaar op GitHub, maar het is geen kant-en-klaar product dat je installeert en dat meteen werkt zonder technische kennis.

Ten tweede: reinforcement learning is complex. Zelfs mét een goed framework blijf je specialistische kennis nodig hebben om te begrijpen wat je model aan het leren is en of de resultaten kloppen. Miles maakt het haalbaarder, niet triviaal.

Ten derde, en dat vind ik eerlijk gezegd het meest interessante spanningsveld: open-source AI-tooling groeit snel, maar de hardware die je nodig hebt om dit daadwerkelijk te draaien is nog steeds kostbaar. De software is gratis, de GPU-rekeningen niet.

Tot slot

Voor mij is Miles v0.1 vooral een signaal dat de infrastructuur rondom AI-training in een volwassener fase komt. Het is niet langer alleen de grote labs die hun eigen trainingsstacks bouwen — er ontstaat een open ecosysteem waar gespecialiseerde teams mee uit de voeten kunnen. Of dat over een paar jaar ook voor een gemiddeld MKB-bedrijf direct relevant wordt, hangt af van hoe snel de kosten van rekenkracht blijven dalen. Maar de software-kant van de puzzel valt steeds meer op zijn plek.