Agent Plasticity: hoe meet je of AI beter wordt door ervaring?

TL;DR

• Wat: Onderzoekers van onder andere Meta hebben een nieuwe maatstaf voorgesteld — agent plasticity — die meet hoe efficiënt een AI-agent leert van ervaring.
• Waarom relevant: Als je AI-agents inzet in je bedrijf, wil je weten of ze daadwerkelijk beter worden door gebruik, en niet alleen op papier presteren.
• Wat je ermee kunt: Stel bij de evaluatie van AI-tools niet alleen de vraag "wat kan dit nu?", maar ook "wordt dit beter naarmate het langer draait?"

Ik viel over een paper die deze week opdook via Hugging Face: Agent Plasticity: Measuring Self-Improvement Through Experience. Het onderzoek komt van een team verbonden aan onder andere Meta Superintelligence Labs, Princeton en UC Berkeley. Wat mij direct aansprak: het gaat niet over wat een AI-model kan, maar over hoe snel en efficiënt het beter wordt door te oefenen.

Wat is agent plasticity precies?

De onderzoekers definiëren agent plasticity als "de efficiëntie waarmee een agent ervaring omzet in betere prestaties op nieuwe, onbekende taken." Vergelijk het met twee nieuwe medewerkers die allebei dezelfde inwerkperiode krijgen. De een pikt na een week al zelfstandig nieuwe klussen op, de ander heeft na drie weken nog steeds begeleiding nodig. Beiden kunnen uiteindelijk hetzelfde niveau bereiken — maar de snelheid en efficiëntie waarmee ze daar komen, verschilt enorm.

Dat is precies wat dit onderzoek probeert te meten bij AI-agents. Niet het eindniveau alleen, maar de leersnelheid per geïnvesteerde euro. Want ja, ze drukken het ook uit in kosten: hoeveel dollar kost het om een agent een bepaalde verbetering te laten bereiken?

Hoe hebben ze dat getest?

De onderzoekers kozen bewust voor spellen: schaken, Go, Hex en NetHack. Dat klinkt misschien als een academische vingeroefening, maar spellen zijn ideaal als testomgeving omdat ze duidelijke regels, meetbare resultaten en oplopende moeilijkheidsgraden hebben.

Wat ik interessant vind aan de opzet: de modelgewichten worden niet aangepast. De AI-agent leert niet door zijn interne parameters te veranderen, zoals bij traditionele training. In plaats daarvan bouwt de agent zelf hulpmiddelen op — Python-tools, strategieën, geheugennotities — die hij meeneemt naar volgende rondes. Elke sessie begint met een schone lei qua context, maar de zelfgemaakte gereedschappen blijven beschikbaar.

Dat lijkt een beetje op hoe je als ondernemer werkt: je brein verandert niet fundamenteel, maar je bouwt een systeem om je heen — checklists, templates, standaardprocessen — dat je steeds effectiever maakt.

In-distribution versus out-of-distribution

De agents werden niet alleen getest op het type tegenstanders waartegen ze hadden geoefend (in-distribution), maar ook op sterkere, onbekende tegenstanders (out-of-distribution). Dat is een belangrijke nuance. Een agent die alleen beter wordt in precies datgene waarmee hij oefent, is beperkt bruikbaar. Je wilt weten of de opgedane kennis ook generaliseert — of de geleerde lessen breder toepasbaar zijn.

De uitkomsten: niet elke AI leert even snel

Wat mij hier opvalt, is dat de verschillen tussen modellen groot zijn. De onderzoekers testten meerdere frontier-modellen onder exact hetzelfde protocol. Sommige modellen verbeterden flink en hielden die winst vast. Andere bleven rond hun startpunt hangen of gingen zelfs achteruit.

Concreet noemt het paper dat Claude Fable 5 het hoogste geschatte eindniveau bereikt op de bordspeltaken, terwijl GPT-5.6 Sol de hoogste plasticity-score haalt — dus het snelst leert per geïnvesteerde dollar. Dat is een opvallend onderscheid: het beste eindresultaat en de snelste leerder zijn niet hetzelfde model.

Voor ondernemers vind ik dit een waardevolle les. Als je AI-agents overweegt voor taken die zich herhalen en waarbij je hoopt dat het systeem beter wordt over tijd, dan is niet alleen het startniveau van belang. De vraag "hoe snel en goedkoop wordt dit systeem beter?" is minstens zo belangrijk.

Waarom sommige agents falen

De onderzoekers keken ook naar waarom agents niet verbeterden. Ze onderscheiden drie faalscenario's:

1. Geen bruikbaar hulpmiddel gebouwd — de agent had nog geen relevante tool of strategie aangemaakt.
2. Hulpmiddel beschikbaar maar niet gebruikt — het stond klaar, maar de agent greep er niet naar.
3. Hulpmiddel gebruikt maar toch gefaald — de agent paste het toe, maar het was niet goed genoeg of niet toepasbaar op de nieuwe situatie.

Bij slecht-lerende agents zat het probleem vooral bij punt twee: ze hadden bruikbare kennis opgebouwd maar gebruikten die niet. Bij goed-lerende agents lag het vaker bij punt drie — ze gebruikten hun tools wel, maar de kwaliteit of toepasbaarheid schoot tekort. Dat is een subtiel maar belangrijk verschil.

Wat betekent dit voor je bedrijf?

Stel dat je als ondernemer een AI-agent inzet voor klantenservice, orderverwerking of data-analyse. De huidige manier van evalueren is meestal: "Kan dit systeem taak X uitvoeren? Ja of nee? Hoe goed?" Dat is een momentopname.

Dit onderzoek suggereert dat er een tweede vraag bij hoort: "Wordt dit systeem beter naarmate het meer cases verwerkt?" En zo ja, hoe snel en tegen welke kosten?

Volgens cijfers van Searchlab zet zo'n 34% van het Nederlandse MKB inmiddels minimaal één AI-toepassing in — maar haalt 33% van die projecten het beoogde resultaat niet. Ik kan me voorstellen dat een deel van die teleurstelling te maken heeft met verwachtingen over leergedrag. Als je verwacht dat een AI-tool vanzelf slimmer wordt door gebruik, maar het systeem dat vermogen niet heeft, dan ontstaat er een kloof tussen verwachting en werkelijkheid.

Het concept plasticity geeft daar een concreter handvat voor. Je hoeft het niet zelf te meten — dat is werk voor onderzoekers en AI-aanbieders — maar je kunt er wél naar vragen. "Wordt jullie agent beter over tijd? Hoe meten jullie dat? Wat zijn de kosten van die verbetering?"

Kanttekeningen

De auteurs zijn zelf eerlijk over de beperkingen. De faalanalyse is observationeel, niet causaal — ze zien patronen maar kunnen niet hard bewijzen waarom een model beter of slechter leert. Bovendien hangen de plasticity-scores af van het testprotocol, de prijzen van de modelaanbieders en de wiskundige aannames in het model. De resultaten zijn dus geen universele ranglijst.

Ik vind het ook goed om te benoemen dat de testomgeving — bordspellen en een roguelike game — ver afstaat van bedrijfsprocessen. Of dezelfde patronen opgaan bij een klantenservice-agent of een boekhoudtool, is op basis van dit onderzoek niet te zeggen. Maar het raamwerk zelf — het idee om leerefficiëntie te meten — is wat mij betreft breder toepasbaar.

Tot slot

Voor mij is dit onderzoek vooral een signaal dat de AI-wereld langzaam volwassener wordt in hoe ze systemen beoordeelt. Niet alleen "wat kan het?" maar ook "hoe leert het, en wat kost dat leren?" Dat zijn precies de vragen die een ondernemer zou stellen over een nieuwe medewerker. Ik vind het eerlijk gezegd bemoedigend dat onderzoekers die vragen nu ook stellen over AI-agents. Het maakt het gesprek concreter — en dat is precies wat we nodig hebben als AI steeds vaker een rol speelt in dagelijkse bedrijfsvoering.