Hoe AI-agents de juiste vaardigheid ophalen (en waar het misgaat)

TL;DR

• Wat: Nieuw onderzoek (SRA-Bench) laat zien dat AI-agents moeite hebben om op het juiste moment de juiste vaardigheid in te zetten, zelfs wanneer die beschikbaar is.
• Waarom relevant: Als je AI-agents inzet in je bedrijf, bepaalt de kwaliteit van hun "vaardigheden-bibliotheek" hoeveel ze echt voor je doen — of juist niet.
• Wat je ermee kunt: Beoordeel AI-agents niet alleen op wát ze kunnen, maar op of ze het juiste op het juiste moment doen.

Ik kwam een tweet tegen van AlphaSignal die precies de vinger legde op iets waar ik al langer over nadenk: het probleem van AI-agents is niet alleen of ze de juiste vaardigheid kúnnen vinden, maar of ze die vaardigheid ook op het juiste moment inzetten. Een groep onderzoekers heeft dat nu met duizenden tests onderzocht, en de uitkomsten zijn verrassend eerlijk over de tekortkomingen.

Wat is hier onderzocht?

Het onderzoek heet "Skill Retrieval Augmentation for Agentic AI" en is gepubliceerd op arXiv door onderzoekers onder leiding van Weihang Su. Ze introduceren een nieuw idee: Skill Retrieval Augmentation (SRA). Het komt erop neer dat een AI-agent niet langer alle vaardigheden in zijn werkgeheugen hoeft te hebben, maar ze ophaalt uit een grote externe bibliotheek wanneer dat nodig is.

Denk aan het verschil tussen een klusser die al zijn gereedschap in een klein tasje probeert te proppen, versus iemand die een goed georganiseerde werkplaats heeft en precies het juiste stuk gereedschap pakt als dat nodig is. Dat laatste klinkt logisch, maar de vraag is: lukt het de agent ook om het juiste gereedschap te pakken?

Om dat te testen bouwden de onderzoekers SRA-Bench, een benchmark met 5.400 testgevallen en een bibliotheek van 26.262 vaardigheden. Van die ruim 26.000 vaardigheden zijn er slechts 636 (zo'n 2,4%) écht relevante "gouden" vaardigheden — de rest is ruis. Precies zoals het in de praktijk werkt: je hebt veel informatie beschikbaar, maar slechts een klein deel is op dat moment bruikbaar.

De belangrijkste bevinding: agents laden alles klakkeloos

Wat mij het meest opvalt aan dit onderzoek, is de kernbevinding: huidige AI-agents laden vaardigheden op vrijwel dezelfde manier, ongeacht of de opgehaalde vaardigheid daadwerkelijk nuttig is — of dat de taak überhaupt externe hulp nodig heeft.

Dat is alsof een medewerker bij élke vraag dezelfde map uit de kast trekt, of die nu relevant is of niet. Het klinkt misschien als een subtiel punt, maar het heeft grote gevolgen. Het betekent dat het knelpunt niet alleen zit in het zoeken en vinden van de juiste vaardigheid, maar ook in het beoordelingsvermogen van de agent zelf.

De onderzoekers noemen dit een "fundamentele kloof in skill incorporation". De agent haalt iets op en zet het in, zonder goed te evalueren of het past bij de situatie.

Gevoeligheid voor ruis

Daar komt bij dat de agents kwetsbaar blijken voor afleiding. Zodra er tussen de opgehaalde vaardigheden zogeheten "hard negatives" zitten — vaardigheden die er op het eerste gezicht relevant uitzien maar het niet zijn — gaat de prestatie merkbaar achteruit. Ik vind het eerlijk gezegd veelzeggend dat zelfs geavanceerde modellen hier moeite mee hebben. Het doet denken aan hoe mensen soms misleid worden door informatie die er betrouwbaar uitziet maar het niet is.

Niet alle zoekmethoden zijn gelijk

Een ander interessant detail: de manier waarop je zoekt in zo'n vaardighedenbibliotheek maakt uit. Zogeheten "dense retrieval" (een methode die de betekenis van tekst als vector vastlegt) werkt goed bij taken die om semantisch begrip draaien. Maar bij code-achtige taken scoorde de oudere BM25-methode — die simpelweg op woordniveau zoekt — juist beter. De beste resultaten kwamen van een combinatie, waarbij een groot taalmodel de opgehaalde resultaten nog eens beoordeelde en herrangschikte.

Wat betekent dit als je AI-agents inzet in je bedrijf?

Stel dat je als ondernemer een AI-agent hebt ingericht voor klantenservice, of voor het verwerken van offertes of facturen. Die agent heeft waarschijnlijk een set instructies en vaardigheden waarmee hij taken afhandelt. Dit onderzoek laat zien dat het niet voldoende is om die vaardigheden beschikbaar te stellen. De cruciale vraag is: pakt de agent de juiste procedure, op het juiste moment, voor de juiste situatie?

En dat is precies de vraag die AlphaSignal in de brontweet stelde: niet "heeft de agent de juiste vaardigheid opgehaald?", maar "gaf die opgehaalde vaardigheid de agent de juiste procedure op het juiste moment?"

Voor ondernemers die met AI-agents werken — of dat overwegen — zie ik hier een paar praktische lessen:

Kwaliteit boven kwantiteit in je instructieset

Meer vaardigheden toevoegen aan een agent maakt hem niet automatisch beter. Als 97% ruis is, wordt het ophalen van de juiste vaardigheid exponentieel moeilijker. Een kleinere, goed georganiseerde set instructies kan beter werken dan een uitgebreide maar rommelige verzameling.

Test niet alleen het eindresultaat

De onderzoekers evalueerden drie stappen apart: het ophalen, het laden en het uitvoeren. Dat is ook voor bedrijfstoepassingen waardevol. Als je AI-agent fouten maakt, wil je weten wáár het misgaat. Haalt hij de verkeerde informatie op? Of haalt hij de juiste informatie op maar past hij die verkeerd toe?

Verwacht geen perfect beoordelingsvermogen

De bevinding dat agents vaardigheden klakkeloos laden — of ze nu passen of niet — is een waarschuwing. Menselijke controle op kritieke processen blijft voorlopig nodig. Niet omdat de technologie slecht is, maar omdat het beoordelingsvermogen nog niet op het niveau zit dat we intuitief verwachten.

De bredere context: AI-agents in het MKB

Dit onderzoek verschijnt op een moment dat AI-agents steeds vaker in het MKB worden ingezet. Volgens Gartner bevat naar verwachting zo'n 40% van alle bedrijfssoftware eind 2026 enige vorm van AI-agents, tegenover minder dan 5% in 2025. De drempel is lager geworden dankzij kant-en-klare platformen, en de kosten per interactie zijn gedaald.

Maar juist die snelle adoptie maakt onderzoek als dit relevant. Het is makkelijk om een agent in te richten. Het is een stuk lastiger om te garanderen dat die agent consistent het juiste doet. Kun je je voorstellen wat er gebeurt als een agent bij een klachtenafhandeling de verkeerde procedure toepast, niet omdat hij die procedure niet kent, maar omdat hij niet goed beoordeelt wanneer welke procedure van toepassing is?

Een nuchter signaal

Voor mij is dit onderzoek vooral een nuttige reality check. AI-agents worden snel beter, en het idee om vaardigheden dynamisch op te halen uit een grote bibliotheek is een logische richting. Maar de stap van "de juiste vaardigheid vinden" naar "de juiste vaardigheid op het juiste moment toepassen" blijkt groter dan je misschien zou denken. Het is het verschil tussen een medewerker die alles weet en een medewerker die ook weet wanneer welke kennis relevant is. Die tweede is een stuk zeldzamer — bij mensen én bij AI.

Sources:

• Skill Retrieval Augmentation for Agentic AI — arXiv
• Emergent Mind — paper overzicht
• AI-agents in het MKB: de trend van 2026 — Bosman ICT Services
• AI-agents voor het MKB: toepassingen en kosten — SlimIQ