AI-agents presteren beter met stappenplannen dan met kennis

TL;DR

• Wat: Nieuw onderzoek op basis van 8.135 tests laat zien dat AI-agents vooral beter presteren door stapsgewijze procedures — niet door extra kennis.
• Waarom relevant: Als je investeert in AI-automatisering, bepaalt de manier waarop je instructies opbouwt hoe betrouwbaar het resultaat is.
• Wat je ermee kunt: Bouw instructies voor AI-tools op als stappenplannen (runbooks), niet als uitleg of kennisoverdracht.

Ik stuitte op een tweet van AlphaSignalAI over een onderzoek dat me aan het denken zette. Het paper heet Demystifying Agent Skills: Why They Work—Until They Don't en is afgelopen augustus gepubliceerd door onderzoekers rond Zhiyuan Jiang. De kernvraag: wanneer helpen vaardigheden ('skills') een AI-agent nu écht, en wanneer werken ze juist tegen?

Wat het onderzoek zegt

De onderzoekers analyseerden 8.135 testresultaten van AI-agents die taken uitvoerden — denk aan het navigeren van een website, het invullen van formulieren of het uitvoeren van data-analyses. Ze keken niet alleen naar of een agent slaagde, maar naar waarom het slaagde of faalde.

Het opvallendste resultaat: in 65,7% van de gevallen waarin een skill hielp, was de reden niet dat de agent iets wist wat hij anders niet zou weten. De reden was dat de skill de uitvoering stabiliseerde. De onderzoekers noemen dit 'procedural anchoring' — procedurele verankering. Je geeft de agent een helder stappenplan, en daardoor raakt hij minder snel de weg kwijt.

Slechts 4,5% van de successen kwam doordat de skill daadwerkelijk ontbrekende kennis aanvulde. Dat vind ik eerlijk gezegd een opvallend laag getal. Het betekent in de praktijk: een AI-model weet meestal al genoeg — het heeft vooral een duidelijke procedure nodig om dat goed toe te passen.

Waarom een stappenplan werkt en een uitleg niet

Denk aan het verschil tussen een kookboek en een voedingsleer-handboek. Allebei gaan ze over eten bereiden, maar als je vanavond een gerecht op tafel wilt hebben, pak je het kookboek. Stap 1, stap 2, stap 3 — dat werkt. Het handboek is nuttig, maar helpt je niet om op het juiste moment de juiste handeling te doen.

Voor AI-agents geldt hetzelfde. De onderzoekers laten zien dat skills die zijn opgeschreven als tutorials — uitleg over waarom iets werkt — minder effectief zijn dan skills die zijn geschreven als runbooks: concrete stappen, in volgorde, met duidelijke triggers.

Er was nog een opvallend detail. Wanneer de agent tijdens het leren van een skill kon zien welke eerdere pogingen succesvol waren en welke niet, haalde hij een slagingspercentage van 74,6%. Zonder die labels zakte dat naar 40%. Dat is een enorm verschil. Het zegt iets over hoe belangrijk het is om niet alleen geslaagde voorbeelden te bewaren, maar ook de fouten — mits je ze labelt.

Het verrassende probleem bij grote verzamelingen

Hier wordt het interessant voor wie nadenkt over het opschalen van AI-toepassingen. De onderzoekers testten wat er gebeurt als een agent moet kiezen uit een groeiende catalogus van skills. Bij 5 beschikbare skills was de precisie van de juiste keuze 29,6%. Bij 100 skills was dat gezakt naar 3,3%.

Je zou verwachten dat meer keuze beter is. Maar de agent raakt in de war. Veel skills lijken op elkaar, en de agent kiest dan vaak de verkeerde.

Wat mij hier opvalt: ondanks die verkeerde keuze presteerde de agent niet per se dramatisch slechter op de uiteindelijke taak. De agent pakte genoeg bruikbare stappen uit de 'verkeerde' skill om alsnog te slagen. Dat bevestigt het punt van procedurele verankering — het gaat niet om de exacte instructie, maar om het hebben van een procedure die structuur geeft.

Wat dit betekent als je AI inzet voor je bedrijf

Stel dat je als ondernemer werkt met AI-agents — misschien voor klantenservice, voor het verwerken van bestellingen, of voor het analyseren van data. Dit onderzoek suggereert een paar concrete dingen:

Schrijf instructies als stappenplannen

Geen lange uitleg over achtergronden. Geen paragrafen met context. Geef je AI-tool een genummerd stappenplan: doe eerst dit, controleer dan dat, en neem vervolgens deze actie. Volgens dit onderzoek is dat effectiever dan kennisoverdracht.

Bewaar ook de mislukte pogingen

Als je een AI-agent traint of verbetert op basis van eerdere resultaten, gooi dan de mislukte runs niet weg. Label ze als 'mislukt' en gebruik ze bij het opstellen van verbeterde procedures. Het verschil tussen wel en niet labelen was in dit onderzoek bijna een verdubbeling van het slagingspercentage.

Houd je instructiebibliotheek klein en geordend

Meer is niet beter. Als je tientallen of honderden instructiesets hebt die op elkaar lijken, wordt het voor de agent juist lastiger om de juiste te pakken. Groepeer ze per domein — bijvoorbeeld aparte sets voor klantvragen, voorraadbeheer en facturatie — zodat de agent niet door een enorme catalogus hoeft te zoeken.

Gebruik duidelijke triggers

Als twee instructiesets op elkaar lijken, maak dan expliciet wanneer welke van toepassing is. Niet: "gebruik deze skill voor klantvragen." Wel: "gebruik deze skill wanneer een klant vraagt naar de status van een retourzending én het ordernummer begint met R-."

Kanttekeningen

Het onderzoek is gepubliceerd als preprint op arXiv en is, voor zover ik kan nagaan, nog niet peer-reviewed. De resultaten zijn gebaseerd op gecontroleerde benchmarks — dat is niet hetzelfde als een echte bedrijfsomgeving. Ik zou de exacte percentages dus niet als absolute waarheid nemen, maar de richting van de bevindingen vind ik wel overtuigend: structuur helpt meer dan kennis.

Ik heb ook geen tegenstrijdige bevindingen uit andere recente studies gevonden die dit direct weerspreken, maar het veld beweegt snel. Wat vandaag geldt, kan over drie maanden genuanceerder liggen.

Afsluiting

Voor mij is dit vooral een bevestiging van iets dat ik al langer vermoed: de kracht van AI-tools zit niet in wat ze weten, maar in hoe goed je ze aanstuurt. En dat aanstuurt, dat is mensenwerk. Het verschil tussen een AI-agent die goed presteert en een die vastloopt, zit niet in een slimmer model. Het zit in een beter stappenplan.