StateAct: AI-agents die éérst data lezen, dan pas het scherm

TL;DR

• Wat: Salesforce-onderzoekers laten AI-agents direct met programmacode en data werken in plaats van met screenshots, en behalen daarmee betere resultaten tegen een negende van de kosten.
• Waarom relevant: Computer-use agents — AI die zelfstandig je desktop bedient — worden snel goedkoper en betrouwbaarder, wat ze eerder inzetbaar maakt voor zakelijke processen.
• Wat je ermee kunt: Volg de ontwikkeling van computer-use agents; de kostendaling maakt het realistisch om binnen een jaar te testen in je eigen workflows.

Ik stuitte op een nieuw onderzoekspaper van Salesforce AI Research dat me aan het denken zette. De titel: StateAct — Program State, before Pixels, for Long-Horizon Computer-Use Agents. Klinkt technisch, maar de kern is verrassend logisch — en relevant als je nadenkt over wat AI straks in je bedrijf kan doen.

Wat is een computer-use agent?

Eerst even de basis. Een computer-use agent is een AI die letterlijk je computer bedient: vensters openen, klikken, typen, bestanden opslaan. Denk aan een digitale collega die zelfstandig een spreadsheet invult, een factuur verwerkt of een rapport genereert — zonder dat jij elke stap voordoet.

Tot nu toe werkten de meeste van deze agents op basis van screenshots. De AI maakt een schermafbeelding, "kijkt" wat er te zien is, en besluit dan waar te klikken. Dat is vergelijkbaar met hoe jij en ik een scherm gebruiken: we kijken, we klikken.

Het probleem? Screenshots zijn een onvolledige weergave van wat er écht in een programma gebeurt. Twee totaal verschillende situaties kunnen er op het scherm hetzelfde uitzien. Voor een AI die honderden stappen achter elkaar moet uitvoeren, is dat een recept voor fouten.

De aanpak van StateAct: lees de data, niet het plaatje

Wat de onderzoekers van Salesforce voorstellen is eigenlijk heel intuïtief. In plaats van de AI naar screenshots te laten turen, geven ze hem directe toegang tot de onderliggende data: bestanden, databases, de code achter een webpagina (de zogenaamde DOM), en systeemopdrachten via bash en Python.

Stel je voor dat je iemand vraagt om een kast in elkaar te zetten. De screenshot-methode is alsof die persoon alleen een foto van de kast mag bekijken en dan moet raden welk onderdeel waar past. De StateAct-methode is alsof diegene de bouwtekening én de onderdelenlijst erbij krijgt. Logisch dat dat beter werkt.

Drie onderdelen

Het systeem bestaat uit drie componenten:

1. Een hoofdagent die via code direct met programma-data werkt — het zware werk.
2. Een visuele subagent die alleen wordt ingeschakeld voor taken die écht visueel zijn (denk: een knop die alleen op het scherm te vinden is). Dit bleek slechts 1,1% van alle stappen te zijn.
3. Een onafhankelijke verificatiepoort die achteraf controleert of het resultaat klopt — zijn bestanden opgeslagen? Staat de uitvoer op de juiste plek?

Dat derde punt vind ik bijzonder. Het is alsof je een tweede collega laat dubbelchecken of het werk écht af is, zonder dat die weet hoe het tot stand is gekomen. Puur op het eindresultaat.

De cijfers: beter én goedkoper

StateAct is getest op OSWorld 2.0, een benchmark met 108 complexe desktoptaken die meerdere stappen vereisen. Met Claude Opus 4.8 als onderliggend AI-model steeg het slagingspercentage van 20,6% naar 26,9%. Het gedeeltelijke succespercentage ging van 54,8% naar 61,6%.

Ik weet het — 26,9% klinkt niet indrukwekkend als je gewend bent aan "99,9% uptime" van je hostingpartij. Maar deze taken zijn complex: denk aan het volledig zelfstandig uitvoeren van een reeks bewerkingen in LibreOffice of het configureren van systeeminstellingen. Dat de score met een derde stijgt ten opzichte van de vorige beste aanpak is in dit vakgebied een serieuze stap.

Maar wat mij het meest opviel: de kosten daalden met een factor negen. Ongeveer $7,80 per taak in plaats van $72. Dat is het verschil tussen "leuk experiment" en "misschien haalbaar voor een bedrijfsproces".

Een kanttekening

De onderzoekers melden eerlijk dat een variant zonder enige visuele component (puur code, geen screenshots) slechter scoorde dan de screenshot-baseline: 45,9% versus 54,8% gedeeltelijk succes. De visuele subagent is dus niet overbodig — sommige taken zijn nu eenmaal visueel. Het gaat om de juiste mix.

Wat verschuift er: van kijken naar denken

Een van de interessantste bevindingen is waar de fouten nu zitten. Bij 38 van de 79 niet-perfect uitgevoerde taken lag de oorzaak bij redeneerfouten — niet bij perceptie. De AI zag het goed, maar dacht verkeerd na.

Dat is een fundamentele verschuiving. Het knelpunt verplaatst zich van "kan de AI het scherm lezen" naar "kan de AI logisch nadenken over meerdere stappen". Wat mij betreft is dat goed nieuws, want redeneren is precies waar de grote AI-modellen de afgelopen twee jaar het hardst op zijn verbeterd.

Wat betekent dit voor jouw bedrijf?

Nu de vraag die er voor mij toe doet: wat heb je hier als ondernemer aan?

Computer-use agents zijn nog niet klaar voor productie in de meeste bedrijven. Een slagingspercentage van 27% op complexe taken is niet genoeg om er kritieke processen op te draaien. Maar de trend is duidelijk: ze worden beter én goedkoper, en de richting waarin StateAct wijst — directe datatoegang in plaats van pixelherkenning — maakt ze fundamenteel betrouwbaarder.

Kun je je voorstellen wat dit betekent als je vijf medewerkers hebt die dagelijks gegevens overzetten tussen systemen die niet met elkaar praten? Of als je administratie draait op software zonder API, waar nu iemand handmatig klikt en kopieert?

Volgens Gartner bevat tegen eind 2026 zo'n 40% van alle zakelijke applicaties een taakspecifieke AI-agent. In het Nederlandse MKB wordt AI-agentautomatisering nu al getest voor klantenservice, factuurverwerking en interne administratie, met platformkosten vanaf €500 tot €2.000 per maand.

De stap van "AI leest screenshots" naar "AI werkt direct met je data" maakt die agents niet alleen slimmer, maar ook veiliger — ze hoeven minder te gokken.

Een verschuiving om in de gaten te houden

Voor mij is dit paper vooral een signaal dat de architectuur van AI-agents aan het volwassen worden is. De oplossing is niet altijd een krachtiger model — soms is het slimmer om de agent betere toegang tot informatie te geven. Dat klinkt als een open deur, maar in de praktijk werkten de meeste systemen tot nu toe anders.

De kostenontwikkeling vind ik eerlijk gezegd het meest veelzeggend. Negen keer goedkoper bij betere resultaten — dat is het soort curve dat ervoor zorgt dat iets binnen een paar iteraties wél praktisch wordt. Ik zou zelf willen weten hoe snel deze aanpak wordt overgenomen door de partijen die computer-use agents commercieel aanbieden. Dat bepaalt uiteindelijk wanneer dit bij jou op kantoor terechtkomt.