Dezelfde AI, drie keer beter — door twee instellingen

TL;DR

• Wat: OpenAI's GPT-5.6 Sol scoorde drie keer zo hoog op een complexe puzzelbenchmark door twee API-instellingen aan te zetten — retained reasoning en compaction.
• Waarom relevant: hoe je AI-tools configureert bepaalt soms meer dan welk model je kiest.
• Wat je ermee kunt: controleer bij je eigen AI-toepassingen of je de juiste instellingen gebruikt; standaardinstellingen zijn niet altijd de beste keuze.

Ik viel deze week over een bericht van OpenAI dat mij even liet stilstaan. Hun nieuwste model, GPT-5.6 Sol, kan een wiskundig bewijs leveren waar wiskundigen vijftig jaar mee bezig waren — maar het faalde op een benchmark van 2D-puzzelspelletjes. De oorzaak? Twee instellingen stonden uit.

Wat is er precies gebeurd?

OpenAI testte GPT-5.6 Sol op ARC-AGI-3, een relatief nieuwe benchmark die AI-modellen uitdaagt met interactieve puzzelomgevingen. Denk niet aan meerkeuzevragen of tekstopdrachten, maar aan honderden handgemaakte spelletjes waarbij het model zélf moet ontdekken wat de regels zijn, wat het doel is, en hoe het verder kan komen. Er zijn geen instructies. Geen uitleg. Alleen een omgeving om te verkennen.

Mensen scoren 100% op deze test. De beste AI-modellen? Die haalden tot voor kort minder dan 1%.

Met de standaard testopzet scoorde GPT-5.6 Sol 13,3% — al aanzienlijk beter dan andere modellen. Maar toen OpenAI twee API-instellingen activeerde, sprong de score naar 38,3%. Drie keer zo hoog. En het model gebruikte daarbij zes keer minder tokens — oftewel: het deed méér met mínder.

De twee instellingen: retained reasoning en compaction

Wat zijn die twee instellingen dan precies?

Retained reasoning

Dit zorgt ervoor dat het model zijn denklijn vasthoudt over meerdere stappen heen. Zonder deze instelling begint het model bij élke beurt opnieuw. Het moet dan steeds weer uitzoeken waar het mee bezig was, alsof je elke ochtend op je werk komt en vergeten bent wat je gisteren deed. Met retained reasoning onthoudt het model wat het al bedacht heeft.

Compaction

Deze instelling comprimeert de context — het samenvatten van eerdere informatie zodat het model niet vastloopt op een te lange gespreksgeschiedenis. Vergelijk het met het verschil tussen al je aantekeningen herlezen of een goede samenvatting pakken.

Wat ik hier interessant vind: beide instellingen zijn al beschikbaar in ChatGPT en Codex. Ze zijn niet nieuw. Ze stonden alleen niet aan in de testharnas waarmee ARC-AGI-3 werd afgenomen.

Een model dat wiskunde oplost, maar puzzels niet snapt?

Dit is wat mij echt aan het denken zet. GPT-5.6 Sol Ultra — de krachtigste versie van dit model — heeft volgens OpenAI in minder dan een uur een bewijs geleverd voor de Cycle Double Cover Conjecture, een wiskundig vermoeden uit de jaren zeventig. Wiskundiger Thomas Bloom van de Universiteit van Manchester noemde het bewijs "kort, elementair, en het had in de jaren tachtig ontdekt kunnen worden."

En toch faalde datzelfde type model op wat in wezen interactieve puzzelspelletjes zijn.

De verklaring is eigenlijk logisch als je erover nadenkt. Wiskunde is één lang denkproces — het model kan in één keer diep nadenken. Maar de puzzels van ARC-AGI-3 vereisen dat je leert over meerdere beurten heen. Je moet iets proberen, kijken wat er gebeurt, en die kennis meenemen naar de volgende stap. Als het model bij elke beurt zijn geheugen verliest, is dat alsof je een nieuw spel speelt zonder ooit de spelregels te mogen onthouden.

Wat betekent dit voor ondernemers?

Kun je je voorstellen dat je een dure machine koopt voor je bedrijf, maar vergeet om twee schakelaars om te zetten — en daardoor maar een derde van de capaciteit benut?

Dat is in feite wat hier gebeurde. Het model was hetzelfde. De puzzels waren hetzelfde. Alleen de configuratie veranderde.

Ik denk dat dit een les is die verder reikt dan benchmarks en AI-onderzoek. Als je als ondernemer AI-tools inzet — of dat nu een chatbot is voor klantenservice, een model dat offertes helpt opstellen, of een systeem dat data analyseert — dan is de manier waarop je die tool instelt minstens zo belangrijk als welk model je kiest.

Een paar concrete dingen om over na te denken:

• Standaardinstellingen zijn compromissen. Ze werken voor de meeste situaties, maar niet per se voor jóuw situatie. Het loont om te vragen: zitten hier opties die ik niet benut?
• Context en geheugen zijn cruciaal. Als je AI gebruikt voor taken die over meerdere stappen gaan — een klantgesprek, een analyse die voortbouwt op eerdere data — controleer dan of het model eerder informatie kan onthouden. Zonder geheugen begint het elke keer opnieuw.
• Meer tokens betekent niet beter. OpenAI gebruikte zes keer minder output-tokens en scoorde drie keer hoger. Soms is efficiëntie het tegenovergestelde van méér tekst genereren.

Een kanttekening bij de cijfers

Wat ik wel wil benoemen: 38,3% klinkt als een flinke sprong — en dat is het ook, relatief gezien. Maar mensen scoren nog steeds 100% op ARC-AGI-3. Het model lost dus nog geen vier op de tien puzzels op. De kloof met menselijk redeneren blijft groot.

En er is een verschil tussen de publieke set (waarop getest werd) en de private set (die dient als echte maatstaf). De gepubliceerde scores betreffen de publieke set. Hoe het model op de private set presteert, weten we niet met zekerheid.

Ik vind het eerlijk gezegd juist verfrissend dat OpenAI hier transparant over is. Ze hadden ook kunnen zeggen: "Ons model scoort 38,3% op ARC-AGI-3" zonder te vermelden dat de standaardscore 13,3% was. Dat ze het verschil uitleggen en de oorzaak benoemen, maakt het verhaal geloofwaardiger.

Tot slot

Voor mij is dit vooral een signaal dat we in een fase zitten waarin de kracht van AI-modellen niet alleen zit in het model zelf, maar in hoe je het inzet. De juiste configuratie, de juiste context, het juiste geheugen — dat zijn geen technische details voor ontwikkelaars alleen. Het zijn bedrijfsbeslissingen die bepalen of je de volle waarde uit je tools haalt of slechts een fractie.