Eén woordje maakt een AI-model twee keer zo goed in wiskunde

TL;DR

• Wat: Onderzoekers ontdekten dat het toevoegen van een simpel openingswoord als "Okay" de wiskundeprestaties van een AI-model kan verdubbelen — zonder verdere training.
• Waarom relevant: Dit laat zien dat dure AI-trainingsmethoden deels te vervangen zijn door slimme promptkeuzes, wat relevant is voor kosten en toegankelijkheid.
• Wat je ermee kunt: Als je werkt met open AI-modellen, is het de moeite waard om te testen of kleine aanpassingen in de prompt al grote prestatieverbeteringen opleveren vóórdat je investeert in dure fine-tuning.

Ik viel deze week over een onderzoekspaper die me eerlijk gezegd even deed stilstaan. Het paper heet Base Models Can Reason By Taking a Cue From Training Data en komt van onderzoekers verbonden aan onder meer Berkeley AI Research Lab en MIT. De kern: als je een AI-model laat beginnen met het woordje "Okay", verdubbelt het zijn score op wiskundeproblemen — zonder enige extra training. Dat wilde ik beter begrijpen.

Wat is er precies ontdekt?

De onderzoekers — Sophie L. Wang, Amil Dravid, Rulin Shao, Kevin Farhat, Sewon Min en Alexei A. Efros — keken naar wat er gebeurt als je een taalmodel een klein zetje geeft bij het begin van zijn antwoord. Ze testten dit op twee open modellen: OLMo-3-7B (van AI2) en Qwen3-14B (van Alibaba).

De resultaten zijn opvallend concreet:

• OLMo-3-7B scoorde normaal 42% op de MATH-500 benchmark (een set van 500 wiskundevraagstukken). Door het antwoord te laten beginnen met de tekens .\n\nOkay — een punt, twee lege regels en het woord "Okay" — steeg dat naar 78%. Bijna een verdubbeling.
• Qwen3-14B ging van 72% naar 87% door te starten met Alright,.

Om dit in perspectief te plaatsen: de versie van OLMo-3-7B die wél extra getraind was met reinforcement learning (RL) — een dure en tijdrovende trainingsmethode — scoorde 75%. Het basismodel met alleen dat ene openingswoordje presteerde dus zelfs iets beter dan het getrainde model.

Waarom werkt dit?

Dit is het deel dat ik het meest fascinerend vind. De onderzoekers ontdekten dat reinforcement learning — de trainingsmethode die modellen beloont voor goede antwoorden — eigenlijk vooral één ding doet: het vergroot de kans dat het model begint met bepaalde openingswoorden. Woorden die al in de trainingsdata geassocieerd waren met helder, stapsgewijs redeneren.

Met andere woorden: het basismodel kan al redeneren. Het heeft die vaardigheid opgeslagen vanuit de enorme hoeveelheid tekst waarmee het getraind is. Het begint er alleen niet altijd mee. Reinforcement learning duwt het model in de richting van die "goede start" — maar je kunt datzelfde effect bereiken door die start simpelweg vast te zetten.

De onderzoekers maten dit ook kwantitatief. Bij correcte antwoorden van OLMo-3-7B begon 50% met de tekens .\n\n, tegenover slechts 14% bij foute antwoorden. RL-training verhoogde de waarschijnlijkheid van .\n\nOkay van 0,14 naar 0,65 — het model leerde dus vooral om vaker met dat specifieke openingspatroon te starten.

Het kippenexperiment

Wat mij hier opvalt is hoe creatief de onderzoekers hun hypothese toetsten. Ze vervingen in de trainingsdata het woord "okay" door "chicken". Vervolgens trainden ze het model opnieuw. Het resultaat: het woord "chicken" — dat normaal gesproken niks met wiskunde te maken heeft — werkte nu óók als startwoord voor redeneren.

De wiskundescore ging met .\n\nChicken van 2,4% naar 37,2%. Dat is lager dan de 38,3% van .\n\nOkay in hetzelfde experiment, maar het punt is duidelijk: het gaat niet om de betekenis van het woord, maar om de associatie met redeneringspatronen in de trainingsdata.

Ze deden een vergelijkbaar experiment met de instructie "Think step by step" — ze vervingen "step by step" door "duck duck goose" in de trainingsdata. En ja, "Think duck duck goose" werkte daarna net zo goed als aansporing om te redeneren. Ik vind dat eerlijk gezegd een prachtige demonstratie van hoe taalmodellen werken: ze zijn associatiemachines, geen begrijpende wezens.

Wat betekent dit praktisch?

Voor wie met open AI-modellen werkt — en dat worden steeds meer bedrijven — is dit een relevante bevinding. Stel dat je als ondernemer een open model inzet voor analyses, berekeningen of klantvragen die wat denkwerk vereisen. De traditionele aanpak om de prestaties te verbeteren is fine-tuning of reinforcement learning: dure, technisch complexe trajecten.

Dit onderzoek suggereert dat je in bepaalde gevallen een groot deel van die prestatieverbetering kunt bereiken door simpelweg de opening van het modelantwoord slim te kiezen. Dat is een aanpassing die je in minuten kunt doen, niet in weken.

Een paar kanttekeningen

De onderzoekers zijn eerlijk over de beperkingen. Ten eerste werkt niet elk openingswoord bij elk model — voor Llama-3.1-8B vonden ze bijvoorbeeld geen effectief startwoord. Ten tweede is het effect sterker bij modellen die getraind zijn op synthetische redeneringsdata (denk aan wiskundig uitgewerkte oplossingen). En ten derde geldt het onderzoek voor relatief eenvoudige RL-settings; bij complexe, meervoudige trainingsprocessen zoals die van GPT-4 of Claude kunnen er wel degelijk diepere vaardigheden zijn aangeleerd.

Kun je je voorstellen wat dit betekent als je als MKB-ondernemer overweegt om een AI-oplossing te bouwen op basis van een open model? Het verschil tussen een matig en goed presterend model zou deels kunnen zitten in iets zo simpels als de openingszin.

Een ongemakkelijke ontdekking over veiligheid

Wat ik nog wil benoemen: de onderzoekers vonden ook dat dezelfde openingswoorden het veiligheidsgedrag van modellen beïnvloeden. Het verschil tussen .\n\nOkay (met punt en twee lege regels) en Okay, (met spatie en komma) was enorm. De eerste variant weigerde netjes schadelijke verzoeken. De tweede gaf in 42,4% van de gevallen wél een schadelijk antwoord — tegenover 0,2% bij de eerste.

Dat is een subtiel verschil in tekens met een dramatisch effect op gedrag. Wat mij betreft is dit een signaal dat de veiligheid van AI-modellen minder robuust is dan we soms aannemen. Als een paar tekens het verschil maken tussen een behulpzaam en een schadelijk antwoord, dan is dat iets om serieus te nemen — zeker als je AI klantgericht inzet.

Een slotobservatie

Voor mij is dit onderzoek vooral een herinnering aan hoe taalmodellen eigenlijk werken. Ze zijn statistische machines die patronen uit trainingsdata herhalen. De kennis zit er al in — de vraag is hoe je die activeert. Reinforcement learning doet dat, maar blijkt voor een deel een omweg: het leert het model vooral om anders te beginnen, niet anders te denken.

Ik vind dat een nuchtere, waardevolle inzicht. Niet omdat RL waardeloos is — bij complexe modellen voegt het vermoedelijk wel degelijk iets toe. Maar omdat het laat zien dat we soms naar dure oplossingen grijpen terwijl de simpele variant verrassend ver komt. En dat is, als je eerlijk bent, een les die verder gaat dan AI alleen.