GPT-6 Astra: wat benchmarks je wel en niet vertellen

TL;DR

• Wat: OpenAI's GPT-6 Astra scoort 99,9% op een bekende AI-benchmark, maar onder standaard testcondities is dat 62,7% — een enorm verschil dat vragen oproept over de waarde van zulke cijfers.
• Waarom relevant: als ondernemer neem je beslissingen over AI-tooling op basis van gepubliceerde prestaties, en die cijfers zijn niet altijd wat ze lijken.
• Wat je ermee kunt: kijk bij AI-keuzes niet naar kopcijfers maar naar onafhankelijke tests en eigen praktijkervaringen.

OpenAI lanceerde op 3 september 2026 GPT-6 Astra, het nieuwste model in de GPT-reeks. De kopcijfers zijn indrukwekkend — tot je gaat kijken hoe die tot stand komen. Ik liep tegen een analyse aan van @thecuriousindex die uitlegt hoe testcondities en marketingframing het beeld kunnen vertekenen, en dat vond ik het uitzoeken waard.

Eén benchmark, twee heel verschillende scores

Het opvallendste voorbeeld is de ARC-AGI-3-benchmark. Dat is een test die meet hoe goed een AI-model abstract kan redeneren — denk aan puzzels oplossen die het model nog nooit heeft gezien. OpenAI rapporteert een score van 99,9%. Maar er zit een belangrijk detail achter dat cijfer.

Die score is behaald met een zogeheten Provider Adapter harness. Dat is een testopstelling die het model extra geheugen geeft: het bewaart de interne redeneerstappen tussen vragen door en comprimeert lange gesprekken. ARC Prize, de organisatie achter de benchmark, testte hetzelfde model met hun standaardopstelling en kwam uit op 62,7%.

Om het verschil tastbaar te maken: stel je voor dat je twee koks dezelfde opdracht geeft. De een mag zijn eigen keuken gebruiken met alle apparatuur. De ander krijgt een standaardkeuken. Beiden zijn dezelfde kok, maar de omstandigheden bepalen het resultaat. Dat is in essentie wat hier gebeurt.

Wat ik hier extra opvallend vind: bij het vorige model, GPT-5.6 Sol, zorgde dezelfde harness-wissel ervoor dat de score steeg van 13,3% naar 38,3%. De testopstelling zelf maakt dus een enorm verschil — los van het model.

Onafhankelijke tests schetsen een ander beeld

Het onderzoeksbureau Artificial Analysis heeft Astra door hun eigen, bredere testsuite gehaald. Op hun Intelligence Index — een gecombineerde score over meerdere taken — komt Astra uit op 61,2. Het vorige model, Sol, scoorde 60,9.

Dat is een verschil van 0,3 punt. Op coderingstaken doet Astra het wat beter (67,0 versus 65,1), maar het totaalbeeld is: volgens deze onafhankelijke meting is de sprong van Sol naar Astra bescheiden. Dat contrasteert flink met de indruk die de kopcijfers wekken.

Er is een kanttekening bij de Artificial Analysis-meting zelf: die gebruikt model-based grading, waarbij een ander AI-model (GPT-5.6 Luna) als beoordelaar fungeert. Dat introduceert zijn eigen onzekerheden. Maar het geeft wel een tweede datapunt naast OpenAI's eigen cijfers, en dat is waardevol.

Volgens Trending Topics scoort Astra op sommige brede benchmarks zelfs lager dan recente modellen van Anthropic en Meta. Dat is relevant context die je niet terugziet in OpenAI's eigen communicatie.

Goedkoper per token, duurder per taak

OpenAI noemt Astra efficiënter: het model gebruikt bij sommige taken ruwweg een derde minder tokens dan Sol. Dat klinkt als kostenbesparing. Maar de API-prijs van Astra is 2,5 keer hoger: $10 per miljoen input-tokens en $50 per miljoen output-tokens.

Het nettoresultaat, volgens Artificial Analysis: een benchmarktaak uitvoeren met Astra op maximale inspanning is ongeveer 75% duurder dan met Sol. Minder tokens, hogere prijs per token — de som pakt ongunstig uit.

Kun je je voorstellen wat dit betekent als je als ondernemer Astra wilt inzetten voor klantenservice of documentverwerking? De kosten per interactie stijgen, ook al is het model per token zuiniger. Dat is precies het soort detail dat je niet terugvindt in een persbericht, maar wel op je factuur.

De uitrol: verwachtingen versus werkelijkheid

De lancering zelf verliep ook niet vlekkeloos. Pro-abonnees — die $200 per maand betalen — konden het model bij lancering niet meteen gebruiken. OpenAI bood excuses aan voor wat ze zelf een "messy rollout" noemden. Voor een product in het premiumsegment is dat opvallend.

Daarnaast is Astra niet voor iedereen hetzelfde product. Deelnemers aan het Daybreak-programma (gericht op cybersecurity-onderzoek) krijgen toegang tot meer permissieve functies, terwijl reguliere gebruikers beperkter bediend worden. Dat is op zich begrijpelijk vanuit veiligheidsoogpunt, maar het maakt het lastiger om te beoordelen wat je precies koopt.

Wat betekent dit voor een ondernemer?

Ik denk dat de les hier breder is dan GPT-6 Astra alleen. Het patroon is herkenbaar: een AI-bedrijf publiceert benchmarkscores die spectaculair ogen, maar bij nadere inspectie blijken de testcondities op maat gemaakt, zijn onafhankelijke metingen bescheidener, en vallen de kosten hoger uit dan de efficiëntieclaims suggereren.

Dat wil niet zeggen dat Astra een slecht model is. Het scoort op meerdere taken daadwerkelijk bovenaan, ook in onafhankelijke tests. Maar er zit ruimte tussen de marketingpresentatie en de praktijk, en die ruimte is voor een ondernemer relevant.

Stel dat je overweegt om je huidige AI-tooling te upgraden naar een model als Astra. Dan zou ik willen weten: wat kost het per taak die ík uitvoer? Niet per token in het abstract, maar per klantvraag die beantwoord wordt, per document dat verwerkt wordt. En hoe presteert het op míjn type werk — niet op een wiskundebenchmark?

Wat mij betreft is het nuttigste dat je als ondernemer kunt doen: kopcijfers wantrouwen, klein beginnen met een eigen test, en pas opschalen als je zelf de resultaten ziet. Dat geldt voor Astra, en dat gold net zo goed voor elk model daarvoor.