Claude Fable 5.1 houdt koppositie op AI-ranglijst, GPT-6 volgt

TL;DR

• Wat: Claude Fable 5.1 van Anthropic scoort 57 op de vernieuwde Artificial Analysis Intelligence Index v4.2 en blijft daarmee nummer één, net boven OpenAI's GPT-6 Astra (55).
• Waarom relevant: de index meet inmiddels op taken die dichter bij echt kantoorwerk liggen — documentanalyse, complexe projecten, terminalgebruik — en geeft daarmee een realistischer beeld van wat AI-modellen voor je bedrijf kunnen betekenen.
• Wat je ermee kunt: als je overweegt een AI-model in te zetten voor kenniswerk of documentverwerking, kijk dan verder dan één totaalscore — per taaktype wint een ander model.

Afgelopen week deelde DeepLearning.AI op X dat Claude Fable 5.1 de eerste plek op de Artificial Analysis Intelligence Index heeft vastgehouden, ook na een flinke update van die ranglijst. Ik vind het interessant omdat dit soort benchmarks steeds meer gaan lijken op het werk dat ondernemers daadwerkelijk met AI willen doen.

Wat is er precies veranderd aan de index?

Artificial Analysis — een onafhankelijk platform dat AI-modellen vergelijkt — heeft versie 4.2 van hun Intelligence Index uitgebracht. Dat klinkt als een klein versienummertje, maar er zit een behoorlijke herziening achter.

Ten eerste zijn er twee nieuwe benchmarks toegevoegd:

• AA-Briefcase: test hoe goed een AI-model omgaat met complexe kennisprojecten. Denk aan duizenden bronbestanden doorspitten en daar conclusies uit trekken over meerdere weken.
• GDP.pdf: meet hoe goed een model professionele documenten kan lezen en begrijpen — bijna 4.600 pagina's PDF over tien verschillende vakgebieden, beoordeeld op 1.275 expertcriteria.

Ten tweede is een oudere benchmark (GPQA Diamond) geschrapt omdat modellen daar inmiddels te goed op scoren — "gesatureerd" noemen ze dat. En ten derde is nu 40% van de indexweging gebaseerd op privé-testsets: vragen die niet openbaar zijn, zodat modellen er niet specifiek op getraind kunnen worden. Dat is het dubbele van wat het bij versie 4.1 was.

Wat mij hier opvalt: de index beweegt duidelijk richting taken die er in de praktijk toe doen. Niet meer alleen "kan dit model een wiskundeprobleem oplossen?", maar "kan het een stapel contracten doorwerken en de juiste conclusie trekken?" Dat is precies het soort werk waar een ondernemer iets aan heeft.

De scores: Fable 5.1 versus GPT-6 Astra

Claude Fable 5.1 — het nieuwste topmodel van Anthropic — scoort 57 op de index. OpenAI's GPT-6 Astra, dat op 3 september werd gelanceerd, komt uit op 55. Dat is een verschil van twee punten op een schaal die steeds moeilijker wordt gemaakt.

Maar het totaalplaatje vertelt niet het hele verhaal. Als je inzoomt op specifieke taken, zie je een genuanceerder beeld:

Kenniswerk en agentische taken

Op AA-Briefcase — die complexe kennisprojecten-benchmark — lopen Claude Fable 5.1 en het eerdere Opus 5 voorop. Hier moet het model zelfstandig meerdere stappen uitvoeren, informatie opzoeken, en tot een samenhangend resultaat komen. Stel dat je als ondernemer een AI-assistent zou willen die een marktonderzoek uitvoert op basis van tientallen bronnen — dat is het type taak waar dit over gaat.

Documentverwerking

Op GDP.pdf draait het plaatje om: GPT-6 Astra scoort daar 33,2%, tegenover 26,2% voor Claude Fable 5.1. Als je bedrijf veel werkt met grote documenten — jaarverslagen, juridische stukken, technische handleidingen — is dat een relevant verschil.

Terminalgebruik

De brontweet noemt ook een score van 52,6% op Terminal Bench voor Claude Fable 5.1. Terminal Bench meet hoe goed een AI-model werkt in een computeromgeving: code draaien, systemen configureren, fouten opsporen. Dat is vooral relevant als je AI inzet voor softwareontwikkeling of IT-beheer.

Wat betekent dit voor een ondernemer?

Ik denk dat de belangrijkste les hier niet is "model X is beter dan model Y". De les is dat het antwoord afhangt van je vraag.

Kun je je voorstellen wat dit betekent als je twee medewerkers zou vergelijken? De één is fantastisch in het doorploegen van dikke dossiers, de ander blinkt uit in het zelfstandig uitvoeren van projecten met meerdere stappen. Je zou niet zeggen dat de één beter is dan de ander — je zou ze op verschillende taken zetten.

Voor de praktijk:

• Veel documentwerk? GPT-6 Astra heeft daar op dit moment een voorsprong. OpenAI prijst het model op $10 per miljoen invoertokens en $50 per miljoen uitvoertokens via de API.
• Complexe, meerstaps-opdrachten? Claude Fable 5.1 lijkt daar sterker. Denk aan onderzoek, analyses die meerdere bronnen combineren, of taken waarbij het model zelfstandig moet navigeren.
• IT en development? Terminal Bench geeft een indicatie, maar de scores daar zijn lastig te vergelijken met de andere benchmarks omdat het een heel ander type test is.

Wat mij betreft is het feit dat 40% van de index nu op privé-testsets draait een minstens zo belangrijke ontwikkeling als de scores zelf. Het maakt de vergelijking betrouwbaarder. Bij eerdere versies van dit soort ranglijsten was er altijd de vraag: scoren modellen hoog omdat ze goed zijn, of omdat ze getraind zijn op de testvragen? Die zorg wordt hiermee kleiner.

De bredere trend: concurrentie wordt nauwer

Het verschil tussen de top twee modellen is twee punten op een schaal die bewust moeilijker is gemaakt. Volgens Trending Topics EU blijft er een kloof, ook al positioneert OpenAI GPT-6 Astra bij de lancering als een stap richting kunstmatige algemene intelligentie (AGI). Maar die kloof is niet groot.

Ik vind het eerlijk gezegd bijzonder hoe snel de modellen naar elkaar toe bewegen in totaalscores, terwijl ze tegelijk op specifieke taken duidelijk van elkaar verschillen. Dat is vergelijkbaar met smartphones: de overall-ervaring is bij de topmodellen vrijwel gelijk, maar de camera van de ene is net beter, en de batterij van de andere gaat langer mee.

Voor ondernemers die AI willen inzetten, is dat goed nieuws. De concurrentie houdt de prijzen scherp en de kwaliteit hoog. Maar het betekent ook dat je niet blind kunt afgaan op één ranglijst. De vraag "welk model is het beste?" wordt steeds vaker: "het beste waarvoor?"

Een korte observatie

Voor mij is dit vooral een signaal dat AI-benchmarks volwassener worden. Ze meten niet meer alleen parate kennis of puzzeloplossend vermogen, maar het soort werk dat in een kantoor, werkplaats of adviesbureau voorkomt. Dat maakt ze relevanter voor ondernemers — en het maakt het verschil tussen modellen makkelijker te interpreteren. De scores zelf zijn interessant, maar de richting waarin gemeten wordt vind ik eerlijk gezegd nog interessanter.