Grok 4.7 scoort eerste plek op nieuwe AI-cyberbenchmark

TL;DR

• Wat: Grok 4.7 van xAI staat gedeeld eerste op de nieuwe Artificial Analysis Cyber Index, een benchmark die meet hoe goed AI-modellen kwetsbaarheden in software kunnen vinden en repareren.
• Waarom relevant: Cybersecurity wordt een van de eerste gebieden waar AI-modellen écht productief werk kunnen overnemen — dat raakt ook het MKB.
• Wat je ermee kunt: Volg welke AI-modellen goed scoren op beveiligingstaken; het kan relevant worden bij de keuze voor tools die jouw software of website laten scannen.

Elon Musk deelde op 29 september dat Grok 4.7 de eerste plek heeft bereikt op de AA Cyber Index. Ik vond dat de moeite waard om in te duiken, niet vanwege de scorelijst zelf, maar vanwege wat het zegt over de richting waarin AI-modellen zich ontwikkelen — en wat dat voor ondernemers kan betekenen.

Wat is de Artificial Analysis Cyber Index?

De Artificial Analysis Cyber Index is een gloednieuwe benchmark, gelanceerd op 28 september 2026. Het doel: meten hoe goed AI-modellen zijn in defensieve cybersecurity. Niet aanvallen dus, maar verdedigen — kwetsbaarheden opsporen in bestaande code, die reproduceren, en vervolgens repareren zonder dat de rest van de software stukgaat.

De index combineert drie deelbenchmarks van verschillende partners:

CWE-Bench-AA (Collinear AI)

Honderdtwintig beveiligingstaken verspreid over zes programmeertalen, gebaseerd op de OWASP Top 10 — zeg maar de meest voorkomende categorieën van beveiligingslekken in webapplicaties.

DeepsecBench-AA (Vercel)

Hierbij moet het AI-model kwetsbaarheden vinden in applicatiecode en wordt het beoordeeld tegen bevindingen van menselijke beveiligingsexperts. Valse meldingen — dus onterecht alarm slaan over veilige code — worden bestraft.

CyberGym-E2E-AA (Berkeley RDI)

De zwaarste test: het model moet geheugenveiligheidsproblemen in C- en C++-projecten opsporen, het probleem reproduceren én een werkende patch schrijven. In totaal 131 taken.

Alle tests draaien op Stirrup, een open-source systeem dat de AI als een soort zelfstandige beveiligingsmedewerker laat werken. Dat maakt het een stuk realistischer dan een meerkeuzevragenlijst.

Hoe scoort Grok 4.7 — en wat zegt Musk niet?

Volgens de beschikbare data scoorde Grok 4.7 op de hoogste instelling ("xhigh effort") 56 procent op de Cyber Index. Dat is de eerste plek, maar er is een belangrijk detail: het model deelt die plek met Xiaomi's MiMo-V2.6-Pro, dat dezelfde score behaalde. Musk noemt in zijn tweet "rank 1" zonder die nuance te vermelden.

Ik vind 56 procent op zich een interessant getal. Het klinkt misschien niet indrukwekkend, maar bedenk: dit zijn taken waarbij zelfs menselijke beveiligingsonderzoekers tijd en expertise nodig hebben. Dat een AI-model meer dan de helft van die taken correct afrondt, is wat mij betreft opmerkelijk.

Tegelijkertijd laat de benchmark zien waar modellen nog tekortschieten. De makers van de index melden dat AI-modellen vooral goed zijn in het vinden van kwetsbaarheden met een directe route van invoer naar gevolg, maar worstelen met bugs die meerdere stappen vereisen. Op CyberGym-E2E-AA halen modellen bijvoorbeeld 50 procent bij out-of-bounds-fouten, maar slechts 33 procent bij use-after-free-bugs — een complexer type geheugenprobleem.

Een ander opvallend punt: meerdere topmodellen weigeren op deze benchmark simpelweg de meeste taken uit te voeren. Volgens Artificial Analysis weigeren sommige modellen minstens 98 procent van de CyberGym-taken. Die ingebouwde veiligheidsgrenzen zijn begrijpelijk — je wilt niet dat een AI-model vrijelijk exploits schrijft — maar het maakt vergelijken lastig.

Grok 4.7 presteert wisselend op andere cybertests

Wat ik interessant vind, is dat de score op de AA Cyber Index niet het hele verhaal vertelt. Op MindFort's NexBench, een benchmark die pentesting simuleert, scoorde Grok 4.7 een stuk lager dan zijn voorganger Grok 4.6: 70 versus 114 punten, met 41 procent minder gevalideerde bevindingen. Daar staat tegenover dat alle 26 bevindingen die Grok 4.7 wél indiende correct bleken, en 77 procent ervan als "hoog risico" werd geclassificeerd — het hoogste aandeel van alle geteste modellen.

Ook op xAI's eigen testresultaten is het beeld gemengd: CyberGym steeg licht van 79,7 naar 80,3 procent, maar CVE-Bench — gericht op het exploiteren van kwetsbaarheden in webapplicaties — daalde van 39,8 naar 37,7 procent.

Kortom: Grok 4.7 is niet op elk vlak beter dan zijn voorganger. Het model lijkt preciezer te werken maar minder breed, en verbruikt daarbij aanzienlijk meer tokens (lees: rekenkracht en dus kosten).

Wat betekent dit voor ondernemers?

Kun je je voorstellen dat je een AI-tool inzet die automatisch de code van je webshop of bedrijfssoftware doorlicht op beveiligingslekken? Dat is in essentie waar deze benchmarks naartoe werken.

Voor de meeste MKB-ondernemers is dit nu nog abstract. Je schrijft waarschijnlijk niet zelf C++-code en je hebt geen beveiligingsteam van tien man. Maar de keten werkt door: de softwarebureaus, hosting-partijen en SaaS-leveranciers waar je mee werkt, gaan dit soort AI-modellen inzetten in hun beveiligingsprocessen. Als een AI-model betrouwbaar de helft van bekende kwetsbaarheidstypes kan opsporen en fixen, verlaagt dat de drempel voor goede beveiliging — ook voor kleinere partijen die geen dure pentester kunnen inhuren.

Stel dat je als ondernemer een maatwerk-webapplicatie laat bouwen. Het verschil tussen een leverancier die AI-ondersteunde beveiligingsscans draait en een die dat niet doet, kan straks een reëel verschil in risico betekenen. Niet omdat de AI perfect is — 56 procent is geen 100 procent — maar omdat het een extra laag is die voorheen simpelweg niet bestond voor dat prijsniveau.

Een benchmark is geen garantie

Wat mij betreft is het goed om dit soort ontwikkelingen met een dubbele blik te bekijken. Enerzijds: het feit dat er nu een serieuze, onafhankelijke benchmark bestaat voor AI in cybersecurity, met partners als IBM, NVIDIA en Vercel, is een gezond teken. Het betekent dat de sector meetbaar wil maken wat deze modellen waard zijn — in plaats van alleen marketingclaims.

Anderzijds: één eerste plek op één benchmark, gedeeld met een ander model, bij een score van 56 procent, zegt beperkt. Zeker als datzelfde model op andere tests juist slechter presteert dan zijn voorganger. Ik denk dat de waarde hier niet zit in de ranglijst zelf, maar in het feit dat cybersecurity als AI-discipline nu serieus wordt gemeten.

Voor mij is dit vooral een signaal dat AI-gedreven beveiliging uit de experimenteerfase komt. Niet omdat het af is — verre van — maar omdat we nu tenminste kunnen zien hoe ver het is.