SAS: hoe Tencent lange AI-teksten sneller maakt met minder geheugen

TL;DR

• Wat: Onderzoekers van Tencent presenteren SAS, een methode die AI-modellen tot 13× sneller maakt bij het verwerken van lange teksten door slim te selecteren welke stukken tekst ertoe doen.
• Waarom relevant: AI-tools die lange documenten verwerken (contracten, rapporten, klantgesprekken) worden hierdoor goedkoper en sneller — zonder dat de kwaliteit noemenswaardig daalt.
• Wat je ermee kunt: Als je nu al AI inzet voor langere teksten, houd dan in de gaten of je leverancier dit soort optimalisaties doorvoert — het kan je kosten per verzoek flink drukken.

Ik stuitte op een paper die me direct deed stilstaan: onderzoekers hebben een manier gevonden om AI-modellen veel zuiniger te laten omgaan met lange stukken tekst, zonder merkbaar kwaliteitsverlies. Het paper heet SAS — Simple Attention Sparsification — en komt van een team rond Tencent. Ik vind dit relevant omdat steeds meer ondernemers AI gebruiken voor taken die lange context vereisen: denk aan het samenvatten van contracten, het analyseren van klantgesprekken, of het doorworstelen van jaarverslagen.

Wat is het probleem eigenlijk?

Om te begrijpen waarom SAS interessant is, moet je weten hoe AI-modellen op dit moment met tekst omgaan. Wanneer een taalmodel — denk aan ChatGPT, Claude of een ander model — een lang document leest, moet het bij élk woord dat het genereert terugkijken naar alle voorgaande woorden. Dat heet attention, en het kost rekenkracht die kwadratisch groeit met de lengte van de tekst.

Stel je voor dat je een boek van 500 pagina's moet samenvatten, maar bij élke zin die je opschrijft het hele boek opnieuw doorleest. Dat is in essentie wat er onder de motorkap gebeurt. Bij korte teksten merk je daar weinig van, maar bij documenten van tienduizenden woorden wordt het traag en duur.

Dit is geen abstract technisch probleem. Als je als ondernemer een AI-tool betaalt per verzoek of per token, dan betaal je indirect voor al die rekenoperaties. Langere documenten betekent hogere kosten en langere wachttijden.

Wat doet SAS precies?

SAS pakt dit aan door het model te leren welke stukken tekst écht belangrijk zijn voor het antwoord, en de rest te negeren. Het idee van sparse attention — niet alles teruglezen maar selectief — is niet nieuw. Wat mij opvalt aan SAS is de aanpak: waar eerdere methoden losse regels of heuristieken gebruikten om te bepalen welke tekststukken relevant zijn, leert SAS dit direct vanuit het uiteindelijke doel van het model.

Concreet werkt het zo: SAS plaatst een soort poortwachter (gate) bij elke groep tokens. Die poortwachter leert tijdens training welke groepen het model nodig heeft en welke niet. Het slimme is dat deze poortwachter mee-traint met het taalmodel zelf, terwijl het basismodel gewoon bevroren blijft. Je hoeft het onderliggende AI-model dus niet opnieuw te trainen — alleen de poortwachters leren bij.

Waarom is dat slim?

Eerdere methoden hadden een fundamenteel probleem: de selectie van relevante tekststukken was losgekoppeld van het uiteindelijke resultaat. Het is alsof je een assistent vraagt om de belangrijkste pagina's uit een rapport te selecteren, maar die assistent nooit te horen krijgt of de samenvatting die jij ermee maakte ook daadwerkelijk klopte. SAS lost dat op door de feedback wél terug te laten stromen naar de selectie.

De resultaten: sneller zonder veel in te leveren

Hier wordt het voor mij pas echt interessant. De onderzoekers testten SAS op Qwen3-modellen in drie formaten (4 miljard, 8 miljard en 14 miljard parameters) en op verschillende soorten taken: wiskundige redeneervragen, begrip van lange teksten, en zogenoemde agentic tasks — taken waarbij het model zelfstandig meerdere stappen uitvoert.

Een paar cijfers die eruit springen:

• 5,6× lagere latentie bij teksten van 512.000 woorden. Dat betekent dat het model bijna zes keer zo snel reageert bij zeer lange documenten.
• Tot 13× snelleraf bij grotere batches (meerdere verzoeken tegelijk) en teksten van 64.000 woorden.
• Bij een token-budget van 4.096 tokens — dat wil zeggen: het model kijkt maar naar 4.096 stukjes tekst in plaats van alles — haalt SAS nagenoeg dezelfde scores als het volledige model. Op de AIME24-benchmark bijvoorbeeld: 71,72 versus 71,25 voor volledige attention.

Wat mij hier opvalt: de latentie blijft bij SAS nagenoeg constant, ongeacht hoe lang de invoertekst is. Bij standaard attention groeit die lineair. Dat is een wezenlijk verschil als je denkt aan toepassingen met lange documenten.

Vergelijking met andere methoden

SAS scoort consistent beter dan SeerAttention-R, een vergelijkbare methode die als baseline diende. Op GPQA-Diamond — een benchmark voor complexe redeneervragen — was het verschil op sommige modellen meer dan 15 punten bij een krap budget van 1.024 tokens. Dat is substantieel.

Wat betekent dit voor ondernemers?

Laat ik eerlijk zijn: je gaat SAS niet zelf installeren op je laptop. Dit is onderzoek dat zijn weg moet vinden naar de producten die je als ondernemer wél gebruikt — denk aan je samenvattingstools, je klantenservice-AI, of de documentanalyse die je accountant misschien al inzet.

Maar er zitten wel degelijk praktische signalen in:

Kosten van AI-gebruik

Als dit soort optimalisaties breed worden doorgevoerd, dalen de rekenkosten per verzoek. Voor een MKB-ondernemer die maandelijks honderden of duizenden documenten door een AI haalt, kan dat merkbaar schelen. Niet morgen, maar op termijn van een jaar of twee.

Snelheid bij lange documenten

Kun je je voorstellen dat je een compleet jaardossier van een klant in één keer door een AI kunt halen, en dat het antwoord er binnen seconden is in plaats van een halve minuut? Dat is het soort verbetering waar dit naartoe werkt.

Lokaal draaien wordt haalbaarder

Doordat SAS het geheugengebruik verlaagt, wordt het realistischer om AI-modellen lokaal te draaien op bescheiden hardware. Voor ondernemers die gevoelige data niet naar een cloudservice willen sturen — denk aan juridische of medische dossiers — is dat een relevante ontwikkeling.

Kanttekeningen

Een paar dingen die ik wil benoemen. Ten eerste: de resultaten komen uit het onderzoeksteam zelf, dat verbonden is aan Tencent. Onafhankelijke replicatie door andere partijen heb ik op dit moment niet gevonden. Dat betekent niet dat de resultaten onbetrouwbaar zijn, maar het is goed om te weten.

Ten tweede: de tests zijn gedaan op specifieke benchmarks en modellen (Qwen3, OLMo3). Hoe SAS presteert op andere modellen en in echte productieomgevingen is nog een open vraag.

Ten derde merken de onderzoekers zelf op dat bij zeer krappe budgets de Top-K selectie zelf het leeuwendeel van de rekentijd inneemt — 90% bij 512.000 tokens context. Daar zit dus nog een bottleneck.

Een stille maar belangrijke verschuiving

Voor mij is dit vooral een signaal dat de AI-wereld niet alleen bezig is met grotere en krachtigere modellen, maar ook met het efficiënter maken van wat er al is. Dat is misschien minder spectaculair dan een nieuw model met meer parameters, maar voor de dagelijkse praktijk van ondernemers uiteindelijk minstens zo belangrijk. Sneller, goedkoper, en geschikt voor langere documenten — dat is waar de echte bruikbaarheid zit.