Het goedkoopste AI-model is niet altijd de goedkoopste automatisering

Bij Delta Trading B.V., de fictieve handelsorganisatie die we vaker gebruiken voor praktijkcases, wordt gekeken naar mogelijkheden om administratieve processen verder te automatiseren.

Een van die processen is de verwerking van inkomende documenten. Denk aan orders, aanvragen en andere documenten waar gegevens uit gehaald, gecontroleerd en vervolgens verwerkt moeten worden.

Op papier lijkt dat een logische toepassing voor AI. Er is veel volume, het werk is grotendeels repeterend en medewerkers zijn vooral tijd kwijt aan lezen, controleren en verwerken.

De eerste vraag die dan al snel op tafel komt: welk AI-model moeten we gebruiken?

Dat klinkt als een technische vraag. Maar zodra er een businesscase aan moet worden gekoppeld, wordt het vooral een financiële en operationele vraag.

Wie de API-prijzen van verschillende AI-modellen naast elkaar zet, ziet grote verschillen. Het ene model kost per miljoen tokens een fractie van het andere. Dan lijkt de conclusie snel gemaakt: als een goedkoper model dezelfde taak kan uitvoeren, waarom zou je dan meer betalen?

Eerst een stap terug: is AI überhaupt de juiste oplossing?

Voordat Delta Trading verschillende AI-modellen gaat vergelijken, hoort eigenlijk nog een andere vraag te worden gesteld: moeten we hier wel AI voor gebruiken?

Als een proces volledig met vaste regels, bestaande software of traditionele automatisering kan worden opgelost, kan dat eenvoudiger, voorspelbaarder en beter beheersbaar zijn. AI wordt vooral interessant wanneer de input voldoende varieert om die traditionele aanpak lastig te maken. Bijvoorbeeld wanneer documenten verschillende structuren hebben, informatie in vrije tekst staat of er bij de verwerking enige interpretatie nodig is.

Voor deze fictieve case nemen we aan dat dit bij Delta Trading inderdaad het geval is. Pas dan wordt de vergelijking tussen AI-modellen relevant.

De API-kosten zijn maar één onderdeel

Delta Trading verwerkt in dit voorbeeld iedere maand 5.000 documenten. Handmatig kost één document gemiddeld drie minuten. Dat betekent 250 uur verwerkingstijd per maand.

Voor het rekenvoorbeeld nemen we €40 per productief uur als interne kostprijs aan. De theoretische kosten van de huidige verwerking bedragen daarmee €10.000 per maand.

Vervolgens worden twee AI-modellen getest. Model A kost bij het verwachte gebruik ongeveer €15 per maand. Model B kost €75. Puur op API-kosten is Model A dus duidelijk goedkoper. Vijf keer goedkoper zelfs.

Als je alleen naar de rekening van de AI-provider kijkt, lijkt het bijna vreemd om Model B serieus te overwegen. Maar de API-rekening is niet de businesscase. De relevante vraag is hoeveel menselijke verwerking er ná het gebruik van het model nog nodig is.

Wat gebeurt er met de uitzonderingen?

Voor de vergelijking worden 100 representatieve documenten geselecteerd. Niet alleen de eenvoudige orders waarbij alle informatie netjes op dezelfde plek staat, maar ook situaties die in de praktijk lastiger zijn: een afwijkende omschrijving, een ontbrekend veld, een vreemde prijsaanduiding, vrije tekst of een document dat qua opmaak afwijkt van de standaard.

Vooraf wordt vastgelegd wanneer een document als volledig automatisch verwerkt telt. De output moet correct zijn en een medewerker hoeft niets meer aan te passen voordat de transactie verder kan.

Stel dat Model A 82 van de 100 testdocumenten op die manier verwerkt. Model B haalt 91 van de 100.

In een echte businesscase moeten zulke percentages uit een representatieve praktijktest komen. Voor het rekenvoorbeeld kunnen we nu wel bekijken wat het verschil financieel zou betekenen.

Van testresultaat naar proceskosten

Bij Model A wordt in ons voorbeeld 82% volledig automatisch verwerkt. Bij een volume van 5.000 documenten zouden dan theoretisch ongeveer 900 documenten per maand menselijke behandeling nodig hebben.

Voor deze vereenvoudigde businesscase nemen we aan dat iedere transactie die niet volledig automatisch wordt verwerkt opnieuw de volledige drie minuten handmatige behandeltijd vraagt. 900 documenten maal drie minuten betekent 45 uur. Bij €40 per uur is dat €1.800 resterende menselijke verwerking. Daar komen ongeveer €15 aan modelkosten bij.

De theoretische proceskosten bedragen daarmee €1.815 per maand.

Model B verwerkt in ons voorbeeld 91% volledig automatisch. Dan blijven bij 5.000 documenten ongeveer 450 transacties over. Dat betekent 22,5 uur handmatige verwerking, ofwel €900 aan menselijke verwerking. Plus €75 aan modelkosten komt dat uit op €975 per maand.

Onder deze aannames zijn de theoretische proceskosten met Model B dus ongeveer €840 per maand lager dan met Model A, terwijl Model B vijf keer zoveel kost aan API-gebruik.

Niet omdat de tokens goedkoper zijn, maar omdat in het voorbeeld minder menselijke verwerking overblijft.

In werkelijkheid moet je één stap verder meten

De aanname dat iedere uitzondering weer drie minuten werk vraagt, maakt het voorbeeld inzichtelijk, maar zal in werkelijkheid niet altijd kloppen.

Misschien heeft AI vrijwel alles al goed voorbereid en kost een correctie nog maar dertig seconden. Een andere fout kan juist extra tijd kosten omdat een medewerker eerst moet ontdekken wat er mis is gegaan.

Daarom zou Delta in een echte pilot niet alleen registreren óf menselijke interventie nodig is. Ook de tijd van die interventie moet worden gemeten.

Dat levert een veel betere businesscase op dan alle uitzonderingen automatisch als volledige handmatige verwerking te behandelen.

Vrijgespeelde tijd is nog geen cashbesparing

Daar hoort nog een belangrijk bedrijfseconomisch onderscheid bij. Stel dat Delta Trading door automatisering inderdaad van 250 naar 22,5 uur menselijke verwerking per maand gaat. Dan is er ruim 227 uur capaciteit vrijgespeeld.

Maar dat betekent niet automatisch dat er iedere maand ruim €9.000 extra op de bankrekening staat. Als dezelfde medewerkers in dienst blijven en hun vrijgekomen uren aan andere werkzaamheden besteden, zijn de salariskosten er nog steeds.

De economische waarde kan er wel degelijk zijn. Delta Trading kan bijvoorbeeld groeien zonder evenredig extra personeel aan te nemen, achterstanden verminderen of medewerkers inzetten voor werkzaamheden met meer toegevoegde waarde.

Dat is iets anders dan een directe cashbesparing. Daarom spreken we in deze businesscase bewust over theoretische proceskosten en vrijgespeelde capaciteit. Of die capaciteit uiteindelijk leidt tot lagere kosten, hogere omzet, vermeden toekomstige personeelskosten of simpelweg meer ruimte in de organisatie, hangt af van wat Delta Trading ermee doet.

Daar gaat de vergelijking vaak mis

Modelprijzen zijn makkelijk zichtbaar. Menselijke correcties veel minder.

Als het ene model €20 per maand kost en het andere €80, voelt €80 automatisch duur. Maar als het duurdere model ervoor zorgt dat tientallen of honderden transacties minder handmatige aandacht vragen, kan dat verschil in API-kosten economisch nauwelijks relevant zijn.

Andersom geldt hetzelfde. Als twee modellen in de praktijk vrijwel hetzelfde resultaat opleveren, heeft het weinig zin om extra te betalen voor modelcapaciteit die binnen het proces geen aanvullende waarde creëert.

Het gaat dus niet alleen om de vraag welk model het goedkoopst is. Een interessantere vraag is wat het totale proces kost bij het prestatieniveau dat dit model in onze praktijk haalt.

Test daarom op je eigen proces

Bij Delta Trading zou de prijsvergelijking daarom niet het startpunt zijn. Eerst moet duidelijk worden wat verschillende modellen daadwerkelijk aankunnen binnen het specifieke proces.

Daarvoor hoeft een eerste test niet ingewikkeld te zijn. Neem bijvoorbeeld 50 tot 100 transacties uit het echte proces. Zorg dat daar niet alleen standaardgevallen tussen zitten, maar ook een realistisch aandeel uitzonderingen. Definieer vooraf wanneer een resultaat goed genoeg is om zonder menselijke tussenkomst verder te gaan.

Laat vervolgens twee of drie modellen dezelfde cases verwerken. Registreer per case wat er gebeurt en hoeveel menselijke tijd daarna nog nodig is. Daarmee meet je iets wat voor een businesscase veel relevanter is dan een algemene AI-benchmark: wat het model binnen jouw proces doet.

82 van de 100 is niet automatisch structureel 82%

Ook daar moeten we voorzichtig zijn. Als Model A tijdens een test 82 van de 100 cases volledig automatisch verwerkt, betekent dat niet dat het model vanaf dat moment gegarandeerd 82% van alle toekomstige transacties zal automatiseren.

Een testset blijft een steekproef. De samenstelling van het werk kan veranderen, nieuwe uitzonderingen kunnen ontstaan en een beperkte test bevat simpelweg onzekerheid.

De 82% en 91% uit deze case moeten daarom worden gezien als illustratieve testresultaten waarmee we rekenen, niet als gegarandeerde structurele prestaties. In een echte implementatie horen de prestaties ook na ingebruikname gevolgd te worden.

Een AI-businesscase is daarmee niet iets wat je één keer maakt en daarna in een map zet. De aannames moeten worden getoetst aan wat er daadwerkelijk gebeurt.

Nauwkeurigheid is niet hetzelfde als automatisering

Stel dat een model volgens een test 97% nauwkeurig is. Dat klinkt uitstekend. Maar voor procesautomatisering zegt het nog niet genoeg.

Een order kan bijvoorbeeld tien relevante velden bevatten. Negen daarvan worden perfect verwerkt. Eén kritisch bedrag klopt niet. Op veldniveau kan de nauwkeurigheid dan nog steeds hoog zijn. Operationeel kan die order echter niet automatisch verder.

Daarom is voor dit soort businesscases het percentage transacties dat volledig zonder menselijke interventie door het proces gaat vaak interessanter. Dat wordt ook wel straight-through processing genoemd.

Wanneer loont een duurder model?

Nu kunnen we ook anders naar het prijsverschil tussen modellen kijken. Stel dat een duurder model €60 per maand meer kost. Een volledig handmatige transactie kost in ons vereenvoudigde voorbeeld drie minuten. Bij €40 per uur is dat €2 per transactie.

Onder deze aannames hoeft het duurdere model dus 30 extra transacties per maand volledig automatisch te verwerken om alleen het verschil in modelkosten terug te verdienen.

Dat zet het verschil tussen goedkope en dure AI-modellen in perspectief. Een relatief klein verschil in operationele prestaties kan financieel meer betekenen dan een groot procentueel verschil in API-prijs.

Maar ook deze break-evenberekening is alleen zo goed als de aannames eronder. Als een menselijke correctie gemiddeld geen drie minuten maar dertig seconden kost, verandert het omslagpunt. Als een duurder model meer retries, extra controles of andere implementatiekosten veroorzaakt, moeten die ook worden meegenomen.

De berekening vertelt dus niet welk model je moet kiezen. Hij laat zien welk prestatieverschil nodig is om een kostenverschil terug te verdienen.

Soms wint het goedkope model gewoon

Stel dat Model A €15 per maand kost en 94% volledig automatisch verwerkt. Model B kost €75 en haalt 94,5%. Model B verwerkt bij 5.000 transacties dan 25 extra gevallen volledig automatisch.

Onder dezelfde aanname van €2 handmatige kosten per transactie vertegenwoordigt dat €50 aan vermeden verwerking. Maar Model B kost €60 extra. Dan is Model A binnen deze vereenvoudigde vergelijking economisch juist gunstiger.

Hetzelfde geldt wanneer beide modellen vrijwel 100% halen op een eenvoudige taak. Dan is er weinig reden om te betalen voor extra modelcapaciteit die het proces niet nodig heeft.

De conclusie is daarom nadrukkelijk niet dat bedrijven zwaardere AI-modellen moeten gebruiken. De conclusie is dat modelprijs en proceskosten niet hetzelfde zijn.

En de modelkosten zijn nog steeds niet de hele businesscase

Zelfs wanneer we de resterende menselijke verwerking goed meten, zijn we nog niet klaar. Een echte implementatie kan daarnaast kosten hebben voor integraties, ontwikkeling, software, monitoring en beheer.

Ook foutkosten verdienen aandacht. Een fout in een interne samenvatting heeft waarschijnlijk een andere impact dan een verkeerde verkoopprijs, financiële boeking of kredietbeslissing. Hoe groter de gevolgen van een fout, hoe belangrijker controle, validatie en governance worden.

In sommige processen kan 95% volledig automatische verwerking een uitstekend resultaat zijn. In andere processen is zelfs 99% onvoldoende om zonder controle te werken. De businesscase moet daarom altijd worden bekeken in combinatie met het risico van het proces.

Eerst het proces, daarna het model

Als Delta Trading dit daadwerkelijk zou implementeren, zou de volgorde daarom worden omgedraaid. Niet beginnen met welk AI-model we willen gebruiken, maar met wat we in het proces proberen te verbeteren.

Hoeveel transacties zijn er en hoeveel tijd kost de huidige verwerking?

Welke uitzonderingen bestaan er en wat kosten die in de praktijk?

Wat zijn de gevolgen van een fout?

Wanneer is een resultaat goed genoeg om zonder menselijke tussenkomst verder te gaan?

Kan het probleem misschien eenvoudiger zonder AI worden opgelost?

Pas daarna worden verschillende modellen getest. Op dezelfde cases, met dezelfde beoordelingscriteria en met meting van de resterende menselijke inspanning. Dan weet Delta niet alleen wat Model A en Model B kosten, maar ook wat ze binnen het proces doen.

Van tokenprijs naar proceskosten

Dat is uiteindelijk ook de gedachte achter de AI Process Cost Calculator die we voor The Business Floor hebben gebouwd.

Niet bepalen welk AI-model ‘het beste’ is. Niet automatisch het goedkoopste model aanwijzen. En ook niet suggereren dat vrijgespeelde uren hetzelfde zijn als directe cashbesparing.

De calculator brengt modelkosten, procesvolume, menselijke verwerking en het verwachte automatiseringspercentage bij elkaar om te laten zien hoe de businesscase onder verschillende aannames verandert.

Want €15 of €75 per maand aan AI zegt op zichzelf weinig. Het wordt pas interessant wanneer je weet hoeveel menselijke verwerking daarna nog nodig is.

Soms wint dan het goedkoopste model. Soms een duurder model. En soms blijkt dat AI überhaupt niet de beste oplossing is. Maar dan heb je in ieder geval een businesscase gebouwd op het proces, niet op de prijslijst van het AI-model.

Bronnen en methodiek

Delta Trading B.V., Model A en Model B zijn fictief. Alle volumes, tijden, percentages, modelkosten en interne uurtarieven in dit artikel zijn illustratieve aannames die uitsluitend dienen om de economische logica zichtbaar te maken. De genoemde 82%, 91%, 94% en 94,5% zijn geen benchmarks of claims over bestaande AI-modellen.

De berekeningen behandelen niet-volledig geautomatiseerde transacties in de hoofdcase als volledig handmatig resterend werk van drie minuten per transactie. In een echte pilot moet de daadwerkelijke correctie- en verwerkingstijd per uitkomstcategorie worden gemeten. Vrijgespeelde capaciteit is niet gelijkgesteld aan directe cashbesparing.

Kosten voor implementatie, integraties, softwarelicenties, monitoring, beheer, retries, foutkosten en eventuele aanvullende controles zijn niet volledig doorgerekend. De businesscase moet daarom altijd worden aangepast aan het concrete proces, de kwaliteitseisen en het risicoprofiel van de organisatie.

De AI Process Cost Calculator gebruikt gecontroleerde providerprijzen en maakt afzonderlijk zichtbaar welke onderdelen feiten, schattingen en aannames zijn. Modelprijzen en technische mogelijkheden wijzigen regelmatig; controleer voor een definitieve investeringsbeslissing altijd de actuele providerinformatie en test modellen op representatieve eigen cases.