ChatGPT for finance? Getest en (nog) niet goed bevonden…​

Geweldig toch hoe ChatGPT erin slaagt een romantische liefdesgelofte mét kwinkslag in no time klaar te maken. Of hoe je met beperkte instructies een emotionele speech zomaar uit de ChatGPT mouw kan rollen. En dan lees je dat ChatGPT ook op vlak van finance geweldige dingen kan doen. Is dat ook zo? Onze consultant Nicolas ging op onderzoek…

De berichtgeving rond ChatGPT de laatste maanden zal waarschijnlijk maar weinigen ontgaan zijn. Deze ongelofelijke ontwikkeling van Open AI was één van de eerste tools die werkelijk wereldnieuws werd. Door de ongeëvenaarde bekwaamheid om teksten te interpreteren en te (her)schrijven, maakte ChatGPT aan mensen duidelijk dat AI (Artificial Intelligence) een enorm potentieel heeft om ons leven makkelijker te maken.

In de Nerdland podcast van juli 2023 hoorde ik een zeer interessante quote van Lieven Scheire die dit potentieel benadrukt, maar ons tegelijkertijd aanspoort tot actie:

“In de nabije toekomst gaat uw job niet overgenomen worden door AI, maar door iemand die kan werken met AI.” 

Lieven Scheire is trouwens niet de enige die inziet dat we met behulp van AI ons werk efficiënter kunnen inrichten. Coaching sessies, cursussen, lezingen, etc. over hoe bedrijven ChatGPT kunnen implementeren in hun bedrijfsvoering, schieten als paddenstoelen uit de grond. Niemand wil de trein missen en er wordt volop rondgekeken naar opportuniteiten. Geef toe, het klinkt toch heel verleidelijk om al je saaie, repetitieve en vaak tijdrovende taakjes door te geven aan een machine terwijl je jezelf kan focussen op de boeiendere aspecten van je job? Omgeven door zoveel media-aandacht en zoveel enthousiasme durft men de kritische bril al eens afzetten en kan de klepel doorslaan.

Zo las ik onlangs een gids over hoe ChatGPT binnen een finance context geïmplementeerd kan worden. Ik kwam er zeker enkele goede tips tegen. Ik ben er bijvoorbeeld volledig mee akkoord dat het een fantastische tool is voor het genereren van een eerste aanzet voor specifieke mails, memo’s of templates. ChatGPT, dat gebouwd werd als taalmodel, kan dit bijzonder goed. We moeten echter goed nadenken voor we ChatGPT ook voor andere zaken gaan gebruiken. Het hele doel van de implementatie van AI is om de werkomgeving efficiënter te maken, niet om mee te gaan met een trend.

Zo is het bijvoorbeeld belangrijk om te onthouden dat ChatGPT ontwikkeld werd als een “Large Language Model” (LLM). Dat betekent dus dat het als taalmodel getraind is om tekst te ‘begrijpen’ en zelf ook op een menselijke manier tekst te kunnen opstellen. Door de zeer uitgebreide dataset waarop het model getraind wordt, lijkt het bovendien ook nog eens alwetend te zijn en deze kennis foutloos te kunnen communiceren wanneer we ernaar vragen. Deze verwachting zie ik ook vaak terugkomen wanneer gepraat wordt over de integratie van ChatGPT in business. Volgens sommige ‘kenners’ zou je ChatGPT bijvoorbeeld kunnen gebruiken om te leren werken met Excel, Google sheets, PowerBi, SAP en andere programma’s en is de tool zelfs een heuse accounting encyclopedie wanneer je boekhoudkundige principes wilt begrijpen.

Misschien wordt het tijd om hier toch wat kritischer naar te kijken. ChatGPT is namelijk helemaal niet alwetend en is (momenteel) niet geschikt om accuraat informatie te verspreiden. Het zal foutieve informatie even geloofwaardig verwoorden als een correct antwoord. Het lijkt dan ook niet abnormaal dat dit momenteel niet de beste tool is om nieuwe zaken te leren of theoretische vragen aan te stellen. Je laten assisteren in zaken waar je wel veel kennis in hebt, kan dan weer wel omdat je dan zelf de juistheid van ChatGPT kan inschatten.

Andere tips raden aan dat men ChatGPT kan gebruiken om bijvoorbeeld een memo over bijzondere waardeverminderingen of toelichtingen bij financiële overzichten te schrijven, om financiële cijfers te analyseren, om een financiële presentatie voor te bereiden, om initiatieven voor kostenverlaging uit te werken, om een actieplan op te stellen, om een tijdlijn voor het budget op te stellen of zelfs scenarioanalyses uit te voeren. Ook hier dienen we gezond kritisch te zijn. Kan ChatGPT ons helpen templates te maken voor zulke zaken? Absoluut, hoewel het belangrijk blijft om de eerste aanzet van ChatGPT daarna ook aan te passen naar de specifieke noden van je bedrijf. Kan ChatGPT ongelofelijk inzichtelijke analyses maken of memo’s schrijven over een zeer specifieke gebeurtenis in je bedrijf? Hier lijkt het antwoord eerder ‘neen!’. De tool is niet alwetend. Buiten de gegevens die je zelf in je prompt zet, heeft ChatGPT geen kennis over de werking van en de gebeurtenissen in je bedrijf. Analyses zullen dus ofwel flauwe afkooksels zijn die de data in een balans of P&L letterlijk beschrijft ofwel zal de tool zelf zaken verzinnen om tot een ‘diepere’ analyse te komen. Spijtig genoeg zijn geen van beiden zeer nuttig en zal je voor de échte analyses nog steeds gewoon zelf het werk moeten verrichten.

We komen nu dus terug bij onze vraag over efficiëntie: heb je dan werkelijk toegevoegde waarde gecreëerd binnen je job of is het eerder bladvulling om te tonen dat je met ChatGPT je output aan tekst kan vergroten?

Diezelfde vraag is ook zeer relevant wanneer we lezen dat ChatGPT ook gebruikt kan worden om de agenda op te stellen voor een meeting of om de structuur voor te bereiden voor een gesprek met een operationele zakenpartner. In beide gevallen las ik dat dit zeer nuttig is indien je niet zeker weet wat je moet bespreken tijdens zulke meetings. De vraag hier is niet zozeer of ChatGPT ons tips kan geven over wat te bespreken in de meeting. Misschien is het hier vooral belangrijk om na te denken over het nut van de meeting, indien we aan een tool moeten vragen waar we best over praten?

Ik schreef in het begin van deze blogpost over mensen die met AI konden werken en onze jobs zouden overnemen. Het lijkt momenteel misschien alsof ik hen nonchalant en inefficiënt vind. Niets is minder waar. Deze blogpost dient niet als afschrikmiddel tegen het gebruik van AI, maar als herinnering kritisch te denken.

Voor mensen die toch zeer nuttige en efficiënte integraties ontdekken en applicaties op ChatGPT bouwen, nog een laatste waarschuwing: uit recent onderzoek blijkt dat de het gedrag en de kwaliteit van de LLM services GPT-3.5 en GPT-4 doorheen de tijd fluctueert en dat bij momenten de kwaliteit zelfs sterk kan dalen. Het is dus zeer belangrijk om de impact op je applicatie te monitoren. Ik verwijs graag naar de originele publicatie: https://arxiv.org/pdf/2307.09009.pdf .

Gelijkaardige of net helemaal andere ervaringen met ChatGPT?

Laat het ons zeker weten in de comments!