Domeinspecifieke AI: De nieuwe horizon in Business Intelligence

Introductie 

Large Language Models, ofwel LLM’s, zijn ontworpen om menselijke tekst te genereren en te interpreteren. Voor het trainen van dergelijke taalmodellen, met als doel het herkennen en toepassen van grammatica, context en zinsopbouw, zijn enorme datasets van meerdere tientallen terabytes nodig. Deze taalmodellen gebruiken geavanceerde neurale netwerken om, op basis van de context van voorgaande woorden, het meest waarschijnlijke volgende woord in een zin te voorspellen. De ontwikkeling van LLM’s gaat razendsnel. Steeds meer organisaties vragen zich af hoe zij deze krachtige technologie kunnen inzetten binnen hun eigen specifieke context.   

Het primaire doel van Business Intelligence (BI) is organisaties in staat te stellen datagedreven beslissingen te nemen door middel van specifieke rapportages. Vanuit een BI-perspectief kan het gebruik van een LLM een waardevolle aanvulling zijn op de bestaande mogelijkheden voor BI-rapportages. We zien dat een domeinspecifieke LLM diverse voordelen biedt voor de organisatie waar deze wordt toegepast. BI kan op haar beurt een significante rol spelen bij het geschikt maken van een LLM aan voor specifiek domein.  

In deze blogpost bespreek ik drie veelgebruikte methoden om LLM’s te voorzien van specifieke domeinkennis. Daarnaast verkennen we hoe Business Intelligence (BI) kan helpen bij het toespitsen van LLM’s op specifieke domeinen en hoe dit op zijn beurt de BI-omgeving kan verbeteren, met name in termen van betere managementinformatie en besluitvorming. Ten slotte bespreek ik enkele toekomstige trends en ontwikkelingen in deze snelgroeiende sector.  

Het nut van domeinspecifieke LLM’s

BI heeft zijn nut voor organisaties al ruimschoots bewezen. De bijdrage van BI oplossingen aan de organisatiedoelstellingen is in de literatuur goed beschreven. Maar hoe zit het met een nieuwe technologie zoals LLM’s? Vrijwel iedereen is het erover eens dat LLM’s zoals toegepast in ChatGPT enorme mogelijkheden bieden. ChatGPT-‘achtige toepassingen zijn meer dan veredelde zoekmachines, ze kunnen conversaties aangaan over uiteenlopende onderwerpen en het lijkt alsof er geen grenzen zijn aan de kennis van de achterliggende taalmodellen. Maar op het moment dat we onze pet als werknemer in onze eigen organisatie opzetten en we zoeken antwoorden op vragen zoals: ‘Waar is die onboarding documentatie voor nieuwe medewerkers?’, ‘Wie kan me meer vertellen over dat nieuwe project bij Marketing?’, ‘Wat is de omzetstijging ten opzichte van dezelfde maand in 2020, het dashboard gaat maar tot 2021?’, dan wordt snel duidelijk dat algemene chat bot toepassingen als ChatGPT of Claude hopeloos tekortschieten. Wat zou het betekenen als we in staat zijn om de kennis die specifiek is voor een organisatie in een taalmodel kunnen stoppen? De verankering van specifieke domeinkennis in een taalmodel opent een rijk aantal mogelijkheden voor de organisatie, we noemen er een aantal:  

• Efficiency: met domeinspecifieke taalmodellen kunnen tijdrovende klussen die specifieke kennis vereisen, zoals het opstellen van technische of juridische documenten versneld worden.  
• Schaalbaarheid: taalmodellen kunnen een toenemende workload aan zonder een corresponderende toename van het aantal werknemers. Het draaien van taalmodellen in de cloud maakt deze oplossing nog meer schaalbaar vergelijkbaar met andere technologieën die de overstap naar de cloud hebben gemaakt.   
• Behoud en verspreiding van kennis: domeinspecifieke taalmodellen kunnen helpen bij het vastleggen en overdragen van expert-level kennis en begrip in omgevingen waar menselijke experts schaars en/of duur zijn.   
• Innovatie: domein specifieke LLM’s kunnen helpen in de ontwikkeling van nieuwe producten en diensten door hun generatieve mogelijkheden in combinatie met hun begrip van de organisatie.  
• Kostenreductie: het automatiseren van kennisintensieve taken kan leiden tot kostenreductie door de verminderde noodzaak van grote teams en menselijke specialisten.  
• Concurrentievoordeel: Elk van de bovenstaande voordelen leiden op zichzelf, maar zeker in combinatie, tot concurrentievoordeel voor de organisatie ten opzichte van andere bedrijven die niet in domeinspecifieke LLM-technologie geïnvesteerd hebben.  

Ontwerpstrategieën voor domeinspecifieke LLM’s

Bij het ontwikkelen van een domeinspecifieke LLM komt zowel wetenschap als ambacht om de hoek kijken. Een snelle zoekopdracht op Google, of ChatGPT, levert meer dan 10 strategieën op die gebruikt kunnen worden om bestaande LLM’s domeinspecifiek te maken. We bespreken hier drie veel voorkomende strategieën: fine-tuning, prompt engineering en grounding.  

Fine-tuning

Prompt engineering  

Prompt engineering is de manier waarop we tegen taalmodel toepassingen als ChatGPT praten. Door de manier van vragen stellen ‘prompting’, krijgen we een bepaalde respons van het taalmodel. Via prompt engineering kan kennis verkregen worden vanuit het taalmodel, maar andersom is het ook mogelijk om met deze techniek kennis door te geven aan taalmodel, ‘knowledge injection’. Met prompt engineering kun je kennis toevoegen door kennis expliciet in de prompt op te nemen. Echter door de prompt te voorzien van context, voorbeelden en bepaalde constraints die je stelt aan het antwoord, beïnvloed je welke reeds opgeslagen kennis in het taalmodel geactiveerd moet worden om de vraag te beantwoorden. Een goed voorbeeld van het domeinspecifiek maken via prompt engineering is de ‘custom prompts’ mogelijkheid in ChatGPT 4.  Met een custom prompt kun je aangeven hoe het taalmodel zich moet gedragen of hoe het tot een antwoord moet komen. In een custom prompt geef je dus niet alleen specifieke informatie mee, maar je kunt ook de toon of stijl bepalen waarin het taalmodel moet reageren. Als de custom prompt eenmaal is ingesteld, reageert het taalmodel op normale prompts via de instructies uit de custom prompt.  

Grounding  

Bij grounding geven we het taalmodel toegang tot een externe bron van kennis of informatie om deze vervolgens te verwerken in de respons. Het grote verschil met fine-tuning is dat het basismodel niet wordt veranderd en dus ook niet hertraind hoeft te worden.   

De externe bron of informatierepository moet van hoge kwaliteit en gezaghebbend zijn in de zin dat de data vertrouwd kan worden door de gehele organisatie. Als aan deze eisen voldaan wordt kan grounding een uitstekende manier zijn om het taalmodel te voorzien van specifieke en feitelijke informatie. Een taalmodel dat ‘grounded’ is kent een sterk verhoogde accuraatheid van de responses, geeft responses gebaseerd op feiten, leidt tot minder hallucinaties d.w.z. valse of misleidende responses. Een ander belangrijke eigenschap van een dergelijk model is wat men noemt explainability. Het is in veel gevallen niet of moeilijk na te gaan hoe een algoritme tot een besluit is gekomen. AI modellen zijn over het algemeen ondoorzichtig terwijl vertrouwen in veel sectoren een juist grote rol speelt. Van een grounded AI systeem ken je de informatierepository waarop het haar responses baseert, dit maakt de output van het model uitlegbaar.  

Grounding met het datawarehouse als informatierepository   

Zoals we hebben gezien vereist fine-tuning aanzienlijke hoeveelheden compute resources en expertise voor het trainen van het model. Bovendien heb je voor fine-tuning een hoge kwaliteit dataset nodig die representatief genoeg is voor de domeinkennis die je het model wenst bij te brengen.  

Het nadeel van Prompt Engineering is dat je geen externe kennis toevoegt aan het model tenzij je die expliciet in de prompt meegeeft. Dit maakt deze techniek minder schaalbaar, elke uitbreiding van het kennisdomein vereist immers een nieuwe set aan prompts om het model te ‘updaten’.  

De grounding strategie vereist de beschikking over een informatierepository met een hoge kwaliteit en consistentie zoals we eerder hebben besproken. Die informatierepository kan een gezaghebbende externe website zijn met financiële of metereologische data welke via een API benaderd kan worden. Maar ook bronsystemen zoals ERP of CRM, zorgvuldig gecureerde datasets of zelfs tekstdocumenten kunnen gebruikt worden voor het grounden.  

 Organisaties met een volwassen BI omgeving hebben al een dergelijke hoogkwalitatieve informatierepository, namelijk het datawarehouse. Het datawarehouse is bij uitstek geschikt als gezaghebbende informatierepository. Er is al de nodige effort gestoken in het verzamelen, cureren en structuren van informatie die heeft geleid tot een bron die door de gehele organisatie wordt geaccepteerd en vertrouwd.  

Het datawarehouse bevat als bonus ook nog eens historie die het taalmodel inzicht kan verschaffen in trends en veranderingen. Bovendien combineren we in het datawarehouse traditioneel meerdere bronnen waarmee we het taalmodel in potentie kunnen verrijken met een completer begrip van de domeinspecifieke kennis van de organisatie. Van de drie boven besproken strategieën lijkt grounding dus de meest logische optie in de context van BI.  

Hoe een domeinspecifieke LLM de BI omgeving kan verrijken  

Faciliteren van besluitvorming is met name in BI context een belangrijk thema. Waar BI dashboards vooral zijn ontworpen om grote hoeveelheden data om te zetten in actuele en bruikbare stuurinformatie t.b.v. besluitvorming, kunnen specifiek getrainde LLM’s de BI omgeving verrijken via conversational AI waarbij de exploratie van nieuwe datasets via een chatgesprek met het taalmodel verloopt in plaats het afdraaien van SQL statements tegen een database.  LLM’s stellen ons in staat om met onze BI omgeving te converseren in natuurlijke taal. Dit geeft vooral mogelijkheden op het gebied van selfservice BI, een BI omgeving waarin niet-technische gebruikers zelfstandig aan data exploratie en ‘data discovery’ doen. Ook kan een taalmodel, dat ‘grounded’ is middels het onderliggende datawarehouse, gebruikers helpen met de interpretatie van entiteiten en complexe business logica uit het datawarehouse. Een voordeel waar zowel data analisten als niet- technische gebruikers van kunnen profiteren. Een dergelijk taalmodel helpt bij data storytelling, het proces waarbij verbanden uit complexe datasets worden omgezet in een begrijpelijk verhaal dat gedeeld kan worden met stakeholders.  

 Toekomstige ontwikkelingen  

De ontwikkeling van domeinspecifieke taalmodel toepassingen is op dit moment een van de speerpunten van de AI industrie. OpenAI, het bedrijf achter ChatGPT, heeft onlangs haar GPT’s ecosysteem gelanceerd. Het idee achter GPT’s is dat iedereen zonder enige programmeerkennis een taalmodel kan creëren dat uitgerust is met de specifieke domeinkennis die de gebruiker wenst. Bij het maken van een GPT taalmodel doorloopt de gebruiker een stappenplan waarin het custom prompts kan geven en documenten kan uploaden die domeinspecifieke informatie bevat. Door de combinatie van prompt engineering, grounding en een gemakkelijke ‘no code’ user interface wordt de bouw van specifieke taalmodellen nog toegankelijker voor het grote publiek. GPT’s bereiden volgens OpenAI de maatschappij voor op een nieuwe fase in AI, het gebruik van agents. Dit zijn softwareprogramma’s die niet alleen communiceren in natuurlijke taal, maar ook namens ons, zelfstandig taken uitvoeren, zoals het regelen van een vlucht of het doen van aankopen in een webwinkel. 

Microsofts Copilot ecosysteem van taalmodellen gaat nog een stap verder dan de GPT’s. Hoewel Copilots zijn gebaseerd op een GPT taalmodel wordt Copilot van Microsoft steeds meer geïntegreerd in allerlei diensten zoals Office 365, Microsoft Fabric en PowerBI. Door die integratie krijgt Copilot toegang tot bedrijfsspecifieke data uit deze diensten. Je zou kunnen zeggen dat Copilot via deze integraties automatisch ‘grounded’ is in organisatie specifieke data wat in BI context nieuwe mogelijkheden opent. Een voorbeeld hiervan is het genereren van een compleet dashboard op basis van een tekst prompt van een PowerBI gebruiker. Naast domeinspecifiek wordt Copilot ook steeds meer rolspecifiek, waardoor het elke medewerker van engineer tot manager steeds beter kan ondersteunen in het bouwen en onderhouden van code en rapportages of het schrijven van documenten.  

 Conclusie  

In deze blog hebben we de voordelen van domeinspecifieke taalmodellen voor organisaties besproken. Net zoals het datawarehouse in BI een (single) source of truth rol vervult in een organisatie kan het ook een rol spelen met het ‘grounden’ van taalmodellen. Een door LLM verrijkte BI omgeving biedt nieuwe kansen op het gebied van BI selfservice en data storytelling en kan helpen om complexe data beter te begrijpen.   

Het linken van domeinspecifieke taalmodellen aan BI biedt enorme mogelijkheden voor het verrijken van de BI omgeving.  Om dit te bereiken lijkt grounding de aangewezen oplosrichting. Nieuwe stormachtige ontwikkelingen zoals OpenAi’s GPT’s en Microsoft Copilot hebben de mogelijkheden om taalmodellen domeinspecifiek te maken drastisch verruimd. In het geval van Copilot is grounding zelfs een ‘out-of-the-box’ feature geworden, waardoor het direct inzetbaar is bij de bouw en beheer van BI dashboards of businessrules.  

Nieuwsgierig naar een verdiepende slag of meer toelichting over de besproken onderwerpen? Laat het ons weten en dan nemen we contact met je op. En houd onze posts in de gaten voor meer blogs over dit fascinerende onderwerp.