Når vi hører om AI, drejer samtalen sig næsten altid om de vi kender som generativ AI, specielt generative sprogmodeller. Men som Gartner udtrykker det: "AI does not revolve around GenAI." Efter et par år med at vænne os til chatbots og copilots, mener vi, at næste fase, hvor AI vil have reel indflydelse på virksomheder og industrier, er Hybrid AI, som kombinerer både generativ og ikke-generativ AI.
Denne blog reflekterer over ikke-generativ AI’s rolle i RAG-løsninger (Retrieval Augmented Generation) og introducerer værdien af prædiktive modeller i en ny hybrid AI-ramme, som vi kan kalde PAG, der betyder "Prediction Augmented Generation".
Opsummering: Hvad er der sket indtil nu?
Lad os starte med en opsummering. I starten af 2023 så vi en gamechanger: ChatGPT blev introduceret, og endelig kunne folk få en fornemmelse af AI's store potentiale. Måske testede du ChatGPT lige som mig og tænkte: "Wow, den taler faktisk!"
Chatbots svarede på spørgsmål, som om de var mennesker. Men vi opdagede hurtigt problemerne med de generative modeller bag værktøjer som GPT. Virksomheder har brug for svar på spørgsmål, der kræver intern viden om deres drift, produkter, kunder og retningslinjer. Til disse spørgsmål svarer GPT enten: "Jeg ved det ikke" eller opdigter et svar.
Svar på ovenstående spørgsmål kræver intern viden – og deraf kommer den uheldige sandhed, at chatbots baseret på GenAI svarede, som en medarbejder ville, der ikke arbejder i din virksomhed.
Introduktion til semantisk søgning
Heldigvis har vi et andet trick i ærmet til at løse dette problem: semantisk søgning. Dette gør det muligt for en chatløsning at gennemsøge store mængder af intern dokumentation for at finde de mest relevante oplysninger til at besvare et spørgsmål. Generativ AI uddyber derefter disse oplysninger – på godt og ondt – takket være dens evner til at efterligne menneskeligt sprog, primært baseret på internettekst. Gennem denne uddybning gør GenAI dog altid svaret mere letforståeligt og anvendeligt.
Semantisk søgning er "Retrieval"-delen af RAG, Retrieval Augmented Generation. Det er ikke generativ AI, men det er stadig AI, fordi en god semantisk søgemodel forstår sprog. Den er trænet på menneskeligt sprog og kan derfor forstå konteksten af et spørgsmål. For eksempel, hvis du beder en semantisk søgemodel om at finde den mest relevante tekst til spørgsmålet: "Hvilke celler tildeles førstegangsforbrydere?", vil den returnere tekst fra retningslinjer om pladsadministration i et fængsel og springe al dokumentation over omkring battericeller eller kræftceller.
Brugen af ikke-generativ AI til semantisk søgning har sine rødder i Natural Language Processing (NLP) og Natural Language Understanding (NLU). Og selvom chatoplevelsen i RAG får os til at tænke på det som "generativ AI", er det i virkeligheden den ikke-generative "R" i "RAG", der skaber mest værdi.
Så, spoiler alert: Alle, der bruger RAG i dag, anvender allerede Hybrid AI.
Men RAG har sine begrænsninger.
Nu begynder folk at bemærke, at der er et større problem med chatbots. De mest værdifulde spørgsmål ser faktisk sådan ud:
Det er her, hvor RAG bryder sammen, da der ikke er noget brugbart, der kan "hentes":
En person, der har ansvar for udstyr i et mineselskab har heller ikke et magisk dokument, der fortæller vedkommende, hvilken komponent der skal udskiftes i en specifik boreenhed.
- Et salgsteam inden for kontorartikler har ikke et magisk dokument, der fortæller dem, om John Smith sandsynligvis vil købe en ny LCD-skærm.
- En person, der har ansvar for udstyr i et mineselskab har heller ikke et magisk dokument, der fortæller vedkommende, hvilken komponent der skal udskiftes i en specifik boreenhed.
Maskinlæring og prædiktive indsigter
Heldigvis har vi endnu et trick i ærmet: Maskinlæring (ML).
Maskinlæring har været her i årevis, men har aldrig haft den samme gennemslagskraft som GPT. Det skyldes måske, at ML ofte blot returnerer sandsynligheder, hvilket kan være svært at anvende i praksis.
For eksempel kan vi træne en prædiktiv model på salgsdata fra tidligere tilbud. Modellen kan derefter forudsige, om et nyt tilbud vil blive accepteret eller afvist. Endnu vigtigere kan den give indsigt i, hvorfor et resultat er sandsynligt, hvilket hjælper salgsteamet med at træffe informerede beslutninger.
Husker du ML? Det har eksisteret i årevis, men har aldrig nydt den samme banebrydende fanfare som GPT. Måske fik ML endda et dårligt ry for at bruge meget PoC-tid med relativt lille effekt. En del af årsagen kan være, at de rå output fra Machine Learning er sandsynligheder. Hvad er sandsynligheden for, at nogen vil købe et produkt? Hvad er sandsynligheden for, at nogen tilhører denne kategori? Det har vist sig at være svært at gøre brug af en maskine, der bare spytter sandsynligheder ud — med andre ord, ML talte ikke til os...
Så lad os opsummere Machine Learning. Det er en model, der lærer af tidligere data for at forudsige og forklare nutiden og fremtiden. For et typisk forretningsbrug af ML kan vi træne en prædiktiv model på salgsdata fra et tilbud, der er blevet accepteret og afvist tidligere. Derefter, for et nyt tilbud, forudsiger modellen, om det vil blive accepteret eller afvist. Det fungerer, fordi accept/afvisningsbeslutningen er påvirket af alle de detaljer, vi har om kunden, produktet, prisen, markedet — og endda årstiden (måske).
Som en ekstra bonus kommer ML-forudsigelser med en indikation af, hvorfor resultatet sandsynligvis vil være på den ene eller anden måde. I eksemplet ovenfor kunne modellen forudsige, at et tilbud vil blive accepteret og samtidig afsløre, at det i dette særlige tilfælde er den geografiske placering af kunden eller betalingsplanen for produktet, der mest påvirker deres beslutning om at købe. Sådanne indsigter er værdifulde for salgsprofessionelle, når de diskuterer med kunden.
For en typisk industriel use case kan vi træne en prædiktiv model på sensordata fra online maskiner, der har kørt fint og dem, der er fejlet i løbet af det sidste år. Denne model kan derefter genkende tidlige tegn på fejl og relatere dem til specifikke maskinkomponenter.
Forudsigelser, hvor fakta ikke er tilgængelige
Sådan erstatter prædiktive modeller semantisk søgning
Prædiktive modeller som disse kan erstatte den semantiske søgning af Retrieval Augmented Generation (RAG), hvilket skaber noget, vi kunne kalde PAG: Prediction Augmented Generation. En PAG-løsning fungerer på samme måde som RAG, men den søger ikke efter svaret på et spørgsmål i et magisk internt dokument, der kan forudsige fremtiden. I stedet udnytter den prædiktive modeller.
PAG-arkitekturen supplerer ML med GenAI, hvor GenAI fungerer som både en oversætter og en kommunikator.
Som oversætter vil GenAI:
- Først oversætte det menneskelige spørgsmål til input for en prædiktiv model.
- Derefter oversætte modeloutputtet (sandsynligheder og årsager) til et meningsfuldt, menneskeligt svar.
Som kommunikator vil GenAI derefter uddybe denne information — nøjagtigt eller ej — ved at trække på sin evne til at efterligne menneskelige svar, primært baseret på internettekst.
Denne brug af ikke-generativ AI til forudsigelser sætter "P" i "PAG" og giver den største værdi, mens chatoplevelsen sikrer, at fordelene vil blive realiseret af mennesker, der bare vil have nogen at tale med.
Med RAG er resultatet et eksempel på hybrid AI, der kombinerer GenAI med NonGen - men i modsætning til RAG giver løsningen nyttige råd, også selvom der mangler konkrete fakta.
Hybrid AI – kombinationen af NonGen AI og GenAI. PAG eksemplet:
To typer af use cases for Prediction Augmented Generation (PAG)
Der findes mange use cases for PAG, som udnytter cloud-teknologier til både at gøre brug af og levere modelbaserede forudsigelser.
En gruppe af use cases anvender forudsigelser i batchprocesser, der forsyner en virksomheds datalager. For eksempel kan en forudsigelsesmodel for potentielle kunder være trænet på baggrund af data fra tusindvis af tidligere tilbud. Hvert tilbud kan indeholde 100 forskellige dataelementer, såsom produkt-, pris-, kunde- og andre oplysninger. Efter endt arbejdsdag bliver nye data om kunder og potentielle kunder tilgængelige, hvorefter den prædiktive model scorer alle potentielle kunder i dagens batch baseret på sandsynligheden for, at de vil købe bestemte produkter. Disse scorer gemmes i en database sammen med andre oplysninger, som er nyttige for salgsteamet den næste dag.
En anden gruppe af use cases henter forudsigelser fra modellen "on demand". Her oprettes en API, som enhver applikation kan anvende ved at sende de nødvendige oplysninger til modellen. For eksempel kan den førnævnte forudsigelsesmodel for potentielle kunder bruges i realtid, når et nyt prospekt dukker op. De samme 100 dataelementer samles for det nye prospekt og indtastes i model-API’en. API’en returnerer derefter en enkelt score, der angiver sandsynligheden for, at denne potentielle kunde vil købe et givent produkt.
Eksempel på en PAG case, der burger anonymiserede kundedata: Prospector Agent
Lad os se på et eksempel fra en sælgers perspektiv, hvor PAG er aktiveret i en AI-assistent. I følgende tre eksempler bruger AI-agenten batchscoring og udfører disse trin:
- Modtager brugerns spørgsmål
- Genkender, at brugeren søger information om tidligere scorede potentielle kunder
- Oversætter spørgsmålet til modelinput: antal ønskede potentielle kunder og deres prioritering.
- Henter de bedste potentielle kunder fra databasen, som blev scoret natten før.
- Finder kontaktoplysningerne til disse for at assistere salgsopgaver.
- Strukturerer og leverer informationen i et letforståeligt format sammen med menneskelignende rådgivning.
Chatbotten er blevet et prædiktivt supportværktøj, som leverer alle nødvendige oplysninger i samme chatvindue. Her kan både Retrieval-Augmented Generation (RAG) og Prediction-Augmented Generation (PAG) anvendes efter behov.
Fordelene ved at bruge Generativ AI til at fortolke ML-output bliver endnu tydeligere med et princip kaldet " explainability”. Her giver modellen ikke kun en forudsigelse, men også en forklaring på, hvilke data der påvirkede resultatet mest.
I det næste eksempel bruger AI-agenten on-demand scoring og går igennem følgende trin:
- Bekræfter interaktivt, hvilken virksomhed der bliver vurderet som potentiel kunde
- Henter derefter detaljer og sender dem til model-API’en.
- API’en returnerer en sandsynlighedsscore samt de vigtigste datapunkter bag forudsigelsen.
- Oversætter scoren og de mest indflydelsesrige data til menneskelignende rådgivning.
Det sidste trin demonstrerer den fulde synergi mellem prædiktiv modellering og generativ AI, hvor en rå score sjældent kan stå alene. Historien viser, at tal kan være svære at tolke og stole på i, når der skal træffes beslutninger. Men med PAG modtager brugeren rådgivning med begrundelser – ikke kun en talværdi. Dette sparer tid og øger sandsynligheden for succesfulde salg.
Det foregående eksempel demonstrerede hybrid AI med strukturerede, operationelle data fra forretningsapplikationer. Dette repræsenterer en stor gruppe af operationelle anvendelsesmuligheder, der understøtter beslutninger inden for salg, kundeservice og CRM.
Dog er maskinlæringsmodeller også særligt stærke til at håndtere ustrukturerede data, såsom fysiske målinger og realtidsmonitorering af maskiner. Dette åbner døren for flere muligheder for forudsigende vedligeholdelse i industrier, hvor udstyr og sensorer genererer tidsseriedata.
Det næste eksempel illustrerer denne type anvendelse ved hjælp af data fra sensorer i bærbare enheder. Disse data blev indsamlet i en forskningsundersøgelse af medarbejdere, der oplevede stress under skifteholdsarbejde.
Eksempel på use case med IoT-data: Employee Stress Alert
Maskinlæringsmodeller er ikke kun til gavn for strukturerede forretningsdata, men også for ustrukturerede data som fysiske målinger og realtidsmonitorering.
Et eksempel på dette er en Employee Stress Alert, hvor en stressprediktionsmodel trænes ved hjælp af:
- Fysiske målinger fra en bærbar enhed (hjerterytme, sved og bevægelser).
- Tekstdata fra en spørgeskemaundersøgelse, hvor medarbejdere beskriver deres arbejdsdag.
Ved at kombinere disse data kan modellen forudsige stressniveauer efter fremtidige skift, baseret på et enkelt skriftligt resumé fra medarbejderen samt nye sensordata fra en bærbar enhed. 
I det følgende scenarie bruger AI-agenten on-demand scoring og udfører disse trin:
- Modtager medarbejderens naturlige sprogresume fra vedkommendes arbejdsdag.
- Henter de tilsvarende fysiske data fra cloud storage baseret på bruger-ID.
- Sender det samlede input til model-API’en.
- Modtager en stressprediktionsscore. O
- versætter scoren til meningsfuld, personlig rådgivning.
Kombination af prædiktive modeller med GenAI
Det sidste trin viser kraften i at kombinere prædiktive modeller med GenAI: rådgivning om, hvad der bør gøres, specifikt for det stressniveau, som modellen forudsiger, beriges med den ‘viden’, der er indeholdt i modeller som GPT fra store mængder internettekst.
Rådgivning vedrørende sundhed og sikkerhed bør dog altid behandles med forsigtighed, og i de fleste tilfælde vil vi vælge at berige agentens rådgivning yderligere med interne retningslinjer vedrørende tilgængelig hjælp eller procedurer, der skal følges i henhold til arbejdsgiveren. Dette bringer vores gamle ven, semantisk søgning, tilbage i en sømløs pipeline af Prediction, Retrieval, and Generation (PRAG?).
Employee Stress Agent repræsenterer den bredere familie af “prædiktiv vedligeholdelse”-use cases, hvor der forventes at komme mere værdi fra industriel brug af PAG med tilsluttede udstyr, såsom i produktionsindustrierne. I denne kontekst kan behovet for at gribe ind genkendes af en løsning, der overvåger IoT-data på to måder:
- Anomalidetektionsmodel: når et bestemt signal viser uventet adfærd, der retfærdiggør en inspektion.
- Maskinlæringsmodel: når den komplekse kombination af flere, interagerende signaler ligner omstændigheder, der tidligere har ført til fejl – noget, der kun afsløres af en model, der har lært fra historiske data.
I begge tilfælde drager prædiktiv vedligeholdelse fordel af Hybrid AI på følgende måder:
Modellen giver forudsigelsen (sandsynligheden) af et problem sammen med indikatorer for, hvorfor et problem er sandsynligt, såsom hvilke specifikke signaler der har størst indflydelse på en forudsigelse, eller hvilke historiske fejl der blev forudgået af den mest lignende adfærd.
Forudsigelsen, sammen med begrundelserne for at anbefale at gribe ind og tage action, kan bruges i en endelig semantisk søgning gennem teknisk dokumentation for at rådgive om, hvilke maskinkomponenter der bør inspiceres og give detaljer om deres standardvedligeholdelseskrav, livscyklus osv.
PAG og demonstrationerne her er et stort skridt mod realiseringen af den næste revolution inden for AI, som forudset af Gartner, der denne sommer forudsagde fremkomsten af Hybrid AI med følgende udsagn:
"Overfocusing on Gen AI can lead to ignoring the broader set of alternative and more established AI techniques, which are a better fit for the majority of potential AI use cases."
"Organizations that develop the ability to combine the right AI techniques are uniquely positioned to build AI systems that have better accuracy, transparency and performance, while also reducing costs and need of data."
Leinar Ramos, Gartner Senior Director Analyst
For at opsummere, har ChatGPT genoplivet interessen for AI som et kraftfuldt værktøj i digitaliseringen af erhvervslivet og industrien, fordi – “Wow, den TALER virkelig til mig!”
Men siden introduktionen og succesen med RAG-løsninger er det blevet tydeligt, at generativ AI’s rolle er at opsummere, berige og kombinere resultaterne fra NonGen AI, hvilket gør disse resultater mere handlingsorienterede med større sikkerhed og specifikke anbefalinger.
I denne blog har vi udvidet denne hybride filosofi for at vise fordelene ved at kombinere GenAI med prædiktive modeller fra Maskinlæring. Det resulterende Hybrid AI-framework, som vi her har kaldt Prediction Augmented Generation (PAG), er blevet demonstreret til at gavne både operationelle use cases (f.eks. salg) samt IoT-use cases (vist for personlig sundhed og, i forlængelse heraf, prædiktiv vedligeholdelse af maskiner).
Om forfatteren
Tony Shepherd har en Ph.D. i Computer Science fra University College London, hvor hans afhandling fokuserede på maskinlæring. Han arbejder som Senior Consultant i twodays Data & Analytics team.