Halvparten av norske fastleger har brukt KI-chat til informasjon om legemidler
Samtidig viser tester at kunstig intelligens kan gi alvorlig feilaktige svar om dosering.
Bruker norsk helsepersonell KI-chatter til informasjon om legemidler?
Ja, mistenkte ledelsen i Felleskatalogen.
Selskapet deler kvalitetssikret informasjon om alle legemidler på nett, og brukes av alle grupper helsepersonell i Norge.
I årets brukerundersøkelse svarer 56 prosent av de spurte fastlegene at de har brukt generative KI-løsninger (f.eks ChatGPT, Copilot, Gemini (google) eller norske kunnskapschatter) til å innhente informasjon om legemidler de siste 14 dagene.
ChatGPT er det mest brukte verktøyet for alle yrkesgrupper.
KI-chattene tar over
I alle år har trafikken på nettsiden til Felleskatalogen gått opp.
For omtrent ett år siden endret det seg.
– For første gang så vi en reduksjon i bruken av nettsiden vår.
Det sier Bente Cecilie By Jansen, administrerende direktør i Felleskatalogen, under et foredrag på konferansen «AI+ Offentlig sektor» i regi av Høgskolen i Østfold, KS og Halden kommune.
Nettsiden ble besøkt nær 2 millioner ganger i løpet av én måned av ulike automatiserte roboter, såkalte crawlere eller bots, blant annet Googlebot og ChatGPT-boten.
Slike crawlere leser og henter informasjon fra nettsider, blant annet for bruk i søkemotorer og KI-tjenester som KI-chatter
Flest fastleger
Felleskatalogens brukerundersøkelse ble sendt ut til helsepersonell i Norge i februar.
For mange av yrkesgruppene var det nær halvparten som svarte at de hadde brukt generative KI-løsninger (f.eks ChatGPT, Copilot, Gemini (google) eller norske kunnskapschatter) til å innhente informasjon om legemidler de siste 14 dagene.
Det bekymrer Jansen.
Felleskatalogen er blitt kontaktet av flere leverandører som vil lage KI-chatter basert på legemiddelinformasjonen deres.
De har har blant annet testet en kunnskapschat utviklet for norske fastleger. Svarene var ikke alltid riktige.
– Vi har sett flere eksempler på at KI-chattene gir feil svar om riktig medisin og dosering. I en test spurte vi en av KI-chattene om doseringen av et legemiddel til et spedbarn på 6 uker. Svaret den ga viste seg å være doseringen for 2 måneder til 2 år, og ikke doseringen for et spedbarn på seks uker, sier hun.
Kjenner på ansvaret
I andre tester har de sett at KI-chatten blander doseringer for ulike bruksområder.
Bente Jansen understreker at selv om helsepersonell er pliktig etter helsepersonellloven å handle på en måte som er faglig forsvarlig, så føler Felleskatalogen også på et ansvar.
– Vi vet fra brukerundersøkelsen at helsepersonell har skyhøy tillit til Felleskatalogen. Hvis vi inngår et samarbeid med en leverandør av en kunnskapschat og Felleskatalogen oppgis som kilde, kan tilliten helsepersonell har til oss overføres til svarene de får fra chatten, sier Jansen.
Bente Jansen mener en advarsel om at svaret er generert av KI ikke nødvendigvis er nok.
– Vi føler på et stort ansvar for at informasjonen som kommer fra oss brukes riktig.
Høy tillit: Helsefagarbeidere
Samlet sett har helsepersonell lav til moderat tillit til generative KI-løsninger på dette området:
«Den vanligste begrunnelsen for lav tillit er ikke teknologisk motstand i seg selv, men opplevelsen av at generative KI-løsninger mangler sporbarhet, tydelige kilder og garanti for korrekthet. Respondentene beskriver løsninger som kan "hallusinere", blande kilder av ulik kvalitet og presentere feilaktige opplysninger med stor sikkerhet.»
Det skriver Medlytic som har utført undersøkelsen for Felleskatalogen.
Samtidig er tydelige forskjeller mellom profesjoner og arbeidssteder. Blant yrkesgruppene med mer enn 20 respondenter ligger helsefagarbeidere høyest i tillit, mens apotekteknikere ligger lavest.
Hvor mange feil er akseptabelt?
Mange av svarene som helsepersonell får gjennom KI-søk, er riktig. Men de gangene det er feil, kan konsekvensene bli alvorlige.
Bente Cecilie By Jansen mener et avgjørende spørsmål er hvor stor feilmargin man er villig til å akseptere når det gjelder informasjon om legemidler.
– Kan vi akseptere at doseringen er 99,9 prosent riktig, altså at en av tusen doseringer er feil? spør hun.
Samtidig synes Jansen det er vanskelig å fraråde helsepersonell å bruke KI, i og med at mange allerede bruker det i dag.
– Hvis man skal bruke KI, så mener jeg at hver enkelt må gjøre en risikovurdering. Still deg selv spørsmålet: «kan pasienten bli skadet hvis dette svaret ikke er 100 prosent riktig?». Dersom svaret er ja, så bør du alltid klikke deg inn på kildene for å sjekke svaret.
Hva med vanlige folk?
Hvis man googler ulike legemidler i dag, får man et KI-generert svar fra Google om bruksområde og dosering med sitering og kildehenvisning til Felleskatalogen.
Klikker man seg videre til lenka, viser det seg ofte at sammenstillingen Google presenterer, er feil.
– Er dere bekymret for at de som bruker google på denne måten, har tillit til at informasjonen er korrekt fordi kilden er Felleskatalogen?
– Absolutt. Det er svært bekymringsfullt. Når Felleskatalogen oppgis som kilde, kan brukerne lett få inntrykk av at hele svaret er kvalitetssikret av oss, selv om det er Google som har tolket og sammenstilt informasjonen, sier Jansen til Fagbladet.
De arbeider nå med å strukturere og presentere informasjonen fra Felleskatalogen på en måte som gjør den bedre egnet for bruk av store språkmodeller.
– Målet er å redusere risikoen for feilaktige sammenstillinger og bidra til at svarene blir mer presise over tid, i takt med at språkmodellene utvikles, sier hun.
De har for tiden ikke vurdert å gjøre en lignende undersøkelse av bruken blant pasienter, men sier det kan være aktuelt å gjøre noe sammen med Direktoratet for medisinske produkter.
De har en kampanje sammen med dem om bruk av digitale pakningsvedlegg.
