Københavns Kommunes kontrolenhed vil ved hjælp af kunstig intelligens/machine learning effektivisere kontrollen med offentlige ydelser. Målet er at sende det nye system i luften ved årsskiftet.
Københavns Kommune vil føre automatiseret kontrol med, om borgere får udbetalt de korrekte offentlige ydelser.
Kontorchef i kontrolenheden Peter Heiberg, udtaler: ”Kontrolenheden udfører bopælskontrol i forhold til borgere, der modtager offentlige ydelser. Det er typisk sager om borgere, der bør registreres udrejst af Danmark eller borgere, der reelt er samlevende med en anden borger. Vi er interesserede i at se på anvendelsen af nye teknologier, så vi mere effektivt kan identificere de sager, hvor grundlaget for modtagelsen af offentlige ydelser ikke stemmer overens med de faktiske forhold. Det gælder i øvrigt også i de tilfælde, hvor borgeren kan være berettiget til en anden og eventuelt højere offentlig ydelse. Vi vil ved hjælp af løsningen kunne løse flere sager, så borgerne får udbetalt de offentlige ydelser, de er berettiget til – hverken mere eller mindre.”.
Kommunen har trænet algoritmen med mere end 1000 sager.
”Vi afrapporterer kommunens kontrolindsats hvert år. Vi har manuelt gennemgået ca. 500 sager i 2019, og der var en samfundsbesparelse i ca. 300 sager, svarende til 60 pct. Når vi indfører ny teknologi, sker det også for at effektivisere flowet, da vi også bruger tid på de sager, hvor der ikke er en besparelse. Formålet med løsningen er at automatisere flowet for at finde de sager, hvor der er noget at komme efter”.
”Herudover vil vi gerne med den nye løsning undgå at ’forstyrre’ borgerne i de 200 sager, hvor der ikke er grundlag for at træffe en afgørelse”, siger Peter Heiberg.
Han understreger, at der ikke sker ændringer i datagrundlaget eller i behandlingen af sagen. Det, kommunen gør med kunstig intelligens, er det samme, som kontrolenheden i dag gør manuelt. Det er bare meget nemmere, når prioriteringen af sagerne foregår automatisk og mere effektivt.
”Alle forvaltnings- og persondataretlige regler bliver naturligvis overholdt. Det vil altid være en sagsbehandler, der træffer den endelige afgørelse, som borgeren også kan komme i kontakt med,” siger Peter Heiberg.
Værktøjskassen
I Koncern-IT i Københavns Kommune er der et kompetencecenter
for automatiseringsteknologi. I Businesscasen for projektet i kontrol-
enheden vurderer Økonomiforvaltningen, at kommunen allerede har sparet omkring 78.000 timer i sagsbehandling og administration ved hjælp af RPA-robotter. Men nu kommer machine learning og kunstig intelligens ind i kampen mod socialt bedrageri.
Kontorchef i Kompetencecenteret Jacob Honore, Koncern IT: ”Vi arbejder med automatiseringsteknologi. Det er forretningen, altså i dette tilfælde Kontrolenheden, der henvender sig til os med et konkret problem. Vi har så en værktøjskasse, som vi kan bruge. Vi har i mange år arbejdet med RPA-robotter, som giver gode effektiviseringer ved gentagne, ensartede processer. Det kan ske med relativt lave omkostninger. Så man kan hurtigt gå fra forretningsbehov til færdig løsning.”
”Når vi snakker Machine Learning, så er det nærmere som en lottokupon. Det er ret svært at forudsige udfaldet. I det her tilfælde har kontrolenheden et behov for at kigge på eksisterende datasæt, hvor der er et datasæt med en mængde af sager. Og forretningen har en hypotese om, hvad datasættene i disse sager kan bruges til. Vi kigger så på, hvilket udfald sagerne har fået. Herefter finder vi den Machine Learning model, som giver det bedste resultat, hvor den færdige leverance er en algoritme. Det er så herfra, vi finder ud af, hvor præcist vi rammer, og hvilke gevinster det vil give. Herefter sætter vi algoritmen i produktion og gentræner algoritmen alt efter behov.”
”Machine Learning er datadrevet. Data skal være til stede, og de skal være struktureret og retvisende, ellers virker løsningen ikke. Vores opgave er at ramme skiven så præcist som muligt. Det giver sjældent mening at lave en løsning med en træfprocent på 20. Vi skal, alt efter casen, helst op over 80-90 pct. i træfsikkerhed. Derfor laver vores kompetencecenter først et Proof of Concept. Vi tager data ind og analyserer dem for at efterprøve de formodede gevinster, før vi bygger den egentlige løsning”. siger Jacob Honore.
Derefter kommer man frem til bedre resultater ved at træne algoritmerne op mod forskellige relevante datasæt. Jo bedre data, desto bedre resultater.
Forsigtighed
Peter Heiberg vil gerne tage den nye løsning i drift ved årsskiftet. Han har dog lige et forbehold.
”Det er vigtigt at sige, at vi er afhængige af omverdenen. Der er en række datakilder, hvor vi skal være helt sikre på, at alle regler overholdes, ligesom der skal indgås de nødvendige databehandleraftaler. Det kan komme til at tage længere tid end beregnet, da vi også er afhængige af ressourceforbruget, økonomien generelt, samarbejdet med andre myndigheder mv. Vi er forsigtige, når det gælder om at tage det i brug. Så idriftsættelsen kan trække ud – det skal gå ordentligt til i alle led af processen – det er borgernes data, og vi er her for borgernes skyld og løsningen er for borgernes skyld. Derfor kan det være, at vi starter med en mellemløsning, hvor vi begynder med få udvalgte datakilder, og herefter fuldfører undersøgelsen af sagen manuelt som i dag. Og senere kommer så en version, der også træner algoritmen med flere datasæt,” siger Peter Heiberg.
I løsningen er der også en brugergrænseflade til sagsbehandlerne. Den udstiller de identificerede sager i rækkefølge alt efter algoritmens vurdering af datagrundlaget. Herudover fremstilles datagrundlaget i et ’forklaringsark’, hvor de data, der ligger til grund for algoritmens vurdering fremgår, så borgeren også ved anmodning om aktindsigt mv. kan få indsigt i Kontrolenhedens grundlag for afgørelsen. Tilsvarende løsning kendes fra KOMBITs “Serviceplatformen”, hvor der tilvejebringes et oversigtsbillede med de data, som er indhentet om den enkelte sag.
Jacob Honoré: ”Har vi en god datakvalitet, rammer vi også mere præcist med at identificere borgerne. Har vi en dårligere datakvalitet, rammer vi mindre præcist, og resultatet ved at bruge machine learning har en lavere effekt. Så når alt kommer til alt, handler det om datakvalitet, og hvordan vi modulerer data, så de passer til en algoritme.”
”Det er meget forskelligt med hensyn til omkostninger. Det kommer an på, hvilke datasæt der er, og hvilke hypoteser forretningen har, og hvilke resultater forretningen vil opnå. Ændrer du datasættet, skal du ændre algoritmen. Så hvis du spørger hvor lang tid det tager at nå frem til et resultat, er mit svar. Lige så lang tid som det tager at fange en fisk,” siger Jacob Honoré.
Dataetik
Et centralt emne i forbindelse med at anvende kunstig intelligens – drejer sig om etik og bias i løsninger. Københavns Kommune har udformet deres eget etiske regelsæt om brugen af kunstig intelligens. ”Vi er meget optaget af at overholde GDPR-lovgivningen. Der er ikke den store forskel på det, vi gør i dag, og det vi vil gøre fremover med kunstig intelligens. Det, der er den store forskel, er den tid sagsbehandlerne bruger på at finde de sager, hvor der er grundlag for at træffe en afgørelse. Algoritmen gør det mere objektivt. Det er algoritmen, der finder sagerne, og sagsbehandlerne går de sager igennem, som algoritmen har identificeret,” siger Peter Heiberg.
”Vi skylder borgerne at være mest mulig effektive. Som jeg tidligere nævnte, skal vi som offentlig myndighed sørge for at udbetale korrekte offentlige ydelser. Vi skylder også borgerne at opdage fejl, så borgerne ikke får for lidt udbetalt i forhold til, hvad de er berettiget til. Og hvis der er fejl, hvor en borger modtager ydelser, vedkommende ikke er berettiget til, har vi en forpligtelse til at gøre opmærksom på så hurtigt som muligt, så borgeren ikke mødes af et uforholdsmæssigt stort tilbagebetalingskrav. Vi skal opdage fejl hurtigt. Derfor er det også fornuftigt at se på brugen af nye teknologier – og det forventer borgerne også af os”.
FAKTA
Kodeksets fem mål for anvendelsen af kunstig intelligens er:
1.
Der skal være tillid til kommunens brug af kunstig intelligens
2.
Kunstig intelligens skal bidrage til bedre service for borgere og virksomheder
3.
Kunstig intelligens skal frigive ressourcer til kernevelfærden
4.
Kunstig intelligens skal være en støtte til fagligheden
5.
Kodekset skal følge erfaringer og udvikling i lovgivningen
Større etiske og juridiske spørgsmål vil blive afsøgt i dialog med staten og KL og i de fællesoffentlige signaturprojekter. Kommunens administrative It-kreds vil vurdere behovet for yderligere administrative retningslinjer om anvendelsen af kunstig intelligens i kommunen.
Kontorchef i kontrolenheden Peter Heiberg, udtaler: ”Kontrolenheden udfører bopælskontrol i forhold til borgere, der modtager offentlige ydelser. Det er typisk sager om borgere, der bør registreres udrejst af Danmark eller borgere, der reelt er samlevende med en anden borger. Vi er interesserede i at se på anvendelsen af nye teknologier, så vi mere effektivt kan identificere de sager, hvor grundlaget for modtagelsen af offentlige ydelser ikke stemmer overens med de faktiske forhold. Det gælder i øvrigt også i de tilfælde, hvor borgeren kan være berettiget til en anden og eventuelt højere offentlig ydelse. Vi vil ved hjælp af løsningen kunne løse flere sager, så borgerne får udbetalt de offentlige ydelser, de er berettiget til – hverken mere eller mindre.”.
Kommunen har trænet algoritmen med mere end 1000 sager.
”Vi afrapporterer kommunens kontrolindsats hvert år. Vi har manuelt gennemgået ca. 500 sager i 2019, og der var en samfundsbesparelse i ca. 300 sager, svarende til 60 pct. Når vi indfører ny teknologi, sker det også for at effektivisere flowet, da vi også bruger tid på de sager, hvor der ikke er en besparelse. Formålet med løsningen er at automatisere flowet for at finde de sager, hvor der er noget at komme efter”.
”Herudover vil vi gerne med den nye løsning undgå at ’forstyrre’ borgerne i de 200 sager, hvor der ikke er grundlag for at træffe en afgørelse”, siger Peter Heiberg.
Han understreger, at der ikke sker ændringer i datagrundlaget eller i behandlingen af sagen. Det, kommunen gør med kunstig intelligens, er det samme, som kontrolenheden i dag gør manuelt. Det er bare meget nemmere, når prioriteringen af sagerne foregår automatisk og mere effektivt.
”Alle forvaltnings- og persondataretlige regler bliver naturligvis overholdt. Det vil altid være en sagsbehandler, der træffer den endelige afgørelse, som borgeren også kan komme i kontakt med,” siger Peter Heiberg.
Værktøjskassen
I Koncern-IT i Københavns Kommune er der et kompetencecenter
for automatiseringsteknologi. I Businesscasen for projektet i kontrol-
enheden vurderer Økonomiforvaltningen, at kommunen allerede har sparet omkring 78.000 timer i sagsbehandling og administration ved hjælp af RPA-robotter. Men nu kommer machine learning og kunstig intelligens ind i kampen mod socialt bedrageri.
Kontorchef i Kompetencecenteret Jacob Honore, Koncern IT: ”Vi arbejder med automatiseringsteknologi. Det er forretningen, altså i dette tilfælde Kontrolenheden, der henvender sig til os med et konkret problem. Vi har så en værktøjskasse, som vi kan bruge. Vi har i mange år arbejdet med RPA-robotter, som giver gode effektiviseringer ved gentagne, ensartede processer. Det kan ske med relativt lave omkostninger. Så man kan hurtigt gå fra forretningsbehov til færdig løsning.”
”Når vi snakker Machine Learning, så er det nærmere som en lottokupon. Det er ret svært at forudsige udfaldet. I det her tilfælde har kontrolenheden et behov for at kigge på eksisterende datasæt, hvor der er et datasæt med en mængde af sager. Og forretningen har en hypotese om, hvad datasættene i disse sager kan bruges til. Vi kigger så på, hvilket udfald sagerne har fået. Herefter finder vi den Machine Learning model, som giver det bedste resultat, hvor den færdige leverance er en algoritme. Det er så herfra, vi finder ud af, hvor præcist vi rammer, og hvilke gevinster det vil give. Herefter sætter vi algoritmen i produktion og gentræner algoritmen alt efter behov.”
”Machine Learning er datadrevet. Data skal være til stede, og de skal være struktureret og retvisende, ellers virker løsningen ikke. Vores opgave er at ramme skiven så præcist som muligt. Det giver sjældent mening at lave en løsning med en træfprocent på 20. Vi skal, alt efter casen, helst op over 80-90 pct. i træfsikkerhed. Derfor laver vores kompetencecenter først et Proof of Concept. Vi tager data ind og analyserer dem for at efterprøve de formodede gevinster, før vi bygger den egentlige løsning”. siger Jacob Honore.
Derefter kommer man frem til bedre resultater ved at træne algoritmerne op mod forskellige relevante datasæt. Jo bedre data, desto bedre resultater.
Forsigtighed
Peter Heiberg vil gerne tage den nye løsning i drift ved årsskiftet. Han har dog lige et forbehold.
”Det er vigtigt at sige, at vi er afhængige af omverdenen. Der er en række datakilder, hvor vi skal være helt sikre på, at alle regler overholdes, ligesom der skal indgås de nødvendige databehandleraftaler. Det kan komme til at tage længere tid end beregnet, da vi også er afhængige af ressourceforbruget, økonomien generelt, samarbejdet med andre myndigheder mv. Vi er forsigtige, når det gælder om at tage det i brug. Så idriftsættelsen kan trække ud – det skal gå ordentligt til i alle led af processen – det er borgernes data, og vi er her for borgernes skyld og løsningen er for borgernes skyld. Derfor kan det være, at vi starter med en mellemløsning, hvor vi begynder med få udvalgte datakilder, og herefter fuldfører undersøgelsen af sagen manuelt som i dag. Og senere kommer så en version, der også træner algoritmen med flere datasæt,” siger Peter Heiberg.
I løsningen er der også en brugergrænseflade til sagsbehandlerne. Den udstiller de identificerede sager i rækkefølge alt efter algoritmens vurdering af datagrundlaget. Herudover fremstilles datagrundlaget i et ’forklaringsark’, hvor de data, der ligger til grund for algoritmens vurdering fremgår, så borgeren også ved anmodning om aktindsigt mv. kan få indsigt i Kontrolenhedens grundlag for afgørelsen. Tilsvarende løsning kendes fra KOMBITs “Serviceplatformen”, hvor der tilvejebringes et oversigtsbillede med de data, som er indhentet om den enkelte sag.
Jacob Honoré: ”Har vi en god datakvalitet, rammer vi også mere præcist med at identificere borgerne. Har vi en dårligere datakvalitet, rammer vi mindre præcist, og resultatet ved at bruge machine learning har en lavere effekt. Så når alt kommer til alt, handler det om datakvalitet, og hvordan vi modulerer data, så de passer til en algoritme.”
”Det er meget forskelligt med hensyn til omkostninger. Det kommer an på, hvilke datasæt der er, og hvilke hypoteser forretningen har, og hvilke resultater forretningen vil opnå. Ændrer du datasættet, skal du ændre algoritmen. Så hvis du spørger hvor lang tid det tager at nå frem til et resultat, er mit svar. Lige så lang tid som det tager at fange en fisk,” siger Jacob Honoré.
Dataetik
Et centralt emne i forbindelse med at anvende kunstig intelligens – drejer sig om etik og bias i løsninger. Københavns Kommune har udformet deres eget etiske regelsæt om brugen af kunstig intelligens. ”Vi er meget optaget af at overholde GDPR-lovgivningen. Der er ikke den store forskel på det, vi gør i dag, og det vi vil gøre fremover med kunstig intelligens. Det, der er den store forskel, er den tid sagsbehandlerne bruger på at finde de sager, hvor der er grundlag for at træffe en afgørelse. Algoritmen gør det mere objektivt. Det er algoritmen, der finder sagerne, og sagsbehandlerne går de sager igennem, som algoritmen har identificeret,” siger Peter Heiberg.
”Vi skylder borgerne at være mest mulig effektive. Som jeg tidligere nævnte, skal vi som offentlig myndighed sørge for at udbetale korrekte offentlige ydelser. Vi skylder også borgerne at opdage fejl, så borgerne ikke får for lidt udbetalt i forhold til, hvad de er berettiget til. Og hvis der er fejl, hvor en borger modtager ydelser, vedkommende ikke er berettiget til, har vi en forpligtelse til at gøre opmærksom på så hurtigt som muligt, så borgeren ikke mødes af et uforholdsmæssigt stort tilbagebetalingskrav. Vi skal opdage fejl hurtigt. Derfor er det også fornuftigt at se på brugen af nye teknologier – og det forventer borgerne også af os”.
FAKTA
Kodeksets fem mål for anvendelsen af kunstig intelligens er:
1.
Der skal være tillid til kommunens brug af kunstig intelligens
2.
Kunstig intelligens skal bidrage til bedre service for borgere og virksomheder
3.
Kunstig intelligens skal frigive ressourcer til kernevelfærden
4.
Kunstig intelligens skal være en støtte til fagligheden
5.
Kodekset skal følge erfaringer og udvikling i lovgivningen
Større etiske og juridiske spørgsmål vil blive afsøgt i dialog med staten og KL og i de fællesoffentlige signaturprojekter. Kommunens administrative It-kreds vil vurdere behovet for yderligere administrative retningslinjer om anvendelsen af kunstig intelligens i kommunen.