3 typiske fejl ved evaluering af offentlig innovation – og hvordan du fikser dem
Tre meget typiske fejl bliver ved med dukke op, når innovation i den offentlige sektor skal evalueres. Den gode nyhed er, at der er mulighed for at fikse dem alle. Og det er ikke svært.
Denne artikel er oprindelig bragt i Der Tagesspiegel i forbindelse med COI’s deltagelse i Creative Bureaucracy Festival i Berlin den 7.-8. september 2018.
8 ud af 10 arbejdspladser i den offentlige sektor i Danmark har indført mindst en innovation i løbet af 2015-2016. 3 ud af 4 innovationer skaber værdi i form af forbedret kvalitet i den offentlige sektor, og næsten halvdelen af innovationerne øger effektiviteten. Det viser nogle af indsigterne i det danske Innovationsbarometer – verdens første statistik om offentlig innovation.
Danmark har længe arbejdet med offentlig innovation, hvilket betyder, at der findes en relativ høj innovationsmodenhed i den danske offentlige sektor. Kompetencerne er til stede, og de finpudses ikke alene i særlige innovationsforløb men som en integreret del af uddannelsessystemet – både på gymnasieniveau og på de videregående uddannelser. På arbejdspladserne ser vi mange steder en kvalificeret brug af innovationshåndbøger, -procesmodeller og -værktøjer, og vi ser igen og igen imponerende resultater af det arbejde.
Midt i denne eventyr-agtige fortælling om offentlig innovation i Danmark – hvad bøvler vi så stadig med? Svaret kommer fra nogle af de erfarne innovationschefer og -aktører i den danske offentlige sektor: implementering, evaluering og spredning af innovation. Hvordan kan vi sikre, at offentlig innovation ikke blot viser sig som de mindre, individuelle projekter, men at innovationerne bliver godt forankrede og skalerbare? For os i Center for Offentlig Innovation viser netop det spørgsmål et ønske om at nå et nyt innovationsmodenhedsniveau – et ønske om systemforandringer.
Bedre innovationer og bedre forankring
En nøgle til at opnå dette er netop passende metoder til måling og evaluering. Som en offentligt ansat fortalte mig: "En mere struktureret tilgang til evaluering af innovative tiltag har gjort os skarpere på at fastholde fokus på at gennemføre innovationsarbejdet i stedet for alene at fokusere på opstartsdelen." Alligevel viser vores Innovationsbarometer, at kun 44 procent af alle innovationer bliver evalueret. Og hvorfor egentlig spolere de glade stunder i det kreative bureaukrati med kedelige forelæsninger om vigtigheden af evaluering? Fordi jeg lover, at det faktisk ikke vil ødelægge stemningen. Derimod vil du opleve, at dine innovationer bliver både bedre og bliver bedre forankret i din organisation samt hos interessenter og beslutningstagere.
Foto: Chefkonsulent i COI Lene Krogh Jeppesen (t.v.) i selskab med Sabine Junginger (Luzern University of Applied Sciences and Arts & Politics for Tomorrow, Caroline Paulick-Thiel (Politics for Tomorrow) og Christian Bason (Dansk Design Center).
Siden 2015 har vi arbejdet sammen med offentlige innovatører for at finde en måde at gøre det lettere for dem at evaluere innovation. Det har bl.a. resulteret i et evalueringskit, som er udviklet i samarbejde med de potentielle brugere: offentligt ansatte. Evalueringskittet beskriver 4 evalueringsfaser og indeholder 10 dialog-værktøjer, som understøtter, at de relevante spørgsmål bliver stillet og besvaret i organisationen og blandt interesserenterne. Det muliggør et stærkt evalueringsdesign, der bliver meningsfuldt for både innovatørerne og evaluatorerne.
Min egen erfaring som offentlig ansat og min dialog med innovatører og evaluatorer i den offentlige sektor, har givet mig nogle indsigter i de udfordringer og enorme muligheder, en meningsfuld evaluering kan medføre. Tre meget typiske fejl bliver ved med dukke op. Men den gode nyhed er, at der er muligheder for at fikse dem alle.
Fejl nummer 1:
Innovationsarbejdet starter, men det gør evalueringsarbejdet ikke
Som en offentlig ansat engang fortalte mig: "Man vil virkelig gerne evaluere… men nu går innovationsarbejdet lige så godt! Så burde jeg ikke bruge min tid på at gennemføre arbejdet frem for at måle på, om det rent faktisk går godt?" Alle kreative bureaukrater har befundet sig i midten af det dilemma. Men konsekvenserne af ikke at begynde innovations- og evalueringsarbejdet på samme tid er både reelle og omkostningsfulde. Resultatet ender ofte med at være en ligegyldig rapport i slutningen af projektet frem for en evaluering, der gør det muligt at træffe vidensbaserede valg i løbet af innovationsarbejdet. Det er spild af ressourcer, fordi du ikke får indsamlet data fra innovationsworkshops og -aktiviteter, mens de foregår, og derfor er nødt til at genskabe data og foretage interviews efterfølgende. Og til nørderne derude: Arbejdet med kontrolgrupper og baseline bliver stort set umuligt, hvilket får konsekvenser for validiteten af evalueringen.
Hvordan fikser man så den fejl?
Allerede i begyndelsen af innovationsarbejdet bliver du nødt til at forventningsafstemme med de involverede parter – både interne beslutningstagere og andre samarbejdspartnere. Hvilke spørgsmål forventer de, at evalueringen skal besvare? Hvilken viden er relevant for dem? Hvordan ønsker de, at denne viden kommunikeres og bliver sat i spil både i og uden for organisationen? Sørg for, at der ved projektets begyndelse afsættes ressourcer til evalueringen, da det både er billigere og giver en bedre evaluering. Du vil blive overrasket over forbedringen i kvaliteten af den viden, får gennem selve arbejdet med innovationen – og med evalueringen, der faktisk får en chance for at få et liv i organisationen frem for at dø i skuffen.
Fejl nummer 2:
At drukne i data uden at bruge de rigtige data
I den danske offentlige sektor har vi masser af registre og data! På grund af stor tiltro til den offentlige sektor og årtiers strategisk arbejde med offentlig digitalisering har de fleste offentlige arbejdspladser en stor mængde data liggende. "Sig endelig til folk, at de skal holde det simpelt! Styr behovet for mere data," lyder opfordringen fra en offentlig ansat. Nogle gang ved man ikke, hvilke data man drukner i, og det kan i sig selv give problemer. At finde ud af hvilke data, der er tilgængelige i hvilke formater, og hvordan de kan kombineres, er et enormt arbejde, der let kan dræbe enhver kreativ bureaukrats vilje til at leve. Ind imellem forelsker vi os i én bestemt type data i systemet. Smukke, fristende tal – måske endda flot visualiseret – kan vildlede os. Måske glemmer vi endda, at tal er gode til at beskrive, hvad er, men ikke hvorfor det er sådan.
Hvordan fikser man så den fejl?
Vælg data og dataindsamlingsmetoder, der rent faktisk giver dig svar på dine evalueringsspørgsmål. Mist aldrig fokus på den viden, du leder efter. Hvilke data er nødvendige for at kunne vurdere, om innovationen faktisk giver værdi? Samarbejd med andre! Er du god til tal, så find den bedste antropolog i organisationen. Gå på udkig efter gode datakilder i organisationen og opdyrk gode relationer til kolleger, der er ansvarlige for de registre og data, der måtte findes i organisationen. En anden kreativ bureaukrat pointerede vigtigheden af samarbejde: "Det er min erfaring, at de, der arbejder med registrene, har så meget viden om, hvilke data vi har og ikke har adgang til, hvilke væsentlige indikatorer, vi kan finde i systemerne, og hver der er juridisk muligt. Find frem til disse personer og arbejd sammen med dem."
Fejl nummer 3:
Det eneste formål med evalueringen er den interne læring
"Helt grundlæggende har vi fokuseret vores innovationsarbejde på indhold, læring og kvalitet. Disse elementer er vigtige for at gøre vores koncept bæredygtigt," fortalte en kreativ bureaukrat mig. Og det er ikke første gang, jeg hører det. Når vi snakker om innovation og afprøvning af nye arbejdsgange og aktiviteter i den offentlig sektor, er læring så ikke vigtigt? Helt bestemt! Og vi er gode til det. Innovationsbarometeret viser, at læring er formålet i 84 procent af evalueringerne. Men det er kun 21 procent af evalueringerne, der har til formål at dokumentere værdien af innovationen til beslutningstagere, og kun 18 procent af evalueringerne har til formål bedre at styre innovationsprocessen undervejs. Det betyder, at vi kreative bureaukrater frarøver den politiske og administrative ledelse muligheden for at træffe vidensbaserede beslutninger for retningen af den offentlige sektor. Én konsekvens heraf er, at den offentlige sektor ikke vil opnå dens potentielle systemforandring, hvis vi ikke er engagerede i en dialog om innovation og om de dokumenterede resultater af innovationsarbejdet på tværs af hierarkier. Vi mister også muligheden for at tage vidensbaserede beslutninger i løbet af innovationsprocessen. Der kan endda argumenteres for, at det giver et demokratisk underskud, når vi ikke er transparente i forhold til at vise skatteyderne, hvordan vi administrerer brugen af de danske skattekroner.
Hvordan fikser man så den fejl?
Design helt fra begyndelsen evalueringen så den ikke kun giver viden om, hvordan du kan trække læring ud af innovationsarbejdet, men så den også hjælper dig med at styre dit innovationsarbejdet bedre – og find ud af hvordan værdien af innovationsarbejdet bedst formidles til dine beslutningstagere. Skab en ramme for en vedvarende vertikal og horisontal dialog om dine innovative tiltag og dertilhørende evalueringer. Stræb efter at gøre dette til den naturlige arbejdsmåde.
Fokus på at forene innovation og evaluering
I Center for Offentlig Innovation har vi fortsat fokus på at forene innovation og evaluering. De næste skridt er at arbejde med, hvordan vi kan skabe bæredygtig evalueringspraksis på de offentlige arbejdspladser. Det indebærer nye dialoger mellem offentligt ansatte og beslutningstagere om de værdier, vi vil opnå med innovationsarbejdet, at kende forskellen på formål og mål, og ikke at være bange for at have de diskussioner som en del af forankringen af innovation og evaluering på de offentlige arbejdspladser.