Evaluering af innovation: Vi skal skubbe på og skaffe svar på de svære spørgsmål

Spændende og frustrerende. Sådan beskriver Siri Albjerg Venning dét at evaluere komplekse innovationsprojekter.

Som fuldmægtig i Socialstyrelsen er hun med til at evaluere et partnerskab med tre kommuner – Haderslev, Herning og Hvidovre - som med inspiration fra Sverige er i gang med at omlægge deres indsats for udsatte børn og unge.

Ny rolle til evaluator

Som evaluator har Siri Albjerg Venning oplevet en ny måde at arbejde på, hvor hun i særlig grad har fokus på at kommunikere, være åben og haft mod til at stille de svære spørgsmål. Det har gjort, at evalueringen løbende kunne give de projektansvarlige et solidt grundlag for at udvikle projektet:

"Som evaluator har jeg løbende været med til at definere, hvad der skulle undersøges og været med til at stille spørgsmål, der kan hjælpe med at indkredse, hvad omlægningen består i. Når innovative tiltag er genstande, som konstant er under udvikling og bliver til undervejs, så må vi som evaluatorer også være med til at presse på for at få nogenlunde faste elementer eller hypoteser, som vi kan skabe viden om," forklarer Siri Albjerg Venning.

De danske kommuner blev inspireret af den svenske måde at sætte ind tidligt over for udsatte børn. Men ud over at ændre praksis, så er formålet med partnerskabet mellem Socialstyrelsen og de tre kommuner også at lave et koncept for, hvordan man kan organisere en ny indsats, som går på tværs af myndighed, tilbudsvifte og almenområdet.

Ikke velafgrænset indsats

Socialstyrelsen er vant til at lave mere outcome eller klassiske effektevalueringer, som adskiller sig fra det at evaluere komplekse innovationsindsatser med mange aktører og agendaer. 

"Når vi evaluerer normalt har vi nogle ret faste vidensdimensioner som målgruppe, metode, indsats, implementering, effekt og økonomi, som vi gerne vil vide noget om. I det her tilfælde var det netop ikke en velafgrænset indsats eller metode rettet mod en bestemt målgruppe som vi skulle evaluere, men derimod en omlægning, der stadig er under udvikling. Det var som at starte med en trekant, der blev til en firkant og så en cirkel."

I sådan en situation bliver det ekstra vigtigt, at alle aktører løbende inddrages i evalueringen. I en vis udstrækning er de spørgsmål, der er stillet og de kriterier, der er opstillet blevet formuleret i dialog med de centrale interessenter. Det øger også fokus på, hvem der skal bruge hvilken evalueringsviden til hvad. 

"I innovative tiltag, som dette, bliver både evaluator og interessenter inviteret med ind til at være med til at definere. Der er jo ingen klare eller faste forskrifter for, hvor man skal ende. Som evaluator skal man derfor være med til at skubbe på og stille spørgsmål. Ellers kommer vi som evaluatorer til at spørge i øst og vest, og så får ingen relevant viden ud af evalueringen," siger Siri Albjerg Venning.

Læring og refleksion tager tid

Et godt råd lyder, at man skal acceptere, at afklaringen tager tid. Som evaluator kan man beslutte sig for forskellige loops, som kan give ny viden til justering af tiltaget, som man måske skal reagere på i næste del af evalueringen.

"Når man skal afklare store spørgsmål sammen, er det en kontinuerlig proces, som tager tid og ressourcer. Og så skal man måske justere innovationen på baggrund af ny viden, så det er noget, som evalueringen kommer til at inddrage i næste loop. Det skal man også huske på, når man laver tidsplan."

Samtidig skal de centrale parter og aktører i projektet også tage evaluators nye rolle som medspiller seriøst, mener Siri Albjerg Venning:  

"Evaluator er nu med til at drive refleksionsprocessen, og det kræver også meget af de parter, der leder tiltaget. For hvis man vil bruge folks tid og penge på at evaluere, så skal den viden også bruges til at forbedre det samlede tiltag fremadrettet. Det tager ressourcer at se på den ny viden og så beslutte, hvad man skal forsætte med og turde handle på det. Til gengæld står man så også på en mere kvalificeret viden, når man beslutter, hvordan man bevæger sig videre."

Evaluator som aktiv medskaber i maskinrummet

Derfor lyder et andet godt råd til andre, der skal evaluere innovative tiltag med høj kompleksitet, at man skal indstille sig på at spille en ret aktiv rolle, hvor man tager medansvar for tilpasningen af tiltaget.

At være medskaber og medspiller på denne måde, er en rolle, som hun og resten af evalueringsteamet lige skulle vende sig til.

"Man er mere med i maskinrummet, det var vi nok ikke helt klar på fra starten. Vi har måske også været et ekstra 'irritationsmoment', fordi vi hele tiden har spurgt ind til forventningsafstemningen og været klar på, hvad evalueringen skulle bidrage med og for hvem," siger Siri Albjerg Venning.

Hun har fået meget ud af at evaluere på en måde, hvor man som evaluator ikke er et vedhæng, men er indlejret i den måde projektet udvikler sig på:

"Vi har en vigtig rolle i at insistere på, at de centrale beslutninger i udviklingsarbejdet træffes på baggrund af den evalueringsviden, vi har skabt. Vi kan bruge det fremadrettet, når vi skal lave evalueringsudbud. Og vi har fået afgørende viden om, hvad det vil sige at evaluere den type af projekter. Og selv om det nogle gange kan være en frustrerende måde at arbejde på, så er det i ligeså høj grad utrolig spændende."