Nyt evalueringsværktøj ser dagens lys
COI’s arbejdende fællesskab om evaluering af innovation har udviklet en prototype på et helt nyt værktøj, der skal gøre det både nemmere og mere overskueligt at evaluere innovative projekter. Den første test af værktøjet er nu gennemført.
Det nye evalueringsværktøj blev præsenteret for COI's arbejdende fællesskab.
Det var juleaften for innovations- og evaluerings-nørder, da COI torsdag samlede det arbejde fællesskab for tredje og sidste gang - i denne omgang. Dagens hovedattraktion var fremlæggelsen af et helt nyt værktøj, som er endnu en indsats i bestræbelserne på at gøre det nemmere for offentlige ansatte at evaluere innovative tiltag.
Helt konkret består det nye værktøj af en håndbog og en række skemaer, som Rasmus Balder Holmgaard Larsen og Charlotte Niss fra Public Intelligence har udarbejdet ved at samle trådene fra de foregående to workshops. Mere end 30 ansatte fra offentlige arbejdspladser over hele landet og fra vidt forskellige fagområder har dermed taget del i arbejdet med det mål at skabe et praktisk supplement til Peter Dahler-Larsens akademiske rapport om evaluering.
"Håndbogen og skemaerne skal sikre alle et solidt fundament at evaluere ud fra. Værktøjet som helhed henvender sig både til praktikere og konsulenter, der enten ikke er vant til at evaluere, eller som gerne vil styrke deres kompetencer på området," sagde Rasmus Balder Holmgaard og understregede samtidig, at værktøjet stadig er en prototype og ikke et færdigt produkt.
Et værktøj til alle
I første del af håndbogen bliver den grundlæggende teori bag evaluering af innovative projekter gennemgået. Her kan læseren blandt andet blive klogere på, hvad det egentlig vil sige at evaluere, og hvorfor det giver mening at springe ud i.
"Fordi det her skal være et praktisk værktøj, som man skal kunne bruge uden særlige forudsætninger, har vi bestræbt os på at skrive i et lettilgængeligt sprog. Vi har dog fastholdt de nødvendige kernebegreber som validitet og evidens, for man kan ikke arbejde med evaluering uden at kende dem, men så forsøger vi at forklare, hvad de betyder," sagde Rasmus Balder Holmgaard Larsen.
Efter de indledende sider med mere teoretiske refleksioner, kommer alle de praktiske værktøjer på banen. For overskuelighedens skyld har forfatterne delt evalueringen af innovative projekter op i fire trin, der gemmer på hver sine værktøjer. Under det andet trin, Metodevalg, bliver læseren eksempelvis præsenteret for ti konkrete værktøjer til at indsamle data med: Lige fra cultural probe til spørgeskemaer og datatræk.
"Vi har forsøgt at gøre værktøjerne så generelle som muligt, så de ikke lægger sig op af en bestemt innovations- eller evalueringsmodel. Alle skal kunne bruge dem, uanset hvordan de arbejder," sagde han.
Som en ekstra støtte hører der også et skema med til hvert trin, og ved at udfylde dem en for en, kan man sikre sig, at man får gjort sig alle de nødvendige overvejelser, inden man går videre med processen.
Den første test
Efter fremlæggelsen gik deltagerne sammen i grupper for at teste det nye værktøj på forskellige cases. En af grupperne så nærmere på et projekt om genoptræning fra Roskilde Kommune og fik næsten udfyldt de to første skemaer om planlægning og metodevalg.
"Ved at bruge de her skemaer, bliver man tvunget til at tænke sit projekt mere igennem og afklare sine valg undervejs i hele processen. Nu er projektet med genoptræning allerede afsluttet, men jeg kan fornemme, at vi kunne have undgået nogle besværligheder, hvis vi havde reflekteret lidt mere på den her måde undervejs," sagde Maria Kofoed, specialkonsulent fra Roskilde Kommune.
Generelt blev det nye værktøj godt modtaget af det arbejdende fællesskab. Skemaerne blev rost, fordi de fremtvinger en god dialog og refleksion over de innovative projekter. Flere savnede dog retningslinjer for, hvornår man har gjort sig overvejelser nok til at gå videre til næste trin. Enkelte så også gerne, at håndbogen og skemaerne henviste mere til hinanden.
Om håndbogen satte de fleste af deltagerne pris på den overskuelige fremstilling, selvom der stadig godt kunne renses ud i de akademiske termer.
"Sproget kunne godt trænge til en tur mere, for måske bliver det lidt for indforstået til folk i driften, som ikke plejer at evaluere, og det er jo dem, vi skal ramme," sagde en deltager til bred enighed i resten af plenum.
Afrunding på seminaret
Gennem de næste ti dage vil håndbogen og skemaerne desuden blive testet af praktikere på bl.a. hospitaler, plejecentre og skoler, der skal forsøge at indarbejde de nye hjælpemidler i deres egne innovative processer. Det færdige værktøj bliver lanceret i forbindelse med Dansk Evalueringsselskabs årskonference i september.