Stöd till utfallsmätning, tips och SMART-metoden

Funderar er organisation på att ansöka om effektstöd för ett arvsfondsprojekt? Då behöver ni besvara frågor om projektaktiviteternas utfall. Här följer en fördjupad beskrivning av vad det innebär och vad som menas med begrepp som resultatmål, utfallsmål, utfallsmätning. Sista avsnittet handlar om SMART-metoden som ett sätt att ta fram mätbara projektmål.

Allmänna arvsfonden ser ett behov av att projekt som genomförs med stöd av fondens pengar sätter tydliga, realistiska och uppföljningsbara mål. På så vis får vi bättre kunskap om arvsfondsprojektens resultat och utfall. Det blir också ett sätt att följa upp hur de genomförda projekten kan fortsätta gynna målgrupperna.

Därför ska er ansökan om effektstöd innehålla tydliga resultat- och utfallsmål. Det betyder också att ni gör utfallsmätningar för att följa upp aktiviteterna som genomförs med effektstöd. Om er organisation får effektstöd redovisar ni sedan era utfallsmål, resultatmål och utfallsmätningar i projektets slutredovisning.

Vad är resultatmål?

I ansökan om effektstöd kräver Allmänna arvsfonden att ni anger minst ett resultatmål och ett utfallsmål.

Resultatmål beskriver antal aktiviteter och insatser som projektet ska genomföra. Det vill säga vi vill att ni anger konkreta och tydliga mål med antal, gärna i siffror.

Aktiviteter kan till exempel vara; filmer, poddar, broschyrer, möten, utbildning, workshops, informationsträffar eller strukturer som byggs upp som nätverk och mötesplatser.

Se exempel på ett resultatmål

"Ungdomsprojekt för att minska skolavhopp" söker effektstöd och tar fram resultatmålen :

vid projekttidens slut ska 15 ungdomsstödjare i sex kommuner gått utbildningen.
100 ungdomar ska ha deltagit i projektets aktiviteter.

Arrangera två spridningskonferens med minst 100 deltagare vid tillfälle.

De kan också ta fram resultatmål som:

Göra en större kommunikationsinsats med målet att få minst 200 nya följare i sociala medier och 1000 nya prenumeranter på nyhetsbrev.
Dela ut 3000 broschyrer till vårdnadshavare i sex kommuner.

Vad är utfallsmål?

Resultatmålen som syns i exemplet ovan visar inte hur projektet önskar att aktiviteterna togs emot. Ledde de till någon förändring för de som deltog? För att beskriva vad aktiviteterna ska leda till krävs utfallsmål. Med minst ett utfallsmål i er ansökan om effektstöd visar ni att aktiviteterna har de utfall och kan ha de kortsiktiga effekter som ligger i linje med stödets syfte, det vill säga att gynna Allmänna arvsfondens målgrupper.

Se exempel på ett utfallsmål

"Ungdomsprojekt för att minska skolavhopp" söker effektstöd och har tagit fram utfallsmålet :

En majoritet (minst 60%) av de ungdomsstödjare som genomgått utbildningen ska uppge att de fått nya metoder för att kunna hjälpa elever med hög skolfrånvaro.

De kan också ta fram utfallsmål som:

Minst en tredjedel av kommunerna uppger att de kommer att använda metoderna de utbildades i.
Minst hälften av de deltagande eleverna uppger efter aktiviteterna att de kommer närvara i skolan i högre utsträckning än innan.
Om möjligt skickas en uppföljningsenkät till deltagande kommuner om statistiskt underlag där det går att utmäta om det skett någon förändring i skolnärvaro hos deltagande elever.

Vad krävs för att göra en utfallsmätning?

Kravet på mätning och redovisning av utfall i förhållande till effektstödet handlar om att mäta de förändringar som en aktivitet leder till.

Att mäta före och efter en aktivitet är ett sätt att ta reda på om utfallet hos målgruppen blir som ni önskade och förväntade er.

Ni kan till exempel mäta före och efter genom att:

genomföra en enkät
göra en intervju
använda någon annan metod som ni bedömer passar målgruppen och som ni har kompetens att utföra.

Här syns en illustration i tre delar. Först visas en enkät före en aktivitet, sedan en aktivitet med personer som möts. Därefter visas ytterligare en enkät som görs efter aktiviteten.

Gör exempelvis en enkät före och efter projektets aktiviteter.

Möjliga frågor till en utfallsmätning

Exempel på typ av frågor ni kan ställa (och vilken skala som kan användas):

tycker du att du kan påverka…? (bedömning på sexgradig skala)
hur mycket vet du om…? (ingenting, lite, ganska mycket, mycket, vet inte)
det går att lita på de flesta människor…? (bedömning på sexgradig skala)
hur är din självkänsla…? (mycket bra, bra, ganska bra, inte så bra, dålig, riktigt dålig, vet inte)
hur motiverad är du att…? (till exempel genom bedömning på sexgradig skala)
vilken möjlighet har du att…? (till exempel genom bedömning på sexgradig skala)
ta fram emojis som symboliserar olika värden eller känslor kopplat till aktiviteten.

Tänk på att

... enkäter eller intervjuer är inte alltid det bästa sättet att mäta. Se till att börja med att fråga era målgrupper, alltså de personer som ni planerar ska ta del av projektets resultat, metoder eller erfarenheter, vilken metod som passar dem. Undersök detta innan ni fyller i ansökan om effektstöd!

Varför kräver Allmänna arvsfonden utfallsmätning för effektstödet?

Utfallsmätning hjälper er att förstå om era projekt skapar de förändringar ni vill åstadkomma. Genom att mäta kortsiktiga utfall kan ni se om era insatser ger de resultat ni önskat på kort sikt. Oavsett om era resultat visar på ett negativt, positivt eller neutralt utfall ger det er viktiga information för att kunna fortsätta utveckla er verksamhet och sprida dess resultat och erfarenheter. Om ni har möjlighet kan ni fortsätta följa upp resultaten årligen för att kunna analysera mer långsiktiga effekter.

Resultaten kan vara givande för er organisation att kommunicera till era målgrupper, bidragsgivare och eventuella kunder som köper era tjänster.

Se mer information om skillnad mellan utfall och effekt

Vad är skillnaden mellan utfallsmätning och effektmätning?

Ibland förväxlas utfall med effekt och därmed typerna av uppföljning. Det som gäller för de olika begreppen är:

Utfallsmätning (krävs för effektstöd): En mätbar förändring av utfall som följs upp, exempelvis resultatet före och efter en insats.

Effektmätning (behövs inte för effektstöd): En djupare analys av effekter, som också innebär att andra påverkande faktorer, exempelvis förändringar i omgivningen följs upp och man undersöker också hur det hade blivit om inget gjorts (kontrafaktiskt scenario).

Exempel:

Projektet ”Ungdomsprojekt för att minska skolavhopp” håller en utbildningsdag för lärare om en ny pedagogisk metod för att öka skolnärvaron. Utfallet mäts genom att lärarna skattar sin kunskap före och efter utbildningen, och många uppger en förbättring.

Effekten analyserar de däremot genom att även undersöka om elevernas skolnärvaro faktiskt ökade, samtidigt som hänsyn tas till andra faktorer, som förändringar i skolsystemet eller socioekonomiska förhållanden.

Vad krävs i slutredovisningen?

I slutredovisningen ska ni sedan redogöra om ni nått era resultat- och utfallsmål, samt föra ett resonemang kring de resultat ni fick av era genomförda utfallsmätningar ni gjorde innan och efter era aktiviteter.

Vi kräver inte att ni mäter, redovisar eller resonerar kring långsiktiga effekter. Har ni möjlighet att mäta eller redan har data om långsiktiga effekter får ni självklart resonera kring dessa i era slutsatser i slutredovisningen till Allmänna arvsfonden.

Exempel på metod för att ta fram mål och önskade effekter

Här följer en redogörelse för en enkel och vanligt förekommande metod för att ta fram projektmål; SMART-metoden.

Illustration av SMART-modellen i form av ikoner för varje bokstav. S=specifikt M=mätbart A=accepterat R=realistiskt T=tidssatt

Det här är en illustration av de fem olika steg som utgör SMART-modellen. S=specifikt, M=mätbart,A=accepterat, R=realistiskt, T=tidsbestämt.

SMART-metoden

Att formulera SMART:a mål kan hjälpa er att inrikta projektet mot en förändring som är realistisk för er organisation. Förändringen kommer att bli lättare att beskriva och vara mer konkret och projektnära om ni beskriver den med SMART:a mål.

S = Specifikt

Målet ska vara tydligt och konkret. Vaga begrepp behöver definieras. Det ska inte gå att tolka målet på flera olika sätt. För att skapa ett specifikt mål kan man svara på frågorna:

Vad ska uppnås?
Vem är inblandad?
Var sker arbetet geografiskt?

Det kan också vara så att ni behöver bestämma vad som inte ska ingå i målet för att avgränsa det så att det blir specifikt.

Se exempel

Otydligt mål: Vi vill sprida metoden till fler kommuner.

Specifikt mål: Sex kommuner ska ha prövat metoden under projekttiden.

M = Mätbart

Det ska vara tydligt vad det innebär att målet har nåtts. Det kan vara att definiera hur mycket förändring som ska ske eller hur många som ska beröras.

Hur mycket?
Hur många?
Hur vet jag när målet blivit uppnått?

Se exempel

Otydligt mål: Genom utbildningar på olika platser i landet ska vi sprida kunskap om metoden.

Mätbart mål: Alla ungdomsstödjare i de sex kommunerna ska ha fått ökad kunskap om metoden genom att delta i två utbildningsdagar (detta mäts genom enkäter som deltagarna fyller i före och efter utbildningen).

A = Accepterat

De personer som berörs av projektet ska tycka att målet är bra och tro på att det kommer funka. Det innebär att projektet ska vara förankrat.

Tycker de att målet är användbart och nyttigt?

Se exempel

Otydligt mål: Intresserade kommuner ska få ta del av metoden.

Accepterat mål: Projektet kommer att kontakta ungdomsstödjare i alla kommuner i Stockholms län för att undersöka intresset för att delta i utbildningen. Fem kommuner kommer att väljas ut baserat på intresse och förankring i den egna organisationen.

R = Realistiskt

Det ska vara realistiskt att projektets mål kan uppnås med hjälp av de resurser som ni har. Resurserna kan vara personal, tid, pengar, lokaler, kunskap, samarbeten, material. Det hänger också ihop med att målet ska vara accepterat.

Se exempel

Otydligt mål:

Vi ska minska skolfrånvaron hos alla ungdomar i Sverige.

Realistiskt mål: Av de sex kommuner som vi utbildar ska minst hälften uppge att de har nytta av metoden i sitt ungdomsstöd (mäts genom enkät före och efter utbildningen).

T = Tidsbestämt

Det ska vara tydligt när målet ska vara uppnått.

Se exempel

Otydligt mål: Effektstödet ska användas för att fortsätta sprida metoden till fler kommuner.

Tidsbestämt mål: Vid projektet slut ska minst 70% av ungdomsstödjarna i de sex kommunerna ha prövat metoden i sitt dagliga arbete med elever som har hög skolfrånvaro.