Utvärderingsbarhet och potentiella förluster därav

juni 7, 2017 Av admin

Mätning är ett av mina favoritområden. Det är å ena sidan något oerhört fundamentalt för hur vi uppfattar verkligheten (beroende på hur vi definierar mätning) och å andra sidan kan en diskussion om mätbarhet teoretiseras till punkten att språket blir alldeles för trubbigt att använda. Ett spännande bekymmer i sig och jag önskar att jag hade mer tid (och fallenhet) för algebra.

I Sverige gillar vi att mäta. Här ska det mesta (eller kanske inte) operationaliseras och utvärderas. Det antas kunna öka nyttan eftersom vi kan avgöra vad som är ett bättre alternativ av flera, när vi har utvärderat dessa så att de kan rankas. Den långsiktiga nyttan som kommer till följd av utvärdering, värderas också ofta högre än den direkta nyttan. Inom psykiatrin är det exempelvis vanligt att patienter får avvakta antingen terapibehandling eller medicinsk behandling för att börja med enbart en av dessa tills att effekten av den kan utvärderas, trots att patienten kanske skulle må bättre av att påbörja båda behandlingarna på en gång och samtidigt. I skolan tar en hel del administrativ börda bort tid från undervisningen, till förmån för mätning och utvärdering. Det är alltså en gemensam datainsamling vi sysslar med, i en samhällskontext, och för framtiden. Ett antagande som görs är att nyttan av den här optimeringsprocessen överstiger nackdelarna av exempelvis tidsspill och ineffektivitet som kommer av ansatsen att skapa ett gediget eller tydligt underlag. Vi vill veta vad som funkar. Och ser den här vetskapen som ett gott underlag för beslutsfattande och styrning.

Det vetenskapliga arbetet fungerar förstås så i stort. Vi lägger pengar och energi på forskning, för att vi tänker oss att det är så kunskap kulminerar och innovationer och framsteg uppstår. Vi tänker oss att utiliteten överstiger den förväntade nyttan av andra beslut eller potentiella nackdelar av de särskilda prioriteringarna vi gör eller processer däri. Men det är inte bara ett rationellt övervägande förstås. Normer att satsa på olika typer av forskning, den västerländska framstegstanken och våra erfarenheter säkerligen, är incitament för eller bakgrunder till våra satsningar.

Tankediskursen vi har att göra med här, som föreskriver att olika samhällsfunktioner ska vila på beprövad erfarenhet och vetenskaplig grund är alltså både pragmatisk och idealistisk. Men det finns ett litet krux här som jag tycker belyses allt för sällan, nämligen att kraven på utvärderingsbarhet eller mätbarhet, också kan göra strategier suboptimala. Det gäller fall då utvärderingen inte kommer att kunna generaliseras och på så vis bli användbar, när organisationer själva ansvarar på utvärdering men inte vet hur man gör, eller i de fall man kan tänka sig att nyttan av utvärdering, och potentiell förbättring av en verksamhet till följd av utvärdering, inte överstiger nyttan av att slippa effekten av processen att operationalisera. Jag har nog själv aldrig stött på en organisation som har avlåtit att utvärdera sin verksamhet eller sina insatser på grundval av dessa punkter. Däremot kanske man duckar frågan för att den är för krånglig.

Till att börja med kan organisationen fundera över vilken nytta som den tänker sig kommer med utvärderingar och kvalitetsmätning med en ambition att vara realistisk. Och vidare bör organisationen fundera över om och i så fall hur den måste göra anpassningar eller lägga någon form av kapital i processen att operationalisera och mäta. Är det fortfarande värt det och vad grundar man egentligen det svaret på?

Utvärderingar har kommit att bli ett slags kvalitetsindikator för satsningar och inte minst inom ideell sektor har det blivit ett krav för att få ekonomiska medel. Det är givetvis så att insatser bör granskas och utvärderas med avseende på exempelvis effekter av olika slag, men precis som i många andra fall, kanske man också bör försöka undvika att skapa krav eller rekommendationer som inte genererar nytta. Kvantitativ mätning är inte nödvändigtvis bättre än kvalitativ, försök till att operationalisera är inte nödvändigtvis bättre än att underlåta detta.

Rekommenderas:  Lena Lindgren Nya Utvärderingsmonstret – om kvalitetsmätning i den offentliga sektorn