Konsten att mäta och tolka

Radioprogrammet Medierna (SR/P1) granskade i sitt senaste program (17/4) Ekoredaktionens undersökning och rapportering kring sexuella trakasserier bland landets skådespelare och film- och  teaterarbetare.* Jag minns att jag i en liten tweet reste en fråga om vad det betydde att svarsprocentenvar på 37 procent. Nu visar det sig att undersökningen inte bara hade ett bortfall på 63 procent (oanalyserat) utan att också själva urvalet var felaktigt genomfört om man vill säga något generellt. Att den ansvarige reportern försökte slingra sig med att han ”bara var intresserad” av den lilla grupp på drygt 100 personer som svarade att de utsatts för trakasserier var plågsamt att lyssna till. Som Jan Stridh så riktigt påpekade så genomför man enkäter i syfte att generalisera – är man intresserad av en liten specifik grupp är det andra metoder som gäller.

Det står mig nu upp i halsen med alla dessa klåpare som genomför och tolkar s k opinionsundersökningar eller enkäter och inte förstått någonting om grunden för logik och slutsatsdragning. Ett av de första och nödvändiga momenten inom vetenskaplig metodologi är att lära sig vad man kan använda olika metoder till och vilka slutsatser man kan dra av dem. Nästa moment innebär att lära sig att kontrollera för (alltså väga in) teoretiskt och empiriskt rimliga andra förklaringar till det resultat man fått. Att alltså inte dra kausala slutsatser av raka bivariata (mellan två fenomen) sambandsanalyser. 

Exemplen på journalisters och många andra opinionsbildares totala okunnighet rörande logik och slutsatsdragning avseende opinionsmönster eller sociala förklaringar är hisnande.

Exempel 1: Svenskt Näringsliv meddelade stolt häromdagen att friskolors elever hade bättre betyd och därför behövde Sverige satsa på fler friskolor. Precis som professorn i kulturgeografi Bo Malmberg påpekade i en replik är det inte sant. Istället är det de goda betygen på friskolor som förklaras av de goda studiemiljöer i vilka friskolor föredrar att etablera sig och de studenter friskolor föredrar att attrahera.

Exempel 2. Paulina Neuding på Svenska Dagbladets ledarsida skrev att den överrepresentation på faktor 1.5 som invandrare har för att begå brott när man kontrollerat för sociala förhållanden måste debatteras. Men varför är det just denna – mycket lilla – överrepresentation som politiken skall ta fasta på? Varför inte den våldsamma överrepresentationen av män, fattiga eller missbrukare? Skulle inte det ge ”mer för pengarna”? Men Neuding stirrar sig blind på att någon har mätt en kategori och inser inte att om vi bryter ner alla människor i olika kategorier så kommer vi att hitta ett oöverskådligt antal överrepresentationer. Den avgörande frågan är ju om överrepresentationen är teoretiskt relevant – alltså om det finns anledning att tro att just denna egenskap är orsak till brottsligheten. Vilken är den unika teoretiska grunden tycker Neuding för att det faktum att någon är född utanför Sverige är en relevant förklaring till brottslighet?

Så här skulle jag kunna hålla på varje dag. Men till slut slår man dövörat till och slutar helt enkelt att ta några undersökningar som presenteras i medierna på fullt allvar.

Kanske skulle varje medieföretag anställa en mycket högt kvalificerad samhällsvetare med kompetens inom vetenskaplig metodologi och inte låta en enda nyhet rörande en undersökning gå ut innan den passerat en koll? Kom gärna med ett bättre förslag.

*..och ja, jag erkänner, jag hade fel om programmet Medierna. Det blev ett mycket bra program.