Konsten att mäta och tolka

Radioprogrammet Medierna (SR/P1) granskade i sitt senaste program (17/4) Ekoredaktionens undersökning och rapportering kring sexuella trakasserier bland landets skådespelare och film- och  teaterarbetare.* Jag minns att jag i en liten tweet reste en fråga om vad det betydde att svarsprocentenvar på 37 procent. Nu visar det sig att undersökningen inte bara hade ett bortfall på 63 procent (oanalyserat) utan att också själva urvalet var felaktigt genomfört om man vill säga något generellt. Att den ansvarige reportern försökte slingra sig med att han ”bara var intresserad” av den lilla grupp på drygt 100 personer som svarade att de utsatts för trakasserier var plågsamt att lyssna till. Som Jan Stridh så riktigt påpekade så genomför man enkäter i syfte att generalisera – är man intresserad av en liten specifik grupp är det andra metoder som gäller.

Det står mig nu upp i halsen med alla dessa klåpare som genomför och tolkar s k opinionsundersökningar eller enkäter och inte förstått någonting om grunden för logik och slutsatsdragning. Ett av de första och nödvändiga momenten inom vetenskaplig metodologi är att lära sig vad man kan använda olika metoder till och vilka slutsatser man kan dra av dem. Nästa moment innebär att lära sig att kontrollera för (alltså väga in) teoretiskt och empiriskt rimliga andra förklaringar till det resultat man fått. Att alltså inte dra kausala slutsatser av raka bivariata (mellan två fenomen) sambandsanalyser. 

Exemplen på journalisters och många andra opinionsbildares totala okunnighet rörande logik och slutsatsdragning avseende opinionsmönster eller sociala förklaringar är hisnande.

Exempel 1: Svenskt Näringsliv meddelade stolt häromdagen att friskolors elever hade bättre betyd och därför behövde Sverige satsa på fler friskolor. Precis som professorn i kulturgeografi Bo Malmberg påpekade i en replik är det inte sant. Istället är det de goda betygen på friskolor som förklaras av de goda studiemiljöer i vilka friskolor föredrar att etablera sig och de studenter friskolor föredrar att attrahera.

Exempel 2. Paulina Neuding på Svenska Dagbladets ledarsida skrev att den överrepresentation på faktor 1.5 som invandrare har för att begå brott när man kontrollerat för sociala förhållanden måste debatteras. Men varför är det just denna – mycket lilla – överrepresentation som politiken skall ta fasta på? Varför inte den våldsamma överrepresentationen av män, fattiga eller missbrukare? Skulle inte det ge ”mer för pengarna”? Men Neuding stirrar sig blind på att någon har mätt en kategori och inser inte att om vi bryter ner alla människor i olika kategorier så kommer vi att hitta ett oöverskådligt antal överrepresentationer. Den avgörande frågan är ju om överrepresentationen är teoretiskt relevant – alltså om det finns anledning att tro att just denna egenskap är orsak till brottsligheten. Vilken är den unika teoretiska grunden tycker Neuding för att det faktum att någon är född utanför Sverige är en relevant förklaring till brottslighet?

Så här skulle jag kunna hålla på varje dag. Men till slut slår man dövörat till och slutar helt enkelt att ta några undersökningar som presenteras i medierna på fullt allvar.

Kanske skulle varje medieföretag anställa en mycket högt kvalificerad samhällsvetare med kompetens inom vetenskaplig metodologi och inte låta en enda nyhet rörande en undersökning gå ut innan den passerat en koll? Kom gärna med ett bättre förslag.

*..och ja, jag erkänner, jag hade fel om programmet Medierna. Det blev ett mycket bra program.

Advertisements

16 reaktioner på ”Konsten att mäta och tolka

  1. Utomordentlig bloggpost, Marie! Gör om den till en debattartikel, för det här är verligen synpunkter som behöver en stor läsekrets.

    För övrigt borde journalistutbildningen innehålla en obligatorisk orienteringskurs om detta, typ ”elementär statistik och samhällsanalys”.

  2. Mycket bra! På JMG hade vi två föreläsningar om statistik vill jag minnas; jag tycker själv att de kunskaperna inte räcker – men jag kan genomskåda de värsta exemplen på dåliga undersökningar som intresseorganisationer presenterar i pressmeddelanden. Problemet är när nyhetschefen vill att man ska skriva om det ändå.

  3. Det finns iofs ett värde att ta upp (den som du säger) lilla överrepresentationen bland invandrare inom socialgrupper, eftersom diskussionsutrymmet annars förs disussionen som nu där man friskt struntar i sociala förhållanden och överrepresentationen blir därefter.

  4. Mycket bra inlägg tycker jag också, och en kritik som är mer än relevant. Jag har under många år irriterat mig över medias inkompetenta sätt att använda statistik och statistiska undersökningar.

  5. När jag gick på JMK i Stockholm 1994-1997 hade vi ingen statistikundervisning alls – inte minsta föreläsning, vad jag minns.

    Jag tog upp det med studierektorn (tror jag det var) som var väl medveten om problemet med journalisters bristande statistikkunskaper. Men han hävdade att JMK aldrig hade lyckats få tag på lärare/föreläsare som kunde lägga upp kurspass tillämpade för journalister.

    Detta hoppas jag inte längre stämmer. Och jag skulle genast köpa en ”Statistik för dummisar/journalister” om den funnes. Kanske inser någon pedagogisk statistiker behovet nu, och sätter i gång och skriver.

    (Mina statistikkunskaper inskränker sig till en kurs motsvarande cirka 5/7,5 svenska poäng vid Columbia-universitetet, och en mycket bra genomgång av en SVT Striptease-researcher på Föreningen Grävande Journalisters seminarium Gräv för många år sedan. Han lär i framtiden använda Ekot-granskningen som exempel.)

  6. Gunilla, det finns faktiskt en ”statistics for dummies”. jag kommer inte ihåg exakta titeln men hittade den på Försvarshögskolan. Den verkar flitigt läst.

    Nu ska jag inte dra alla opinionsbildare över en kam, det finns ju rutinerade forskare bland dem. Men en opiniosnbildares första uppgift måste väl vara att bilda opinion!? Varför skulle en som tar den uppgiften på allvar riskera att presentera eller tolka ett material på ett sätt som hotar den ideologiska utgångspunkten eller dennes dagordning? Kostnaden för att missrepresentera ett material verkar ju sällan vara speciellt stor eftersom de redan övertygade inte viker från opinionsbildarens sida i första taget.

  7. När det gäller exempel 2 är ju saken den (vilket är Neudings poäng) att många hävdar att invandrare är överrepresenterade i brottsstatistiken pga socioekonomiska faktorer. Vilket alltså inte stämmer. Sedan vet jag inte om en överrepresentation på 110% för utrikes födda och 50% för 2a generationens invandrare är så ”lite”. Själv blir jag glad när jag hittar den storleken på statistiska samband (givetvis är ju glädje dock inget jag känner i detta fall…). Att män, missbrukare och fattiga begår mer brott än andra är väl allmänt känt och det är väl inte kontroversiellt att föra fram dessa åsikter heller?

  8. Tack för alla kommentarer.

    All ”statistik” skall tolkas, och det är i det arbetet som det krävs en särskild kompetens och oftast också en samhällsvetenskaplig teoretisk grund för att avgöra t ex vilka kategorier som är relevanta i vilket sammanhang och varför.

    VS

  9. på mitt skrivbord ligger just nu ”statistics for dummies” av Deborah Rumsey (isbn 978-0-7645-5423-0). det finns också en övningsbok.

Kommentarer inaktiverade.