Vad vet du om statistik? Att det finns lögn, förbannad lögn och statistik? Sölar att om man har den ena foten i ett isbad och den andra foten i kokande vatten så har man det i genomsnitt ganska bra?
Inget kunde vara mer fel. Statistik bygger på att man med dokumenterade och reproducerbara metoder samlar in data och drar slutsatser från dem. Låter man sedan andra, neutrala och kompetenta personer, granska resultatet så är det svårt att hävda saker som inte finns. Tabellen nedan tänkte jag använda som exempel på hur man kan göra för att förvanska data och hur du skall tänka då Aftonbladet och Expressen kör löp som ”ett glas vin om dagen minskar cancerrisken” eller du ser reklam på tv för [mirakelmedel x].
Tabellen kommer från Tim Ferriss bok The four hour body.
Som du ser så visar den en graf över hur många personer som gått ner en viss vikt. Hur många började med dieten, och hur många genomförde den?De som hoppar av är ofta de som misslyckas. Struntar man i dem så får man bort massa missvisande (dvs negativa för dieten) resultat. Hur många gjorde andra förändringar än att börja med en diet?
Hur många började träna till exempel? Hur vet vi att det är dieten som gjort skillnaden? Det är väldigt svårt att isolera en faktor i en studie, och har man förändrat två saker (eller fler) så undrar i all fall jag hur man vet vad som påverkade? Om man tränade, gick på dieten och samtidigt åt Alli eller liknande, vilken komponent var det som gjorde förändringen? När är detta mätt?
Hur lång är studien? Är det efter en vecka?, efter det att folk självmant väljer att sluta? Eller kanske efter den tiden som man sagt att man skall hålla dieten? Eller är det uppföljning ett år efter det att man gått på dieten? Det är lätt att avbryta en studie i förtid, bara för att man uppnått resultat man vill visa. Finns det mer data?
Titta på viktminskningsaxeln. Man kan ju tro att det inte finns fler än 0- 22 Lbs gain. Men vet du det? Den som presenterar datat kan mycket väl ha valt att bara visa detta och sedan skriva i ett långt, tråkigt och svårläst textstycke att de flesta i studien faktiskt gick upp mer än 22 lbs. Eller så kanske det inte gick att rapportera in att man gick upp i vikt? Hur samlade man in svaren?
Det är välkänt att personer som svarar på enkäter svarar mer efter hur de tror att den som frågar vill ha svar. Det är ockå vanligare att den som är mycket missnöjd faktisk tar sig tid att skriv en recension om något. Titta på hur iTunes och App store fungerade förut. När man raderade en app fick man frågan om man ville betygsätta den.
Gissa själv, raderar du en app om du är nöjd med den och använder den hela tiden? Ids du ens betygsätta om du är halvnöjd?
Och på det stora hela så är det de som är mycket nöjda eller mycket missnöjda som svarar. Hur vet man att de som svarar talar sanning?
Om man själv låter folk rapportera in hur de förändrat sin vikt, vet man ens att datat stämmer? Det behöver inte ens vara mer eller mindre medvetna lögner, fast det är ganska vanligt. Testa själv. Väg dig på vågen hemma. Ta sedan in vågen i ett annat rum och väg dig igen. Du har redan gått upp/ned lite grann. Väg dig sedan hos läkaren, på badhuset, på gymmet, på jobbet så kommer din vikt att ändra sig radikalt. Eller väg dig hemma, på samma våg, utan att rubba vågen men gör det på morgonen och på kvällen. Vilken är din normalvikt? Har du verkligen ändrat i vikt? Det här är några saker man kan tänka på när man läser ”vetenskapliga undersökningar” som refereras av andra. Men de två viktigaste sakerna att tänka på är:
1. Vem har beställt/betalar studien?
2. Rubriker säljer! Tror du att det är en slump att GASS (nu får du googla det) kommer med rekommendationer att man bör dricka sportdryck? Om ett företag skall undersöka sin nya produkt inför en marknadsintroduktion, tror du de vill ha dåliga data? Kvällspressen lever på att sälja lösnummer, inte på att sanningsenligt och korrekt förmedla fakta från pubmed och liknande vetenskapliga källor. Svårare än så är det inte. Desto mindre fakta och ju svårare det är att själv hitta information om den forskning de hänvisar till, destom sämre forskning är det. Jag har inget belägg för denna åsikt, förutom mina personliga erfarenheter, men det känns i många fall som att jouralisten inte ens läst undersökningen själv, utan bara skrivit av det som något annat rapporterat från något som de läst där någon skrivit vad de tyckt…. Ja du förstår? Mina råd till dig som faktiskt vill veta mer om en viss rapport eller en tidningsartikel är att först och främst hitta källan. Läs grunddatat själv. Sedan får du leta reda på om det är någon som motbevisat eller kritiserat den forskning som du precis läst. Sedan kommer det svåra, vem skall man lita på? Generellt sett, desto mer ansedd tidskrift och ju fler de har som granskar, desto bättre. Samlingsforskning om forskning är generellt sätt svagare än de som gör grundforskningen. Visst, det tar lite längre tid att vara grundlig på detta sätt, men å andra sidan kommer du utbilda dig själv, och kunskap kan man aldrig ha för mycket av, eller hur?