Niin totta kuin osaamme

VUONNA 2011 Cornellin yliopiston psykologian professori Daryl Bem näytti toteen ihmeellisen asian: ihminen voi ennustaa tulevaisuuden tapahtumia. Bemin ryhmä toteutti sarjan kokeita, joissa tavalliset psykologiset koeasetelmat käännettiin ikään kuin toisin päin. Koehenkilöille esimerkiksi näytettiin järkyttäviä tai pornografisia kuvia, mutta heidän reaktionsa niihin mitattiin ennen, ei jälkeen kuvan näyttämisen. Bem havaitsi, että koehenkilöt ennustivat tulevia tapahtumia hiukkasen paremmin kuin mitä täysin sattumanvarainen arpominen olisi tuottanut – tulokset olivat siis tilastollisesti merkitseviä.

Voidaan sanoa, että Bemin tutkimus oli tieteellinen vallankumous, tai sellaisen alku. Se pakotti tutkijayhteisön tarkastelemaan käsityksiään monistakin asioista.

”Feeling the Future” -nimeä kantava artikkeli julkaistiin Journal of Personality and Social Psychologyssä, joka on alansa tärkeimpiä julkaisuja. Teksti läpäisi lehden tarkan seulan, vaikka päätoimittajat kyllä tunnustivat totaalisen ihmetyksensä pääkirjoituksessa. ”Myönnämme avoimesti, että raportoidut tulokset ovat ristiriidassa omien syy-seurauskäsitystemme kanssa ja pidämme niitä äärimmäisen hämmentävinä”, he kirjoittivat.

Kaikkia kuitenkin koskevat samat vertaisarvioinnin periaatteet, he totesivat. Aivan samanlaisia tilastollisia analyyseja käytettiin sosiaalipsykologian kokeissa koko ajan. Ja tutkimusaiheensa valintaa lukuunottamatta Bem ei ollut tehnyt mitään poikkeuksellista. Se, mitä hän teki, ei ollut väärin, ainoastaan järjetöntä.

Artikkelin julkaisua seurasi valtava julkisuus. Oli seksiasentoja ja ennustamista! Rajatiedon harrastajat juhlivat: siinä sitä nyt oli mustaa valkoisella, arvostetussa tiedelehdessä. Yliopistoissa oltiin häpeissään ja vihaisia: miten on edes mahdollista, että tällainen höpsismi menee läpi ja vielä yhdessä alan tärkeimmistä lehdistä?

Bemin artikkeli joutui poikkeukselliseen syyniin. Eri yliopistojen tutkijat päättivät toistaa tutkimuksen kokeita tahoillaan. Näissä niin sanotuissa replikaatiotutkimuksissa kokeen kaikki vaiheet toistettiin samalla tavalla.

Siihen tarina sitten lässähti. Kun koeasetelmat toistettiin, ihmisen ennustajankyvyt olivat tyystin kadonneet. Oli skeptikoiden vuoro iloita. Mutta yhdessä replikaatioyrityksessä mukana ollut brittiläinen tutkija

Chris French ei ollut yhtä riemuissaan. Hän kirjoitti The Guardianissa huolesta, jonka tapahtumasarja oli hänessä herättänyt. Ensinnäkin, Bemin artikkeli ei ollut jäänyt haaviin virheellisten metodien perusteella. Tutkimus oli alun perin todettu huuhaaksi tulostensa perusteella. Ei tieteen pitäisi niin toimia.

Lisäksi Frenchin oma ryhmä oli törmännyt yllättäviin ongelmiin: he eivät meinanneet aluksi saada replikaatiotutkimustaan millään julki. Tiedelehti toisensa jälkeen ilmoitti ottavansa vastaan ainoastaan uusia tutkimuksia. Aiemman tutkimuksen väitteiden testaaminen ei niitä kiinnostanut.

French kollegoineen tajusi hämmentävän asian: vaikka tulosten toistumisen pitäisi olla koko tieteen perusta, aiempien tutkimustulosten testaaminen on todellisuudessa hyvin harvinaista.

”Vaikka meille aina sanotaan, että ’toistettavuus on tieteen kivijalka’, niin todellisuudessa ’huippujulkaisut’ eivät ole kiinnostuneita suorista replikaatioista – etenkään, jos ne epäonnistuvat”, French kirjoitti.

SE, ETTÄ Daryl Bem niin kovasti halusi todistaa yliaistillisen olemassaolon, oli psykologialle joko valtava karhunpalvelus tai onnenpotku. Riippuu hieman, mistä kulmasta katsotaan.

Yhtä kaikki kymmenluvun alussa alkoi tapahtua, ja osin se oli osin hänen ansiotaan.

Vuonna 2011 nuoret tutkijat Leif Nelson, Joseph Simmons ja Uri Simonsohn julkaisivat tieteellisen artikkelin, jonka otsikko kuului: ”False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant”. Siinä he esittivät, että psykologiassa yleisesti käytössä olevat tavat tehdä ja analysoida kokeita tuottavat lähes automaattisesti sattumanvaraisia tuloksia. Väitettä tukemaan kirjoittajat laativat ”esimerkkitutkimuksen”, jossa pientä tilastokikkailua käyttämällä saatiin todistettua, että The Beatlesin ”When I’m Sixty Four” -kappaleen kuuleminen laski koehenkilöiden biologista ikää (hämmentävä tulos jo siksikin, että tuon kappaleen luulisi ennen kaikkea vanhentavan nopeasti).

Se oli eräänlainen tilastotieteellinen vitsi, mutta kirjoittajat huomauttivat, että vastaavanlaisia analyyseja tehdään psykologiassa jatkuvasti. He kutsuivat kuvaamaansa ilmiötä p-hakkeroinniksi. Maalikkokielelle käännettynä se tarkoittaa sitä, että aineistosta kalastellaan tuloksia vaihtelemalla otoskokoa, muuttujia, analyysitapoja tai jopa hypoteesia.

Käytännössä artikkelin kirjoittajat sanoivat, että psykologialla oli vakava ongelma ja sen koeasetelmista uutetut tulokset eivät välttämättä perustuneet muuhun kuin sattumaan.

Ja ikävät paljastukset olivat vasta alussa. Vuotta myöhemmin tarkasteluun nousi yksi sosiaalipsykologian tunnetuimmista kokeista. Nimekäs psykologi John Bargh oli osoittanut, että kun ihmisiä altistaa koetilanteessa vanhuuteen viittaavalle sanastolle, he kävelevät tutkimuspaikalta pois hitaammin. Kyse on niin sanotusta social priming -ilmiöstä. Se tarkoittaa, että ihmiset ”virittyvät” helposti tiedostamattomista sosiaalisista vihjeistä. Priming-tutkimukset ovat sosiaalipsykologian ydintä, ja ne ovat myös viihdyttävää lukemista: niistä tuntuu avautuvan kurkistusaukko ihmisyyden salattuihin heikkouksiin ja voimiin. Toimittajat rakastavat kirjoittaa niistä, ja konsulteille ja markkinointi-ihmisille ne ovat aarteita.

Nyt useampikin tutkija yritti toistaa Barghin klassikkotutkimuksen tuloksia. Mutta eivät ne toistuneet. (Tosin yhdessä kokeessa huomattiin, että kun tutkimuksen toteuttajat itse tiesivät, mitä odottaa, se vaikutti heidän kirjaamaansa lopputulokseen.)

Koko priming-tutkimusten kaanon oli vaakalaudalla. Bargh oli raivoissaan ja syytti replikoijia virheistä. Psykologit jakautuivat leireihin: kliinisellä puolella arveltiin, että ehkä ongelma olikin vain sosiaalipsykologeilla. Nobel-palkittu psykologi ja taloustieteilijä Daniel Kahneman kirjoitti kollegoilleen avoimen kirjeen, jossa hän kehotti priming-tutkijoita ryhtymään järjestelmällisiin replikaatioyrityksiin ja ”siivoamaan tämän sotkun” viipymättä.

Vuonna 2015 koittikin sitten eräänlainen suursiivous. Tosin se ei koskenut vain priming-tutkimuksia. Virginian yliopiston psykologian professori Brian Nosekin koollekutsuma lähes kolmensadan tutkijan verkosto yritti valtavassa hankkeessaan toistaa sata psykologian alan tutkimusta yhden vuoden ajalta, alkuperäisten tutkijoiden asetelmia tarkkaan seuraten. Sadasta tutkimuksesta vain 39 onnistuttiin toistamaan. Jotain oli vialla.

--

Tilaa Long Play ja lue koko juttu täältä.