Lyhyet
Jussi Valtonen: ”Ei aivokuvasta näy, miten sinun pitäisi kasvattaa lapsesi”
Pari vuotta sitten eräs lukijamme ehdotti, että Long Playn pitäisi kirjoittaa juttu psykologian replikaatiokriisistä. Kukaan meistä ei ollut kuullutkaan sellaisesta, ja kun myöhemmin aloin googlata, hämmennyin. Kävi ilmi, että useita psykologian tutkimustuloksia ei onnistuta toistamaan. Eikä kyseessä ole vain psykologian kriisi vaan se koskee useita koeasetelmiin perustuvia aloja, esimerkiksi lääketiedettä.
Suomeksi aiheesta löytyi vain pari hassua lehtijuttua sekä joukko pidempiä artikkeleita, jotka useimmat oli kirjoittanut neuropsykologi ja kirjailija Jussi Valtonen (yksi oli tämä Psykologia-lehden pitkä juttu vuodelta 2020).
Pyysin siis hänet lounaalle. Miten on mahdollista, ettei tästä puhuta, tivasin kesäkuisella terassilla.
”No, kaikki asiat tulevat Suomeen vähän viipeellä”, Valtonen sanoi. Hän kertoi, että psykologien piirissä asiasta kyllä jo puhutaan kahvilapöydissä ja konferensseissa.
Hän itse törmäsi toistettavuuden ongelmiin yli kymmenen vuotta sitten, väitöskirjaa aloitellessaan. Valtonen ei onnistunut omissa laboratoriokokeissaan toistamaan joitain psykologiassa tunnettuja ilmiöitä. Niin kävi parikin kertaa.
”Ne olivat ihan ekoja kokeita joita tein, ja ajattelin silloin, että olen varmasti tehnyt jotain väärin.”
Tunnetta korosti tietoisuus siitä, että laboratoriossa oli lopulta hyvin yksin. Valtonen huomasi miettivänsä usein sitä, kuinka iso osa työstä on eräänlaista tarinankerrontaa.
”Lopultahan kaikki näkevät vain sen, mitä minä siitä kerron. Ihmetytti silloin, että ihanko todella tässä ei ole mitään prosessia, joka varmistaisi että en ole mokannut – kukaan ei tule katsomaan mitä teen täällä? Olin ehkä kuvitellut... En oikeastaan tiedä, mitä olin kuvitellut. Ehkä että ne mittaustulokset menevät maailmalle, eikä se, miten kuvaan niitä?”
Vuonna 2011 Valtonen luki sitten erään käänteentekevän artikkelin. Tunnetussa tekstissään amerikkalaistutkijat Leif Nelson, Joseph Simmons ja Uri Simonsohn kuvasivat, miten tuikitavallisia psykologian analyysitapoja käyttämällä voi aineistosta uuttaa melkein millaisia tuloksia tahansa.
Se oli Valtosesta järkyttävää mutta myös kiinnostavaa. Hän oli itsekin käyttänyt samoja menetelmiä, koska ne tosiaan olivat niin yleisiä. ”Tajusin, että olen itse mokannut tällä tavalla.”
Hän kirjoitti aiheesta Psykologia-lehteen. Siitä ei seurannut oikeastaan mitään. Seminaarissa saatettiin joskus todeta, että onpa tosiaan mutkikasta.
Mutta lopulta Suomessakin alettiin havahtua kiistelyyn, joka maailmalla roihusi jo täysillä. Elokuussa 2016 psykologi Esa Palosaari kirjoitti nuorten tutkijoiden sähköpostilistalle viestin, joka alkoi: ”Olette varmaan lukeneet vaikeuksista replikoida koetuloksia psykologiassa…”
Palosaari ehdotti, että ongelmaan perehdyttäisiin yhdessä. Hän kertoi huomanneensa, että oli itsekin käyttänyt ongelmalliseksi havaittuja tilastollisen analyysin keinoja, ”samoin kun suuri osa Suomessa käytettävien menetelmäkirjojen tekijöistä ja luultavimmin samoin kuin valtaosa tutkijoista”.
Valtonen vastasi kutsuun ja liittyi Palosaaren lukupiiriin. Siellä alettiin yhdessä käydä läpi sosiologi Sanjay Srivastavan aiheesta kokoamaa kirjallisuuslistausta, jonka nimi oli osuvasti ”Everything is Fucked”.
”Se lähti siitä tunteesta, että mitäs helvettiä nyt tehdään”, Valtonen sanoi.
Tosiaan: jos replikaatiokriisin implikaatiot ottaa vakavasti, joutuu miettimään uusiksi isoja asioita. Mitä se tarkoittaa kumuloituvasti vähän kaikelle, jos uudetkin tiedot pohjaavat väärille oletuksille?
”[Lääketieteen professori] Paul Glasziou on arvioinut että noin 85 prosenttia lääketieteen tutkimuksesta on niin sanottua ’tieteellistä jätettä’. Niin suuri osa tutkimuksista jää julkaisematta, sisältää merkittäviä ongelmia tai on esimerkiksi niin puutteellisesti kuvattu, että toistamisen yrittäminen ei olisi edes mahdollista.”
Tästä voisi päätellä, että kykymme päätellä, mikä edes voi olla totta, on äärimmäisen surkea. Mutta hassua kyllä ei ole niinkään. Kun on tehty tutkimuksia, joissa tutkijat laitetaan lyömään vetoa siitä, toistuuko jokin tutkimus vai ei, heidän kollektiiviset arvauksensa osuvat varsin oikeaan.
Tämä tietysti herättää ison kysymyksen: kuinka sitten on mahdollista, että julkaistaan niin paljon tutkimuksia, joiden tulokset eivät toistu? Mitä julkaisuprosessissa oikein tapahtuu?
Toistettavuuskriisin alkuvaiheessa kritiikki keskittyi yksittäisten tutkijoiden menetelmiin. Mutta tutkijan on vaikea muuttaa toimintatapoja, jos yliopistomaailman rakenteet ohjaavat päinvastaiseen suuntaan. On havaittu, juuri ne tutkimukset, jotka eivät toistu, saavat usein eniten huomiota ja viittauksia. Ja tutkijan uskottavuus mitataan julkaisujen ja viittausten määrässä – publish or perish!
Sitten ovat vielä akateemiset työnantajat ja rahoittajat.
”Jos haluan vaikka professuurin [New Yorkin yliopistosta] tai rahaa Suomen Akatemiasta niin kuinka valinta tehdään? Priorisoidaanko sitä, että olen julkaissut paljon, vai sitä että olen tehnyt tosi varman päälle sen mitä teen?”
Tutkijan näkökulmasta tilanne on epäreilu.
”Ihmiset toivovat samanaikaisesti sekä parempaa maailmaa että oman uran jatkumista, ja tällä hetkellä ne ovat usein ristiriidassa.”
Yllätyksekseni Valtonen sanoi tapaamisemme lopuksi, että replikaatiokriisi on palauttanut hänen uskonsa tieteeseen. ( Saman toisti jokainen tutkija, jota juttuani varten haastattelin.)
Juuri nyt maailmalla tapahtuu paljon: monet julkaisut, rahoittajat ja yliopistot ovat alkaneet sitoutua avoimen tieteen periaatteisiin. Nuoret tutkijat tuntevat ongelman jo hyvin. He verkostoituvat ja vaativat muutoksia palkkausperusteisiin ja julkaisukäytäntöihin.
”He haluavat edistää kulttuuria, jossa tajutaan miten haavoittuvaisia olemme päättelyvirheille. Että se ei tarkoita, että minä kritisoin sinua, vaan meidän pitäisi yhdessä aina miettiä, mikä pitää paikkansa, ja laittaa kaikki tiedot näkyville.”
Kriisi on saanut Valtosen miettimään kriittisesti omia oletuksia. Hän kertoi pohtivansa usein esimerkiksi, mitä kvantitatiivisilla menetelmillä kannattaa ylipäänsä kannattaa lähteä tutkimaan.
”Millaisia kysymyksiä halutaan kysyä? Millä menetelmillä mihinkin kannattaa vastata? On asioita joita ei voi ulkoistaa tietylle metodille. Ei aivokuvasta näy, miten sinun pitäisi kasvattaa lapsesi.”
Valtonen on itse aivotutkija, ja aivotutkimus on jatkuvasti pinnalla – on ollut jo yli 20 vuotta. Aivoista etsitään vastauksia milloin mihinkin: poliittisiin näkemyksiin, sukupuolieroihin tai rakkauteen. Media rakastaa niitä tutkimuksia ja yksittäisen koetuloksen painoarvo julkisuudessa kasvaa helposti kohtuuttomaksi.
Kun samalla tutkimusrahoituksesta keskusteltaessa vaaditaan yhä enemmän vaikuttavuutta, rohkeita avauksia ja yllättävää tietoa, tarjolla oleva julkisuus voi ohjata tutkimusta väärään suuntaan.
”Joku siinä vimmassa saada varmoja vastauksia on kummallista”, Valtonen sanoi. ”Odotan kauhulla sitä päivää kun joku tuo meille fmri-tutkimuksen, joka todistaa että Sota ja rauha on hyvä romaani, koska on kuvannettu päästä jotkut aktivaatiokuviot. Niitä varmasti kuvannetaan jo jossain tälläkin hetkellä.”
Long Play julkaisee syksyn aikana useita juttuja tieteestä ja sen kipupisteistä. Lue lisää aiheesta:
Anu Silfverberg: "Niin totta kuin osaamme"
Sivuääni: Miten tiede pelastetaan, Anu Silfverberg?
Sivuääni: Jussi Valtonen: ”Ei aivokuvasta näy, miten sinun pitäisi kasvattaa lapsesi”
Perjantaikirje: Tutkimuksen hyötyä ei voida mitata Twitterin huutoäänestyksessä
Oskari Onninen: "Aurajoen Darwin"
Sivuääni: Mitä Markus J. Rantalasta pitäisi ajatella, Oskari Onninen?
Perjantaikirje: Tutkimustiedotteisiin pitäisi suhtautua yhtä kriittisesti kuin muuhunkin viestintään
Sivuääni: Mistä tiedevastaisuudessa on kysymys?