Pred nekaj leti sem se prvič znašla v laboratoriju, v katerem naj bi izvedla raziskovalno nalogo, uporabila pa naj bi neko novo metodo. Predstavljena je bila v objavi z znanstveni reviji. Ko smo začeli z delom, smo hitro ugotovili, da pri nas ta metoda ne deluje tako, kot jo je opisoval članek. To niti ni bilo tako nenavadno, a vseeno nas je ustavilo pri delu, kajti rezultatov, predstavljenih v primarni objavi, nismo uspeli ponoviti. Metodo smo nato prilagodili in z njo poiskušali odgovoriti na nova raziskovalna vprašanja, ki so se nam porajala na področju fizikalne biologije.
Ponovljivost znanstvenih raziskav je ena izmed temeljnih zahtev trdih znanosti. Raziskava, ki je bila objavljena v znanstveni reviji in je zadostila pogojem strogih pregledovalk in pregledovalcev, naj bi bila tudi ponovljiva. Že kar nekaj časa pa znanstvenice in znanstveniki opozarjajo, da to ne drži vedno.
Tako se je združilo več kot 270 raziskovalk in raziskovalcev, ki so pod vodstvom socialnega psihologa Braina Noseka ponovno izvedli 100 raziskav, ki so bile pred leti objavljene v treh psiholoških znanstvenih revijah. Osredotočili so se na raziskave s področij kognitivne psihologije in socialne psihologije. Le dobro tretjino rezultatov, natančneje 36 odstotkov raziskav jim je uspelo ponoviti, od tega polovico raziskav s področja kognitivne psihologije in le četrtino raziskav, ki so predstavljale socialno psihologijo. Ponovljive raziskave so uporabile preproste metode in niso kazale v prid presenetljivim hipotezam.
Večjo ponovljivost so imele raziskave, ki so imele nižjo p-vrednost. To je statistična mera, ki nam pove, kako verjetno je, da bi se določeno predvidevanje zgodilo ob predvidevanju nične hipoteze. Predstavljaj si, da preučuješ vpliv novega zdravila. Tvoja nična hipoteza je, da zdravilo nima učinka. Alternativna hipoteza pravi, da zdravilo ima učinek. Statistični test pokaže p-vrednost enako 0,04. Tak rezultat ti pove, da bi le v 4 odstotkih primerih prišlo do ozdravljenja po naključju, če zdravilo ne bi imelo učinka. Raziskave, ki dosežejo p-vrednost, nižjo od 0,05, lahko jemljemo kot pozitiven rezultat preizkusa. A tudi v teh primerih pogostokrat prihaja do statističnih napak. Zato znanstveniki opozarjajo, da bi prag statistične signifikance oz. statističnega pokazatelja, moral biti še nižji. Tudi pri ponavljanju zgoraj omenjenih raziskav so se za ponovljive izkazale raziskave s p-vrednostjo, nižjo od 0,001.
Mimogrede, v fiziki se, ko odkrivajo delce, kot je na primer Higgsov bozon, zadovoljijo šele s 5 sigma, kar je enako odklonu enkrat v 3 in pol milijonih primerov. To pa še ne pomeni, da Higgsov bozon obstaja ali ne obstaja: to pomeni, da če delec ne bi obstajal, bi bilo tisto, kar so zaznali z meritvami, skrajno malo verjetno. Podobno nam p-vrednost, ki je manjša od 0,05, v primeru psiholoških raziskav pokaže, da če vpliva neke spremenljivke ni, se je to zgodilo z z neko majhno verjetnostjo ali le enkrat v dvajstetih primerih. Nižja kot je p-vrednost, manj verjetno je, da bi do nekaterih rezultatov v raziskavi prišli zgolj po naključju.
Poleg tega, da so se zgoraj omenjeni raziskovalci in raziskovalke usmerili v preverjanje, kako verjetno je, da nekaj drži, so v raziskavi, objavljeni v reviji Science, preverili tudi velikost učinka različnih meritev. To je statistilčna mera, ki kvantitativno ovrednosti moč opazobvanja in meritve pojava. Izkazalo se je, da so pri večini raziskav, ki so bile sicer ponovljive, v drugo izmerili veliko manjše učinke kot pri prvotni meritvi.
Avtorice in avtorji vidijo razloge za neponovljivost raziskav v možnosti, da so bile prvotne meritve podvržene napaki ali pa je do napak prišlo tudi kasneje, v primeru ponavljanja raziskav. V nekaterih primerih so morda izbrali udeleženke in udeležence raziskave iz skupine ljudi, ki se je zelo razlikovala od tiste skupine ljudi, ki so sodelovali v prvotni raziskavi. Nekatere antropologinje in antropologi ter psihologinja in psihologi že nekaj čaza opozarjajo na vzorce, ki jih uporabljajo v marsikateri psihološki raziskavi, tako imenovane skupine ljudi WEIRD. Kratica pomeni zahodni (Western), izobraženi (educated), industrializirani (industrialized), premožni (rich) in demokratični (democratic). To so večinoma raziskave, ki jih izvajajo z ameriškimi dodiplomskimi študentkami in študenti ter očitno niso ravno najboljši vzorec za reprezentiranje človeštva v celoti, zato vse bolj spodbujajo izvajanje medkulturnih raziskav. Ob vsem tem je ob ponovni izvedbi raziskav prihajalo tudi do tehničnih težav, tako da so morali nekatere teste prilagoditi.
Razlog za sorazmerno majhno ponovljivost raziskav s področja socialne psihologije se morda skriva tudi v sami vedi, saj socialna psihologija ugotavlja, kako na vedenje posameznice in posameznika vplivajo drugi ljudje; razlaga torej vedenje ljudi znotraj nekega družbenega okvira. Družbeno vedenje je kulturno pogojeno, zato lahko marsikatero raziskavo socialne psihologije razumemo le v okviru populacije ljudi, v okviru katere je bila izvedena. Na drugi strani se kognitivna psihologija posveča univerzalnim komponentam človeške kognicije, kot so pozornost, učenje, spomin ipd., četudi tudi te v marsičem variirajo od ene do druge skupine ljudi.
(vir)
Podatki, uporabljeni v raziskavi, so javno objavljeni. Prav vsak se lahko poigra in odkrije nove zakonitosti znotraj tega niza podatkov. Javno so objavili tudi seznam uporabljenih raziskav in odgovore avtorjev primarnih raziskav. Znanstvenice in znanstveniki spodbujajo k odprti znanosti, k sprotnemu objavljanju poteka raziskav in tudi k objavi negativnih rezultatov oziroma rezultatov, ki se ne izkažejo kot statistično pomembni. Veliko jih v tem vidi rešitev. A opozarjajo tudi na druge težave znanosti, kot je na primer prevelika želja po čim hitrejšem objavljanju novih odkritij v čim večkrat citiranih znanstvenih revijah. Nikakor pa nima težav s ponovljivostjo raziskav le psihologija: raziskovalke in raziskovalci že preverjajo ponovljivost petdesetih raziskav s področja biologije raka.
Od takrat, ko sem se prvič soočila z neponovljivostjo raziskave, sem spremenila področje zanimanja in se soočila tudi z drugačnimi znanstvenimi metodami in raziskovalnimi vprašanji. Skupna točka vsakega raziskovanja pa ostaja želja po odkrivanju neznanega. Statistika in znanstvena metoda me spremljata ves čas. Mentorice in mentorji me redno sprašujejo, ali sem prepričana, da so moja raziskovalna vprašanja in v nekaterih primerih tudi metode nove in edinstvene. Visoka je tudi želja po objavljivosti odkritij v znanstvenih revijah, saj le z zadostnim številom objav lahko ostaneš v svetu znanosti. A nikakor ne smemo zavoljo objavljanja dopustiti prehitrega sklepanja ali opustiti načela stalnega preverjanja hipotez z novimi poskusi, opazovanji in meritvami, tudi če avtoriteta znanstvene revije jamči zanje.
To je to!
Z
O predstavljeni raziskavi so poročali tudi na Guardianu (link 1, 2, 3), Scientific Americanu, The Conservations, Vox, The Smithsonianu, FifeThirtyEight in zagotovo še kje.
Piškotarna 