Peer review je systém, ktorý máme zavedený, aby sme zabránili prekĺznutiu papierov cez sieť. Nie je to dokonalé a v poslednej dobe sa to dostalo pod zvýšenú pozornosť, pretože čoraz viac zistení v práci (hlavne v psychológii) neboli reprodukovateľné pri dodržaní rovnakých krokov.
Ale a nové štúdium vo Francúzsku odhalil jeden vážny problém, ktorý by mohol časom spôsobiť, že bude menej spoľahlivý: len asi 20 % vedcov si venujú čas na preskúmanie práce svojich kolegov a počet recenzovaných prác vzrástol od r o 204 % 1990.
„Ukázali sme, že malá časť vedeckej komunity nesie neúmernú záťaž z partnerského hodnotenia,“ uzavreli vedci z parížskej Descartes University. „Táto nerovnosť môže byť koreňom potenciálne nezvládnuteľnej záťaže. Títo „hrdinovia partnerského hodnotenia“ môžu byť prepracovaní, s rizikom zníženia štandardov vzájomného hodnotenia.”
Pomocou matematického modelu výskumníci preskúmali všetky biomedicínske a biologické články uvedené v MEDLINE v rokoch 1990 (372 589) až 2015 (1 134 686). Urobili odhady, koľko kôl kontroly by dokumenty prešli a koľko hodiny, ktoré by to trvalo, a potom sa to porovnalo s počtom výskumníkov, ktorí sú k dispozícii na vzájomné hodnotenie práca. Práca predpokladá, že 25 % prác bude zamietnutých a že 90 % prác prejde druhým kolom hodnotenia, ktoré trvá približne štyri až päť hodín. To znamená, že práce z roku 2015 dosiahli neuveriteľných 63,4 milióna hodín práce na revízii.
ČÍTAJTE ĎALEJ: Slon v laboratóriu. Koľko vedy je vymyslené?
A tá práca je rozložená naozaj nerovnomerne. Minulý rok malo asi 1,8 milióna výskumníkov najväčší podiel na práci partnerského hodnotenia, zatiaľ čo asi 4,6 milióna prispelo veľmi málo. Úplné odhady tímu boli také, že 70 % z nich venovalo 1 % alebo menej svojho času výskumu partnerskému preskúmaniu, zatiaľ čo 5 % venovalo viac ako 13 % svojich plánov udržaniu systému nad vodou.
Dobrou správou (tak trochu) je, že tento model je udržateľný. Je to trochu nespravodlivé voči ľuďom, ktorí zdvíhajú ťažké veci. „Súčasný systém vzájomného hodnotenia je udržateľný, pokiaľ ide o objem, ale distribúcia úsilia o partnerské hodnotenie je vo vedeckej komunite značne nevyvážená,“ píšu vedci.
Napriek tomu nie sú za upustenie od partnerského hodnotenia, napriek jeho nedokonalostiam: hlavne preto, že neexistuje nič, čo by sa ukázalo ako lepšie.
Pozri súvisiace
„Dôkazová základňa pre alternatívne systémy vzájomného hodnotenia je stále riedka. Mal by sa podporovať prístup založený na dôkazoch k partnerskému preskúmaniu štúdií, ktorý kombinuje počítačové modelovanie, experimentálne štúdie a zdieľanie údajov z časopisov a vydavateľov.“
Komu parafrázovať ChurchillaPeer review môže byť najhoršou metódou vedeckého skúmania, okrem všetkých ostatných.
„Vylepšenia v partnerskom hodnotení prídu v reakcii na dôkazy,“ uzatvárajú vedci.
Snímky: Nic McPhee a Nic McPhee používané pod Creative Commons
