[피어리뷰/동료평가에 관한 알찬 정보 6가지] 리뷰어는 '차이점을 보여 주는 논문'에 호의적이다? ⑥
저널 게재 논문 중, 'A와 B는 완전히 동일하다'와 같은 연구 결과보다 'A가 B보다 효과적이다(영향이 크다)'와 같은 주제의 논문이 많은 이유는 무엇일까요?
인간은 비교를 통해 세상을 판단하려는 습성이 가지고 있습니다. 벽에 구멍을 뚫고, 사람이 드나들 수 있으면 '문', 그렇지 않으면 '창문'이라고 구별하여 부릅니다. 같은 네 발 가진 동물이라 하더라도, 우는 소리에 따라 '개', '고양이' 등으로 구별합니다. 다시 말해, 인간은 오감을 활용하여 만물을 비교, 구별, 구분함으로써, 비로소 둘러싼 것의 진실을 이해합니다. 또한, 확실한 차이를 인지할 때, 안정감을 느끼며, 동시에 이를 중요시하는 경향이 있습니다.
이러한 인간의 습성은 연구자에게도 마찬가지로 작용합니다. 어떤 연구에서 A와 B를 비교한 후, '전혀 차이가 없다'라는 결론에 도달하더라도, '뭔가 다르지 않을까?'라고 집요하게 비교하기 시작합니다.
2009년 네이처에 발표된 연구 결과에 따르면, 많은 경력을 가진 리뷰어에게도 이런 경향이 뿌리 깊게 존재한다고 합니다.
이 연구에서는, 완전히 같은 실험에 관한 두 가지 논문이 준비되었습니다. 결과에 대해 'A보다 B가 우수하다' 버전과 'A와 B는 동일하다' 버전으로 작성된 것이었습니다. 그리고 이것을 여러 명의 리뷰어가 리뷰하도록 했습니다. 주목할 것은, 해당 논문 실험 방법에 몇 가지 작은 문제가 있었다는 점입니다. 리뷰어들은 과연 그 문제를 찾아낼 수 있었을까요?
'A와 B는 동일하다' 버전으로 작성된 논문을 살펴본 리뷰어는, 예상대로 실험 방법과 관련된 실수 및 문제를 찾아내어 수정안을 제시했습니다. 그러나, 'A보다 B가 우수하다' 버전의 논문을 살펴본 측은 문제를 전혀 인지하지 못했습니다. 모두 비슷한 역량을 가진 우수한 리뷰어인데도 말입니다. 즉, 리뷰어도 사람이기에, '모든 것에는 차이가 있다'라는 생각에 사로잡혀 있었던 것입니다.
리뷰어를 속일 수 있는 방법이 있다는 것을 말하고자 함이 아닙니다. 다만, 앞서 소개한 실험 결과를 무시할 것이 아니라, 논문 작성 시, '비교 대상을 명확히 표현하는 것'이 효과적일 수 있다는 것을 알아 두었으면 합니다.
이나고 (크림슨인터랙티브코리아(주))
http://enago.co.kr 크림슨인터랙티브코리아(주) – 이나고(enago.co.kr) 는 서울대, 연세대, 동경대, 뮌헨대학교 등 세계 주요 대학의 박사과정생들을 비롯하여 125개국 81,000여명 연구원들의 약 365,000편 논문교정과 저널투...
종합 이나고 (2016-12-12 09:55)
http://www.ibric.org/myboard/read.php?Board=news&id=278419&Page=1&PARA0=10