“연구재현성 위해 학술지 합심” 네이처·사이언스 공동사설
30여 저널 에디터들 ‘원칙과 지침 제안’ 합의 발표
“실험 재현성, 연구방법 투명성, 제3자 검증” 강화
+ 공동사설 번역
» 같은 제목과 같은 내용으로 실린 네이처와 사이언스의 이례적인 공동사설. '과학저널들, 연구재현성을 위해 뜻을 모으다'. 출처/ Nature, Science
생명의학 분야에서 내로라 하는 학술저널 30여 곳의 편집위원(에디터)들이 한자리에 모여, 저널에 실리는 논문의 연구진실성을 강화하기 위한 ‘논문 심사와 출판의 원칙과 지침’을 마련해 최근 미국립보건원(NIH) 누리집을 통해 발표했다. 이 논의에 참여한 대표적인 종합과학 저널인 <네이처>와 <사이언스>는 이와 관련해 이례적으로 공동사설을 나란히 실어 발표했다.
과학저널들이 논문 심사와 출판 원칙과 지침을 다시 가다듬어 확인하고 나선 데에는 근래에 세상을 떠들썩하게 한 일본 약산성 자극 유도 줄기세포(STAP)의 연구부정 충격을 비롯해 크고작은 생명의학 연구의 재현성 논란이 부각되면서 과학 연구와 출판의 신뢰성을 강화하기 위한 뜻이 담긴 것으로 풀이된다.
네이처와 사이언스는 각각 11월6일치와 11월7일치에서 “실험재현성을 위하여 과학저널들 뜻을 모으다(Journals unite for reproducibility)”라는 같은 제목과 같은 내용을 담은 공동의 사설을 발표했다. 두 저널은 사설에서 “(실험의) 재현성, 엄격성, 투명성, 그리고 독립적 검증은 과학적 방법의 시금석”임을 확인하면서 무엇보다도 투명성과 엄격성이 재현성의 논란을 푸는 데 중요함을 강조했다.
“(실험의) 재현성, 엄격성, 투명성, 그리고 독립적 검증은 과학적 방법의 시금석이다. 당연한 말이지만, 어느 결과가 재현된다는 것만으로 그것이 옳은 것은 아니며, 재현되지 않는다는 것만으로 그것이 그른 것은 아니다. 하지만 투명하고 엄격한 접근법은 거의 언제나 재현성의 이슈에 빛을 비추어줄 것이다. 이런 빛 덕분에, 반론을 통한 진로수정이나 결과 데이터의 객관적 검토뿐 아니라 독립적 검증을 통해서 과학은 전진할 수 있다.”
사설은 새로 마련된 ‘원칙과 지침’을 인용해 저자들이 논문을 투고할 때 통계분석과 실험재료를 비롯해 연구설계의 방법을 자세하게 보고하도록 하는 정책을 학술저널들이 시행해야 하며, 저널들은 또한 논문에 실린 이미지와 통계의 정확성을 점검하는 정책을 강화해야 한다고 권고했다.
또한 사설은 재현성과 투명성을 강화하기 위해 논문 저자들이 실험방법을 원고분량의 제한 없이 논문에 충분하게 서술할 수 있도록 하며, 실험 데이터는 공공저장소에 저장해 제3자가 실험결과를 검증할 수 있도록 하며, 논문에 대한 반론이 제기되면 반론의 출판을 검토하는 책임을 다해야 한다는 점을 강조했다.
공동사설은 “우리는 연구결과를 소통하고 확산하는 과정에서 연구활동의 파트너로서 과학자와 사회의 이익을 위해 우리의 역할을 다하고자 한다”며 “이런 지침들이 성가신 것으로 여겨지지 않고 과학에 대한 공중의 신뢰를 정당화하는 품질관리(quality control)의 일환으로 여겨지기를 희망한다”고 밝혔다. ‘임상전 연구보고 원칙과 지침’의 좀 더 자세한 내용은 미국립보건원(NIH)의 누리집에서 볼 수 있다.◑
[번역] 공동사설 (출처: 네이처 11.6 ; 사이언스 11.7)
과학저널들, 실험재현성을 위해 뜻을 모으다
Journals unite for reproducibility
(실험의) 재현성, 엄격성, 투명성, 그리고 독립적 검증은 과학적 방법의 시금석이다. 당연한 말이지만, 어느 결과가 재현된다는 것만으로 그것이 옳은 것은 아니며, 재현되지 않는다는 것만으로 그것이 그른 것은 아니다. 하지만 투명하고 엄격한 접근법은 거의 언제나 재현성의 이슈에 빛을 비추어줄 것이다. 이런 빛 덕분에, 반론을 통한 진로수정이나 결과 데이터의 객관적 검토뿐 아니라 독립적 검증을 통해서 과학은 전진할 수 있다.
2014년 6월 미국과학진흥협회(AAAS) 본부에서 30여 개 과학저널을 대표하는 일군의 저널 에디터들과 연구비 지원기관의 대표들, 그리고 과학계 지도자들이 모여 임상전 생명의학 연구에 대한 원칙과 가이드라인을 논의한 것은, 생명의학의 그런 접근법을 강화한다는 목적 때문이었다. 이 모임은 미국립보건원(NIH)과 네이처, 사이언스가 주관했다.
논의는 저널들이 재현성 문제에 대처해 이미 시행 중인 것들(그리고 그 조처들의 효과성)부터 문제의 규모와 해법의 비용에 이르기까지 다양한 영역에서 이루어졌다. 참석자들은 ‘임상전 연구 보고의 원칙과 지침(Principles and Guidelines in Reporting Preclinical Research)’에 관한 일련의 조항에 동의했다. 거기에는 투명성과 재현성을 제고하기 위한 저널의 정책과 저자 보고 의무사항에 관한 제안이 담겼다.
이 가이드라인은 저자들한테 알리는 저널 정보에다 통계분석에 관한 저널의 정책이 어떤 것인지 실어야 하고, 저널들이 해당 연구의 통계 정확성을 어떻게 심사하는지를 실어야 한다고 저널들에 권고한다. 페이지 제한의 부담 때문에 재현성이 방해를 받아서는 안 된다. 이 가이드라인은 사용된 표준, 실험반복 횟수와 유형, 통계, 무작위화 방법 같은 중요한 실험 변수들(parameters)을 보고하고, 또한 실험들이 블라인드 처리되었는지, 샘플 규모는 어떻게 결정했는지, 그리고 어떤 데이터를 포함하거나 배제하는 데 어떤 기준이 사용되었는지 등을 보고하도록 하는 점검목록(checklist)을 사용할 것을 권장한다. 저널들은 이용할 수 있는 공공저장소에 데이터를 저장하고 논문이 출판되었을 때에는 양방향으로 데이터에 링크를 걸어둘 것을 권고해야 한다. 저널들은 실험에 사용된 모든 재료가 그 실험을 재현하고자 하는 이들과 공유하도록 합당하게 강하게 권고해야 한다. 일단 저널이 어떤 논문을 출판하면, 저널은 그 논문에 대한 반론이 있다면 통상 수준의 표준에 맞게 반론의 출판을 고려할 책임을 진다.
가이드라인이 다 담지 못한 더 많은 부분은 저널들이 이미지 관련 데이터를 다루는 최선의 관행(예컨대, 이미지 조작 걸러내기, 충분한 해상도로 자료 저장하기), 그리고 실험을 충분히 서술하는 것과 관련한 최선의 관행을 세워나갈 것을 제안한다. 동물 실험을 한 예로 들면, 형질전환 동물에 대하여 출처(source), 종, 형질(strain), 성, 연령과 사육, 동종번식, 형질 특성을 다 보고하는 것이다. 세포주(cell line)에 대해서는, 출처, 진본성, 마이코플라스마 오염 상태를 보고할 수 있을 것이다. 이런 가이드라인이 있다고 해서, 실험결과에 대한 재현 검증이나 독립적 검증의 필요성이 없어지는 것은 아니며, 가이드라인은 오히려 그런 재현 실험을 더 수월하게 수행할 수 있게 돕는 것이 되어야 한다.
이번 모임에 참여한 일부 저널들은 이미 원칙과 지침의 일부나 전부를 이미 적절히 갖추고 있다. 그러나 중요한 것은 많은 과학저널들이 재현성과 투명성이 중요한 이슈라는 신념에 함께하고 있다는 점이다. 연구결과를 소통하고 확산하는 과정에서 연구 활동의 파트너로서, 우리는 과학자와 사회의 이익을 위해 우리의 역할을 하고자 한다.
이런 가이드라인들이 성가신 것으로 여겨지지 않고 과학에 대한 공중의 신뢰가 정당함을 증명하는 품질관리의 일환으로 여겨지길 희망한다.
오철우 기자 cheolwoo@hani.co.kr
@한겨레 과학웹진 사이언스온 오철우 기자 cheolwoo@hani.co.kr 2014. 11. 11
http://scienceon.hani.co.kr/210773