Peer Review: 절차와 중요성

Table of Contents (Click on the link to scroll to the relevant section)

도입부/소개
<Peer review>는 출판이나 연구 자금확보를 위해, 과학저널과 연구자금 지원기관이 원고를 검토하고 타당성을 부여하는데 널리 사용하는 절차입니다. <Peer review>는 주로 그 분야의 전문가에 의해 검토되며, 그들은 제출된 원고/보조금 신청을 그 연구의 독창성과 과학적 이점과 중요성에 따라 평가 합니다. 또한 원고/보조금신청이 저널/자금지원기관에 받아들이는 기준을 충족하는지를 판단합니다.


Peer review란?
피어리뷰는 한 사람이나 또는 그 이상의 같은 분야의 종사자에 의해 연구 논문이 평가되는 과정을 말합니다. Sense and Science기관은 <peer review>를, 동일한 분야에서 연구하며 출판 목적으로 논문을 투고하는 자격을 갖춘 전문가에 맡기고 과학적 연구결과물이나 제안서의 역량과 의의 그리고 독창성에 대한 평가로써 규정해왔습니다. 더 자세한것은, 아래 사이트를 참고하십시오.
http://www.senseaboutscience.org.uk/index.php/site/project/33.


<Peer review>는 어떤 용도로 이용됩니까?
<Peer review> 과정은 주로 아래와 같습니다.
  • 과학저널 :투고된 원고 평가
    저널이 원고를 받으면, 투고된 원고가 출판용으로 적합한가를 확인해야 합니다. 그러므로, 저널의 에디터는 원고를 동일한 분야의 둘 또는 세 명의 전문가에게 보내고, 이 전문가들은 그 원고가 과학적 가치가 있는지 그리고 취지가 확실한지를, 문서작성 수준과 출판하기에 적합한지를 평가합니다. 이 과정을 <refereeing>이라 합니다.

  • 연구 자금 지원 기관: 보조금 신청서의 과학적 가치 평가
    보조금 신청서에는 자금이 사용될 구체적인 연구 절차의 설명이 포함됩니다. 연구의 의의와 연구설계의 과학적 가치 그리고 자금지원기관의 목적에 맞는 연구의 타당성을 평가하기 위해서, 이 신청서들은 주요 전문가 패널에 의해 검토됩니다.

  • 재임/보조금 제공을 결정하는 대학부서 또는 정부기관
    일반적으로 <Peer review>과정은 교직원의 재임을 평가할 때도 사용됩니다. 다른 대학의 같은 분야의 전문가들로 검토위원회가 구성되고, 재임을 신청한 과학자의 연구물과 출판물 등을 검토합니다. 자금지원기관도 비슷한 절차를 통해, 특정 부서나 대학의 연구에 자금을 지원할지를 결정합니다.


<Peer review>는 어떻게 진행됩니까?
실제로 <Peer review>과정은 원고나 보조금신청서가 검토용으로 제출되었을 때 시작됩니다. 저널 에디터(일반적으로 동일하거나 비슷한 분야의 시니어 대학교수)가 원고를 검토하여, 그 원고가 저널 기준을 만족시키는지를 결정합니다. 일단 원고가 적합하다고 여겨지면, 원고는 둘 또는 세 명의 주요 전문가(이전에 저널의 논문 심사자로 활동하는데 동의한)나 자금지원기관의 심사위원에게 보내어집니다. <Peer review>의 과정은 아래 흐름도표(flow diagram)를 통해 자세히 알 수 있습니다.

pCg

몇 저널은 매우 엄격한 허용 기준을 갖고 있습니다 : Nature 에 제출된 원고의 40%만이 <Peer review>과정을 거치며, 이 원고들 중 25% 이하만이 출판가능성을 갖게 됩니다. 실제로 Nature에 투고된 원고 중 단 7%만이 출판됩니다!
( http://www.nature.com/nature/peerreview/debate/nature05535.html)

<Peer review> 종류
<Peer review>과정은 저자는 리뷰어가 누구인지 모르는 상태에서 실시됩니다. 반면, 리뷰어는 저자가 누구인지 알고 있습니다. 이런 경우를 맹검(blinded or masked review)이라고 합니다. 이런 종류의 검토가 가지는 장점은 리뷰어가 가진 익명성이 그들로 하여금 제출된 원고/보조금 신청서를 과감하게 평가할 수 있도록 도와줍니다.

검토과정을 보다 더 공정하게 하기 위해, 오늘날 많은 저널과 자금지원기관들은 원고/보조금신청서를 저자와 리뷰어가 모두 서로가 누군지 모르는 상태로 진행합니다. 이것을 이중맹검(double-blinded or double-masked review)라고 합니다. 이런 형태의 <Peer review>가 가지는 장점은 보다 더 공정하고 편견이 없다는 점입니다.

새로운 유형의 <Peer review>는 공개논문심사(open peer review)로 저자와 리뷰어가 서로가 누구인지 아는 것입니다. 온라인 오픈액세스 <Peer review>는 온라인 출판물이 증가하는 추세에 따라, 많은 저널과 웹사이트에서 시도되고 있습니다. 성공한 온라인 사이트 중 하나가 arXiv인데, 이곳은 물리,수학, 그리고 관련분야연구 논문의 견본인쇄를 위해 1991년에 시작된 전자보관소입니다. (http://arXiv.org).
연구자들이 아직은 출판되지 않은 자신의 논문(전자인쇄물이라고 불리는)을 이 보관서에 넣어두고, 보는 이(viewer)는 그 연구에 대한 자신의 의견을 쓸 수 있습니다. 연구자들은 출판용 원고로 제출하기 전에, 그 의견들을 이용해서 자신의 연구에 변화를 줄 수 있습니다.
Philica (http://www.philica.com)와 the Journal of Interactive Media in Education(http://www-jime.open.ac.uk/) 그리고 Biology Direct (http://www.biology-direct.com/)와 같은 많은 온라인 저널들은 다양한 형태로 온라인<peer review> 개념을 도입하기 위해 애써왔습니다. 그러나, 저널 Nature에 따르면, 저자는 자신이 투고한 원고가 온라인에서 검토되는 것을 허락해야만 이 과정이 실행되는데, 많은 리뷰어와 저자들은 공개 <peer review> 과정에 참가하기를 꺼리는 것으로 나타났습니다. 저자들 중 단 5% 만이 그 과정에 참가하는데 동의했습니다. 흥미롭게도, 이들 원고 중 54%가 온라인 검토를 받았습니다. 주된 이유는 논문에 대해 비판의견을 쓸 때, 리뷰어가 익명으로 남기를 원해서 그런지도 모릅니다. 더 자세한 것은, 아래 사이트를 참조하십시오.
http://www.nature.com/nature/peerreview/debate/nature05535.html.


<Peer review>과정이 왜 중요합니까?
시스템 단점에도 불구하고, 왜 <peer review>과정이 중요할까요(이 글의 뒷부분에서 더 자세히 논의됩니다)? 대부분의 과학자들은 연구논문과 보조금신청서의 평가를 위해 <peer review> 시스템 사용을 선호합니다.
  • 보조금신청서에 포함되는 연구제안서 또는 투고된 원고가 제시하는 연구에 관한 리뷰어의 의견은 이 연구 또는 원고의 질을 향상시킬 수 있도록 돕습니다.
  • <peer review>과정에 리뷰어로 참가함으로써, 선임 과학자들은 특정 분야에 관한 연구의 질을 유지시키거나 설정하는데 도움을 줄 수 있습니다.
  • 오픈액세스 검토와는 달리, 저자는 연구에 대해 최상의 자격을 갖춘 이가 검토하고서 의견을 전하는, 전통적 <peer review>과정일 때 안심합니다.
  • <peer review>과정을 거친 후에 출판되는 원고는 (i) 발표되고 (ii) 과학 지식에 기여한다는 최소한의 기준을 만족하는 것으로 간주됩니다.
  • <peer review>과정과 저널 impact factor 순위 조합이 최고 저널 등에서 출판될 최상의 연구를 만듭니다. 따라서 논문심사자가 출판된 문헌을 수준에 따라 내림차순으로 분류해줌으로써 독자의 시간과 노력을 덜어줍니다.


<Peer review> 시스템의 단점은 무엇입니까?
이 시스템에 대해 비평하는 사람들이 자주 언급하는 <Peer review>에 몇 가지 단점은 아래와 같습니다.
  • 저널 에디터에 의한 선택
    최초의 <peer review> 절차는 제출된 원고를 저널에 포함시킬지를 결정해야 하는 에디터의 사무실에서 이루어집니다. 이 단계에서 개인적 편견에 의해 영향을 받는 에디터가 있을 수 있습니다. 일단 원고가 이 어려움을 지나고 나면, 그 다음 장애물은 저널 에디터에 의해 선택된 논문 심사자입니다. 에디터는 출판이 거절될 가능성이 높다는 것을 알면서도, 원고를 깐깐한 리뷰어에게 보내기로 결정할지도 모릅니다.
  • 리뷰어가 편향되었을 가능성
    논문심사자는 저자 또는 보조금 신청자와 같은 분야에서 일하는 과학자입니다. 그들은 연구의 기본전제에 반감을 가진 학교에 제출해서 , 원고/신청서의 거절을 이끌수도 있습니다.. 연구분야가 더욱 전문화되면서, 리뷰어가 원고의 저자/보조금 신청자를 식별해낼 가능성이 있으며, 리뷰어가 저자나 보조금 신청자에 대한 개인적인 편견으로 저널/자금지원기관에 그들의 추천으로 영향력을 행사할수 있을지도 모릅니다.
  • 연구의 악용
    검토하게 될 비슷한 연구 프로젝트에 참여하는 일부 리뷰어들은, 자기 자신의 (비슷한) 논문이 출판되기 전까지, 논문의 출판을 연기할지도 모릅니다. 파렴치한 리뷰어들은 원고나 보조금 신청서를 거절하고서, 거의 동일한 원고/보조금 신청서를 자신이 제출합니다.
  • 결함을 찾아내는데 있어서 무능함
    제출된 연구를 검토하는 동안, 리뷰어는 실수를 할 수 있습니다. 아래에 주어진 예에서 볼 수 있듯, <peer review>가 연구 결함이나 원고의 진위여부를 감지해내지 못할 수도 있습니다. 그러나, 이러한 실수는 자주 발생하지 않습니다. 그리고 <peer review>과정이 중단되는 이유가 되어서도 안됩니다.
  • 저자가 시스템을 오용
    일부 저널은 논문의 Acknowledgements section에서 그 논문을 위해 논문심사해준 이들에게 인사를 전하지 못하도록 하는 정책을 가지고 있습니다. 따라서, 부도덕한 리뷰어들은 특정 과학자들이 제출된 원고의 검토하지 않기를 바라는데(편견이나 가혹한 검토에 대한 불안으로), Acknowledgements section부분에서 그들을 의도적으로 언급할지도 모릅니다. 또한 저자는 자신의 이력서에 논문 목록을 늘리려는 의도를 가지고, 거대한 연구를 포괄적인 논문이 아니라 몇 개의 사소한 논문처럼 제시할지도 모릅니다( 연구분책술).
  • <peer review> 없이도 만족시키는 과학적 기준
    <peer review>과정에 반대하는 주장 중 하나는 <peer review>를 거치지 않고도 출판된 연구논문이 있어왔지만, 여전히 과학 연구의 최고 수준을 만족시키며, 우리가 특정 주제에 대해 이해할 수 있도록 하는데 중요한 역할을 해왔다는 것입니다(아래 예를 보십시오). 그러나, 이 범주에 포함되는 논문이 많지는 않습니다.

Dominy와 Bhatt는 <peer review>과정을 방해하는 심각한 문제들이 언급된 일부 유명한 논문을 열거합니다.

출판되었지만 <peer review> 거치지는 않은 유명한 논문들:
Nature 에 실린 DNA의 구조에 관한 Watson & Crick의 1951년 논문
노벨상까지 받은 “Abdus Salam의 논문 "약상호작용과 전자기상호작용" (1968).
Alan Sokal의 "양자 중력의 변형적 해석학을 위하여..." (1996)는 표절된 것으로 밝혀졌으며, 현재는 Sokal Affair의 연구로 알려짐.
출판되었으나 <peer review>를 통해 나중에 표절임이 밝혀진 유명한 논문들:
Jan Hendrik Schon(벨 연구소)가 Science와 Nature (1998-2001)에서 출판된 15개의 논문을 <peer review>가 허위임을 밝혀냈음.
Igor and Grichka Bogdanov (1999 & 2002) 많은 물리학자들이 전문용어가 많은 허튼소리라고 생각한 이론물리학 분야의 논문을 출판했음
출판을 거절당했으나 나중에 중요한 연구로 인정받게 된 유명한 논문들:
신진대사에 영향을 주는 구연산에 관한 논문 Krebs & Johnson(1937)은 Nature에서 “중요성 부족”으로 거절되었고, 결국 네덜란드 저널 Enzymologia에서 출판되었으며, 크레브스회로(Krebs Cycle유기물의 대사회로)로 알려진 이 발견으로 1953년 노벨상 수상
“옵션과 법인채무 평가”에 관한 논문 Black & Scholes (1973)은 여러 차례 거절되고, 결국 저널 Political Economy에 스승인 Merton Miller의 중재로 출판되고, 노벨상을 수상.


결론
<peer review> 는 오래된 과정 중 하나이며 연구협력에 귀중한 서비스를 제공합니다. 오픈액세스 검토와 같은 대안이 되는 평가 방법이 시도되어왔지만, 매우 만족스럽진 않았습니다. <Peer review>로 원고와 보조금신청서를 처리하는 것은, 특정 분야의 연구 수준을 설정하고 유지하는데 도움이 됩니다. <Peer review>와 저널 impact factor순위를 조합하여, 최상의 저널에서 출판되는 뛰어난 연구 논문이 되도록 돕고, 독자가 읽게 될 논문의 연구 수준에 관해, 독자가 논문의 대략적인 순위를 알 수 있도록 제공합니다. 위의 예들로 알 수 있듯이 이 시스템이 특정 결함을 가지고 있긴 하지만, 여전히 연구를 평가하는 형태로 널리 사용되며, 받아들여지고 있습니다. 오픈엑세스와 같은 다른 형태의 검토는, 여전히 시도되고 있으며, 과학적 이점을 평가하는데 사용되는 <peer review> 는 더 나은 대안이 입증되기 전까지는 계속될 전망입니다.