How to read a paper(S. Keshav) 번역

How to Read a Paper (번역)

221216

original paper : https://www.academia.edu/37525767/How_to_Read_a_Paper

제대로된 연구를 시작하기 전, 꽤 유명한 논문인 ‘논문을 보다 효율적이면서 제대로 읽기 위한 가이드를 제시하는 논문’을 번역해보았다. (논문을 읽기 위한 논문 ㅋㅋ)

ABSTRACT

Researchers spend a great deal of time reading research papers. However, this skill is rarely taught, leading to much wasted effort. This article outlines a practical and efficient three-pass method for reading research papers. I also describe how to use this method to do a literature survey.

연구자들은 많은 시간을 연구논문을 읽는 데에 쓴다.

그러나 논문을 읽는 방법이 잘 알려지지 않은 탓에, 많은 노력이 허투로 들게 된다.

이 글은 연구논문을 실용적이고 효과적으로 읽기 위한 세 가지 방법을 제시한다.

나는 논문 뿐 아니라 타 문헌들 또한 이 방법을 적용하여 어떻게 효율적으로 읽는지에 대해 제시하고자 한다.

1. INTRODUCTION

Researchers must read papers for several reasons: to review them for a conference or a class, to keep current in their field, or for a literature survey of a new field. A typical researcher will likely spend hundreds of hours every year reading papers.

Learning to efficiently read a paper is a critical but rarely taught skill. Beginning graduate students, therefore, must learn on their own using trial and error. Students waste much effort in the process and are frequently driven to frustration.

For many years I have used a simple approach to efficiently read papers. This paper describes the ‘three-pass’ approach and its use in doing a literature survey.

연구자들은 다음의 이유로 논문을 읽어야 한다.

1. 강의나 컨퍼런스에 대한 검토를 하기 위해
2. 현업에서의 최신 기술을 배우기 위해
3. 새로운 분야에 대한 정보를 조사하기 위해

대다수의 연구자들은 1년에 수백시간을 논문 읽기에 투자한다.

효율적으로 논문을 읽는 방법을 배우는 것은 중요하지만, 이 방법은 잘 가르쳐지지 않고 있다. 대학원 생활을 시작한 이후부터는 스스로 시도하고 실패함으로써 배워야 한다. 이 과정에서 학생들은 매우 많은 노력을 들이고, 자주 좌절에 빠지게 된다.

오랜 기간동안 나는 매우 간단한 접근법을 통해 논문을 효과적으로 읽었다. 이 글은 ‘three-pass’ 접근법을 제시하고 이 접근법의 사용을 보여준다.

2. THE THREE-PASS APPROACH

The key idea is that you should read the paper in up to three passes, instead of starting at the beginning and plowing your way to the end. Each pass accomplishes specific goals and builds upon the previous pass: The first pass gives you a general idea about the paper. The second pass lets you grasp the paper’s content, but not its details. The third pass helps you understand the paper in depth.

핵심 아이디어는 논문을 처음부터 끝까지 순서대로 쭈욱 읽고 끝내는 것이 아닌, 세 가지의 방법을 철저히 지키면서 읽어내는 것이다.

각 방법은 전 방법으로 인해 세워진 세세한 목표를 이뤄내는 것이다.

첫 번째 방법은 논문의 전체적인 아이디어를 파악하는 것이다.

두 번째 방법은 논문의 내용들을 표면적으로 파악하는 것이다.

세 번째 방법은 논문을 깊이있게 파악하는 것이다.

2.1 The first pass

The first pass is a quick scan to get a bird’s-eye view of the paper. You can also decide whether you need to do any more passes. This pass should take about five to ten minutes and consists of the following steps:

1. Carefully read the title, abstract, and introduction
2. Read the section and sub-section headings, but ignore everything else
3. Read the conclusions
4. Glanse over the references, mentally ticking off the ones you’ve already read

첫 번째 방법은 빠르게 개괄적으로 논문을 스캔하는 방식이다.

또한 이 방법을 진행하면서 다른 방식들을 얼마든지 추가할 수 있다.

이 방법은 5분에서 10분정도 소요되며 다음의 순서로 진행된다.

1. title, abstraction, introduction을 유의깊게 읽는다.
2. section과 sub-section의 제목만 읽는다.
3. conclusion을 읽는다.
4. 참조를 훑고, 그 중 내가 이미 읽은 것을 머릿속으로 집어놓는다.

At the end of the first pass, you should be able to answer the five Cs:

1. Category: What type of paper is this? A measurement paper? An analysis of an existing system? A description of a research prototype?
2. Context: Which other papers is it related to? Which theoretical bases were used to analyze problem?
3. Correctness: Do the assumption appear to be valid?
4. Contributions: What are the paper’s main contributions?
5. Clarity: Is the paper well written?

첫 번째 방법의 마지막에서 다섯 개의 C에 대해 대답할 수 있어야 한다.

1. 카테고리(Category): 어떤 종류의 논문인가? 실험(측정)에 관한 논문인가? 기존의 시스템을 분석하는 논문인가? 기존의 연구를 해설하는 논문인가?
2. 맥락(Context): 어떤 논문이 지금 읽고 있는 논문과 연관되어 있는가? 문제를 해결하기 위해 어떤 이론적 배경이 사용되었는가?
3. 정합성(Correctness): 가설이 유효한가?
4. 기여(Contributions): 이 논문이 어디에 영향을 미치는가?
5. 명확성(Clarity): 논문이 짜임새있게 쓰였는가?

Using this information, you may choose not to read further. This could be because the paper doesn’t interest you, or you don’t know enough about the area to understand the paper, or that the authors make invalid assumptions. The first pass is adequate for papers that aren’t in your research area, but may someday prove relevant.

이러한 정보를 이용하면서, 당신은 논문을 더 읽기를 포기할 것이다. 이유는 그 논문이 당신에게 흥미가 없거나, 당신이 그 논문의 분야에 대해 이미 잘 알고 있거나, 혹은 논문의 저자가 타당하지 않은 가설을 기술했기 때문이다.

첫 번째 방법은 당신의 연구주제에 속해 있진 않으나, 향후 관련성을 입증해야 하는 분야의 논문을 읽을 때 적합하다.

Incidentally, when you write a paper, you can expect most reviewers (and readers) to make only one pass over it. Take care you choose coherent section and sub-section titles and to write concise and comprehensive abstracts. If a reviewer cannot understand the gist after one pass, the paper will likely be rejected; if a reader cannot understand the highlights of the paper after five minutes, the paper will likely never be read.

우연히 당신이 논문을 쓸 때, 그 논문을 읽는 모든 사람이 동일한 방식으로 읽고 접근하기를 원할 것이다.

그러면 각 section과 sub-section의 title을 일관되게 작성할 것을 명심해라.

그리고 abstracts를 일관되면서 복합적으로 작성하라.

독자가 첫 번째 방법으로 읽고나서 요점을 잘 파악하지 못하는 경우엔, 논문은 reject당할 것이다.

독자가 5분후에 논문의 요점을 이해하지 못할 경우, 그 논문은 영원히 읽히지 않을 것이다.

2.2 The second pass

In the second pass, read the paper with greater care, but ignore details such as proofs. It helps to jot down the key points, or to make comments in the margins, as you read.

1. Look carefully at the figures, diagrams and other illustrations in the paper. Pay special attention to graphs. Are the axes properly labeled? Are results shown with error bars, so that conclusions are statiscally significant? Common mistakes like these will separate rushed, shoddy work from the truly excellent.
2. Remember to mark relevant unread references for further reading (this is a good way to learn more about the background of the paper).

두 번째 방법은, 집중하면서 유의깊게 논문을 읽으나 증명과 같은 자세한 부분은 무시하는 것이다.

이는 빠르게 핵심에 도달할 수 있게 해주며, 읽을 때 빈 부분에 코멘트를 달 수 있게 해준다.

1. figure, diagram, 그 외 다른 표현들을 유의깊게 본다. 특히 그래프에 주의를 더욱 기울인다. 축에 레이블이 제대로 설정되어 있는지 확인한다. 결론이 통계적으로 유의한가에 대해 확인한다. 이러한 일반적인 실수는 좋은 논문과 엉성한 논문을 구별할 수 있게 해 준다.
2. 더 심화된 습득을 위해 체크한 관련 참조들을 기억하기(논문의 배경에 대해 더 심화된 학습이 가능하다.)

The second pass should take up to an hour. After this pass, you should be able to grasp the content of the paper. You should be able to summarize the main thrust of the paper, with supporting evidence, to someone else. This level of detail is appropriate for a paper in which you are interested, but does not lie in your research speciality.

두 번째 방법에는 한 시간 정도가 소요된다. 이 방법을 완료하면, 당신이 읽고 있는 논문의 윤곽이 잡히게 된다. 당신은 누군가에게 논문의 핵심 주제에 대해 지지하는 근거와 함께 요약하여 설명할 수 있게 될 것이다. 이 정도로 심화된 디테일은 당신이 읽고 있는 논문에 대해 적절하게 작용하지만, 당신의 전문연구에는 해당하지 않을 것이다.

Sometimes you won’t understand a paper even at the end of the second pass. This may be because the subject matter is new to you, with unfamiliar terminology and acronyms.

Or the authors may use a proof or experimental technique that you don’t understand, so that the bulk of the paper is incomprehensible. The paper may be poorly written with unsubstantiated assertions and numerous forward references. Or it could just be that it’s late at night and you’re tired. You can now choose to: (a) set the paper aside, hoping you don’t need to understand the material to be successful in you career, (b) return to the paper later, perhaps after reading background material or (c) persevere and go on to the third pass.

가끔 두 번째 단계까지 완수하더라도 논문에 대해 이해가 가지 않을 수 있다. 이 이유에는 논문의 주제가 당신에게 매우 생소하거나 친숙하지 않은 기술, 용어가 들어갈 수 있기 때문이 있을 것이다.

혹은 저자가 당신이 이해하지 못한 증명&실험 방법을 썼을 수 있고, 이로 인해 논문의 대부분이 이해가 가지 않게 될 것이다. 그러한 논문에는 아마 근거없는 주장이나 수많은 참조가 쓰여있을 것이다.

혹은 당신이 논문을 읽고 있는 시간이 매우 늦은 밤이거나 당신이 매우 피곤한 상태여서일 수도 있다.

당신은 이제 세 가지의 선택지를 선택할 수 있다.

(a) 논문을 치워버린 다음, 앞으로의 진로에 있어서 그 논문에 대해 이해할 필요가 없다고 믿기

(b) 뒤에 이어지는 내용을 모두 읽고 나중에 돌아오기

(c) 인내심을 갖고 세 번째 방법으로 넘어가기

2.3 The third pass

To fully understand a paper, particularly if you are reviewer, requires a third pass. The key to the third pass is to attempt to virtually re-implement the paper: that is, making the same assumptions as the authors, re-create the work. By comparing this re-creation with actual paper, you can easily identify not only a paper’s innovations, but also its hidden failings and assumptions.

논문을 완전히 이해하기 위해, 특히 당신이 논문 심사관이라면, 세 번째 방법을 반드시 수행해야 한다. 세 번째 방법의 핵심은 이 논문을 재구현하려는 시도이다: 이것은 저자와 같은 가정을 세우고, 수행을 다시 하는 것이다. 재작성한 논문과 원본 논문을 비교함으로써, 당신은 원본 논문의 혁신적인 내용뿐만 아니라 숨겨진 실패와 가정 또한 파악할 수 있게 된다.

This pass requires great attention to detail. You should identify and challenge every assumption in every statement. Moreover, you should think about how you yourself would present a particular idea. This comparison of the actual with the virtual lends a sharp insight into the proof and presentation techniques in the paper and you can very likely add this to your repertoire of tools. During this pass, you should also jot down ideas for future work.

이 방법은 논문의 세세한 부분까지 엄청난 관심을 기울이는 것을 필요로 한다. 당신은 모든 서술에서의 모든 가정 안에 있는 도전사항들을 파악하게 될 것이다. 더욱이, 당신이 어떻게 당신의 생각을 표현할 수 있을지에 대해 고민하게 될 것이다.

원본과 가상의 비교를 통해 논문에 사용된 증명과 표현 테크닉에 대한 날카로운 통찰력을 가질 수 있고 이 내용들을 당신의 기술적 도구에 추가할 수 있다.

이러한 과정을 통해, 또한 당신은 미래의 연구에 대한 당신의 아이디어를 표기해놓을 수 있다.

This pass can take about four or five hours for beginners, and about an hour for an experienced reader. At the end of this pass, you should be able to reconstruct the entire structure of the paper from memory, as well as be able to identify its strong and weak points. In particular, you should be able to pinpoint implicit assumptions, missing citations to relevant work, and potential issues with experimental or analytical techniques.

이 방법은 초심자에게 4~5시간 정도 소요되고, 능숙한 독자에게는 한 시간 정도가 소요된다. 이 방법의 마지막에선, 당신의 기억만으로 논문의 전체적인 구조에 대해 재구성할 수 있게 되며 논문의 강점과 약점을 파악할 수 있게 된다.

세부적으로 당신은 논문의 암묵적인 가정, 관련 작업에 대한 누락된 인용문, 그리고 실험적 or 분석적 기술에 대한 잠재적인 문제들을 정확히 지적할 수 있게 된다.

3. DOING A LITERATURE SURVEY

Paper reading skills are put to the test in doing a literature survey. This will require you to read tens of papers, perhaps in an unfamiliar field. What papers should you read? Here is how you can use the three-pass approach to help. First, use an academic search engine such as Google Scholar or CiteSeer and some well-chosen keywords to find three to five recent papers in the area. Do one pass on each paper to get a sense of the work, then read their related work sections. You will find a thumbnail summary of the recent work, and perhaps, if you are lucky, a pointer to a recent survey paper. If you can find such a survey, you are done. Read the survey, congratulating yourself on your good luck.

논문 읽기 스킬은 문헌조사를 하는 동안 테스트에 처해지게 된다.

이것은 당신에게 익숙하지 않은 분야에서 수십 개의 논문을 읽게 할 것이다. 어떤 논문을 읽어야 할까? 여기 당신에게 도움이 되는 세 단계의 접근 방식이 있다.

첫 번째 방법 : Google Scholar, CiteSeer와 같은 학술 검색 엔진과 잘 선택된 키워드를 사용하여 그 영역에서 3~5개의 최신 논문을 찾아낸다. 각각의 논문에서 리딩 스킬을 활용하여 주제에 대한 감각을 얻은 다음 관련 섹션에 대한 작업물도 읽어라.

당신은 최근 연구에 대한 축소 요약본을 찾을 수 있을 것이며, 혹은 운이 좋다면, 최근의 설문조사에 대한 정보를 얻을 수 있다. 당신이 이러한 조사에 대해 찾은 경우, 작업 완수이다. 조사에 대해 읽고, 당신의 행운을 치하하면 된다.

Otherwise, in the second step, find shared citations and repeated author names in the bibliography. These are the key papers and researchers in that area. Download the key papers and set them aside. Then go to the websites of the key researchers and see where they’ve published recently. That will help you identify the top conferences in that field because the best researchers usually publish in the top conferences.

그렇지 않으면, 두 번째 방법으로 참고문헌에서 많이 공유된 인용과 공동저자를 찾아라. 이들은 해당 분야에서 핵심적인 논문과 인물일 것이다.

핵심 논문들을 다운받고 옆에 펼쳐 놓아라. 그런 다음 핵심 연구자들의 웹사이트에 방문하여 그들이 가장 최근에 무엇을 발행했는지 확인해라.

이것은 당신이 해당 분야에서의 탑티어 학회를 찾을 수 있게끔 도와줄 것이다.

왜냐하면 최고의 연구자들이 대개 탑티어 학회 논문을 출판하기 때문이다.

The third step is to go to the website for these top conferences and look through their recent proceedings. A quick scan will usually identify recent high-quality related work. These papers, along with the ones you set aside earlier, constitute the first version of your survey. Make two passes through these papers. If they all cite a key paper that you did not find earlier, obtain and read it, iterating as necessary.

세 번째 방법은 이러한 탑 컨퍼런스의 웹 사이트에 방문한 후 그들의 최신 연구들에 대해 훑는 것이다. 간단한 훑기를 통해 최근의 양질의 관련 연구를 확인할 수 있을 것이다.

이렇게 찾은 논문들은 기존에 당신이 준비한 논문들과 함께 당신의 조사에 대한 첫 번째 시야를 구성하게 해 준다.

이렇게 얻은 논문들을 두 번 읽어라. 이 논문들이 이전에 찾지 못했던 또 다른 핵심 논문을 인용한다면, 그 핵심 논문들을 착수하고 필요한 만큼 반복하여 읽어라.

4. EXPERIENCE

I’ve used this approach for the last 15 years to read conference proceedings, write reviews, do background research, and to quickly review papers before a discussion. This disciplined approach prevents me from drowning in the details before getting a bird’s-eye-view. It allows me to estimate the amount of time required to review a set of papers. Moreover, I can adjust the depth of paper evaluation depending on my needs and how much time I have.

나는 이 접근법을 15년 동안 이용하여 학회 간행물을 읽고, 리뷰를 작성하고, 배경 조사를 하고, 토론 전에 신속한 논문 리뷰를 해왔다.

이렇게 훈련된 접근법은 bird’s-eye-view를 얻지 못하고 세부적인 내용에 매몰되는 것을 방지해준다.

이 접근법은 일련의 논문을 리뷰하는 데에 얼마만큼의 시간이 들 지에 대해 예측하게 해 준다.

더욱이, 이 접근법을 통하여 나한테 시간이 얼마나 있고 내가 얼마나 필요한지에 따라 논문 평가에 대한 깊이를 조절할 수 있게 됐다.