당신은 주제를 찾고 있습니까 “논문 리뷰 방법 – 5강: 논문 리뷰하는 방법“? 다음 카테고리의 웹사이트 hu.taphoamini.com 에서 귀하의 모든 질문에 답변해 드립니다: hu.taphoamini.com/photos. 바로 아래에서 답을 찾을 수 있습니다. 작성자 미래사회연구소 이(가) 작성한 기사에는 조회수 6,521회 및 좋아요 69개 개의 좋아요가 있습니다.
- 1. 저널의 목적과 범위 확인 투고하는 저널의 목적과 범위를 확인하고 따라야 합니다. …
- 범위 정의 …
- 평가할 정보 찾기 …
- 제목, 초록, 키워드 작성 …
- 주제 소개 …
- 비판적 토론 …
- 요약 …
- 비판적인 동료의 도움받기
Table of Contents
논문 리뷰 방법 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 5강: 논문 리뷰하는 방법 – 논문 리뷰 방법 주제에 대한 세부정보를 참조하세요
4강 먼저 보고 오세요! https://youtu.be/vD93_yWBggg
—————————————
읽기만 한 논문은 한 달이면 기억에서 사라집니다.
하지만 리뷰노트에 저장해둔 논문은 평생을 가죠 🙂
★초★간★단★ 대학원생들이 엑셀 활용해서 논문 기록해두는 방법 /독/점/공/개/ 합니다!!
논문 리뷰 방법 주제에 대한 자세한 내용은 여기를 참조하세요.
[대학원 꿀팁] 논문 읽는 법(feat. 논문 리뷰 방법)
여러분 안녕하세요! 지난 번 포스팅에서는 연구를 막 접한 새내기 연구자를 위한 논문 검색 방법을 알아보았어요. 오늘은 지난 시간에 이어서 많은 …
Source: journey-for-phd.tistory.com
Date Published: 11/10/2022
View: 6028
나의 논문리뷰방법: 첫 논문 리뷰 준비 – 네이버 블로그
너무 어렵고ㅜㅜ 머리도 아팠다ㅜㅜㅜ. . 쨋든 대학원 새내기가 처음 논문 리뷰를 하기 위해. . 논문 공부를 한 방법은!! . 1. 논문 선택.
Source: m.blog.naver.com
Date Published: 3/23/2021
View: 504
행복한 대학원생 되기 – 8편: 논문 리뷰
3. 논문 리뷰는, 간단한 요약으로 시작해서, 논문의 당락을 결정하는 확실한 이유와 근거를 작성한 후, 논문의 질을 전반적으로 …
Source: lifove.tistory.com
Date Published: 4/15/2021
View: 2246
공대 대학원, 입학부터 졸업까지 | 재학-4. 리뷰 논문 읽는 방법 …
리뷰 논문 읽는 방법, 리뷰 논문 내용 정리 꿀팁. by 라브 (LAB) 2022. 4. 17. 반응형. 대학원에 들어오고 연구와 관련하여 신입생 때 가장 많이 하는 것은 단연 ‘논문 …
Source: lab-log.tistory.com
Date Published: 4/26/2021
View: 3709
<논문리뷰> 논문 리뷰 방법 – velog
Guelines on how to review papers critically Summary 요약 해당 논문이 해결하고자 하는 문제가 무엇인지 인지하기 문제에 대한 간략한 요약 논문 …
Source: velog.io
Date Published: 10/2/2022
View: 3558
논문 리뷰 쓰는 방법
논문 리뷰 발표 순서. 0. 논문 제목 및 출처. 1. 논문에서 사용된 배경지식 설명. 2. 논문의 배경 설명. 3. 가설. 4. 데이터 실험 결과.
Source: luvquantum91.tistory.com
Date Published: 8/25/2022
View: 2419
[대학원 TIP] 논문 리뷰/평가 방법 – Air
[대학원 TIP] 논문 리뷰/평가 방법. Air’s Big Data 2021. 3. 1. 18:56. 읽어주길 기다리는 논문들.jpg. 오늘은 두통으로 인해 조금은 스트레스가 덜한 작업인 논문 …Source: airsbigdata.tistory.com
Date Published: 11/16/2022
View: 307
논문 읽고 정리하는 방식
리뷰 논문(혹은 종설 논문)은 해당 연구 주제나 최신 경향을 상세하게 정리한 논문입니다. · 리뷰 논문을 읽기 가장 편한 방법은 해당 리뷰 논문에서 하나 …
Source: doctormom.tistory.com
Date Published: 6/16/2021
View: 829
주제와 관련된 이미지 논문 리뷰 방법
주제와 관련된 더 많은 사진을 참조하십시오 5강: 논문 리뷰하는 방법. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
주제에 대한 기사 평가 논문 리뷰 방법
- Author: 미래사회연구소
- Views: 조회수 6,521회
- Likes: 좋아요 69개
- Date Published: 2020. 6. 20.
- Video Url link: https://www.youtube.com/watch?v=P0MF7F_LAZE
연구 리뷰 논문 작성하는 방법
문헌 리뷰(Literature review)라고도 불리는 연구 리뷰 논문(Scientific review article)은 연구와 연구 결과를 찾는 데 많은 시간을 할애하지 않고 한 곳에서 여러 연구의 개요를 찾는 사람들에게 유용합니다. 잘 작성된 연구 리뷰 논문은 해당 분야에 대한 편견 없는 정보를 제공하고, 일부 연구의 결과가 유효한 지 아닌지에 대해 설명합니다. 또한, 연구 자금을 지원하는 기관의 경우 연구 리뷰 논문을 통해 추가 연구가 필요한지를 결정할 수도 있습니다.
리뷰 논문의 목적 및 중요성
연구 리뷰 논문의 목적은 선택한 연구 주제와 관련해 최근에 알려진 지식을 기존 지식에 더하고 흡수시키는 것입니다. 리뷰 논문은 결과를 명확하고 정확하게 제시하는 것이 중요하기 때문에 엄격한 규칙에 따라 작성되어야 합니다.
그렇기 때문에 리뷰 논문의 기능은 아래와 같이 요약할 수 있습니다.
문헌 요약 및 정리
문헌 평가
문헌의 패턴과 경향 분석
연구 격차를 식별하고 새로운 연구 분야를 제안
논문 평가 기준 , QUOROM(Quality of Reporting of Meta-analyses)
무작위 조절 연구의 메타 분석에 초점을 맞춘 QUOROM은 1996년에 진행된 과학자, 임상의 및 통계학자가 참여한 컨퍼런스를 통해 기획되었습니다. QUOROM 체크리스트 및 흐름도는 연구원들이 리뷰를 더 잘 구성하고 특정 기준을 올바르게 따랐는지 확인하는 데 도움을 주는 도구로서 연구원들에게 처음 소개되었습니다. 추후 QUOROM은 동일한 기능과 기준을 바탕으로 업데이트되고 이름이 PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)로 변경되었습니다.
리뷰 논문 유형
리뷰 논문은 독창적인 본래의 연구가 아닙니다. 리뷰 논문은 이전의 연구를 검토하고 그 자료를 수집하며, 구조와 공식에 따라 다음과 같은 유형에 해당될 수 있습니다.
1. 내러티브 또는 전통 문헌 리뷰 (Narrative or Traditional Literature Reviews)
– 논문 본문과 관련된 문헌을 정리한 고전적인 문헌 리뷰입니다.
2. 범위 리뷰 (Scoping Reviews)
– 범위 리뷰는 주제와 관련한 모든 자료를 체계적으로 찾아보고 찾은 자료들을 복제하는 과정을 포함합니다. 이는 연구 결과에 나타나는 공백을 채울 수 있도록 합니다.
3. 체계적인 문헌 리뷰 (Systematic Literature Reviews)
–사전에 정의된 연구 질문과 관련한 모든 자료를 수집하고 종합하는 체계적인 접근 방식입니다.
4. 코크란 리뷰 (Cochrane Reviews)
–국제적으로 인정받는 사람의 건강 관리 및 정책에 대한 체계적인 검토 유형입니다.
내러티브 또는 전통 문헌 리뷰는 유용하게 사용될 수 있지만 다른 유형의 리뷰와 비교하여 심층적이지 않습니다. 반면 체계적인 문헌 리뷰는 비교적 자세하고 포괄적인 문헌 검색을 포함합니다. 메타 분석은 정량적인 체계적 리뷰이며 여러 연구의 자료를 결합하여 단일의 연구보다 통계적으로 결론에 도달합니다.
좋은 리뷰는 일반적으로 하나의 주제에 초점을 맞춥니다. 예를 들면 다양한 이론, 새로운 의료 기기 개발 진행 상황과 관련한 정보 또는 과거의 개발이 새로운 발견에 미치는 영향과 같은 주제에 집중합니다. 또한, 리뷰는 해당 특정 분야에서 연구를 위해 더 많은 자원을 계속하여 지원할 것을 요청할 수도 있습니다.
논문 리뷰를 작성하는 데에는 장점과 단점이 있습니다. 장점으로는 사용 가능한 자료가 더 많아진다는 것 뿐 아니라, 확증적인 데이터 분석을 포함하고 증거를 기반한 자료로 간주된다는 장점이 있습니다. 단점으로는 논문 리뷰를 작성하는 데 시간이 오래 걸린다는 점과 모든 연구가 충분한 양의 데이터를 제공하는 것은 아니라는 점입니다. 또한, 통계적인 기능과 해석이 더 복잡하기 때문에 각 연구의 대상 그룹과 모든 연구의 대상 그룹이 다차원적인지 확실히 해야 합니다.
리뷰 논문 원고 준비
논문 리뷰의 최대 길이는 각 저널의 지침에 따라 다를 수 있으므로 원고를 준비하기 전에 항상 지침을 확인해야 합니다. 대부분의 저널은 일반적으로 Times New Roman, 12 포인트를 사용하고 1.0인치 여백, 1.5줄 간격을 사용할 것을 요청합니다.
리뷰 논문의 구조는 매우 구체적인 섹션을 포함하며, 이는 각 과학 분야에 따라 차이가 있을 수 있습니다. 기본적으로 IMRaD(Introduction, Materials and methods, Results, And Discussion) 형식을 적용하여 리뷰를 통해 얻은 결론을 명확하게 제시합니다. 따라서 특정 저널의 지침은 다를 수 있지만 대부분의 리뷰 논문에 포함되어야 하는 섹션은 다음과 같으므로 원고 준비 시에 참고하면 좋습니다.
제목 페이지
메인타이틀 (또는, 짧은 제목)
취리히-바젤 식물 과학 센터(Zurich-Basel Plant Science Center)는 8~12단어 길이의 제목을 제공할 것을 제안합니다
제목은 주제의 핵심 요소를 포함해야 합니다.
저자의 이름과 소속이 포함되어야 합니다.
해당 저자의 세부정보를 언급해야 합니다.
초록
프로젝트의 주요 요점이 설명되어야 합니다.
필요한 경우 소제목을 포함해야 합니다(예: 목적, 방법, 결과 및 결론).
초록의 길이는 200~250단어 내에 작성합니다.
초록에는 인용이 포함되지 않습니다.
두문자어 또는 약어는 두 번 이상 언급되는 경우에만 사용합니다.
서론
주제에 대한 배경 정보를 논의합니다.
연구 목적(연구 질문)을 다루어야 합니다.
서론은 현재 시제로 작성합니다.
소재 및 작성 방법
서론 외의 내용은 과거형으로 작성합니다.
리뷰를 반복할 수 있도록 필요한 정보를 제공해야 합니다.
검색 전략, 포함 및 제외 기준, 자료 출처 및 지리 정보, 연구 대상의 특성, 사용된 통계 분석이 포함되어야 합니다.
결과
모든 결과를 포함해야 합니다.
목적과의 관련성을 언급합니다.
결과에는 연구 그룹 또는 샘플의 다차원적인 면이 포함되어야 합니다.
통계적 의미를 언급해야 합니다.
논의
배경 정보 및 목표를 반복할 수 있습니다.
결과 및 관련성 명확하고 간결하게 논의합니다.
결론
이 섹션에서는 서론에서 논의된 목표를 논의해야 합니다. 이 섹션에서는 결과, 해석의 의미를 논의하고, 해결되지 않은 질문을 식별해야 합니다.
연구 제한 사항
연구가 훨씬 더 큰 그룹에 적용될 수 있는 결론에 도달하기에 적절한지에 대한 평가 및 이유를 기술합니다.
향후 연구에 대한 제안 사항을 제공합니다.
감사의 말을 포함합니다.
저자는 연구에 지원한 사람이나 기관에 감사를 표시할 수 있습니다.
참고문헌
본문에 인용된 참고 문헌만 나열합니다.
50~100개의 참고 문헌을 포함합니다.
인터넷 출처는 일반적으로 허용되지 않습니다.
리뷰 논문 작성 단계
그렇다면 이제 리뷰 논문을 작성하는 8가지 단계를 하나씩 알아보겠습니다.
1. 저널의 목적과 범위 확인
투고하는 저널의 목적과 범위를 확인하고 따라야 합니다. 저널마다 허용하는 특정한 유형이 있고 모든 저널이 리뷰 논문을 다루는 것은 아니므로, 원고를 작성하기 전에 미리 해당 저널의 목적과 범위를 확인하는 것이 중요합니다.
2. 범위 정의
리뷰 논문의 범위와 답변하고자 하는 연구 질문을 정의하여 원고가 해당 분야에 새로운 기여를 할 수 있도록 해야 합니다. 범위가 너무 크거나 작지 않아야 하며, 최근의 개발 또는 발전에 초점을 맞춰야 할 수도 있습니다.
3. 평가할 정보 찾기
평가할 정보를 찾을 때 중요한 것은 여러 개의 다양한 검색 엔진을 사용하는 것입니다. 이를 위해 NCBI가 제안하는 리뷰 논문 작성 관련 조언을 읽어보는 것도 좋습니다.
4. 제목, 초록, 키워드 작성
효과적인 제목, 초록 및 키워드를 작성하는 데 충분한 시간을 사용하세요. 그렇게 하면 온라인에서 리뷰 논문의 가시성을 극대화하고 독자가 연구에 대한 자료를 쉽게 찾고 편리하게 활용할 수 있습니다. 제목과 초록은 명확하고 간결해야 합니다.
5. 주제 소개
주제에 대한 전반적인 개요부터 왜 해당 주제에 대한 리뷰가 필요한 지에 대해 자세히 소개해야 합니다. 비전문가 독자에게도 쉽게 다가갈 수 있을 만큼 충분히 광범위하게 작성하는 것이 좋습니다. 다만, 서론은 너무 길지 않게 작성하는 것이 좋으며, 요점을 쉽게 이해할 수 있도록 작성해야 합니다.
6. 비판적 토론
주제에 대한 설명과 요약뿐 아니라 비판적인 토론을 함께 제시해야 합니다. 해당 연구 분야와 관련하여 모순된 연구가 있다면 논쟁의 요소를 포함하고 양쪽 측면을 제시합니다. 리뷰 논문을 통해 상충되는 연구 간의 갈등을 해결할 수도 있습니다.
7. 요약
이해하기 쉽고 모든 질문과 모호한 부분들이 명확하게 드러나도록 요약을 제공합니다. 결론의 일부로써 해당 주제와 관련한 향후 연구를 제안할 수도 있습니다.
8. 비판적인 동료의 도움받기
마지막으로 최종 확인을 신중히 해야 하며, 맞춤법 및 문법 검사를 수행합니다. 또한, 제출하기 전 친구나 동료에게 피드백을 요청할 수 있습니다. 영어가 모국어가 아닌 경우에는 영어 언어 검사 도구를 사용할 수 있습니다. 온라인 문법 검사 툴(예: 트링카 AI)을 활용할 수 있습니다.
리뷰 논문 작성 체크리스트
리뷰 기사를 제출하기 전에 다음 체크리스트를 완료하는 것을 추천합니다.
[대학원 꿀팁] 논문 읽는 법(feat. 논문 리뷰 방법)
여러분 안녕하세요! 지난 번 포스팅에서는 연구를 막 접한 새내기 연구자를 위한 논문 검색 방법을 알아보았어요.
오늘은 지난 시간에 이어서 많은 분들이 관심을 가지고 계실만한, 검색한 논문을 어떻게 읽으면 좋을지에 대해 이야기해보려고 해요. 대학교 2학년 시절 학부연구생으로 연구실에 출근한 첫 날, 선배가 공부하라며 논문을 몇 편 인쇄해주셨어요. “나도 논문 한 번 읽어보자, 전부 이해해주겠어!”하는 호기로운 마음으로 노트와 펜을 준비해놓고 논문 첫 장의 제목부터 결론까지 그냥 잡히는대로 쭉 읽고는 했는데, 논문 한 편 읽는데 시간이 너무 오래 걸리고, 정작 읽은 논문은 나중에 요점이 뭔지 잘 모르겠어서 당황했던 기억이 나네요. “내가 이렇게 바보인가…” 하고 자괴감도 많이 들었어요. 그 이후로 논문을 잘 읽는 법에 대해 여기저기 조언도 구하러 다니고, 나에게 맞는 방법을 찾기 위해 다양한 방식으로 논문을 읽어봤어요. 지금은 많은 시행착오를 거쳐 논문을 읽는 저만의 요령과 습관이 생기게 되었죠. 논문 리뷰를 낯설어하는 모든 새내기 연구자 분들께 도움이 되었으면 좋겠네요.
논문을 빠르고, 나름 쉽게 읽는 꿀팁
여러분, 대학원 오세요! (해맑)
논문을 읽는 마음가짐
처음 논문을 접하신 분들에게 먼저 몇 가지 조언을 해드리면서 글을 시작하고자 합니다.
처음 읽은 논문을 한 번에 이해해야한다는 강박을 갖지 마세요.
전문적인 용어(terminology)나 개념은 구글에 검색하시는 것이 정확합니다.
디테일(detail)에 너무 집착하지마세요.
내용이 좋은 논문은 시간 차이를 두고 여러 번 읽어보세요.
처음 읽어보는 논문이라면, 특히 해당 분야가 아직 낯선 새내기 연구자라면, 논문을 읽고 내용을 100% 이해하기는 힘들 것입니다. 이해가 되지 않고 시간이 생각보다 오래 걸리는 것은 매우 당연한 현상이니 좌절하지 마세요. 처음 읽은 논문을 한 번에 이해해야한다는 강박감만 내려놓아도 한층 편한 마음으로 공부를 할 수 있게 됩니다.
낯선 분야에 대한 논문을 읽다보면 그 분야의 전문 용어가 이해되지 않아 문장이 잘 읽히지 않을 때가 있습니다. 그럴 때에는 되도록 구글에 검색하여 영문으로 된 자료를 읽어보시기를 추천드립니다. 네이버의 경우에는 영문으로 된 전문 용어를 검색할 경우 간단한 번역만을 해주는 경우가 많았고, 그 번역으로는 논문의 문맥을 따라가기가 힘들었습니다. 물론 단순한 영어 표현이 궁금할 때는 네이버 검색이 조금 더 편리할 때가 있었습니다. 하지만 전문 용어(terminology) 검색의 경우, 구글에 검색했을 때 해당 용어의 배경지식과 관련 연구 자료들이 검색되어 논문을 공부할 때 더 많은 도움이 되었습니다.
디테일(detail)에 집착하여 한 문단의 논리가 이해되지 않았을 때 계속 그 문단에만 머물러 있다면 논문 읽는 속도가 매우 느려지게 됩니다. 이런 경우에는 과감히 받아들이고 다음 문단으로 넘어가시는 것을 추천합니다. 이런 디테일에 대한 이해 부족은 관련된 논문을 많이 읽어보고 이해도가 쌓이고 나면 저절로 해결되는 경우가 많습니다. 물론 후에 경험이 쌓여 논문의 중요도를 파악할 수 있게 되었을 때, 디테일까지 챙겨서 공부해야하는 중요한 논문이 있다면 충분한 시간을 들여 파고 드는 것도 좋습니다. 하지만 논문을 처음 읽는다면 그 논문의 요점과 큰 그림만 파악해도 성공적이라고 생각합니다.
어떤 분야에서 유명한 연구 그룹에서 출간(publish)한 논문 또는 선배들이 추천하는 내용이 좋은 논문은 시간 차이를 두고 여러 번 읽어보시는 것을 추천합니다. 처음 읽었을 때는 큰 그림을 위주로 봤다면, 두 세 번째 읽을 때는 하나의 디테일(detail)에 신경써서 읽어보는 것도 좋습니다. 단지 시간 차이를 두었을 뿐인데 예전에는 이해되지 않았던 논리가 다시 읽었을 때는 쉽게 이해될 수도 있습니다. 또한, 내용이 우수한 논문은 여러 번 읽을수록 논문에 대한 이해도가 높아져 새로운 인사이트(insight)를 얻을 수 있습니다.
논문 읽는 순서 추천
보통 과학 학술 논문이라고 하면 다음과 같은 순서를 따라 쓰여있을 가능성이 큽니다.
Title
Abstract
Introduction
Experimental
Results & discussion
Conclusion
References
저는 개인적으로 논문의 큰 그림을 먼저 파악한 후, 세부적인 내용을 읽어보는 것을 선호하는 편이어서 다음과 같은 순서로 논문을 읽고는 합니다.
Title > Abstract > Conclusion > Results & discussion (data)
> Introduction > Results & discussion (detail)
우선 논문의 첫 장을 펼쳐 논문의 제목(title), 저널(journal)명, 출간된 년도, 어떤 그룹에서 낸 논문인지 정도를 체크합니다. 초록(abstract)은 논문의 주요 내용을 한 문단 내지 두 문단으로 정리를 해 놓은, 제목 바로 아래에 있는 파트이므로, 위 정보를 파악한 후에 이어서 바로 읽어봅니다. 초록에서는 해당 연구가 왜 진행되었으며, 어떤 것을 목표로 했는지, 어떤 결론을 얻었는지에 대한 정보를 얻을 수 있습니다. 이 때 중요한 내용에 대해 형광펜으로 표시를 해 놓으면 더욱 좋습니다.
제목(title)과 초록(abstract)을 확인한 후에는 바로 논문의 맨 뒷 장에 있는 결론(conclusion) 파트을 읽습니다. 결론 파트에서는 연구의 주요 성과들에 대해 약간 더 자세하게 알아볼 수 있습니다. 초록을 읽으면서 이해가 되지 않았던 부분을 결론 파트에서 보강할 수 있습니다. 여기까지 읽으면 해당 논문의 큰 그림을 그려볼 수 있을 것입니다. 이 논문의 자세한 내용은 모르지만, 대강 이 연구가 왜 진행되었으며 어떤 의미가 있는지 정도는 말할 수 있는 상태입니다.
다음은 결과 및 토의(results&discussion)에 나와있는 각종 그래프와 표를 훑어봅니다. 이 때는 자세하게 데이터를 해석할 필요는 없습니다만, 논문이 어떤 종류의 데이터를 담고 있으며, 어떤 분석 방법을 사용하여 논리를 뒷받침하고 있는지 대강 파악하는 것이 목적입니다. 여기까지 했을 때 여전히 이 논문에 흥미가 있고 공부해보고 싶다는 생각이 든다면, 이제 서론(introduction)을 읽기 시작합니다.
서론(introduction)에는 해당 분야에 대한 전반적인 배경지식이 소개되어 있으며, 저자가 참고한 선행 연구들에 대한 분석과 함께 연구 동기와 방향성에 대해 알아볼 수 있습니다. 그 분야에서 사실이라고 받아들여지고 있는 여러 이론들과 연구 결과들을 공부할 수 있는 소중한 파트입니다.
마지막으로 다시 결과 및 토의(results&discussion)으로 돌아가서 읽어보되, 이번에는 데이터를 해석하는 저자의 논리의 흐름을 꼼꼼히 따라가봅니다. 이 때 저자는 자신의 논리를 뒷받침하기 위해 다양한 선행 논문을 참고하고 이를 주석으로 표시해놓습니다. 만약 이해하기 어려운 부분이 있다면 관련된 문헌 번호를 참고 문헌(reference) 파트에서 찾아 따로 표시를 해놓고 다음에 공부할 논문으로 준비해놓도록 합니다.
이렇게 하면 논문 한 편의 내용을 어느 정도 따라갔다고 할 수 있습니다. 만약 더 나아가 해당 연구가 자신의 연구와 밀접한 관련이 있어서 자세한 실험 세팅(setting)을 알고 싶을 때에는 실험 과정(experimental) 파트에서 어떤 물질(material)을 사용하였는지, 샘플은 어떻게 준비했는지(sample preparation) 등을 참고하시면 되겠습니다.
이상으로 빠르고 쉬운 논문 리뷰를 위한 저의 요령이었습니다. 저는 위의 순서로 논문을 읽었을 때 가장 시간이 적게 들었고, 들인 시간에 비해 많은 것을 이해할 수 있었습니다. 만약 여러분이 생각하시는 더 효율적인 방법, 여러분만의 꿀팁이 있다면 댓글로 공유해주세요! 저도 더 배워갈 수 있었으면 좋겠네요. 🙂
다음 포스팅에서는 논문 리뷰를 하고 난 후, 파워포인트(PPT)로 정리하는 방법에 대해 이야기를 나누어보려고 합니다. 대학원 생활을 하다보면 종종 내가 공부한 논문을 선배나 교수님에게 설명을 해야할 때가 있지요. 처음에는 당혹스러워했지만, 이제는 나름 편안하게 파워포인트를 켜서 자료를 뚝딱뚝딱 만들어 내고 있답니다. 모쪼록 많은 관심 부탁드립니다!
나의 논문리뷰방법: 첫 논문 리뷰 준비
처음 논문을 분석하고 읽고 정리를 하려니까
너무 어렵고ㅜㅜ 머리도 아팠다ㅜㅜㅜ
쨋든 대학원 새내기가 처음 논문 리뷰를 하기 위해
논문 공부를 한 방법은!!
1. 논문 선택
– 구글 학술정보에서 내가 원하는 논문을 찾는다
: 그냥 내가 할 과제의 키워드만 쳐도 논문이 많이 나오는데, 거기서 논문을 훑어 보면서 결정하면된다
2. 중요한 부분 읽기
나는 초록 – 서론 – 결론 순으로 갔다
나 같은 초보는 배경지식이 없기 때문에
서론 부터 꼼꼼히 읽어야 겠다고 생각했음..
(서론 읽는게 확실히 이 연구주제에 대해 파악하는데 도움이 많이 됬다)
: 솔직히 처음에 구글 번역기 좀 이용했다…
근데 번역기를 이용하는 게 더 어려웠다ㅜㅜ
한국말이 이렇게 어렵다니..ㅜㅜㅜ
그래서 택한 방법은 무조건 읽기!!!
첫 번째 읽을 때는 이게 무슨 소리야??ㅎ.ㅎ 이러다가
두 번째 읽을 때는 아! 이런 소린가?? 짐작 정도 할 수 있고
세 번 째 읽을 때 아~ 이런 내용이었구나!! 라고 이해가 된다
행복한 대학원생 되기
행복한 대학원생 되기 연재
1편: 왜 대학원생이 되었는가? (동기) (2015/05/03)
2편: PhD가 되어가는 단계 (2015/05/10)
3편: 수업 듣기 (Coursework) (2015/06/07)
4편: 문제 찾기 (2015/11/07)
5편: Literature Survey (문헌조사)
6편: 박사 자격 시험
7편: 학회와 저널 (2017/07/07)
8편: 논문 리뷰 (2016/05/13)
9편: 논문 쓰기 (2017/01/23)
10편: 지도 교수
11편: 학위 논문과 디펜스
12편: 졸업 후 진로 (2017/01/10)
최근 몇 달 사이 소프트웨어 공학 저널에서 리뷰(Review)요청을 여러개 받아, 거의 일주일에 한 편씩 리뷰를 하고 있다. 아마도 소프트웨어 공학 관련 탑티어/세컨티어 저널들은 한 편 이상 리뷰를 하는 것 같다. 한국에 돌아가려면, 나도 어서 저널에 논문을 내야 하는데, 리뷰 요청만 들어오는 안타까운 상황이다;;; 리뷰해야 할 논문이 넘쳐나는 요즘의 경험을 잊기 전에, 연재 8편 부터 먼저 작성해 본다.
연구의 시작은 비판적 사고(Critical thinking)에서 출발한다. 비판적 사고를 통해, 기존 연구들을 깊이 있게 답습하여, 아직 해결되지 못한 문제들이나 개선이 필요한 부분들을 찾아야 한다. 또 문제를 해결하는 과정과 해법이 타당한지도, 비판적 사고를 통해 끊임 없이 검증 해야 한다. 다시 말해, 연구의 시작과 끝은 비판적 사고에서 나오는 다양한 질문들에 답을 하는 과정이라 할 수 있겠다. 철이 철을 날카롭게 하듯(Proverbs 27:17), 비판적인 사고로 무장한 연구자들이 서로의 연구들을 비평하여 발전시켜 가면서 학문의 영역은 넓어지고 밝아지는 것이다.
대학원 생활 중 비판적 사고를 기를 수 있는 길이 바로 논문 리뷰(평가)이다. 문제를 정의하고 해결하는 다른 연구자의 논문들을 처음부터 끝까지 세밀하게 살펴보는 것이다. 그래서 해당 연구가 정의한 문제가 중요한 문제이고, 문제의 해법이 타당한지를 검증한다. 물론 본인의 연구도 같은 태도로 검증을 해야 한다.
논문을 읽을 때, 이 논문을 합격시킬 것인지 불합격 시킬 것인지의 관점에서 리뷰를 작성하면 비판적 사고 훈련에 많은 도움이 된다. 하지만, 대학원생 초년차 때는, 논문을 읽고 이해하는 것만으로도 벅차다. 연구의 `연’자도 모를 때, 해당 분야의 논문을 한 번도 써본적이 없는 내가, 어떻게 논문을 비평할 수 있겠는가?라는 생각을 은연 중에 많이 했다. 세상에는 다양한 사람들이 있어서, 누군가의 업적에 작은 장점이라도 있으면, 격려해주고, 칭찬해주는데 익숙한 사람이 있는 반면, 작은 실수와 모자람에도, 비판을 하고 지적을 많이 하는 사람들이 있다. 전자를 보고 착한 사람이다 후자를 보고 못된 사람이다라고 이야기 할 수 없다. 단지, 그 사람의 성격과 다른 사람을 대하는 스타일일 뿐이다. 전자와 후자의 특성들을 잘 조합하면 금상첨화겠지만, 뭇 사람들은 그러기가 쉽지 않다. 한 가지 이야기 하고 싶은 것은, 학문의 세계는 논리적이고 냉정해서, 후자의 경우가 학문 세계에 더 적응하기 쉽다는 사실이다. 나는 후자 보다, 전자에 가까운 사람이라, 속된 말로 논문을 까야 할 때, 좀 힘들었다. 특히 학술대회나 저널에 이미 발표된 논문을 읽을 때면, 검증 받은 논문일 텐데 무슨 문제가 있으려나라는 선입견을 가지고 읽기 때문에, 더욱 비판적인 사고를 하기가 힘들었다. 하지만, 훌륭한 연구자가 되기 위해서는 반드시 갖추어야 할 ‘미덕’이, 내가 한 연구 포함 모든 연구물에 대해서, 적나라한 비판적 사고를 할 수 있어야 한다는 점이다.
나의 경우, 지도교수님의 부탁으로, 아직 출간되지 않는 논문들의 리뷰 작성 훈련을 많이 했고, 이를 통해 나도 모르게 비판적 사고를 계속 키워갈 수 있었다. 지도교수들이 학술대회 committee라 불리는 위원회에 속해 있으면, 짧은 기간 동안 여러 편의 학술대회 논문을 심사 해야 한다. 혹은, 저널의 편집 위원이거나 특정 분야의 전문가일 경우, 저널의 투고된 논문들을 리뷰 하기도 한다. 이 때 지도교수가 할당 받은 논문을 연구 그룹에 있는 대학원생들에게 보내, 리뷰를 작성하라고 요청을 한다.
지도교수가 학생에게 아직 출간되지 않은 논문의 리뷰를 요청하는 가장 큰 이유는, 대학원생의 비판적 사고를 키우는 훈련을 하기 위함이다. 초년차 대학원생에게, 리뷰를 부탁하는 것은, 시간도 많이 걸리고, 아직 비판적 생각의 부족으로 도움이 그렇게 많이 되지는 않는다. 나의 지도교수님의 경우, 초년차 때는 내 리뷰를 받으신 후 본인의 리뷰를 늘 보여주셨다. 그래서 교수님 리뷰와 나의 리뷰를 비교하면서, 내가 미처 생각하지 못한 비평에 대해 참조했고, 선배 연구자의 비판적인 사고를 자연스럽게 습득할 수 있었다. 그리고 초년차를 지나 특정 분야의 연구들을 많이 이해하고 있을 즈음에는, 교수님께서 본인의 리뷰에, 나의 리뷰 중 납득이 되는 부분을 추가하셨다. 아마도, 교수님께서 미처 생각하지 못한 해당 논문의 약점을 내가 잘 찾아 비평을 했던 모양이다. 의견이 맞지 않는 부분은 서로 토론하기도 했다. 또 언제부턴가는, 나의 리뷰를 기본으로 두고, 본인의 리뷰를 추가하셨다. 졸업 할 때 쯤에는, 내가 리뷰를 보내 드리면, 따로 피드백이 없으셨다. 어떤 때는, 교수님께서 편집위원으로 있는 저널에 공식 리뷰어로 초청해주시기도 했다.
나의 경우를 돌아보면, 지도교수님이 부탁했던 논문들을 리뷰하면서, 정말 자연스럽게 비판적 사고 훈련이 된 것이 아닐까 싶다. 앞에서 처럼 초년차 부터 졸업 때 까지, 내 리뷰에 대한 교수님의 대처 방식이 달라진 것을 보면 확실히 그런 것 같다. 모든 지도교수가 그런 것은 아니겠지만, 왕성한 학회활동을 하시는 지도교수님 밑에 있었기에 누릴 수 있었던 훈련이 아닐까 싶다. 물론, 지도교수가 본인의 일을 학생에게 떠 넘기는 것 아니냐고, 불만을 가지는 대학원생들이 있을 수도 있다. 설사 지도교수가 그렇다 하더라도, 리뷰를 통해 비판적 사고를 키울 수 있는 기회는 놓치지 말자. 그리고, 본인의 리뷰가 터무니 없으면, 지도교수도 대학원생의 리뷰를 있는 그대로 쓸 수는 없을 것이다. 리뷰의 질이 결국 지도교수 본인의 연구 명성과도 연결되기 때문이다. 지도교수가 연구 커뮤니티에서 인지도가 있고 열심히 활동하신다는 것은, 대학원생으로 감사해야 할 일이다. 좋은 연구자가 된다는 것은, 좋은 연구 성과를 만들어 내는 것과, 다른 사람들의 연구를 잘 평가하여 (peer-review) 양질의 연구 커뮤니티가 유지 될 수 있도록 봉사하는 것도 포함한다. 그렇기에, 내가 어떤 학술대회와 저널 논문의 리뷰 경력이 있는지가 연구 이력의 중요한 부분이 될 수 있다. 출간되지 않은 논문 리뷰의 장점은, 정말 따끈 따끈한 새 연구들을 미리 맛볼 수 있다는 점도 있으니, 지도교수의 논문 리뷰 부탁은 기쁨으로 수락해야 할 일이다. 하지만, 지도교수도 학생들의 리뷰에 있는 문장을 가져다 쓰는 것이라면, Sub-reviewer로 학술대회 proceedings에 acknowledge하는 것을 잊지 말아야 하겠다. 요즘 웬만한 학술대회 논문집에는 Sub-reviewer들의 이름 목록이 나온 페이지를 첨부한다. 아니면, 리뷰 시스템을 통해, sub-reviewer를 공식적으로 초청할 수도 있다. 그래야 학생들이 이력서에 리뷰 경력을 한 줄이라도 더 넣을 수 있지 않겠나…
8편: 논문 리뷰에서는 내가 받은 리뷰와 내가 했던 리뷰 경험들을 바탕으로, 몇 가지 논문 리뷰 작성하는 팁을 정리해 보았다. 아래 항목에 순서대로 답을 하는 방향으로 리뷰 할 수 있으면, 리뷰의 기본적인 내용을 채울 수 있을 것이다.
먼저, 학술대회 논문 리뷰가 어떤식인지 한 번 살펴보자. 2년 전에 Reject을 받았던 논문의 3개의 리뷰 중 첫 번째 리뷰이다. 내용을 읽을 필요는 없다. 구조만 보면 된다.
First reviewer’s review:
>>> Summary of the submission <<< The paper tackles the issue of heterogeneity in defect prediction datasets. There has been a lot of recent research in cross-project defect prediction, but these approaches work only if the datasets that are used have the same metrics. If a dataset defines additional metrics that the other datasets do not define, they will be dropped from the cross-project defect prediction approach. To address this, the approach presented here proposes to analyze the metrics in the datasets to determine if they have behave similarly. If they do behave similarly (according to a given metric and a given threshold), the approach then links the metrics, regardless of whether they are the same or not. In this way the defect prediction approach is not forced to drop as much data as previously. The approach is then evaluated extensively. Five groups of datasets are used for the evaluation, for a grand total of 28 datasets. The approach is compared both to within-project defect prediction, and to cross-project defect prediction with only the common metrics included. The results show that in a number of cases, this approach outperforms within-project defect prediction, and cross-project defect prediction. Taking all results in account, it outperforms both approaches. On the other hand, the performance is less stable than within-project defect prediction (but it is slightly better than cross-project defect prediction with common metrics). The results also show that the approach is able to be executed in the majority of cases, but not in all the cases (as sometimes the metrics are just too dissimilar). Finally, a win/tie/loss analysis is performed against the two baselines, and the approach wins more often than it loses. The losses are analyzed, and it is found that a reason for losses are metrics that have a similar distribution, but a different correlation with the defect metric. >>> Evaluation <<< Points in favor: - This is a good idea, that is well motivated and well-explained (in general the paper is mostly well written). It is very novel as I don't recall seeing it before. Actually, I was curious whether this idea has been explored in the machine learning community at large. If so, a reference to this would be welcome. - The approach is well-detailed, as is the experimental design. The experimental design shows that care was taken to pick a large number of datasets, and three different but complementary evaluation scenarios, and hence shows the seriousness of the evaluation. - This convincing evaluation shows the potential of the approach, in terms of performance improvement. It also shows its pitfalls, especially the issue shown in figure 6 of metrics with similar distributions, but a widely different correlation with bugginess. Points against: - I would have liked a more thorough evaluation of the frequency of the metric matching problem. Right now the paper only quotes a few numbers extracted from references. An in-depth study of the percentage of common metrics between datasets would have significantly strengthened the motivation. - The paper has a lot on the different normalization metrics (nearly a page), but very little of that is reflected in the results (as only one of the metrics is used throughout the paper, the other 3 are mentioned only towards the end). - There is a missing paper in the related work that should be mentioned: Feng Zhang, Audris Mockus, Iman Keivanloo, Ying Zou: Towards building a universal defect prediction model. MSR 2014: 182-191 Minor comments: - As a validation it would be great to see how much you can improve on the 18 percent figure of the PROMISE repository mentioned in the related work. - The paper states that metrics can be matched even if "[...] the instances of these datasets are in different granularities including file, class, and function.". You did not discuss the implications of this. It would be interesting to do so. - It would be great to investigate how the "distance" between datasets (e.g., the percentage of metrics they have in common before matching, and after matching) has an impact on the results. Are the best improvements obtained for datasets that are relatively close together, or ones who are really distant? The relation of this to the coverage would be interesting. - It would be interesting to investigate how the approach works using a group of projects from the same dataset as basis, not only a single project. 다른 분야는 잘 모르겠지만, 소프트웨어 공학 관련 학회나 저널에서 볼만한 일반적인 형태의 리뷰 내용이다. (1) 리뷰어가 이해한 논문에 대한 간단한 요약 정리, (2) 논문에 대한 평가 (합격시켜야 할 이유, 떨어뜨려야 할 이유) (3) 합격 여부에는 영향을 끼치지 않지만, 논문을 완벽하게 만드는데 도움이 되는 모든 것 (질문들과 제안, 오탈자 등등) 등의 순서로 적혀 있다. 리뷰어들은 리뷰 작성 외에, 논문 합격 여부를 최종 결정해야 하는데, 학술대회나 저널마다 선택 옵션이 다 다르다. 예를 들면, 많은 학술대회에서는 Accept/Weak accept/(Neutral)/Weak reject/Strong reject 등, 4~5가지 선택 옵션들이 있고, 저널의 경우는, Accept as is/Conditional accept/Minor revision/Major revision/Resubmit as new/Reject 등 약간 다른 옵션들이 있다. 저널의 경우는, 한 번 제출로 당락이 아닌, 수정/제출의 반복이 가능하기 때문이다. 그러면, 논문 리뷰 항목별로 어떻게 작성하는지 살펴보자. 1) 간단한 요약 정리 (Summary) 논문이 무엇을 했는지 간단하게 작성하면 된다. 문제가 뭐고, 문제 해결이 되면 좋은 점(contribution)이 뭔지, 문제를 해결하기 위해 어떤 방법을 썼는지, 제안하는 방법이 정말 좋은지를 어떻게 평가 했는지, 결과는 무엇인지 등의 질문에 답을 논문에서 설명하는 내용 그대로 간단히 적으면 된다. 위의 예시로 나온 리뷰는 요약이 좀 긴편인데, 아마도, 원래 리뷰어(지도교수)의 대학원생이 작성한 것을, 원래 리뷰어가 참고해서 최종 작성한게 아닌가 싶다. 보통 리뷰 경험이 많은 대가나 연구자는, 요약을 길게 쓰지 않고, 학술대회 의장이 쉽게 알아먹을 수 있도록, 3-4줄짜리 요약 정도만 한다. 요약을 쓰지 않는 사람들도 있다. 논문의 Abstract만 보고 이 논문이 뭐하는 논문인지 알 수가 있는 사람이라면, Abstract을 본인의 말로 paraphrasing할 수 있을 정도면 문제 없다. 만약에, Abstract만 보고 무엇을 하는 논문인지 이해가 잘 안가면, 저자가 Abstract을 개떡 같이 썼거나, 아니면 내가 해당 논문의 배경지식이 없는 비전문가라는 말이다. 후자의 경우에는, 논문을 리뷰하면서 Related work을 참고해, 해당 분야의 큰 그림을 스스로 공부하고 논문 전체를 읽은 후, 자세한 요약을 작성 해야 한다. 만약 전자라면, 논문 Presentation이 좋지 않음을, 당락에 대한 평가에서 적으면 그만이다. 내가 생각하기로는 위의 예시는 배경지식이 부족했던 대학원생이 논문 관련 배경지식을 공부한 후, 논문 전체의 내용을 차근 차근 잘 정리한 요약이라고 생각이 된다. 초년생 대학원생이라면, 이런식으로 본인이 익숙하지 못했던 연구 분야에 대한 공부도 덤으로 할 수 있다. 2) 당락에 대한 평가 (Evaluation) 먼저, 논문이 합격되어야 할 좋은 점(Points in favor)이 있다면 모두 나열한다. 예를 들어, Novel idea, Good motivation, Easy to read, Reproducible, Convincing results 등등이 있겠다. Novel idea는 해당 논문이 아무도 생각지도 못한 문제를 해결했거나, 기존에 존재하던 어려운 문제를, 더욱 참신한 방법으로 해결을 했는가에 대한 부분이다. 논문 당락에 있어서 가장 중요한 부분이다. 해당 분야를 잘 아는 연구자라면 쉽게 알 수 있지만, 초년차 대학원생들은 좀 평가하기가 어려울 수 있다. 하지만, 좋은 논문이라면 해당 분야를 잘 모르는 사람들에게도 논문이 충분히 novel하다는 것을 잘 서술을 했을 테니, 논문이 잘 읽히고 이야기 하는 바가 수긍이 가면 합격에 가까운 논문이라고 생각해도 큰 무리가 없다. 대개는 Introduction만 보고, Novel idea임을 확신 할 수 있으면, 좋은 논문으로 간주하고 리뷰를 시작해도 좋다. Good motivation은 이 논문이 해결하고자 하는 문제가 정말 의미가 있고 가치 있고 중요한 문제인지에 잘 서술하고 있는지 보는 것이다. 비록 Novelty가 높지는 않지만, 동기가 중요한 연구라면, 합격을 줘야한다(고 생각한다). 논문이 잘 읽히는지도 중요한 부분이다. 아무리 연구 결과가 좋고, 내가 만든 Approach가 Elegant하다고 하더라도, 글을 통해 잘 전달하지 못하면, 읽는 사람에 따라 연구의 내용을 전혀 다르게 받아드릴 수 있다. 마지막으로, 논문의 내용만으로 연구 내용을 내가 똑같이 재현해(Reproducible)낼 수 있을 만큼 구체적인 정보들이 있어야 한다. 그리고 논문이 제시하는 최종 결과과 납득이 되는가(Convincing results)에 대한 부분이다. 나의 경우, 논문을 떨어뜨려야 할 아주 심각한 결점이 없고, 위의 다섯가지 요소를 대체로 충족할 수 있다면, Accept을 준다. 위의 예시에서, 첫번째 리뷰어는 Novel idea, Good motivation, Convincing results 부분에서 그럭저럭 긍적적인 평가를 주었다. 아마도 Weak accept의 결정을 주지 않았을까 추측해 본다. (다시 말하지만, 위 예시는 떨어진 논문의 리뷰이다. 아마도 2번째 3번째 리뷰어가 Reject을 준 것 같다.) 그 다음에, 논문을 떨어뜨려야 할 이유(Points against)를 찾아야 한다. 일단 앞 단락에서 합격해야 할 요건을 충족시키지 못하는 내용들이 있다면, 나열한다. 그리고, 각 요소들에 대한 근거를 저자들에게 납득이 가도록 논리적으로 잘 설명을 해야 한다. 그리고, 논문이 가지고 있는 추가적인 중대한 결함이 없는지 차근차근 살펴보아야 한다. 나는 대게 다음의 내용을 주로 본다: Wrong or too strong assumption, Wrong evaluation/experimental design, Weak evaluation (lack of experimental subjects), Lack of discussion. Wrong or too strong assumption: 실험을 하다보면, 모든 여건을 만족시킬 수 없기에, 어떤 상황들은 가정을 하고 진행할 때가 있다. 하지만, 해당 가정이 연구의 Motivation과 상충되는 가정이거나, 현실적으로 수긍하기 어려울 정도로 너무 강한 가정이라면, 위험한 연구이다. 가정이 무너지면, 연구 전체가 무너지기 때문이다. Wrong evaluation/experimental design: 참신한 아이디어로 새로운 문제를 해결했지만, 해당 아이디어를 올바르게 평가하거나 실험하지 못했다면, 반드시 Reject을 줘야 한다. Weak evaluation (lack of experimental subjects) 부분도 여기에 해당이 될 수 있을 것 같다. 대게 Empirical study를 통해 연구 결과를 일반화 한다는 것은 쉬운 일이 아니다. 결국 내가 선택하는 실험 subject들 안에서 나온 결과이기 때문이다. 반드시, 다른 연구자가 충분히 납득할 만큼(이게 좀 애매하긴 하다. 적어도 기존 연구에서 한 만큼은 해야한다)의 subjects로 실험을 해야 하고, 어떤 위험요소(threats)들로 인해 연구의 결과를 일반화기 어려운지, 또 오류가 있을 수 있는지를 반드시 밝히고 솔직하게 논의해야 한다 (Threat to Validity). 만약 실험의 비용문제로, 충분한 subjects를 확보하기 어렵다면, Case study로도 결과를 보여줄 수 있으니, 리뷰시 참고하도록 하자. Lack of discussion: 연구 문제가 참신한 방법으로 잘 해결되고, 실험에서도 제안하는 방법이 문제 해결에 좋은 결과를 보여준다고 해도, 왜 이런 좋은 결과가 나왔는지에 대한 이유를 심도 있게 논의해야 한다. 논문을 떨어뜨려야 할 이유를 이야기할 때, 어떻게 하면 논문을 질적으로 개선할 수 있을지에 대한 건설적인 의견을 주면 저자들에게 많은 도움이 된다. 앞에서 떨어진 논문이, 2015년도 FSE에 Accept이 됐는데, 두 번 Reject을 받으면서 받았던 리뷰들이 논문을 개선시키는데 정말 많은 도움을 주었다. 새로운 Approach를 알아보는 시각을 깨닫게 해주기도 했고, 결과들을 잘 논의하는데 필요한 몰랐던 기존 연구들도 알게 되었다. 결국 내가 누군가에 해주는 건설적인 리뷰는, 양질의 연구들을 커뮤니티에 나오게 하는 마중물과 같은 중요한 역할 을 한다. 이런 점을 염두하고, 냉철하게 논문을 비평하되, 건설적인 리뷰도 제공할 수 있어야 한다. 연구 분야별로 고려해야 할 평가 항목들이 다를 것이다. 소프트웨어 공학 연구는 개발자를 돕는 새로운 기술 개발 연구가 많기에, 어떤 특정 문제 해결을 위한 새로운 기술을 제안하고, 실험을 통해 기존의 기술보다 좋은지 안좋은지 평가한다. 이런 형식의 연구라면, 위의 평가 항목들이 당락에 중요한 기준이 될 것으로 생각된다. 아래는 Reject 받았던 내 논문의 2, 3 번째 리뷰어의 Evaluation부분의 항목들이다. Motivation과 discussion부분이 큰 약점 이었음을 살펴 볼 수 있다. Second reviewer's review ... >>> Evaluation <<< + Thorough analysis + Salient research topic - Lack of discussion of limitations that could make the technique impractical - Lack of guidance on practical use (i.e. should we abandon using our own project data for prediction?) - Use of multiple words/phrases for the same concept made the reading confusing ... Third reviewer's review >>> Evaluation <<< Favour: The topic is interesting. The work appear to be original in what it claims. The idea of "cross-domain defect prediction" is intrigging. Weakness: 1)The motivation of this work is not clearly presented. ... 2)In the Related Work Section, the reference papers may not be sufficient. ... 3)This paper does not clearly discuss how to select features of source datasets or how to compute the feature similarity. Without such details, it is difficult to justify whether this approach can be easily applied in practice. 4)The authors have not clearly demonstrated the reason of choosing CFS (Correlation-based Feature Subset Selection) on feature selection in source datasets ... 5)There is not a systematic way to match features of the source and the target datasets.... 3) 논문을 완벽하게 만드는데 도움이 되는 모든 것 (질문들과 제안, 오탈자 등등) 위의 예시에서, 2, 3 번째 리뷰어는 Minor comments를 주지 않았다. 대신 Reject에 대한 이유들과 중요한 논문의 개선점 이외에 작은 문제들까지도 한꺼번에 나열했다. 혹시 Reject을 주고 싶은 논문이지만, 연구가 잠재성이 있다면, 건설적인 의견을 주는 것이 굉장히 중요하다. 그래서 리뷰 작성의 마지막 부분에, 당락에 영향을 주는 큰 문제가 아닌 작은 문제들에 대한 구체적인 의견을 따로 제시하면, 저자들에게 많은 도움이 된다. 이해가 안가는 단락이 있으면, 이해에 도움이 될 만한 관련 질문을 남길 수도 있고, 오탈자는 문법이 틀린 부분에 대해서도 어떻게 수정하면 좋은지 의견을 줄 수 있다. 이상으로, 논문을 리뷰하는 방법을 내 경험에 비추어 간단히 정리해 보았다. 다시 말하지만, 연구에서 가장 중요한 자질은, 비판적 사고이며, 비판적 사고 훈련에 논문 리뷰 만큼 좋은 것은 없다. 초년차 대학원생 때는, 논문을 읽으면 배경 지식 부족으로 이게 좋은 논문인지 안 좋은 논문인지 판단하기 쉽지 않다. 하지만, 좋은 논문이란, 배경 지식이 별로 없는 사람에게도, 잘 읽히는 논문이다. 만약에, 논문이 이해가 잘 안가면, 주눅들지 말고, 논문이 좋지 않다고 생각하며, 어떤 점이 안 좋은지 차근 차근 생각해 보라. 그러다가 보면, 자연스럽게 앞에서 이야기한 Evaluation항목들에 대한 리뷰를 적을 수 있을 것이다. 이 번 포스팅의 결론은 다음과 같다. 1. 비판적 사고를 훈련하기에는, 논문 리뷰 작성 만큼 좋은 것이 없다. 2. 지도교수가 논문 리뷰를 요청하면, 감사함으로 수락하자. 따끈 따끈한 새 연구를 미리 볼 수 있고, 나의 결정이 논문의 당락을 결정하는 짜릿한 경험을 할 수 있다. 3. 논문 리뷰는, 간단한 요약으로 시작해서, 논문의 당락을 결정하는 확실한 이유와 근거를 작성한 후, 논문의 질을 전반적으로 향상시킬 수 있는 제안 등으로 마무리 한다. 4. 내 논문도 동일한 관점으로 비평하면, 더 좋은 논문을 쓸 수 있다. 이 글이 도움이 되셨다면, 공감을 눌러 주세요! 반응형
공대 대학원, 입학부터 졸업까지 | 재학-4. 리뷰 논문 읽는 방법, 리뷰 논문 내용 정리 꿀팁
반응형
대학원에 들어오고 연구와 관련하여 신입생 때 가장 많이 하는 것은 단연 ‘논문 읽기’라 해도 과언이 아닐 것이다. 이론 서적에서 주로 지식을 얻던 학부생 때와는 달리 대학원생은 논문들에서 본인 분야의 최신 트렌드와 연구 지식을 얻곤 한다. 특히 신입생 때는 본인 연구 분야에 어떤 연구들이 진행되어 왔고, 어떤 배경 지식을 가지고 있어야 하는지 거의 모른다. 따라서 처음에는 ‘리뷰 논문’을 읽으면서 연구 분야에 대한 background를 축적해나가며 언급되는 연구 논문(research paper)도 추가로 읽어보게 된다. 이번 글에서는 리뷰 논문을 어떻게 읽어야 하는지, 리뷰 논문의 내용을 잘 기억하려면 어떻게 읽고 정리해야 하는지 나의 팁을 적어보려 한다.
1) 리뷰 논문 읽는 방법
먼저 리뷰 논문의 구성이 어떻게 되는지 보자. 대체로 리뷰 논문은 아래와 같이 해당 주제에 대한 간략한 설명, 해당 주제가 발전해온 과정, 해당 주제를 다루는 연구들, 현재의 한계점 등을 다루고 있다. 그리고 리뷰 논문의 분량 대부분은 현재 진행되고 있는 연구들을 소개하는 데 소요 된다. 실제로 리뷰 논문들을 보면 짧은 논문은 관련 트렌드만 간략하게 다뤄 5 페이지 내외로 짧기도 하지만, 최신 연구 동향을 설명하는 리뷰 논문의 경우 2-30 페이지 분량인 경우도 많다. 리뷰 논문 내용을 모두 이해하기 위해 2-30페이지를 모두 읽어야 할까? 전혀 아니다.
리뷰 논문의 구성 요소 / (C) copyright by LABlog
당신이 대학원 신입생이거나 해당 주제에 관해 배경 지식이 거의 없는 상황이라면 먼저 introduction에 해당하는 부분을 꼼꼼히 읽어보며 해당 주제에 관한 배경 지식과 현재의 한계점을 파악해야 한다. 그래야 현재 어떤 연구들이 진행되고 있는지를 보며 ‘아 이 논문은 이러한 문제를 극복하기 위해 기존 사용하는 A 대신 B를 썼구나’라며 각 연구 논문의 차별점을 파악할 수 있다. 또한 현재 진행되고 있는 모든 연구들을 읽어볼 필요는 없다. 리뷰 논문에서는 다소 광범위하게 연구 분야와 논문들을 소개하기 때문에 자신의 분야와 밀접한 연관이 있는 몇몇 부분이나 논문들만 골라 읽어도 괜찮다 .
리뷰 논문 읽는 방법 / (C) copyright by LABlog
이제 본격적으로 리뷰 논문 읽는 방법을 알려주려 한다. 먼저 abstract를 읽고 이 논문이 내가 원하는 지식을 얻을 수 있는 논문인지 파악하는 것이 좋다. 위 예시를 보면 ‘This review highlights …’라고 하며 이 논문에서 어떤 것들을 소개해줄지 한 문장으로 요약되어 있다. 이 문장만 읽어봐도 내가 원하는 지식을 얻을 수 있는지 파악할 수 있을 것이다.
다음으로 introduction을 쭉 읽으면서 해당 논문의 핵심 키워드(위 예시에서는 immunotherapy)가 해당 연구 분야에서 어떻게 등장하게 되었는지 파악해야 한다. 본인 연구 분야가 어떤 배경 속에서 등장한 건지 파악하는 것은 생각보다 매우 중요하다 . 모든 과학적 연구는 기존의 과학적 한계를 극복하기 위해 진행되기 때문이다. 본인 연구 분야가 왜 과학적인 가치가 있고, 기존 학계 지식에 어떤 기여를 할 수 있는지는 당신이 해당 분야를 연구하게 된 이유이자 목적이 될 것이다. 대학원을 꿈꾸던 학부생 시절에는 막연하게 ‘이 분야가 재밌어 보여서’ 혹은 ‘유망해보여서’라고 생각했다면 대학원에 들어온 지금은 좀 더 본인 연구 분야에 대한 목적 의식을 가지면 좋을 것 같다.
읽다가 잘 이해가 되지 않거나 보다 배경 지식이 필요한 경우 해당 문장에 reference가 달려 있다면 그 reference를 참조해도 좋으나 처음 리뷰 논문을 읽는 경우라면 reference를 타고 들어간 논문도 잘 이해가 안 될 수도 있다 . 이런 경우 원 논문을 계속 읽다 보면 그 문장이 이해가 되거나 배경 지식이 쌓이다 보면 굳이 reference의 논문을 읽지 않아도 될 수 있다. 논문에서 언급된 모든 reference를 참조하려다 보면 리뷰 논문 하나 읽는 데 한 세월이 걸릴 수 있다. 처음에는 세부적인 디테일은 모두 파악하는 것보단 빠르게 전체적인 흐름을 파악하는 게 연구 분야 이해에 도움이 될 수 있다.
마지막으로 해당 논문에서 핵심 키워드(대분류)의 세부 분야(중분류)를 설명해주는 경우 각 분야 별 특징을 구분하고 정리하는 것이 필요하다. 어떤 리뷰 논문은 핵심 키워드에 대한 설명과 그와 관련된 최신 연구 동향을 소개해주는 간단한 구성이지만, 어떤 리뷰 논문은 위와 같이 해당 연구 주제에서 세부적인 카테고리를 하나 하나 설명해주기도 한다. 이런 경우 예를 들어 본인 연구 분야가 cancer vaccine일지라도 다른 세부 분야들(ex. CAR T cell therapy)이 무엇이고, 어떤 특징을 가지고 있는지 파악하는 것이 중요하다. 이것도 위에서 언급한 바와 같이 다른 세부 분야에 비해 당신의 연구 분야가 어떤 특징을 가지고 있고, 어떤 장단점이 있는지 파악하는 것이 연구에 큰 도움이 되기 때문이다.
2) 리뷰 논문 정리하는 방법
그렇다면 리뷰 논문 내용은 어떻게 정리해야 할까? 리뷰 논문 내용을 정리하는 나의 방법을 소개하려 한다. 사실 처음부터 완벽하게 정리를 하면서 읽지는 않는다. 처음에는 논문 이해를 위해 위의 읽는 방법을 토대로 핵심 단어들을 형광펜 등으로 표시해가면서 읽는다. 그리고 모르는 단어들은 별도로 검색을 하면서 정의 등을 옆에 적어둔다 . 일단 한 번 읽으면서 이해를 하고 나면 내가 몰랐던 내용이 무엇이고, 어떤 내용이 중요한지 대충 감이 올 것이다. 무엇이 중요한지 잘 감이 안온다면 논문 abstract 근처나 reference 앞쪽에 있는 keywords를 참고하면 좋다. 간혹 논문 pdf 파일 내에 keyword가 없고 논문 doi 페이지에 있거나 아예 keyword가 없는 논문도 있곤 하다.
논문 키워드 / (C) copyright by LABlog
그 후에는 핵심 키워드들을 중심으로 마인드맵처럼 가지치기하거나 워드처럼 번호를 매기며 이 키워드의 정의, 장점과 단점(한계점), 한계를 극복하기 위한 현재 연구 progress와 발전 방향(perspective) 등을 정리한다. 나는 주로 해당 분야의 배경 지식과 현재 progress, limitation을 간단하게 정리하고 ‘핵심 응용 분야/물질’을 추가로 정리한다. 내 분야가 material과 관련이 깊은 분야다 보니, 어떤 물질을 썼는지가 내게는 중요하기 때문이다. 또한 해당 연구 분야의 차별점을 적거나 세부 분야가 있는 경우 각 분야 별 특징과 장단점을 표로 정리하는 편이다. 아래 정리 예시가 굉장히 짧아 보이지만 하나의 keyword의 배경 지식이나 원리 등을 정리하다 보면 굉장히 길어질 수 있다. 처음에 잘 정리해두면 나중에 매우 도움이 될 것이다.
리뷰 논문 정리 예시 / (C) copyright by LABlog
정리하자면 리뷰 논문 읽고 정리하는 방법은 다음과 같다.
1. 일단 쭉 읽으면서 핵심 키워드/모르는 단어 표시 및 간단 정리.
2. 한 번 이해를 한 후 핵심 키워드를 중심으로 정리.
3. 이때 세부 분야가 있다면 각 분야 별 특징 및 장단점은 표로 정리하는 게 보기 좋음.
대학원 신입생이라면 처음엔 리뷰 논문 하나만 읽고 이해하는 것도 시간이 꽤 소요될 수 있다. 무엇이든 처음 시작할 때는 배우고 익혀야 할 점이 많아 시간이 오래 걸리지만 익숙해지면 많은 지식도 축적하고 논문 읽는 시간도 단축될 수 있다. 리뷰 논문을 읽으며 본인 연구 분야에 대한 배경 지식을 어느 정도 정리했다면 이제 연구 논문을 읽을 차례다. 다음 글에서는 연구 논문을 어떻게 읽어야 좋을지에 대해 알려주겠다.
반응형
인일의 공부 블로그 인일의 공부 블로그
* 본 게시물은 인터넷의 여러 조언을 참조하여 작성하였다.
논문 리뷰 발표 순서
0. 논문 제목 및 출처
1. 논문에서 사용된 배경지식 설명
2. 논문의 배경 설명
3. 가설
4. 데이터 실험 결과
5. 논문에 대한 아이디어
0. 논문 제목 및 출처
우선 논문의 제목을 반드시 소개해야한다. 또 논문 출처를 밝히며 어느 저널에 실린것인지, 어떤 분류의 논문인지 소개해야 논문의 목적성과 결과 이해를 도울 수 있다.
1. 논문에서 사용된 배경지식 설명
모든 전제를 당연히 알고있을거라 가정하면 아무도 못알아듣는다. 아무것도 모른다는 전제로 시작하면 지루해지기 쉽다. 발표대상을 잘 파악하고 습성에 맞게 변형해야한다. 본인은 양자컴퓨터에 대해 발표를 할 경우가 많은데 대상은 보통 소속학과 연구실 사람들이다. 소프트웨어를 전공한 사람들이니 프로그래밍적인 지식은 짧게 설명하며 물리학적, 수학적 지식은 교양강의와 같이 자세히 설명해야한다.
2. 논문의 배경 설명
논문이 쓰여진 이유를 알아야한다. 대게는 어떠한 문제점에서 시작하거나 의문점에서 시작한다. 이는 논문 전반을 이루는 것이고
*논문 이론 설명
: 새로 제시된 이론이 있다면, 생소한 이론이 있다면 반드시 설명하고 넘어가자. 어쩌면 이게 논문을 읽는 핵심포인트였을지도 모른다.
3. 가설
논문에서 가정한것을 간단명료하게 나타낼 필요가 있다. 이후에 논문이 어떻게 진행될지 보여주기 때문.
4. 실험 데이터 결과
이 부분이 논문에서 하이라이트라 생각한다. 논문의 필자는 어떻게 생각하였는지 가설과 어떻게 비교하였는지 잘 정리해야한다.
5. 논문에 대한 아이디어
논문의 결과 해석과 나의 결과 해석을 비교하며 아이디어를 내보자. 동일한 실험결과를 가지고 어떻게 보느냐에 따라 다른 결론을 낼 수 있다.
나같은 학부 2학년 학생이 (밖에 나가면 전공자로 쳐주지도 않는다.) 무슨 자격이 있다고 논문에 대한 아이디어를 낼까? 라고 생각했지만 이게 바로 교수님께서 요구하는바였다. 내가 논문에 대해 이해한것을 제대로 말할 수 있기도 하고 논문으로부터 출발하여 새로운 연구, 공부의 길을 트기도 한다. 가장 중요하다.
논문 리뷰 ppt 구성 비율
0. 논문 제목 및 출처
: 1슬라이드 맨처음 화면과 주석으로 설명
1. 논문에서 사용된 배경지식 설명
: 10% 미만 차지
2. 논문의 배경 설명
: 40% 차지
3. 가설 / 4. 데이터 실험 결과
: 35%
5. 논문에 대한 아이디어
: 15%
다음과 같이 구성하려 노력해보겠다.
부족한 부분이나 다른 의견이 있다면 댓글로 알려주세요!
[대학원 TIP] 논문 리뷰/평가 방법
읽어주길 기다리는 논문들.jpg
오늘은 두통으로 인해 조금은 스트레스가 덜한 작업인 논문 읽기의 날로 정했어요. 쌓아두었던 논문을 읽기 전에 “행복한 대학원생 되기 – 8편: 논문 리뷰”이라는 포스팅이 생각나서 이를 참고하여 앞으로 논문 읽기의 방향을 조금은 잡아보려고 합니다. 논문 리뷰는 크게 아래와 같이 리뷰를 진행한다고 합니다.
요약 → 평가 → (수정)제안
요약
1. 무엇을 했는지를 중심으로 3-4줄로 간단하게 요약한다.
2. Abstract를 보고 이해되지 않는다면 Related work를 보고 이해한 뒤 진행3
(presentatoin이 좋지 않아 읽기 어려울 경우 어차피 reject될 논문이니 굳이 읽을 필요 없다.)
평가
1. 논문이 합격되어야 할 좋은 점(Points in favor) 찾기
– Novel idea: 아무도 생각지도 못한 문제를 해결했거나, 기존에 존재하던 어려운 문제를, 더욱 참신한 방법으로 해결을 했는지
– Good motivation: 해결하고자 하는 문제가 정말 의미가 있고 가치 있고 중요한 문제인지에 잘 서술하고 있는지
– Easy to read: 잘 읽히는지
– Reproducible: 재현해낼 수 있는 구체적인 정보가 있는지
– Convincing results: 최종 결과가 납득이 되는가
2. 논문을 떨어뜨려야 할 이유(Points against) 찾기
– Wrong or too strong assumption: 실험의 가정이 연구의 Motivation과 상충되는 가정이거나, 현실적으로 수긍하기 어려울 정도로 너무 강한 가정이 아닌지
– Wrong evaluation/experimental design: 아이디어를 올바르게 평가했는지
– Weak evaluation (lack of experimental subjects): 올바르게 실험을 진행했는지
– Lack of discussion: 왜 좋은 결과가 나왔는지 심도 깊게 논의가 되었는지
제안
– Reject된 논문이라면 reject된 이유와 개선점 제안
– 당락에 영향을 끼지치 않지만 작은 개선점 제안 (가독성, 오탈자 등)
지금까지 제가 해왔던 것은 단순히 읽기와 이해하기였던 것 같았어요. (아직 실력이 쌓이기 전까진 그럴 것 같지만) 각 methods의 뿌리 개념을 알기도 어렵기 때문에 읽고 이해하는 데에 급급했던 거죠. 그렇지만 좋은 논문을 쓰기위해 더 실질적으로는 좋은 학회에서 accept되기 위해 비판적 사고를 바탕으로 논문을 읽어야 한다고 생각이 듭니다 😀
논문 읽고 정리하는 방식
페이스북 ‘시바의 유전학’에서 논문을 접해서 읽고, 정리하는 걸 넷플릭스에 비유해 잘 설명해주셔서 가져왔다. (개인적으로 중요하다고 생각한 부분은 밑줄과 볼드처리)
연구 논문
흔히 우리 알고 있는 논문은 “연구 논문” 입니다. 가설을 수립하고 실험을 하고, 그 결과를 해석한 논문을 의미합니다. 영어로 “research article”이라고 합니다.
길이에 따라 짧은 연구 논문을 “short communication”이나 “brief report” 등으로 부르기도 합니다. 학술지(journal)에 따라 명칭이 약간씩 다르기도 합니다.
Conclusion (결론): 위에 제시한 결과를 바탕으로 해석을 장황하게 사용합니다. 이 부분은 “연구자가 연구 데이터를 생각하는 방식”입니다. 그래서 주관적인 입장이 들어가기도 하고, 기존에 이뤄진 다른 연구들과 비교해서, 연구자들이 관찰한 연구 데이터를 바탕으로 본인들의 입장을 전달합니다.
Results (결과): “연구를 진행했더니, 나는 이걸 관찰했더라”를 기술합니다. 간략한 해석을 더하기도 합니다. 이 부분은 흡사 “연구 데이터가 연구자에게 말하고자 하는것?”에 해당합니다.
Methods (방법): 연구에 사용한 방법을 요약합니다. 학술지마다 이를 기술하는 양식이 다릅니다. 어떤 학술지는 Methods를 논문의 마지막 부분(그러니까 참조문헌 뒤)에 작성하기도 합니다. 이 부분이 너무 길어지면 Supplementary document라는 별첨부록에 상세하게 기술합니다.
Introduction (서론): 본 연구의 주제를 간략하게 소개 하고, 해당 주제에 대한 배경 지식을 짧게 요약합니다. 그리고 이 연구가 필요한 문제 의식 및 필요성을 제시합니다 (혹은 경우에 따라 해당 연구진이 했던 사전 연구 (이전 에피소드)를 잠깐 소개합니다. 마지막엔 “어떤 연구를 시도할 것이다”라는 식으로 마무리 합니다.
Abstract (초록): 넷플릭스나 영화 소개처럼 해당 연구 논문에 대한 간단한 설명을 포함합니다. 서론, 본론 (실험 및 결과), 결론을 각각 2-3 문장으로 쓰는 형태입니다. 일반적으로 영어 기준 200-300 단어로 작성을 합니다.
연구 논문을 읽을때는 먼저 abstract을 읽습니다. 이 부분을 읽으며, 해당 연구 논문이 무엇을 말해줄지 상상합니다. 마치 우리가 넷플릭스나 영화를 보기 전에 간단한 소개문을 읽으며 설레는 것과 같은 원리이지요.
그러고 나면, Figure와 Table을 위주로 읽습니다. 각 figure 혹은 table는 데이터를 압축해서 그 연구의 고갱이만 보여주는 역할을 합니다. 이 데이터를 남에게 2-3문장으로 설명할 수 있을 정도로 이해하고, 정리하면 됩니다. 정리할때는 본인의 언어로 정리해보세요.
논문 읽기가 처음인 사람이 논문을 읽을때 Method 자체를 집착적으로 읽을 필요가 없습니다. 비슷한 종류의 연구 논문을 여러번 읽다보면, 이 연구 분야에서 진행된 연구들의 methods가 갖는 공통점, 차이점들이 보이기 시작할거예요. 그 지점을 찾으려고 읽다보면 methods를 이해하고 요약하는건 금방 늘어납니다. 가령 엑솜 시퀀싱은 엑솜 캡쳐에 어떤 기술을 썼는가? Sequencing depth가 어떻게 되었는가 등등에 대한 description이 논문 results 초반에 있거든요. 여러편 엑솜시퀀싱 논문을 읽다보면 이런 공통점들이 보일겁니다. 그래서 처음엔 이상하거나 이해가 안되는 지점은 메모로 남기고, 동종 논문을 여러편 읽으며 그것이 어떤 공통점과 차이점이 있는지를 이해해보려고 합니다.
논문 읽기가 처음인 사람들에겐 introduction은 굳이 세세하게 읽을 필요가 없습니다. 차라리 abstract를 읽고 바로 figure나 table을 보는게 좋습니다. Abstract를 읽으면서 내가 이해하고 상상한 것이 figure나 table의 데이터와 부합되는가?를 파악하려고 해보세요. 처음엔 잘 안될수도 있습니다. 몇가지 이유는 본인의 논문 읽기가 부족해서일수도 있고, 아니면 그냥 그 논문이 제대로 못써서 그럴수도 있어요. 그런데 이 과정으로 계속 읽다보면 어떤 패턴들이 보이기 시작합니다.
키워드에 대한 정보 논문 리뷰 방법
다음은 Bing에서 논문 리뷰 방법 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 5강: 논문 리뷰하는 방법
- 동영상
- 공유
- 카메라폰
- 동영상폰
- 무료
- 올리기
5강: #논문 #리뷰하는 #방법
YouTube에서 논문 리뷰 방법 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 5강: 논문 리뷰하는 방법 | 논문 리뷰 방법, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.
