문헌 리뷰 작성법: 쓰기 전에 먼저 빠짐없이 찾기

문헌 리뷰를 쓰는 일은 결국 세 가지로 요약됩니다. 내 질문과 관련된 문헌을 빠짐없이 찾는 것, 논문을 묶고 비교하면서 그 분야가 어떻게 구성되어 있는지 보일 때까지 읽는 것, 그리고 그 분야에 대한 나의 판단, 즉 리뷰의 논지를 쓰는 것입니다. 앞의 두 가지가 리뷰의 하한을 정하고, 세 번째가 상한을 정합니다. 이 가이드는 이 순서대로, 단계마다 실제 사례를 곁들여 설명합니다.

문헌 리뷰 작성법을 다룬 글은 많고, 단계는 대체로 비슷합니다. 질문을 정하고, 데이터베이스를 검색하고, 자료를 평가하고, 주제를 찾고, 개요를 짜고, 쓰고, 고칩니다. 여러 편을 읽어 보니 공통된 문제가 두 가지 있다고 생각합니다. 하나는 검색 단계가 거의 언제나 "관련 데이터베이스를 검색한다"는 한 문장으로 끝난다는 점입니다. 리뷰는 찾은 것에 대해서만 논할 수 있으므로, Google Scholar 첫 페이지에서 멈춘 검색은 첫 페이지에 대한 리뷰를 낳을 뿐입니다. 다른 하나는 쓰는 부분이 "요약하지 말고 종합하라"는 구호로 줄어드는 경우가 많고, 어떻게 종합하는지, 리뷰의 논지는 어디서 오는지, 논문끼리 서로 모순될 때는 어떻게 하는지는 거의 다루지 않는다는 점입니다.

이 가이드는 그 양쪽 끝을 채워 보려 합니다. 제가 Parallax를 만들기 시작한 계기는 검색이었습니다. 범용 에이전트는 검색 API에서 상위 k개 결과만 받기 때문에 어떤 주제에 논문이 몇 편 있는지 말해 주지 못합니다. 그래서 arXiv 전체를 훑는 도구를 만들었습니다. 하지만 만들어 보니 분명해진 것은, 전부 찾는다고 해도 리뷰의 하한이 정해질 뿐이라는 점입니다. 상한을 정하는 것은 여전히 글쓰기입니다. 그래서 아래 내용은 찾기, 읽기, 쓰기의 세 부분으로 나누었고, 쓰기에 가장 많은 분량을 할애했습니다. 물리학, 수학, 컴퓨터 과학, 통계학, 정량생물학, 경제학 등에서 프리프린트를 다루는 분들을 염두에 두고 썼습니다.

문헌 리뷰의 종류: 내가 쓰는 것은 어떤 리뷰인가

문헌 리뷰는 기존 연구를 나열하는 것이 아니라 비교함으로써 질문에 답하는 글입니다. 형식은 어디에 실리느냐에 따라 달라집니다. 논문의 관련 연구(related work) 절은 몇 단락으로 내 연구를 기존 연구 속에 자리매김합니다. 학위논문의 리뷰 장은 분야를 체계적으로 정리하고 마지막에 나의 연구 질문으로 이어집니다. 독립된 서베이 논문은 이보다 더 크며, arXiv의 컴퓨터 과학과 물리학 분야에서 매우 흔합니다. 의학과 사회과학에는 검색과 선별 절차를 미리 등록하고 단계마다 편수를 보고하는 체계적 문헌고찰, 그리고 개별 연구의 질은 평가하지 않고 무엇이 있는지를 정리하는 범위 문헌고찰도 있습니다. 아래 방법은 이 모두에 적용됩니다. 달라지는 것은 규모, 그리고 과정을 얼마나 공식적으로 기록하느냐입니다.

문헌 검색 방법: 빠짐없이 찾았는지 확인하기

질문과 범위를 다른 사람이 확인할 수 있는 문장으로 쓰기

검색하기 전에 리뷰가 답할 질문, 그리고 무엇을 포함하고 무엇을 제외할지 적어 둡니다. 확인 기준은, 그 문장을 받은 다른 사람이 어떤 논문을 나와 똑같이 분류할 수 있느냐입니다. "LLM 에이전트의 메모리에 관한 논문"은 너무 모호합니다. "LLM 기반 에이전트가 단계나 세션을 넘나들며 정보를 저장하고 검색하는 방식을 제안, 평가, 분석한 논문을 포함한다. 에이전트 설정이 없는 KV 캐시 압축 연구는 제외한다"라고 쓰면 판단의 근거가 생깁니다. 기간과 출처도 이때 함께 정하고, 2020년 이후의 arXiv만 다룬다면 리뷰 안에 그렇게 밝힙니다. 이 문장들은 선별, 누락 점검, 범위 절을 쓸 때 다시 쓰입니다.

규모를 가늠한 뒤 여러 각도에서 검색하기

논문 열 편과 만 편은 전혀 다른 계획이 필요하므로, 먼저 그 분야가 얼마나 큰지 가늠해 볼 가치가 있습니다. Google Scholar의 "약 2,000,000개 결과"는 대부분 잡음이고, AI 어시스턴트는 실제 편수와 상관없이 열 편 남짓만 돌려줍니다. 대략적인 방법은 몇 가지 표현으로 각각 검색해 결과 수를 적어 두고, 각 결과에서 몇 편씩 훑어보며 실제로 관련 있는 것이 얼마나 되는지 보는 것입니다. 어떤 표현은 300건이 나오고 절반이 관련 있으며, 다른 표현은 5,000건이 나오는데 스무 편에 한 편꼴로만 관련 있다면, 분야의 중심이 어디인지, 어떤 용어가 너무 넓은지 알 수 있습니다.

그다음에는 좀 더 까다로운 사실과 마주하게 됩니다. 분야마다 용어가 통일되어 있지 않다는 것입니다. 컴퓨터 과학에서는 looped transformers, recurrent-depth models, universal transformers가 상당 부분 겹칩니다. 수학에서는 같은 대상이 하위 분야마다 다른 이름과 표기로 불리기도 합니다. 물리학에서는 하나의 현상에 대한 연구가 hep-th, gr-qc, astro-ph에 흩어져 있는 경우가 많습니다. 한 가지 이름으로 검색하면 한 커뮤니티만 찾게 됩니다. 그러니 완벽한 검색식 하나를 좇기보다 좁은 검색을 여러 개 돌리는 편이 낫습니다. 정착된 명칭, 약어, 표기 변형은 키워드 검색으로, 아이디어를 쉬운 말로 서술해 다른 용어를 쓰는 논문을 잡아내는 데는 의미 검색으로, 그리고 핵심 논문 몇 편의 참고문헌을 훑어 예전 용어로 쓰인 초기 연구를 되찾습니다. 결과를 합치고 중복을 제거한 뒤, 각 논문이 어느 경로로 찾아졌는지 기록해 둡니다. 관련 논문 한 무더기가 한 경로에서만 나왔다면, 다른 경로들에도 같은 사각지대가 있을 가능성이 큽니다.

합친 집합이 최종적으로 남길 것보다 훨씬 커도 괜찮습니다. LLM 에이전트의 메모리에 관한 어떤 검색에서는 키워드 검색 6개와 의미 검색 5개를 합치자 후보가 3만 편을 넘었고, 대부분은 나중에 선별 단계에서 걸러졌습니다. 선별이 저렴하다면 그물을 넓게 치는 비용은 작고, 커뮤니티 하나를 통째로 놓치는 비용은 큽니다.

선별한 다음 누락을 점검하기

선별이란 첫 단계에서 쓴 문장을 기준으로 후보를 하나씩 판단하는 것이며, 첫 번째 검토에서는 대개 제목과 초록이면 충분합니다. 제외할 때는 "범위 밖", "새로운 결과 없음"처럼 짧게라도 이유를 기록하고, 판단이 서지 않는 논문은 억지로 예/아니오를 정하지 말고 따로 모아 둡니다. 그다음 많은 사람이 건너뛰는 일을 합니다. 리뷰에 들어가야 한다고 이미 알고 있는 논문을 적어 두고, 하나씩 남아 있는지 확인하는 것입니다. 빠진 것이 있다면 검색에서 놓쳤는지 선별에서 떨어졌는지 파악해 해당 경로를 고치고, 그 수정으로 무엇이 새로 들어오는지 살펴봅니다.

논문 수천 편을 손으로 선별하려면 며칠이 걸립니다. 여기가 AI 모델이 정말로 도움이 되는 지점입니다. 단, 모델이 나의 기준을 적용하고 모든 판단을 나중에 검증할 수 있어야 합니다. Parallax는 Jev를 사용하며, 각 논문의 각 기준에 대해 보정된 확률을 냅니다(검색과 선별 파이프라인을 어떻게 만들었는지는 별도의 글에 썼습니다). 0.5 이상인 논문을 포함하고 모든 확률을 저장하므로, 확률순으로 정렬해 경계 근처의 논문을 읽어 볼 수 있습니다. 어떤 도구를 쓰든 포함된 논문 스무 편과 제외된 논문 스무 편을 읽어 보고, 이상해 보이면 먼저 기준을 고쳐 쓰세요.

문헌 읽는 법: 목록에서 지도로

먼저 묶고, 그다음 읽기

최종 집합을 손에 넣었다면 처음부터 차례로 읽고 싶은 마음을 누르고 먼저 논문을 묶으세요. 묶기는 목록을 지도로 바꾸고, 그 지도는 대개 리뷰의 뼈대가 됩니다. 컴퓨터 과학과 응용수학에서는 방법이나 접근법으로, 물리학에서는 연구 대상인 계나 현상으로 묶는 경우가 많고, 기여의 유형이나 시기로 묶을 수도 있습니다. 한 논문이 두 그룹에 속해도 됩니다. 너무 커진 그룹은 나눠야 합니다. 멀티모달 연구에 관한 어떤 리뷰에서는 "벤치마크와 데이터셋" 그룹이 100편을 넘어 다시 11개 하위 범주로 나뉘었습니다. 논문 100편짜리 그룹은 아직 주제가 아니라 그냥 더미이기 때문입니다. 그리고 큰 "기타" 그룹이 남는다면 무시하지 마세요. 대개 묶는 기준이 아직 맞지 않는다는 신호입니다.

요약이 아니라 비교를 위해 읽기

모든 논문을 끝까지 읽을 수는 없고, 그러려고 할 필요도 없습니다. 각 그룹의 핵심 논문, 즉 다른 연구의 토대가 된 것과 최근에 가장 강력한 것은 끝까지 읽을 가치가 있습니다. 나머지는 무엇을 더했는지 말할 수 있을 만큼만 읽으면 됩니다. 가장 많은 시간을 들여야 할 논문은 서로 엇갈리는 논문입니다. 엇갈림이야말로 리뷰에서 가장 가치 있는 부분이 되는 경우가 많기 때문입니다.

읽으면서 적어 둘 것은 비교여야 합니다. "A와 B는 같은 방법을 쓰지만, A는 다른 설정에서 평가해 반대 결론에 이르렀다"는 리뷰의 재료입니다. "A는 X를 제안했다. B는 Y를 제안했다"는 목차일 뿐입니다. 문헌 매트릭스가 도움이 됩니다. 실제로 다룰 논문마다 한 행, 비교하고 싶은 항목마다 한 열입니다. 모든 것을 담을 필요는 없지만, 쓰기 시작하기 전에 비교를 실제로 해 두도록 만들어 주고, 나중에는 많은 단락을 거의 그대로 이 표에서 쓸 수 있습니다.

문헌 리뷰 쓰기: 재료에서 논지로

앞의 두 부분을 마치면 근거를 댈 수 있는 논문 집합, 그룹 구분, 비교표가 손에 있습니다. 많은 사람이 여기서 그룹마다 한 절을 세우고 논문을 하나씩 소개합니다. 틀린 것은 아니지만, 다 읽은 독자는 이렇게 묻습니다. 그래서 뭐가 어떻다는 거지? 좋은 리뷰와 잘 정리된 참고문헌 목록을 가르는 것은 논지입니다.

여기서부터는 실제 리뷰 한 편을 계속 예로 들겠습니다. Parallax에서 작성한 Looped and Recurrent-Depth Transformers로, 같은 가중치를 깊이 방향으로 반복해 사용하는 모델을 다룹니다. 358편의 후보에서 출발해 102편을 정독했습니다. 전문은 Parallax의 Research 섹션에 다른 서베이, 월간 동향 리포트와 함께 공개되어 있으니 이 가이드와 나란히 읽어 볼 수 있습니다. 최고의 리뷰라고 할 수는 없지만, 글쓰기에서 내린 선택 중 꼼꼼히 뜯어볼 만한 것이 몇 가지 있습니다.

논지 찾기

리뷰의 논지는 "본고는 X 분야를 개관한다"가 아닙니다. 자료를 다 읽은 뒤 그 분야에 대해 내린 몇 가지 판단입니다. looped transformers 리뷰는 서론에서 네 가지 주장을 내세웁니다. 설계 공간은 작고 이산적이며, 거의 모든 아키텍처는 네 개의 축 각각에서 하나씩 선택한 것에 불과하다. 이 모델들을 실제로 제약하는 것은 표현력이 아니라 학습 안정성이다. 루프를 지지하는 증거는 대부분 계산량을 맞춘 비교가 아니라 파라미터 수를 맞춘 비교에서 나온다. 그리고 추론 시점의 적응적 깊이는 가장 활발하지만 가장 검증이 부족한 방향이며, 보고된 이득은 실재하지만 취약하다. 리뷰의 나머지는 이 네 가지 주장에 대한 증거입니다.

논지는 어디서 올까요? 대개 비교표에서 옵니다. 논문 사이에 거의 변하지 않는 열은 합의입니다. 논문마다 반대 결과가 나오는 열은 엇갈림입니다. 대부분 비어 있는 열은 공백일 수 있습니다. looped transformers 리뷰의 아키텍처 비교표에는 "증거 규모" 열이 있어 각 논문이 실제로 보고한 가장 큰 설정을 기록하고, 저자는 표 아래에 그것이 주장이 겨냥하는 설정보다 훨씬 작은 경우가 많다고 적어 둡니다. 이런 열은 그 자체로 하나의 판단입니다.

처음부터 논지가 있을 필요는 없습니다. 현실적인 방법은 다 읽고 표를 채운 뒤, 그 분야가 지금 실제로 어떤 상태인지 서너 문장으로 답해 보는 것입니다. 답하지 못한다면 더 읽거나 더 비교해야 합니다.

문헌 리뷰의 구조: 논지를 실어 나르게 하기

논지가 생기면 구조는 정하기 쉬워집니다. 주제별로 그룹마다 한 절을 두는 것이 가장 흔한 선택이고, 기술 계보가 뚜렷한 분야에는 방법별 구조가 맞으며, 역사가 현재를 설명할 때는 시간순 구조가 효과적입니다. 하지만 무엇을 고르느냐보다 중요한 것은 구조 자체가 논지를 드러내게 하는 것입니다.

looped transformers 리뷰는 먼저 하나의 형식적 정의를 제시하고, 이어서 네 개의 축으로 된 분류 체계를 제안한 다음, 아키텍처, 학습, 추론, 이론을 장별로 다룹니다. 장 제목이 그 자체로 판단입니다. 학습 장의 제목은 "Training: stability is the binding constraint"(학습: 안정성이 핵심 제약이다)입니다. 목차만 본 독자도 저자의 입장을 알 수 있으며, "3. 학습 방법"보다 훨씬 많은 정보를 줍니다.

절 내부에도 같은 논리가 적용됩니다. 그 그룹의 논문들이 공통으로 가진 것으로 시작하고, 그룹 안에서 비교하고, 해결되지 않은 것으로 마무리합니다. 이 순서를 따르면 마지막 논문을 소개한 뒤 갑자기 끝나는 일 없이, 모든 절에 착지점이 생깁니다.

서론 쓰는 법: 범위와 증거의 한계를 밝히기

서론에서는 질문이 무엇인지, 왜 지금 중요한지, 리뷰가 무엇을 주장하는지를 말해야 합니다. 자주 빠지는 부분은 범위입니다. 기간, 출처, 무엇을 제외했는지, 어떻게 검색했는지. 이것을 밝히면 독자는 여러분의 포괄성을 믿을 이유를 얻고, 결론이 어떤 한계 안에서 성립하는지 알게 됩니다.

looped transformers 리뷰에는 "Scope and evidence boundary"(범위와 증거의 경계)라는 절이 따로 있습니다. 이 리뷰가 체계적 문헌고찰이 아니라 하나의 아키텍처 계열을 다루는 서술적 리뷰라는 점, 후보는 여섯 개의 검색 경로에서 얻은 358편이며 그중 102편을 정독하고 나머지는 제목과 초록 수준에서 선별했다는 점을 밝히고, 독자가 염두에 두어야 할 세 가지 단서를 나열합니다. 그중에는 기초가 되는 논문 세 편이 라이브러리에 없어 외부에서 인용했다는 점, 이 분야는 프리프린트가 주를 이루어 인용된 것 중 상당수가 동료 심사를 거치지 않았다는 점이 포함됩니다.

이것은 방어적인 태도가 아닙니다. 경계가 어디인지 아는 독자일수록 그 안쪽을 더 쉽게 신뢰합니다.

본문 단락: 요약과 종합의 차이, 예시로 보기

단락 수준에서 가장 흔한 문제는 논문 한 편에 한 단락씩 쓰고, 각 단락을 저자 이름으로 시작하는 것입니다. 어떤 아키텍처 계열이 표준 모델보다 나은지를 다룬다고 가정하고 설명용 대비를 보여 드리겠습니다.

나열형: [3]은 순환 아키텍처를 제안해 여러 벤치마크에서 기준 모델을 능가했다. [5]는 여기에 적응적 깊이를 더해 결과를 더 개선했다. [8]은 비슷한 구조를 비전 과제로 확장했다. [6]은 이 아키텍처들을 계산량을 맞춘 조건에서 다시 비교했다.

종합형: 이 아키텍처의 이점은 여러 연구에서 보고되었지만 [3][5][8], 이 비교들은 거의 모두 파라미터 수를 맞춘 것이다. 추론 계산량을 맞추면 결과는 더 이상 일관되지 않다. 언어 과제에서는 이점이 대부분 사라지고 비전 과제에서는 유지된다 [6]. 따라서 "순환 아키텍처가 더 낫다"는 주장은 무엇과 비교해, 무엇을 맞췄을 때인지에 먼저 답해야 한다.

두 번째 단락은 읽기에 더 수고가 들지만, 독자에게 하나의 판단을 그 근거와 한계와 함께 건넵니다. 기억해 두면 좋은 순서는, 주장을 말하고, 그것을 뒷받침하는 논문을 인용하고, 그 논문들이 어디서 다른지, 무엇을 열어 두었는지 말하는 것입니다.

논문이 엇갈릴 때는 결론 전에 이유를 찾기

리뷰에서 가장 가치 있는 부분은 엇갈림을 어떻게 다루느냐인 경우가 많습니다. 두 논문 무리가 반대 결론에 이르렀을 때 "아직 논쟁 중이다"라고만 쓰지 마세요. 차이의 이유를 찾아야 합니다. 평가 설정이 다른지, 데이터 규모가 다른지, 비교 기준 모델이 다른지, 같은 용어의 정의가 다른지.

looped transformers 리뷰가 바로 이 상황에 부딪혔습니다. 루프 모델이 표준 모델보다 나은지에 대해 문헌의 결론은 제각각이었습니다. 리뷰는 어느 한쪽 편을 드는 대신, 이 비교들이 실제로는 서로 다른 다섯 가지 양을 맞추고 있다는 점을 짚었습니다. 파라미터 수, 학습 계산량, 추론 계산량, 디코딩 비용, 유효 깊이입니다. 파라미터 수를 맞추면 루프가 확실히 이깁니다. 학습 계산량을 맞추면 결과가 엇갈립니다. 유효 깊이를 맞췄을 때 루프가 이기는 것은 거의 동어반복에 가깝습니다. 리뷰는 다섯 경우를 하나의 표로 정리하고, 이런 논문을 읽을 때는 먼저 무엇을 맞췄는지 확인하라는 읽는 법을 제시했습니다. 이렇게 다루자, 겉보기에 모순된 결과 더미가 설명력 있는 하나의 결론이 되었습니다.

물리학에서도 마찬가지입니다. 앞서 언급한 고속 전파 폭발(FRB) 검색에서는 서로 모순되어 보이는 두 종류의 증거가 나왔습니다. 하나는 모은하 통계입니다. Bochenek 등은 위치가 특정된 FRB의 모은하를 비교해, 이것이 중력 붕괴형 초신성에서 태어난 마그네타와 부합한다고 보았습니다(arXiv:2009.13030). 다른 하나는 단일 천체입니다. Kirsten 등은 반복 폭발 FRB 20200120E의 위치를 M81의 한 구상성단으로 특정했습니다(arXiv:2105.11445). 구상성단은 오래된 항성 집단이어서 초신성에서 갓 태어난 젊은 마그네타로는 설명하기 어렵기 때문에, 저자들은 백색왜성의 강착 유도 붕괴나 밀집 쌍성의 병합으로 형성된 마그네타 쪽을 지지합니다. Margalit 등은 모은하가 더 이상 별을 만들지 않는 폭발에서 출발해, 그보다 앞서 이런 경로들을 제안한 바 있습니다(arXiv:1907.00016).

"기원은 아직 논쟁 중이다"라고만 쓰는 리뷰는 독자에게 아무것도 주지 못합니다. 더 유용한 쓰기 방식은 두 종류의 증거가 서로 다른 질문에 답하고 있다고 짚는 것입니다. 모은하 통계는 전형적인 폭발이 어디서 오는지를 보여 주고, 구상성단 속의 그 한 천체는 적어도 또 하나의 형성 경로가 존재함을 보여 줍니다. 둘은 동시에 참일 수 있으며, 각 경로가 얼마나 기여하는지는 미해결 문제 절에 쓸 수 있는 구체적인 질문이 됩니다.

공백에는 근거를, 미해결 문제는 증거에서 이끌어내기

"X를 연구한 사례는 없다"는 리뷰에서 가장 틀리기 쉬운 문장이자, 전문가 독자가 가장 먼저 확인하는 부분입니다. 쓰기 전에 X의 여러 이름으로 직접 검색해 보고, 판단을 보류했던 논문 더미를 다시 살펴보세요. 검색에 한계가 있었다면 "우리가 검색한 문헌 범위 안에서는"처럼 그 한계를 문장에 넣습니다.

미해결 문제도 마찬가지입니다. 마지막에 짜내는 것이 아니라 앞서 제시한 증거에서 이어질 때 가장 설득력이 있습니다. looped transformers 리뷰가 첫 번째로 꼽는 미해결 문제는 계산량을 맞춘 벤치마크입니다. 리뷰 전체에서 되풀이되는 불만이 논문들이 서로 호환되지 않는 조건에서 비교한다는 것이기 때문입니다. 부족한 것은 더 많은 비교가 아니라 비교를 위한 공통 절차입니다. 독자가 여기에 이르렀을 때는 그것이 당연하게 느껴집니다. 증거가 이미 앞에 놓여 있기 때문입니다.

논의와 결론 쓰는 법

논의에서는 개별 그룹에서 한 걸음 물러나 전체를 가로질러 봐야 합니다. 어떤 문제가 여러 방향에서 되풀이되는지, 어떤 방법이 한 영역에서는 성숙했는데 다른 영역에서는 아직 시도되지 않았는지. looped transformers 리뷰는 미해결 문제 앞에 "What the evidence actually supports"(증거가 실제로 뒷받침하는 것)라는 장을 두어, 먼저 논문 간 수치를 비교하기 어려운 이유를 설명하고, 저자들이 확립되었다고 보는 것과 그렇지 않은 것을 다루는 절로 끝맺습니다. 결론에서도 서두의 네 가지 주장을 그대로 반복하지 않습니다. 그중 세 가지는 "우리가 보기에 충분히 뒷받침된다"고 말하고 각각의 근거를 제시합니다. 결론이 해야 할 일이 바로 이것입니다. 처음의 질문으로 돌아가, 이제 무엇을 믿어도 되는지, 무엇은 아직 믿을 수 없는지, 그리고 어느 정도 확신해야 하는지를 독자에게 알려 주는 것입니다.

관련 연구 절 쓰는 법

논문의 관련 연구 절은 더 좁은 임무를 가진 짧은 리뷰입니다. 내 연구가 필요하다는 것을 보여 주는 일입니다. 같은 방법을 압축하면 충분합니다. 그룹마다 한 단락을 쓰고, 그 연구 흐름이 무엇을 이루었는지 종합한 뒤, 내 논문이 어떻게 다른지 한 문장으로 마무리합니다. 흔한 실수는 인용 목록으로 만들어 버리거나, 모든 단락을 "본 연구와 달리"로 끝내면서 정확히 무엇이 다른지는 말하지 않는 것입니다.

AI를 썼다면 어디에 썼는지 밝히기

이제 많은 학술지와 대학이 어떤 AI 도구를 어느 단계에서 썼는지 밝히도록 요구하며, 보통 방법 절이나 감사의 글에 씁니다. AI는 저자가 될 수 없고 내용에 대한 책임은 글을 쓴 사람에게 있다는 것이 일반적인 합의입니다.

리뷰에서 가장 밝히기 쉬운 부분은 검색과 선별입니다. 어떤 검색어를 썼는지, 후보는 몇 편이었는지, 선별 기준은 무엇이었는지, AI 판단에 어떤 임계값을 썼는지, 몇 편을 직접 확인했는지. 이 정보는 어차피 범위 절에 들어가야 하므로 AI의 역할을 덧붙이는 데 드는 수고는 거의 없습니다. 진짜 위험은 판단이나 인용을 AI에게 맡기는 것입니다. 판단은 여러분이 책임져야 하고, 인용은 모두 논문과 대조해야 합니다. Parallax에서는 모든 선별 기준과 각 논문의 확률이 저장되므로, 이 부분은 기록을 보며 그대로 쓸 수 있습니다.

제출 전에 한 번 더 확인하기

마지막 검토에서는 몇 가지에 주의를 기울이세요. 모든 주장이 특정 논문을 가리키는지, 그 논문이 정말로 그렇게 말하는지. 있어야 한다고 알고 있던 논문이 실제로 있는지. 최근 몇 달의 연구를 다루었는지. 빠르게 움직이는 분야에서 반년 전에 멈춘 리뷰는 이미 많은 것을 놓쳤습니다. 공백에 대한 주장이 모두 직접 검색으로 뒷받침되는지. 프리프린트와 출판본이 중복 없이 인용되었는지. 그리고 집필에 AI 도구가 관여했다면, AI가 관여한 주장을 하나하나 출처까지 추적할 수 있는지.

에이전트에게 맡기기

여기까지의 내용은 특정 도구가 필요하지 않지만, 문헌을 찾고 묶는 일은 규모가 커지면 손으로 하기 어려워집니다. Parallax는 그래서 만들었습니다. 앱에서는 에이전트 하나가 한 번의 대화 안에서 이 과정을 진행할 수 있습니다. 코퍼스를 탐색해 규모를 가늠하고 검색어를 고르며, arXiv 전체에 키워드 검색과 의미 검색 경로를 여러 개 세워 집합 연산으로 합치고, 여러분의 요청에서 포함·제외 기준을 작성해 Jev로 모든 후보를 선별한 뒤, 범주를 제안하고 논문을 나눠 담습니다. 그다음에는 이 집합을 두고 에이전트와 논의하고, 논문을 비교하고, 증거를 뽑아내고, 리뷰 리포트를 쓰게 할 수 있습니다. 앞의 looped transformers 리뷰가 이렇게 만들어졌습니다.

검색 과정 전체는 노드 그래프로 남습니다. 아래는 에이전트 메모리 검색으로, 키워드 검색과 의미 검색 11개 경로가 36,564편의 후보로 합쳐지고 Jev가 5,170편으로 걸러냈습니다.

같은 과정은 컴퓨터 과학 밖에서도 통합니다. 무료 검색으로 물리학 질문을 하나 시험해 보았습니다. 고속 전파 폭발의 기원으로 어떤 모델이 제안되었고, 어떤 관측이 이를 지지하거나 배제하는가. 다섯 개 경로를 돌렸고, 키워드 경로는 마그네타부터 중성자별 병합, "blitzar" 같은 모델 이름까지 서로 다른 커뮤니티의 용어를 다뤘습니다. 합치니 후보 479편이 되었고, 선별 후 265편이 남아 여섯 개 주제로 묶였습니다.

"Other" 그룹을 눈여겨보세요. 89편, 집합의 약 3분의 1이 여섯 주제 어디에도 들어가지 않았습니다. 앞에서 말한 바로 그 상황이며, 쓰기 전에 이 그룹에서 몇 편을 읽어 보고 묶는 기준을 조정해야 합니다.

할 수 없는 일도 분명히 해 둘 필요가 있습니다. 코퍼스는 arXiv뿐이며 2020년 이후의 arXiv 업데이트로 구축되었기 때문에, 그 이전의 기초 연구는 일부만 다루고 학술지에만 실린 논문은 없습니다. 이런 논문은 직접 참고문헌을 훑어 보완해야 하며, 에이전트는 아직 인용 링크를 자동으로 따라가지 않습니다. 더 중요한 것은 에이전트의 초안이 출발점일 뿐이라는 점입니다. 논지를 찾고 논문들이 왜 엇갈리는지 밝혀내는 일은 여전히 여러분이 내려야 할 판단입니다.

내 질문으로 직접 시험해 보고 싶다면 무료 문헌 검색은 계정 없이 쓸 수 있습니다. 최대 5개 경로, 후보 1,000편을 선별하는 빠른 스캔이라 완전한 리뷰는 아니지만, 주제가 얼마나 큰지, 어떻게 나뉘는지 보기에는 충분합니다.

자주 묻는 질문

문헌 리뷰는 어디서부터 쓰기 시작하나요?

서론부터가 아닙니다. 먼저 질문과 포함 기준을 확인 가능한 몇 문장으로 쓰고, 빠르게 몇 번 검색해 분야의 규모를 봅니다. 그 주제에 최근 서베이가 이미 몇 편 있다면 일찍 읽으세요. 그 참고문헌 목록은 문헌으로 들어가는 가장 빠른 길이고, 어떤 질문이 이미 충분히 다뤄졌는지도 알려 줍니다. 서론은 논지가 무엇인지 알게 된 뒤 마지막에 쓰는 편이 쉽습니다.

문헌 리뷰에서 논문은 몇 편을 인용해야 하나요?

정해진 수는 없습니다. 관련 연구 절이라면 수십 편, 서베이라면 수백 편을 인용하기도 합니다. 더 나은 질문은 내가 밝힌 범위 안에서 분야를 다 다루었느냐입니다. 후보 집합과 최종 집합의 크기를 보고하면 독자가 스스로 판단할 수 있습니다.

ChatGPT 같은 AI 어시스턴트가 대신 써 줄 수 있나요?

검색어 브레인스토밍, 개요 작성, 다듬기에는 괜찮지만, 검색 수단이나 출처로 쓸 때는 조심해야 합니다. 범용 어시스턴트는 소수의 결과만 돌려주고, 존재하지 않는 논문을 인용하기도 하며, 무엇을 놓쳤는지 알려 주지 못합니다. 인용은 모두 논문 원문과 대조해 확인하세요.

프리프린트를 포함해야 하나요?

물리학, 수학, 컴퓨터 과학에서는 포함해야 합니다. 새로운 연구 상당수가 arXiv에 먼저 나오며, 정식 출판보다 몇 년 앞서는 경우도 있습니다. 어떤 것이 프리프린트인지 표시하고, 출판본이 있으면 출판본을 인용하세요.

문헌 리뷰는 얼마나 걸리나요?

학위논문의 한 장이나 서베이라면 보통 몇 주에서 몇 달이 걸립니다. 예전에는 검색과 선별이 그중 큰 부분을 차지했지만, 코퍼스 전체를 훑고 자동으로 선별하는 도구가 있으면 오후 한나절이면 끝나, 읽고 쓰는 데 시간을 돌릴 수 있습니다.

맺으며

AI로 문헌을 검색하기 시작했을 때 신경 쓰였던 것은 AI가 틀린다는 점이 아니라, 얼마나 놓쳤는지 알 수 없다는 점이었습니다. GitHub에 있는 수많은 awesome paper list는 많은 사람이 같은 것을 원한다는 것을 보여 줍니다. 한 분야의 연구를 빠짐없이 정리한 목록입니다. 하지만 Parallax를 만들면서, 목록은 리뷰의 하한일 뿐이라는 점이 점점 더 분명해졌습니다. 이제 목록을 빠짐없이 만드는 일은 기계가 도울 수 있습니다. 그 안에서 논지를 찾아내고, 결과가 왜 엇갈리는지 설명하는 일이야말로 리뷰를 쓰는 사람이 시간을 써야 할 곳입니다.

Parallax는 parallax.ink에서 이용할 수 있습니다. 리뷰를 시작하려 한다면 먼저 내 질문으로 무료 검색을 해 보고, 분야가 실제로 얼마나 큰지 확인한 다음, 아낀 시간을 쓰는 데 쓰세요.