2026년 11월 5일 · @gongsoonyee

들어가며: 심사가 제출을 따라가지 못한다

ICLR 2027은 한 사람이 공저자로 이름을 올릴 수 있는 제출 논문을 최대 20편으로 묶었습니다. ML 분야를 대표하는 학회가 저자 단위 상한을 들고나온 것이어서 학계에서 큰 논쟁이 일었습니다.

배경은 단순합니다. 논문은 기하급수적으로 늘어나는데, 그 논문을 읽고 판단할 숙련된 심사자는 그만큼 늘지 않습니다. ICML과 NeurIPS가 AI를 심사에 활용하는 실험에 나선 것도, ICLR이 아예 제출량 자체를 조이기로 한 것도 같은 문제에서 출발합니다.

이 글에서는 제출 수가 얼마나 늘었는지, 심사 시스템이 어떤 압박을 받고 있는지, 각 학회가 어떤 실험을 하고 있는지, 그리고 ICLR의 상한제가 구체적으로 무엇이며 어떤 논쟁을 낳았는지 차례로 정리합니다.

숫자로 보는 폭증

ICLR 제출 논문은 2025년 11,603편에서 2026년 19,525편으로 1년 만에 약 68% 늘었고, 2027년에는 본 논문 마감 기준 4만 편을 넘어섰습니다. 10년 전 약 500편이던 학회가 한 해에 이 정도 물량을 받게 된 것입니다.

2027년 초록 등록 단계에서는 6만 건을 넘겨, 2013년부터 2026년까지 14회 학회에 들어온 제출 편수 합계(약 55,972편)보다 많았습니다. 초록만 걸어두고 본 논문은 내지 않는 경우가 많아 최종 수치는 줄었지만, 그래도 전년의 두 배 이상입니다.

ICLR만의 일이 아닙니다. ACL 계열 학회의 심사를 맡는 ACL Rolling Review(ARR)는 2026년 9월 한 달에 40,363편을 받아 2024년 9월(20,569편)의 거의 두 배가 됐습니다. 프리프린트 서버 arXiv도 2026년 10월부터 제출자 1인당 월 2편으로 신규 논문 수를 제한했습니다. 규모 감을 잡자면, ICLR 2026의 채택 논문 5,355편은 NeurIPS 2025(5,290편)보다 많고 ICML 2025(3,260편)의 1.6배에 이릅니다.

심사 시스템이 버티지 못하는 이유

문제의 핵심은 숙련된 심사자의 공급이 제출량을 따라가지 못한다는 점입니다. ICLR 2026에서는 18,054명의 리뷰어가 최종 판정까지 간 13,763편을 위해 76,139건의 리뷰를 썼습니다. 2027년 제출량이 두 배를 넘으면 같은 방식으로는 심사 인력을 채울 수 없습니다.

리뷰어가 될 수 없는 저자들의 제출이 특히 빠르게 늘었습니다. ICLR 2026 제출 논문의 약 20%는 저자 중 심사 자격자(reciprocal reviewer)가 한 명도 없었고, 이 중 4분의 1은 데스크 리젝트됐습니다. 정식 심사로 넘어간 경우에도 채택률은 나머지 논문의 절반 수준이었습니다. ARR에서도 2026년 5월 제출된 1만 7천 편 중 약 38%가 저자 중 심사 자격자가 없는 논문이었습니다.

심사의 질도 흔들렸습니다. AI 텍스트 탐지 업체 Pangram Labs가 ICLR 2026 리뷰 약 75,800건을 분석한 결과, 약 21%(15,899건)가 LLM이 통째로 작성한 것으로 분류됐고 절반 이상에서 어떤 형태로든 AI 사용 흔적이 나왔습니다. AI가 쓴 리뷰는 사람이 쓴 리뷰보다 길었고 평균 점수도 더 후했습니다(약 4.4점 대 4.1점). 논문 쪽에서도 199편(약 1%)이 완전히 AI로 작성됐고, 9%는 본문의 절반 이상이 AI 생성 텍스트로 판정됐습니다. 탐지기는 완벽하지 않다는 단서가 붙지만, “AI가 쓴 논문을 AI가 심사하는” 구조가 이미 현실이 됐다는 신호로 받아들여졌습니다.

ICLR은 2025년 8월 LLM 사용 공개 의무와 미공개 시 데스크 리젝트 규정을 내놓았고, 11월에는 LLM 생성 논문과 리뷰에 대한 대응 방침을 다시 발표했습니다. 그러나 규정만으로는 물량 자체를 줄일 수 없다는 한계가 분명해졌습니다.

다른 학회들의 실험: AI로 심사하면 달라지는가

ICML과 NeurIPS는 AI 사용을 막기보다, AI를 쓴 심사와 쓰지 않은 심사를 무작위로 나눠 비교하는 실험을 택했습니다. 지금까지 나온 가장 큰 결과는 ICML 2026의 것으로, 정책에 따라 논문 점수나 최종 판정이 달라졌다는 증거는 없었습니다.

이 실험들이 보여준 것은 AI가 심사 부담을 일부 덜 수는 있어도 물량 문제를 해결하지는 못한다는 점입니다. 리뷰 시간은 줄어도 리뷰가 필요한 논문 수는 그대로이고, 규정 위반을 잡아내는 데도 별도의 인력과 장치가 듭니다. ICLR이 “심사를 어떻게 할까”가 아니라 “무엇을 심사할까”로 질문을 바꾼 배경입니다.

ICLR의 선택: 1인 20편 상한과 심사 의무

ICLR 2027 프로그램 위원장단(Jacob Andreas, Guy Van den Broeck, Andrej Risteski, Stella Yu)은 2026년 9월 2일 공식 블로그에서 제출을 사실상 “속도 제한(rate-limit)”하는 정책을 발표했습니다. 핵심은 저자당 제출 상한과, 제출하는 사람이 심사도 맡게 하는 상호 심사 의무입니다.

심사 자격은 ICLR·NeurIPS·ICML·ACL·CVPR·AAAI 등 주요 학회나 저널 본 트랙에 논문이 채택된 적이 있는지로 판단하며, 워크숍·포지션 페이퍼는 인정되지 않습니다. 위원장단은 이 신규 저자 상한이 학력에 따른 문턱이 아니라, 모든 논문이 공정한 심사를 받게 하기 위한 장치라고 설명했습니다.

흥미로운 점은 위원장단 스스로 “20편은 합리적인 숫자가 아니다”라고 밝혔다는 것입니다. 한 사람이 20편에 의미 있게 기여하는 모습은 상상하기 어렵고 훨씬 낮게 잡아도 방어할 수 있었지만, 대형 연구실 소속 주니어 연구자가 지도교수의 공저자 결정 때문에 피해를 볼 수 있어 급격한 제한을 피했다는 설명입니다. 실제로 ICLR 2026에서 20편 넘게 제출한 저자는 0.2% 미만이었고, 그중 20편 넘게 채택된 사람은 한 명도 없었습니다. 즉 20편 상한의 실질적 목적은 두 가지입니다. 저품질 논문을 대량으로 쏟아내는 것을 막고, 심사 자격 있는 저자 한 명을 공저자로 끼워 신규 저자 상한을 대규모로 우회하는 것을 막는 것입니다.

다른 학회로 번지는 제출 규칙

이런 흐름은 ICLR에만 그치지 않습니다. 최근 ACL, AISTATS, CVPR, arXiv가 잇달아 저자 단위 상한을 도입했고, NeurIPS는 상한 대신 “심사를 해야 내 리뷰를 본다”는 방식으로 제출자에게 심사 책임을 묶었습니다.

흐름은 비슷합니다. 상한선은 12~25편으로 학회마다 다르지만, 대부분 “주요 학회 채택 경험”을 심사 자격의 기준으로 삼고 그 자격이 없는 저자에게 더 낮은 상한을 겁니다.

쟁점: 상한제는 답이 될 수 있을까

상한제를 둘러싼 논쟁은 “20편이 많은가 적은가”보다 “누가 그 비용을 치르는가”에 모입니다. 20편 상한은 실제로 걸리는 사람이 거의 없어 상징에 가깝고, 실질적으로 강한 제약은 신규 저자 1편 상한과 심사 의무 쪽입니다.

반대·비판 쪽 논리. 구글 딥마인드 방문연구원이자 토론토대 교수인 Dan Roy는 X에 “20편 제한 폐지” 청원을 올렸습니다. AI 에이전트가 점진적 연구를 거의 알아서 해내고 심사도 LLM이 다 하는데 왜 숫자를 묶느냐는, AI가 학계에 끼친 영향을 비꼬는 반어적 글이었습니다. 진지한 비판은 신규 저자 상한에 집중됩니다. Science는 이번 조치가 초기 경력 연구자의 논문을 제한할 수 있다고 짚었습니다. 위원장단도 주요 학회 밖에서 실적을 쌓은 학제 간 연구자, 이전 심사에서 부실한 리뷰를 받아 재제출할 논문이 쌓인 주니어 연구자가 손해를 볼 수 있다고 인정했습니다. 심사 자격자가 기여하지 않은 논문에 이름만 빌려주는 “선물 저자” 거래가 생길 유인도 있어, ICLR은 이를 감시하겠다고 밝혔습니다.

찬성·옹호 쪽 논리. 숙련된 심사자의 시간은 한정된 공공재이고, 제출자가 심사에 기여하지 않으면 시스템이 유지되지 않는다는 것입니다. ICLR 2026의 “심사자 없는” 논문은 채택률이 절반 수준이었고 상당수가 저품질·AI 생성 논문이었습니다. 위원장단은 이런 비용이 현 상태가 대다수 제출자에게 지우는 부담보다 작다고 판단했고, 결과 데이터는 다른 학회와 공유하겠다고 했습니다.

효과에 대한 의문. 상한제가 발표된 뒤에도 ICLR 2027 초록 등록은 6만 건을 넘었고 본 논문도 4만 편을 넘었습니다. 저자당 상한은 한 사람의 과잉 제출을 막을 뿐, 참여 인원 자체의 증가는 막지 못합니다. 커뮤니티에서는 1인 3~4편으로 더 낮추자는 제안부터 공저자 수로 나눠 세는 “조화 할당량”(harmonic quota), IJCAI-ECAI 2026처럼 다른 제출이 있는 저자의 논문에 편당 100달러를 받는 방식, AAAI의 2단계 심사까지 다양한 대안이 거론됩니다. 학회 밖에서도 arXiv의 월 2편 제한, VLDB 2027의 연 12편·월 2편 상한처럼 비슷한 장치가 늘고 있습니다.

맺으며: “더 많이”에서 “더 단단하게”로

ICLR의 상한제는 심사 위기에 대한 완결된 해법이라기보다, 학회가 “모든 논문을 다 심사할 수는 없다”고 공식 인정한 신호에 가깝습니다. ICML과 NeurIPS가 AI로 심사 효율을 높이는 길을 실험하는 동안, ICLR은 심사할 대상 자체를 줄이고 제출자에게 심사 책임을 나눠 지우는 길을 택했습니다.

위원장단은 AI 시대에도 연구는 결국 사람의 이해를 위한 것이고, 어떤 결과가 이해할 만하고 중요한지 판단하는 역할을 포기하지 않겠다고 썼습니다. AI 덕분에 아낀 시간을 논문 편수가 아니라 더 완성도 높고 야심 찬 연구에 쓰라는 주문입니다. 2026년 12월 16일 ICLR 2027 결과 발표와 이후 공개될 데이터가, 이 실험이 효과가 있었는지를 보여줄 첫 근거가 될 것입니다.

참고자료

• Submission policies for ICLR 2027 – ICLR Blog
• ICLR 2027 Author Guidelines
• Making Google’s Paper Assistant Tool (PAT) available to ICLR submitters – ICLR Blog
• As AI triggers a tsunami of submissions, computer science conferences impose caps – Science
• ICML 2026 Policy for LLM use in reviewing
• On Violations of LLM Review Policies – ICML Blog
• Use and Effects of LLMs in Peer Review: A Randomized Experiment at ICML 2026 – NeurIPS 2026 Workshop
• NeurIPS 2026 AI-Assisted Reviewing Experiment
• Pangram Predicts 21% of ICLR Reviews are AI-Generated – Pangram Labs
• ICLR 2027 Caps Author Submissions at 20, Sparks Debate (Dan Roy 청원 관련)
• ICLR 2027 Registrations Hit 60K, Exceeding All Prior Years Combined
• The AI Review Lottery (ICLR 2018–2024 제출 통계) – arXiv
• How Many Submissions May an Author Make? A Harmonic Quota – arXiv