RLVR might be disproportionately bad at science

https://claude.ai/chat/432f318c-d588-49a3-867d-2451dc23fd0e

이론의 검증 루프는 수십 년, 수백 년 단위에 이를 수 있고, 그렇게 시간이 흐른 뒤에도 오늘날 우리가 '더 나은 이론'이라 부르는 것이 실제로는 더 부정확한 예측을 내놓는 경우가 흔하다

Dwarkesh Patel 2026년 5월 17일

마이클 닐슨(Michael Nielsen)과 나눈 인터뷰에서 우리가 파고들었던 몇 가지 갈래를 정리해 적어 본다. 그 에피소드는 내가 가장 아끼는 인터뷰 중 하나였다.

마이클 닐슨과의 인터뷰를 이끈 핵심 질문은 "우리는 과학적 진보를 어떻게 알아보는가?"였다. 이 질문은 AI가 과학적 발견에서 강화학습의 검증 루프를 닫으려면 무엇이 필요한지 생각할 때 특히 중요하다. 하지만 인간 과학의 역사를 돌아볼 때조차, 이 질문은 놀라울 만큼 신비롭고 붙잡기 어려운 물음이기도 하다.

어떤 사람들은 AI가 과학적 돌파구를 만들어 내는 데 유독 뛰어날 것이라고 생각한다. 그렇게 보는 이유는 이렇다. 첫째, 과학은 '검증 가능'하다. 둘째, AI는 검증 루프가 촘촘한 영역—코딩, 수학 등—을 압도적으로 정복하고 있는데, 바로 그런 루프 위에서 강화학습(RL)을 돌릴 수 있기 때문이다.

💡 RLVR·검증 루프 — RLVR는 'Reinforcement Learning with Verifiable Rewards(검증 가능한 보상을 이용한 강화학습)'의 약자로, 정답 여부를 기계적으로 판정할 수 있는 과제에서 모델이 보상을 받으며 학습하는 방식이다. '검증 루프'란 어떤 시도가 옳은지 판정해 그 결과를 다시 학습에 되먹이는 순환을 말한다. 코딩·수학처럼 정오(正誤)를 빠르게 확인할 수 있는 영역에서 특히 잘 작동한다.

그러나 인간 과학의 역사는, 이론의 검증 루프가 수십 년에서 수백 년 단위로 길어질 수 있으며, 그렇게 시간이 지난 뒤에도 실험이 대안 이론들을 확실히 배제해 주지는 못한다는 사실을 보여 준다. 고대 아테네인들은 지동설을 주장한 아리스타르코스(기원전 2세기)를 일축했는데, 지동설이 옳다면 항성 시차가 나타나야 하기 때문이었다. 항성 시차의 첫 성공적 측정은 1838년 프리드리히 빌헬름 베셀(Friedrich Wilhelm Bessel)에 의해 이루어졌다.

💡 항성 시차(stellar parallax) — 지구가 태양 주위를 공전하기 때문에, 가까운 별이 멀리 있는 배경별에 대해 위치가 미세하게 어긋나 보이는 현상. 지동설이 옳다면 반드시 나타나야 하지만, 그 각도가 극히 작아 오랫동안 관측되지 않았고, 이 때문에 고대인들은 이를 지동설을 배척하는 근거로 삼았다.

우리가 오늘날 '더 나은 이론'이라고 알고 있는 것이 실제로는 더 나쁜 예측을 내놓는 일도 흔하다. 코페르니쿠스의 태양 중심 원궤도 모델이 프톨레마이오스의 지구 중심 모델보다 부정확했다는 것은 잘 알려진 사실이다. 프톨레마이오스의 모델은 천여 년에 걸쳐 주전원을 보정해 온 것이었다. 그런데 덜 알려진 사실이 있다. 코페르니쿠스의 이론은 심지어 더 단순하지도 않았다. (프톨레마이오스의 모델은 궤도가 실제로는 타원이라는 사실을 이퀀트라는 장치로 근사해 냈다. 즉 다른 행성들이 지구를 중심으로 정확히 균일한 원운동을 하는 것이 아니라, 지구에서 벗어난 한 점을 기준으로 도는 것으로 본 것이다. 코페르니쿠스는 이 장치가 자신의 플라톤적 휴리스틱을 위배했기 때문에 마음에 들어 하지 않았고, 그래서 이퀀트를 버렸다. 그 결과 그는 이를 벌충하기 위해 주전원과 더 작은 주전원들을 추가해야 했고, 모델은 오히려 덜 간결해졌다.)

💡 주전원·이퀀트·플라톤적 휴리스틱 — '주전원(epicycle)'은 행성이 큰 원 위를 돌게 할 때, 관측을 맞추기 위해 그 위에 덧댄 작은 보조 원이다. '이퀀트(equant, 등각속점)'는 프톨레마이오스가 행성이 지구가 아니라 지구에서 살짝 벗어난 한 점을 기준으로 균일한 각속도로 도는 것처럼 보이게 만든 장치로, 실제 타원 궤도의 효과를 꽤 잘 근사했다. '플라톤적 휴리스틱'은 천체라면 완전한 원 위를 균일한 속도로 움직여야 한다는 고대 그리스적 미적·철학적 선입견을 가리킨다. 코페르니쿠스는 이 선입견 때문에 정작 유용했던 이퀀트를 버렸다.

그렇다면 1543년 시점에서 코페르니쿠스의 이론은 어떤 의미에서 '더 나은' 이론이었을까? 어떤 의미에서는 더 낫지 않았다! 지동설이 케플러의 세 법칙(1619)과 결합하면 훨씬 깔끔하고 정확한 이론이 된다는 것, 또는 지동설적 궤도와 지상의 중력 사이에 매우 아름다운 통합이 존재한다는 것(뉴턴, 1686)을 사전에 알 수는 없었다.

1543년에 코페르니쿠스를 선호할 만한 사전적 이유가 하나 있기는 했다. 그의 이론에서는 역행 운동이 이론의 자연스러운 귀결로 따라 나온 반면, 프톨레마이오스에게 그것은 임시방편의 덧붙임이었다. 더욱 인상적인 것은, 1543년에 나온 그의 이론이 1610년 갈릴레오가 관측하기도 전에 금성의 위상을 예측했다는 점이다. 하지만 이 두 가지는 브라헤의 모델로도 똑같이 설명되었다. 브라헤의 모델은 태양이 지구를 돌고, 나머지 모든 행성은 태양을 돌도록 설정한 것이었다.

💡 역행 운동·금성의 위상 — '역행 운동(retrograde motion)'은 행성이 하늘에서 한동안 평소와 반대 방향으로 뒷걸음질 치는 듯 보이는 현상이다. 지동설에서는 지구가 다른 행성을 안팎에서 추월하며 생기는 자연스러운 결과지만, 지구 중심설에서는 별도의 장치로 억지로 만들어 넣어야 했다. '금성의 위상'은 달처럼 금성도 차고 기우는 모습을 보이는 현상으로, 금성이 태양을 돈다는 지동설의 강력한 증거가 되었다.

순진한 반증주의의 틀에서 보자면, 브라헤가 틀렸다는 것을 알려면 1838년 항성 시차가 관측될 때까지 기다려야 했을 것이다. 하지만 분명 과학계는 그보다 훨씬 빠르게 진보를 이루어 냈다. 과학의 진보에는 판단과 휴리스틱이 뒤섞여 작동하는데, 우리는 그것을 제대로 언어로 표현할 만큼도 이해하지 못하고 있으며, 하물며 그것을 강화학습 루프로 코드화하는 것은 더더욱 요원하다.

💡 반증주의(falsificationism) — 이론은 관측·실험으로 반박(반증)될 수 있어야 하며, 반증되면 폐기되어야 한다는 칼 포퍼의 과학철학이다. 여기서 말하는 '순진한 반증주의'는 반박 증거가 하나라도 나오면 곧바로 이론을 버려야 한다는 단순화된 판본을 가리킨다.

혹은 1846년 해왕성 발견의 사례를 보자. 천왕성은 뉴턴 역학이 예측한 경로에서 벗어나 있었다. 르베리에(Le Verrier)는 알려지지 않은 어떤 섭동 행성이 존재해야 한다고 예측하고 그 질량과 궤도를 계산했으며, 해왕성은 예측된 위치와 거의 정확히 일치하는 곳에서 발견되었다.

하지만 해왕성 이야기는 하나의 실패 사례와 대칭을 이룬다. 수성은 근일점 이동에 이상이 있었다. 수성의 궤도를 나타내는 타원이, 다른 행성들의 영향을 뉴턴 역학으로 계산해 나오는 값보다 한 세기에 43각초씩 더 회전했던 것이다. 이 때문에 천문학자들은 수성 궤도 안쪽에 벌컨(Vulcan)이라는 미지의 행성이 있으리라 추측했다. 그러나 이 문제는 1915년 아인슈타인의 일반 상대성 이론으로 해결되었다.