2027 Intelligence Explosion: Month-by-Month Model — Scott Alexander & Daniel Kokotajlo
드와르케시 파텔: 오늘은 스콧 알렉산더(Scott Alexander)와 다니엘 코코타일로(Daniel Kokotajlo) 두 분과 이야기하게 되어 정말 기쁩니다. 스콧은 물론 블로그 '슬레이트 스타 코덱스(Slate Star Codex)', 현재는 '아스트랄 코덱스 10(Astral Codex 10)'의 저자이시죠. 아시다시피, 당신을 팟캐스트에 모시는 것이 제 버킷 리스트 중 하나였습니다. 이게 저희가 함께하는 첫 팟캐스트 맞죠?
스콧 알렉산더: 네, 맞습니다.
드와르케시 파텔: 그리고 다니엘은 'AI 미래 프로젝트(AI Futures Project)'의 디렉터입니다. 두 분께서 오늘 'AI 2027'이라는 것을 발표하셨는데, 이게 무엇인가요?
스콧 알렉산더: 네, AI 2027은 앞으로 몇 년간의 AI 발전을 예측하는 저희의 시나리오입니다. 여기서 두 가지를 하려고 합니다. 첫째는 구체적인 시나리오를 제시하는 것입니다. 샘 알트만(Sam Altman), 다리오 아모데이(Dario Amodei), 일론 머스크(Elon Musk) 같은 사람들이 "3년 안에 AGI(일반인공지능), 5년 안에 초지능이 나올 것"이라고 말합니다. 사람들은 이게 미친 소리라고 생각하죠. 왜냐하면 현재 우리는 구글 검색 정도나 할 수 있는 챗봇을 가지고 있을 뿐이니까요. 많은 면에서 그 이상은 아닙니다. 그래서 사람들은 "어떻게 3년 안에 AGI가 된다는 거지?"라고 묻습니다. 저희가 하고 싶었던 것은 이야기를 제공하는 것, 즉 '과도기적 화석'을 제공하는 것입니다. 지금부터 시작해서 AGI가 등장하는 2027년, 잠재적으로 초지능이 등장하는 2028년까지, 월별로 어떤 일이 일어나는지 보여주는 것입니다. 소설 작법 용어로 말하자면, '납득이 가도록' 만드는 거죠.
그것은 쉬운 부분입니다. 어려운 부분은 저희가 옳기를 바란다는 점입니다. 저희는 상황이 어떻게 진행될지, 어떤 속도로 진행될지 예측하려고 합니다. 일반적으로 이런 예측의 중간값 결과는 모든 것이 완전히 다르게 진행되어 완전히 망신당하는 것입니다. 저희 시나리오를 읽어보시면 저희가 그런 경향에서 예외가 될 것이라고 기대하지 않으실 겁니다.
제가 낙관적인 이유는 다니엘이 2021년에 이 시나리오의 프리퀄 격인 '2026년은 어떤 모습일까(What 2026 Looks Like)'를 썼기 때문입니다. 이것은 그가 향후 5년간의 AI 발전을 예측한 것이었죠. 그리고 그는 거의 정확하게 맞혔습니다. 지금 당장 이 팟캐스트를 멈추고 그 문서를 읽어보셔야 합니다. 정말 놀랍습니다. 마치 ChatGPT에게 지난 5년간의 AI 발전을 요약해달라고 요청했고, 약간의 환각(hallucination)은 있지만 기본적으로는 선의를 가지고 정확하게 요약된 결과물을 받은 것 같습니다. 그래서 다니엘이 이 속편을 작업한다고 했을 때, 저는 매우 흥분했고 그것이 어디로 향할지 정말 보고 싶었습니다. 꽤 미친 곳으로 향하는데, 오늘 그것에 대해 더 이야기하게 되어 기쁩니다.
다니엘 코코타일로: 좀 과장하시는 것 같네요. 네, 제가 예전에 썼던 블로그 게시물을 읽어보시길 권합니다. 많은 부분을 맞혔고, 틀린 부분도 많았다고 생각하지만, 전반적으로 꽤 잘 들어맞아서 다시 한번 시도해보고 더 나은 버전을 만들도록 영감을 주었습니다.
스콧 알렉산더: 제 생각에는, 문서를 읽어보시고 저희 둘 중 누가 맞는지 판단해 보세요.
다니엘 코코타일로: 관련된 다른 이야기도 있습니다. 원래 그 글은 2026년에 끝나는 것이 아니라, 흥미로운 부분까지 쭉 이어질 예정이었습니다. 왜냐하면 모두가 AGI나 초지능에 대해 이야기하고 있고, 그것이 어떤 모습일지에 대해 궁금해하니까요. 그래서 저는 당시 우리가 있던 지점부터 시작해서 일이 벌어질 때까지 단계별로 나아가 그 모습이 어떨지 보려고 했습니다. 하지만 2027년에 이르러서는 기본적으로 포기했습니다. 상황이 발생하기 시작했고 자동화 루프가 가동되기 시작하면서 너무 혼란스럽고 불확실성이 너무 컸기 때문입니다. 그래서 기본적으로 마지막 장을 삭제하고 그때까지 쓴 것을 출판했습니다. 그것이 그 블로그 게시물이었습니다.
드와르케시 파텔: 알겠습니다. 그럼 스콧, 당신은 이 프로젝트에 어떻게 참여하게 되었나요?
스콧 알렉산더: 글쓰기 도움을 요청받았습니다. 저는 이미 프로젝트에 참여한 사람들을 어느 정도 알고 있었고, 그들 중 다수는 제 영웅 같은 존재였습니다. 다니엘은 제가 그의 의견에 대해 블로그 글을 쓰기 전부터 알고 있었고, 그의 '2026년은 어떤 모습일까'는 정말 놀라웠습니다. 또한 그는 꽤 최근에 OpenAI를 그만둘 때, 비방 금지 계약에 서명하지 않으면 스톡옵션을 회수하겠다고 하자 거부하여 전국적인 뉴스가 되었습니다. 그들은 이에 대비하지 못했죠. 이는 OpenAI가 더 이상 직원들에게 그러한 제한을 가하지 않기로 동의하게 만든 주요 뉴스거리이자 스캔들을 일으켰습니다.
사람들은 AI 분야의 누구도 믿기 어렵다고 많이 이야기합니다. 모두가 과대광고와 스톡옵션 가치 상승에 너무 많은 돈을 투자했기 때문이죠. 그런데 다니엘은 자신이 믿는 바를 말하기 위해 수백만 달러를 희생하려고 했습니다. 이는 저에게 정직함과 능력의 믿을 수 없을 정도로 강력한 신호였습니다. 저는 '이 사람에게 어떻게 거절할 수 있겠는가?'라고 생각했습니다. 팀의 다른 모든 사람들도 매우 인상적이었습니다. 세계 최고의 예측 팀인 사모츠베티(Samotsvety)의 멤버인 엘리 리플런드(Eli Lifland)는 최고의 예측 대회에서 우승했으며, 슈퍼 예측 커뮤니티에서 사용하는 매우 기술적인 기준으로 볼 때 세계 최고의 예측가로 묘사될 수 있습니다. 토마스 라르센(Thomas Larsen), 요나스 폴머(Jonas Vollmer)도 모두 AI 분야에서 훌륭한 업적을 남긴 정말 놀라운 사람들입니다.
저는 이 슈퍼스타 팀과 함께 일하게 되어 정말 기뻤습니다. 저는 항상 AI가 잘 진행되도록 하는 실제적인 노력에 더 많이 참여하고 싶었습니다. 지금은 그냥 글만 쓰고 있죠. 글쓰기도 중요하다고 생각하지만, 모르겠습니다. 항상 모든 것을 해결할 수 있는 기술적인 정렬(alignment) 천재가 아니라는 점을 후회하게 됩니다. 이런 사람들과 함께 일하고 잠재적으로 변화를 만들 수 있다는 것은 그저 좋은 기회처럼 보였습니다.
제가 깨닫지 못했던 것은 저 또한 엄청나게 많은 것을 배웠다는 것입니다. 저는 AI 세계에서 일어나는 대부분의 일을 읽으려고 노력하지만, 이는 매우 낮은 대역폭의 일입니다. 세상 누구보다도 그것에 대해 많이 생각해 본 사람과 이야기할 수 있다는 것은 정말 놀라웠습니다. AI가 어떻게 빠르게 학습할 것인지에 대한 이러한 것들을 정말 이해하게 됩니다. 기본적인 영역에 대한 깊은 이해가 필요하고, 저는 그것을 얻었다고 느낍니다.
드와르케시 파텔: 저는 당신과 이야기를 나누고 반박이나 다른 것을 생각해내는 과정에서 지능 폭발에 대해 찬성했다가 반대했다가를 서너 번은 바꾼 것 같습니다.
스콧 알렉산더: 단순히 제 마음을 바꾼 것만이 아니었습니다. 시나리오를 처음 읽었을 때, 물론 이 시점에서는 아직 작성되지 않았고 거대한 스프레드시트였습니다. 저는 이것에 대해 10년, 15년 동안 생각해 왔습니다. 그런데 구체적인 이야기를 갖게 되니 훨씬 더 명확해졌습니다. '아, 그래서 우리가 중국과의 군비 경쟁을 그렇게 걱정하는구나. 그런 상황에서는 당연히 중국과의 군비 경쟁이 벌어지겠지.' 단순히 사람들이 시나리오를 읽게 하는 것 외에도, 이것이 더 널리 알려져야 할 필요가 있다는 것을 저에게 확실히 각인시켰습니다.
드와르케시 파텔: 네. 좋습니다. 이제 이 새로운 예측에 대해 이야기해 봅시다. 당신은 지금부터 어떤 일이 일어날지에 대해 월별 분석을 하셨습니다. 그래서 이 예측에서 2025년 중반과 2025년 말에 무엇을 기대하시나요?