Ilya × Noam + Andrej

흥미롭고 또 중요하게 여겨지는 스레드가 있어서 옮겨왔습니다. 일단 발단이 된 것은 Haider의 글인데 그걸 Ilya가 인용하면서 관점을 추가해 줬고, 다시 Noam이 Andrej의 이야기까지 엮어서 현재의 지평을 잘 볼 수 있도록 돕는 관점을 제시했어요.

Haider:

오늘 나온 Ilya Sutskever 팟캐스트에서 가장 중요한 포인트들:

5~20년 안에 초지능(superintelligence)이 등장할 것.
지금의 스케일링 전략은 크게 한계에 부딪힐 것이고, 우리는 다시 “진짜 연구” 단계로 돌아가게 될 것.
초지능은 “완성된 만능 예언자(모든 걸 다 아는 오라클)”가 아니라, 엄청나게 빠른 지속 학습자(super-fast continual learner)다.
현재 모델들의 일반화 능력은 인간보다 100배 정도 나쁘며, 이것이 AGI(범용 인공지능)를 가로막는 가장 큰 장애물.
완전히 새로운 머신러닝 패러다임이 필요하다. (아이디어는 있지만 지금은 말해 줄 수 없음.)
AI의 충격은 매우 클 것이지만, 경제 전반에 충분히 확산(diffusion)된 이후에야 본격적으로 체감될 것.
역사적으로 큰 돌파구들은 거의 컴퓨트(계산 자원)를 필요로 하지 않았다.
SSI(Safe Superintelligence Inc.)는 승리하기에 충분할 만큼, 특정 문제에 집중된 연구용 컴퓨트를 가지고 있다.
현재의 강화학습(RL)은 이미 사전학습(pre-training)보다 더 많은 컴퓨트를 잡아먹고 있다.

내가 했던 말 중 제대로 전달되지 않은 포인트 하나: