암기 논쟁 (1/2)
원문:
https://www.dwarkeshpatel.com/p/francois-chollet
여기 오늘 출시하는 100만 달러의 ARC-AGI 상금에 대해 프랑수아 숄레(Francois Chollet)와 마이크 크눕(Mike Knoop)과 나눈 대화가 있습니다.
중요한 점들에 대해 토론하고 논쟁하는 것이 정말 재미있었습니다. 즐겁게 감상하세요!
드와케시: 오늘은 구글에서 AI 연구자이자 Keras의 창시자인 프랑수아 쇼레와 이야기할 기쁨을 누립니다. 그는 Zapier의 공동 창업자인 마이크 눕과 협력하여 상금을 출시합니다. 이 상금은 그가 만든 ARC 벤치마크를 해결하기 위한 백만 달러 상금입니다.
첫 번째 질문, ARC 벤치마크란 무엇입니까? 왜 이 상금이 필요한가요? 내년에 가장 큰 LLM이 그것을 그냥 포화시킬 수 없는 이유는 무엇인가요?
프랑스와: ARC는 기계 지능을 위한 일종의 IQ 테스트로 의도되었습니다. 대부분의 LLM 벤치마크와 다른 점은 기억에 대한 저항력이 설계되었다는 것입니다. LLM의 작동 방식은 기본적으로 큰 보간 메모리입니다. 그들의 능력을 확장하는 방법은 가능한 한 많은 지식과 패턴을 그들에게 주입하려고 하는 것입니다.
반면, ARC는 많은 지식을 요구하지 않습니다. 그것은 오직 핵심 지식만을 요구하도록 설계되었습니다. 기본적인 지식, 예를 들어 기초 물리학, 객체성, 계산 등에 대한 지식입니다. 이는 모든 네 살이나 다섯 살 아이가 가지고 있는 지식의 종류입니다.
드와케시: 먼저, LLM에 대해 회의적인 당신이 직접 벤치마크를 내놓았다는 점에서 기쁩니다. 만약 우리가 가진 가장 큰 모델이 1년 안에 이 벤치마크에서 80%를 달성한다면, LLM을 통해 AGI를 달성할 수 있는 궤도에 있다고 볼 수 있을까요? 이에 대해 어떻게 생각하십니까?
프랑스와: 1년 안에 LLM이 80%를 달성할 것이라고는 꽤 회의적입니다. 그렇긴 하지만, 만약 그런 일이 발생한다면 그것이 어떻게 이루어졌는지도 살펴봐야 합니다. 모델을 ARC와 유사한 수백만, 수십억 개의 퍼즐로 훈련시킨다면, 훈련한 과제와 테스트 시점에 직면한 과제 간의 겹침을 활용하는 것입니다. 이는 여전히 암기에 의존하는 것입니다.
어쩌면 이 방법이 작동할 수도 있습니다. ARC가 이러한 무차별 대입 시도에 대해 충분히 저항할 수 있기를 바라지만, 어떻게 될지는 모릅니다. 어쩌면 그런 일이 일어날 수도 있습니다. 일어나지 않을 것이라고 말하는 것은 아닙니다. ARC가 완벽한 벤치마크는 아닐 수도 있습니다. 어쩌면 결함이 있을 수도 있고, 그런 방식으로 해킹될 수도 있습니다.
드와케시: GPT-5가 무엇을 해야 AGI로 가는 길에 있다고 확신하겠습니까?
프랑스와: 이것이 제가 LLM에 대한 생각을 바꾸게 만들 요소입니다. 모델에게 훈련 데이터 관점에서 진정으로 새로운 과제를 보여주고, 모델이 실제로 그 자리에서 적응할 수 있는 사례가 많아져야 합니다.
드와케시: 그들의 장점은 모든 것을 볼 수 있다는 것입니다. 그들이 그것에 얼마나 의존하고 있는지에 대해 문제를 제기할 수도 있겠지만, 분명히 그들은 인간보다 그것에 더 의존하고 있습니다. 그들은 우리가 예제가 분포 내에 있는지 아닌지 구별하기 어려울 정도로 많은 것을 분포 내에 가지고 있습니다.
만약 그들이 모든 것을 분포 내에 가지고 있다면, 우리가 할 수 있는 모든 것을 할 수 있습니다. 아마도 우리에게는 분포 내에 있지 않을 것입니다. 왜 그들에게는 분포 외에 있어야 하는 것이 그렇게 중요한가요? 우리는 그들이 모든 것을 볼 수 있다는 사실을 이용할 수 없나요?