엔비디아 CEO 젠슨 황은 자사의 AI 칩 성능이 무어의 법칙에 의해 정해진 역사적 속도보다 더 빠르게 발전하고 있다고 말했습니다. 무어의 법칙은 수십 년간 컴퓨팅 발전을 이끌어 온 기준이었습니다.
황은 화요일, 라스베이거스 CES에서 1만 명의 관중 앞에서 기조연설을 한 다음 날 TechCrunch와의 인터뷰에서 “우리 시스템은 무어의 법칙보다 훨씬 빠르게 발전하고 있다”고 밝혔습니다.
무어의 법칙은 1965년 인텔의 공동 창립자인 고든 무어가 제안한 개념으로, 컴퓨터 칩의 트랜지스터 수가 매년 약 두 배로 증가하며 칩 성능 또한 두 배로 향상된다는 예측이었습니다. 이 법칙은 수십 년간 대체로 유효했으며, 기술 역량의 급속한 발전과 비용 절감을 이끌어 왔습니다.
그러나 최근 몇 년간 무어의 법칙은 둔화되고 있습니다. 반면 황은 엔비디아의 AI 칩이 독자적인 가속화를 이루고 있다고 주장합니다. 회사에 따르면, 자사의 최신 데이터 센터용 슈퍼칩은 이전 세대 칩에 비해 AI 추론 작업에서 30배 이상의 속도를 자랑합니다.
황은 “우리는 아키텍처, 칩, 시스템, 라이브러리, 알고리즘을 동시에 개발할 수 있다”며, “이렇게 하면 전체 스택에서 혁신이 가능해져 무어의 법칙보다 빠르게 발전할 수 있다”고 설명했습니다.
이와 같은 황의 대담한 주장은 AI의 발전이 정체되고 있다는 일부 비판 속에서 나왔습니다. 구글, OpenAI, Anthropic과 같은 주요 AI 연구소들은 AI 모델을 학습시키고 실행하는 데 엔비디아의 AI 칩을 사용하고 있으며, 이러한 칩의 발전은 AI 모델의 성능 향상으로 이어질 가능성이 높습니다.
이는 황이 무어의 법칙을 넘어섰다고 주장한 첫 사례가 아닙니다. 지난해 11월 한 팟캐스트에서는 AI 분야가 “하이퍼 무어의 법칙” 속도에 도달하고 있다고 언급한 바 있습니다.
황은 AI의 발전이 정체되고 있다는 주장에 반대하며, 현재 AI에는 세 가지 활성화된 확장 법칙이 있다고 주장했습니다. 이는 대량 데이터를 학습하는 사전 학습, 인간 피드백 등을 활용해 모델을 정교화하는 후 학습, 질문에 답변하는 **추론 단계(테스트 타임 컴퓨팅)**에서 발생하는 계산입니다.
황은 TechCrunch와의 인터뷰에서 “무어의 법칙은 컴퓨팅 비용을 낮추는 데 매우 중요했다”며, “같은 일이 추론에서도 일어나고 있으며, 우리는 성능을 높여 추론 비용을 줄일 것”이라고 말했습니다. 엔비디아의 H100 칩은 AI 모델 학습에 적합한 기술 기업들의 선호 칩이었지만, 현재 기술 기업들이 추론에 더 집중함에 따라 엔비디아의 고가 칩이 계속 시장에서 우위를 유지할 수 있을지 의문이 제기되고 있습니다.
현재 AI 모델의 테스트 타임 컴퓨팅은 비용이 많이 드는 작업입니다. 예를 들어, OpenAI의 o3 모델은 일반적인 지능 테스트에서 인간 수준의 점수를 얻기 위해 작업당 약 $20의 비용이 소요되었습니다. 이는 대다수 사용자에게 비싸게 느껴질 수 있습니다. 반면, ChatGPT Plus 구독은 한 달 사용에 $20밖에 들지 않습니다.
황은 CES 기조연설에서 엔비디아의 최신 데이터 센터 슈퍼칩 GB200 NVL72를 방패처럼 들어 올리며, 이 칩이 H100 대비 AI 추론 작업에서 30~40배 더 빠르다고 강조했습니다. 그는 이러한 성능 향상을 통해 OpenAI의 o3처럼 추론 단계에서 많은 계산이 필요한 AI 모델이 시간이 지나면서 더 저렴해질 것이라고 주장했습니다.
황은 더 높은 성능의 칩을 만드는 데 주력하고 있으며, 더 나은 칩이 결국 비용을 낮출 것이라고 강조했습니다. 그는 “테스트 타임 컴퓨팅의 성능과 비용 문제에 대한 직접적이고 즉각적인 해결책은 컴퓨팅 역량을 증가시키는 것”이라며, 장기적으로는 AI 추론 모델이 더 나은 학습 데이터를 생성하는 데 사용될 수 있다고 덧붙였습니다.
지난해 하드웨어 회사들의 컴퓨팅 혁신 덕분에 AI 모델 비용이 급격히 하락한 것을 볼 수 있었습니다. 황은 이러한 추세가 AI 추론 모델에서도 계속될 것으로 기대하고 있지만, OpenAI의 초기 모델들이 다소 비쌌다는 점을 인정했습니다.
황은 현재 엔비디아의 AI 칩이 10년 전 제품보다 1,000배 더 성능이 뛰어나다고 주장하며, 무어의 법칙을 뛰어넘는 발전 속도가 계속될 것이라고 자신했습니다.
