일론 머스크 CEO가 세계 최대의 인공지능(AI) 슈퍼컴퓨팅 클러스터라고 자랑한 xAI의 '콜로서스' 내부가 처음 공개됐다.
유튜버인 서버더홈(ServeTheHome)은 28일(현지시간) xAI의 승인을 받아 미국 멤피스에 위치한 슈퍼컴퓨터 내부 시설을 촬영, 업로드했다.
이 시설은 엔비디아 'H100' 10만장이 투입됐으며, 122일 동안 조립을 마치고 지난 9월부터 가동 중이다.
영상에 따르면 GPU 서버는 각각 8개의 H100 GPU를 포함하는 서버 솔루션인 엔비디아 'HGX H100'으로 확인됐다.
이는 슈퍼마이크로의 4U 유니버설 GPU 액체 냉각 시스템 내부에 패키징됐다. 이런 서버 8대를 하나의 랙(Rack)에 배치, 랙은 64개의 GPU로 구성됐다. 또 랙은 8개 그룹으로 묶어 512개의 GPU로 구성된 배열을 만들었다. 콜로서스에는 이런 배열이 약 200개가 있다. 즉, GPU 10만장이 넘게 투입된 것이다.
젠슨 황 엔비디아 CEO가 "마스크가 19일 만에 슈퍼컴퓨터를 구축했다"라고 칭찬한 것은 바로 200개의 배열을 설치하는 데 걸린 기간을 말한다.
하지만 콜로서스는 아직 첫번째 건설 단계가 완료된 상태로, 곧 5만개의 H100과 5만개의 'H200'을 합쳐 모두 20만장의 GPU로 용량을 업그레이드할 예정으로 알려졌다. 엔비디아는 이날 보도자료를 통해 xAI에 GPU 10만장을 추가 지원한다고 발표했다.
또 엔비디아의 이더넷 기반 네트워킹 기술을 사용했기 때문에 콜로서스에서 효율적으로 대형 칩 클러스터를 연결할 수 있었다고 설명했다.
xAI는 콜로서스에서 '그록-3'를 훈련, 내년 초 출시할 예정이다.
▷ 원문보기 : https://www.aitimes.com/news/articleView.html?idxno=164744
