공지사항
초고성능컴퓨팅 소식지(2024년 9월호)
등록일: 2024.09.30
|
작성자: 관리자
초고성능컴퓨팅 소식 및 행사
칼럼
Removing I/O Bottleneck in Large-Scale Deep Learning
딥러닝(DL)은 컴퓨터 비전, 음성 인식, 자연어 처리, 기후 과학 등 여러 분야에서 중요한 문제를 해결하고 경향을 예측하는 데 있어 지배적인 기술로 떠오르고 있다. 높은 정확도의 효율적인 딥 뉴럴 네트워크(DNN)를 훈련시키기 위해서는 대용량의 입력 데이터셋과 고속 컴퓨팅 가속기가 필요하다. 따라서 DNN 훈련은 Summit과 같은 HPC 슈퍼컴퓨터에서 점점 더 중요한 작업이 되고 있다. 그러나 최신 HPC 슈퍼컴퓨터를 활용하여 HPC 환경에서 DL 애플리케이션을 효율적으로 실행하고 확장하는 것은 여전히 도전 과제이다. DNN 훈련에 관련된 세 가지 주요 요소는, i) 각 노드에 훈련 데이터와 레이블을 제공하는 I/O, ii) DNN을 실행하는 계산, 그리고 iii) 업데이트를 노드 간에 동기화하는 통신이다. 많은 이전 연구들은 계산 및 통신을 최적화하기 위해 런타임 및 알고리즘 향상에 중점을 두었다. 그러나 이러한 향상에도 불구하고 HPC 슈퍼컴퓨터에서의 DL 프레임워크는 여전히 데이터 I/O 측면에서 확장성 제한을 겪고 있다.
서강대 김영재 교수
초고성능컴퓨팅 기술동향
국내
국외
초고성능컴퓨팅 관련 교육
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
Scientific Computing을 위한 Hybrid Programming신청기간:2024-10-01 ~ 2024-10-31교육기간:2024-10-01 ~ 2024-10-31
이전글
초고성능컴퓨팅 소식지(2024년 8월호)
다음글
초고성능컴퓨팅 소식지(2024년 10월호)
