▷ 작성일 : 2023.10.19
NEC는 데이터 분석에 사용되는 인기 파이썬 라이브러리 '판다'를 가속화할 수 있도록 설계된 무료 소프트웨어 프로그램인 '파이어덕스'를 선보였는데, 파이어덕스는 기존 도구보다 최대 16배 빠르게 분석을 위한 데이터 준비 속도를 높일 수 있어 데이터 분석과 관련된 시간과 컴퓨팅 비용을 절감할 수 있습니다.
파이어덕스의 베타 버전은 이제 온라인에서 무료로 이용할 수 있습니다.
판매 시점 단말기, 전자 상거래 및 금융 거래와 같은 소스의 대규모 데이터 세트의 가용성이 증가함에 따라 데이터 과학자는 인공 지능(AI) 및 머신 러닝(ML)을 사용하여 분석을 위한 데이터를 효율적으로 준비해야 하는 과제에 직면해 있습니다. 데이터 과학자는 시간의 약 45%를 데이터 준비에 사용하므로 생산성 측면에서 상당한 문제가 발생합니다. 또한 데이터 양이 증가하고 AI 및 ML의 복잡성이 증가함에 따라 더 많은 비용이 필요하고 전력 소비 및 CO2 배출량 증가를 포함한 환경 문제가 증가합니다.
이러한 어려움에 대응하여 NEC는 데이터 분석을 위한 중요한 도구인 팬더를 가속화하기 위해 FireDucks를 개발했습니다. NEC는 30년 이상의 슈퍼컴퓨터 개발을 통해 얻은 고성능 프로그래밍 및 가속 기술에 대한 광범위한 경험을 활용했습니다.
NEC는 FireDucks의 베타 버전을 대중에게 무료로 제공함으로써 데이터 과학자의 작업량을 줄이고 전력 절약 및 CO2 배출량 감소를 통해 환경 문제를 해결하고자 합니다.
파이어덕의 주요 특징: 성능 향상: FireDucks는 Panda를 활용한 소프트웨어 프로그램 속도를 최대 16배까지 향상시켜 데이터 과학자의 데이터 분석 시간을 전체적으로 약 30% 단축할 수 있습니다. 병렬 처리를 위해 모든 CPU 코어를 효과적으로 활용하고 프로세스의 순서와 범위를 최적화함으로써 이러한 가속화를 달성합니다.
높은 호환성: 파이어덕스는 팬더와 호환성이 뛰어나 프로그램 변경을 최소화할 필요가 없습니다. 사용자는 광범위한 프로그램 재작성 없이도 더 빠른 처리를 할 수 있습니다.
토요타 기술개발공사(TTDC)의 결과를 보면, 파이어덕의 효과는 다음과 같습니다: 사내 AI 프레임워크(Spicy MINT)로 데이터 분석 시간 60% 단축.
분석 PC의 동작 시간이 76% 감소했습니다.
NEC는 베타 단계에서 사용자 피드백을 기반으로 파이어덕스의 기능을 개선할 계획이며 2024 회계연도까지 상용화를 목표로 하고 있습니다.
요약하면, NEC의 FireDucks는 판다를 이용한 데이터 분석을 가속화할 수 있는 강력한 솔루션을 제공하여 데이터 과학자들의 데이터 준비 및 분석과 관련된 시간과 비용을 절감할 수 있습니다. 소프트웨어의 높은 호환성과 실제 사용에 따른 유망한 결과는 데이터 과학 커뮤니티에서 귀중한 도구가 됩니다.
