AI 증강 HPC
HPC 구현에 필요한 아키텍처는 AI 구현과 많은 유사점을 갖고 있습니다. 일반적으로 크기가 증가하는 방대한 데이터 세트를 처리하여 결과를 획득하기 위해 둘 모두 상위 수준의 컴퓨팅 및 스토리지, 대용량 메모리 및 대역폭, 고대역폭 패브릭을 사용합니다. 딥 러닝은 HPC를 통해 매우 큰 다차원 데이터 세트를 수반하는 문제를 해결하려 할 때 매우 적합합니다. 예를 들어, Quantifi는 인텔 기반 AI를 사용하여 금융 시장에서 파생상품 평가를 기존 방법보다 700배 더 가속화1 하고 일반적인 평가 워크로드에 대해 실시간에 가까운 결과를 제공했습니다.
HPC에서 AI는 AI 모델을 통해 전문가의 데이터 세트 분석을 강화하여 동일한 정확도 수준의 결과를 더 빠르게 생산할 수 있다고 약속합니다. 다음을 포함한 주요 HPC 사용 사례는 고급 AI 기능을 활용하고 있습니다.
- 위험 및 사기 탐지와 같은 금융 서비스(FSI), 물류 및 제조를 위한 분석.
- 산업 제품 설계, 전산 유체 역학(CFD), 컴퓨터 지원 공학(CAE) 및 컴퓨터 지원 설계(CAD).
- 특히 고에너지 물리학과 같은 분야에서 과학적 시각화 및 시뮬레이션.
- 패턴 클러스터링, 생명과학, 게놈 시퀀싱 및 의학 연구.
- 지구 과학 및 에너지 부문 탐사.
- 날씨, 기상학 및 기후 과학.
- 천문학 및 천체물리학.
워크로드의 변경 방식
현재 AI 사용 사례의 대부분은 에지 또는 데이터 센터 배포에 제한되어 있습니다. AI 개체 인식을 위해 스마트 카메라에 크게 의존하는 지능형 교통 시스템이 그 예입니다. AI 모델을 뒷받침하는 알고리즘은 훨씬 더 복잡해져 더 큰 잠재력을 제공하지만, 동시에 과학적 발견, 혁신, 산업 및 비즈니스 응용 프로그램을 위한 더 큰 컴퓨팅 요건을 제시하기도 합니다. 과제는 AI 추론을 HPC 수준으로 확장하는 방법 또는 교차로에서 교통 패턴을 인식하는 수준에서 몇 주가 아닌 몇 시간 만에 게놈을 시퀀싱하는 수준으로 이동하는 방법을 알아내는 것입니다.
다행스럽게도 HPC 커뮤니티는 수십 년의 경험을 토대로 더 많은 병렬 처리의 필요성, 대규모 데이터 세트를 위한 고속 I/O, 분산 컴퓨팅 환경의 효율적인 탐색 등과 같은 대규모 AI 과제의 해결 방법을 제안하고 있습니다. 이와 같은 HPC 기능은 AI를 가속화하여 초당 수천 건의 트랜잭션, 워크로드 또는 시뮬레이션에 딥 러닝 추론을 통해 전문가 수준의 휴리스틱을 적용하는 것과 같은 유용한 결과를 달성하는 데 도움이 될 수 있습니다.
물리 정보 기반 신경망(PINN)
AI 증강 HPC 사용 사례의 한 가지 예는 물리 법칙을 추론 모델에 통합하여 보다 현실적인 출력을 생성하는 것입니다. 이러한 응용 프로그램에서 신경망은 질량, 에너지 및 속도 보존과 같은 알려진 법칙을 따라야 하며 이를 물리 정보 기반 신경망(PINN)이라고 합니다. PINN은 유체 흐름 분석, 분자 역학, 에어포일 및 제트 엔진 설계, 고에너지 물리학과 같은 사용 사례를 위해 HPC 모델링 및 시뮬레이션을 보강하거나 대체하는 데 사용될 수 있습니다.
예를 들어, CERN 연구원들은 입자 충돌에 대한 몬테 카를로 시뮬레이션을 대체하기 위해 인텔® 제온® 스케일러블 프로세서에서 인텔® Deep Learning Boost(인텔® DL Boost)를 사용했습니다. 저정밀도 int8 양자화는 소프트웨어 시뮬레이션보다 최대 68,000배 더 빠른 처리를 제공2 하는 데 도움이 되었으며 정확도도 약간 향상되었습니다.
HPC의 AI는 데이터 증가를 기반으로 합니다
HPC 및 AI 워크로드의 주요 동인은 데이터의 지속적인 증가 그리고 HPC 규모 분석에 속도를 맞춰야 할 필요성입니다. AI 알고리즘은 더욱 더 정교해지고 있으며 특히 딥 러닝 방법론이 도입된 이후로 이전보다 훨씬 더 데이터 세트를 처리할 수 있게 되었습니다. 게놈 시퀀싱과 같은 분야에서는 믿기 어려운 양의 데이터를 생성하고 있으며 Broad Institute of MIT, Harvard와 같은 기관에서는 매일 약 24테라바이트의 새로운 데이터를 생성하고 있습니다.3
AI는 중요 워크로드를 가속화하여 발견이 뒤처지지 않도록 합니다. 예를 들어, 인텔은 주요 유전체학 도구 세트를 위한 HPC 워크로드를 구동하기 위해 Broad Institute와 협력하여 하드웨어 기반 AI 가속을 통합하는 Genomics Analytics Toolkit(GATK)용 인텔® 셀렉트 솔루션을 개발했습니다. GATK 셀렉트 솔루션을 사용하여 Broad Institute는 Burrow-Wheeler Aligner(BWA) 응용 프로그램의 속도를 1.75배 그리고 HaplotypeCaller 응용 프로그램의 속도를 2배 높일 수 있었습니다.3
San Diego Supercomputer Center(SDSC)는 세계에서 가장 큰 학술 데이터 센터 중 하나를 호스팅하고 있으며 데이터 사용, 관리, 저장 및 보존 분야에서 국제적인 리더로 인정받고 있습니다. 과학자는 AI 중심 시스템으로 가속화된 교육 및 추론을 위한 새로운 방법을 개발할 수 있습니다. 사례 연구: SDSC, AI 중심의 “Voyager” 슈퍼컴퓨터 구축.
HPC 기반 AI 채택 관련 문제 극복하기
AI를 위한 HPC 구성과 관련하여 전통적으로 CPU 아키텍처 내에서 AI 및 HPC 요건 사이에는 트레이드오프가 있습니다. AI를 많이 사용하는 워크로드는 일반적으로 속도를 위해 코어 수를 희생하지만, HPC 워크로드는 높은 코어 수와 더 많은 코어 간 대역폭을 통해 보다 향상된 컴퓨팅 성능을 선호하는 경우가 많습니다. 지속적인 세대 간 개선을 통해 인텔은 인텔® 제온® 스케일러블 프로세서에 내장된 가속을 비롯한 솔루션을 제공하고 있습니다.
하드웨어와 소프트웨어 계층 모두에서 다음과 같은 주요 혁신이 일어나며 AI 솔루션의 설계 및 구축이 보다 쉬워지고 있습니다.
- 인텔® 제온® 스케일러블 프로세서에는 AI 가속이 내장되어 있어 필요한 높은 수준의 AI 성능을 제공합니다. 인텔® DL Boost Vector Neural Network Instructions(VNNI)를 포함하는 인텔® AVX-512는 인텔® 프로세서에만 탑재되어 더 적은 시간에 빠른 통찰력을 얻을 수 있도록 최적화된 AI 성능을 제공합니다.
- 인텔® oneAPI AI 분석 툴킷 내의 저정밀도 최적화 라이브러리는 성능을 높이고 정확도 임계값을 유지하면서도 HPC 및 AI 플랫폼을 위한 코딩을 보다 쉽게 만들고 있습니다.
- 머신 러닝용 인텔® FPGA는 높은 병렬화를 지원하고 HPC 및 AI 워크로드에서 결과 및 통찰력을 도출하는 시간을 단축하는 데 도움이 됩니다.
- 딥 러닝 프로세서 기술에 중점을 둔 인텔의 데이터 센터 팀인 Habana Labs의 Gaudi 플랫폼은 교육을 가속화하고 단 몇 줄의 코드만으로 새 모델을 구축하거나 기존 모델을 마이그레이션할 수 있도록 데이터 과학자와 머신 러닝 엔지니어를 지원하여 생산성을 높이고 운영 비용을 낮춥니다. Habana 가속기는 대규모 AI 모델 교육 및 추론을 위해 특별히 제작되었습니다.
- AI 개발자들은 HPC 클러스터에서 보다 효과적으로 실행될 수 있도록 기술 및 코드를 개선하고 있습니다. 새로운 최적화는 데이터 로딩에서 전처리, 교육, 추론에 이르기까지 종단 간 워크로드를 가속화하고 있습니다.
또한, 복잡성은 HPC 및 AI 채택을 방해하는 주요 원인입니다. 필요한 기술 세트는 영역별로 크게 다르며 성공을 위해 기업은 HPC 및 AI 교육을 받은 인재를 확보해야 합니다. 인텔의 업계 리더십은 기틀을 마련하는 데 도움이 될 수 있습니다. 인텔은 전문 지식과 아이디어를 공유하기 위해 HPC 및 AI 커뮤니티와 모두 긴밀히 협력하고 있습니다.
결론: HPC에 AI의 지능 도입하기
HPC 응용 프로그램에 점점 더 AI가 주입되고 있으며 빠른 발견과 통찰력을 위해 새로운 기술과 방법론은 AI 분석의 속도 및 규모를 증가시키고 있습니다. 이러한 혁신을 통해 데이터 과학자와 연구자는 AI에 의존하여 더 많은 데이터를 처리하고 더 현실적인 시뮬레이션을 생성하고 더 정확한 예측을 도출할 수 있습니다. 더구나 이러한 결과 달성에는 더 적은 시간이 소요되는 경우가 많습니다.