AI 증강 HPC
HPC 구현에 필요한 아키텍처는 AI 구현과 많은 유사점을 갖고 있습니다. 일반적으로 크기가 증가하는 방대한 데이터 세트를 처리하여 결과를 획득하기 위해 둘 모두 상위 수준의 컴퓨팅 및 스토리지, 대용량 메모리 및 대역폭, 고대역폭 패브릭을 사용합니다. 딥 러닝은 HPC를 통해 매우 큰 다차원 데이터 세트를 수반하는 문제를 해결하려 할 때 매우 적합합니다. 예를 들어, Quantifi는 인텔 기반 AI를 사용하여 금융 시장에서 파생상품 평가를 기존 방법보다 700배 더 가속화1 하고 일반적인 평가 워크로드에 대해 실시간에 가까운 결과를 제공했습니다.
HPC에서 AI는 AI 모델을 통해 전문가의 데이터 세트 분석을 강화하여 동일한 정확도 수준의 결과를 더 빠르게 생산할 수 있다고 약속합니다. 다음을 포함한 주요 HPC 사용 사례는 고급 AI 기능을 활용하고 있습니다.
- 위험 및 사기 탐지와 같은 금융 서비스(FSI), 물류 및 제조를 위한 분석.
- 산업 제품 설계, 전산 유체 역학(CFD), 컴퓨터 지원 공학(CAE) 및 컴퓨터 지원 설계(CAD).
- 특히 고에너지 물리학과 같은 분야에서 과학적 시각화 및 시뮬레이션.
- 패턴 클러스터링, 생명과학, 게놈 시퀀싱 및 의학 연구.
- 지구 과학 및 에너지 부문 탐사.
- 날씨, 기상학 및 기후 과학.
- 천문학 및 천체물리학.
워크로드의 변경 방식
현재 AI 사용 사례의 대부분은 에지 또는 데이터 센터 배포에 제한되어 있습니다. AI 개체 인식을 위해 스마트 카메라에 크게 의존하는 지능형 교통 시스템이 그 예입니다. AI 모델을 뒷받침하는 알고리즘은 훨씬 더 복잡해져 더 큰 잠재력을 제공하지만, 동시에 과학적 발견, 혁신, 산업 및 비즈니스 응용 프로그램을 위한 더 큰 컴퓨팅 요건을 제시하기도 합니다. 과제는 AI 추론을 HPC 수준으로 확장하는 방법 또는 교차로에서 교통 패턴을 인식하는 수준에서 몇 주가 아닌 몇 시간 만에 게놈을 시퀀싱하는 수준으로 이동하는 방법을 알아내는 것입니다.
다행스럽게도 HPC 커뮤니티는 수십 년의 경험을 토대로 더 많은 병렬 처리의 필요성, 대규모 데이터 세트를 위한 고속 I/O, 분산 컴퓨팅 환경의 효율적인 탐색 등과 같은 대규모 AI 과제의 해결 방법을 제안하고 있습니다. 이와 같은 HPC 기능은 AI를 가속화하여 초당 수천 건의 트랜잭션, 워크로드 또는 시뮬레이션에 딥 러닝 추론을 통해 전문가 수준의 휴리스틱을 적용하는 것과 같은 유용한 결과를 달성하는 데 도움이 될 수 있습니다.
물리 정보 기반 신경망(PINN)
AI 증강 HPC 사용 사례의 한 가지 예는 물리 법칙을 추론 모델에 통합하여 보다 현실적인 출력을 생성하는 것입니다. 이러한 응용 프로그램에서 신경망은 질량, 에너지 및 속도 보존과 같은 알려진 법칙을 따라야 하며 이를 물리 정보 기반 신경망(PINN)이라고 합니다. PINN은 유체 흐름 분석, 분자 역학, 에어포일 및 제트 엔진 설계, 고에너지 물리학과 같은 사용 사례를 위해 HPC 모델링 및 시뮬레이션을 보강하거나 대체하는 데 사용될 수 있습니다.
예를 들어, CERN 연구원들은 입자 충돌에 대한 몬테 카를로 시뮬레이션을 대체하기 위해 인텔® 제온® 스케일러블 프로세서에서 인텔® Deep Learning Boost(인텔® DL Boost)를 사용했습니다. 저정밀도 int8 양자화는 소프트웨어 시뮬레이션보다 최대 68,000배 더 빠른 처리를 제공2 하는 데 도움이 되었으며 정확도도 약간 향상되었습니다.
HPC의 AI는 데이터 증가를 기반으로 합니다
HPC 및 AI 워크로드의 주요 동인은 데이터의 지속적인 증가 그리고 HPC 규모 분석에 속도를 맞춰야 할 필요성입니다. AI 알고리즘은 더욱 더 정교해지고 있으며 특히 딥 러닝 방법론이 도입된 이후로 이전보다 훨씬 더 데이터 세트를 처리할 수 있게 되었습니다. 게놈 시퀀싱과 같은 분야에서는 믿기 어려운 양의 데이터를 생성하고 있으며 Broad Institute of MIT, Harvard와 같은 기관에서는 매일 약 24테라바이트의 새로운 데이터를 생성하고 있습니다.
San Diego Supercomputer Center(SDSC)는 세계에서 가장 큰 학술 데이터 센터 중 하나를 호스팅하고 있으며 데이터 사용, 관리, 저장 및 보존 분야에서 국제적인 리더로 인정받고 있습니다. 과학자는 AI 중심 시스템으로 가속화된 교육 및 추론을 위한 새로운 방법을 개발할 수 있습니다. 사례 연구: SDSC, AI 중심의 “Voyager” 슈퍼컴퓨터 구축.
HPC 기반 AI 채택 관련 문제 극복하기
AI를 위한 HPC 구성과 관련하여 전통적으로 CPU 아키텍처 내에서 AI 및 HPC 요건 사이에는 트레이드오프가 있습니다. AI를 많이 사용하는 워크로드는 일반적으로 속도를 위해 코어 수를 희생하지만, HPC 워크로드는 높은 코어 수와 더 많은 코어 간 대역폭을 통해 보다 향상된 컴퓨팅 성능을 선호하는 경우가 많습니다. 지속적인 세대 간 개선을 통해 인텔은 인텔® 제온® 스케일러블 프로세서에 내장된 가속을 비롯한 솔루션을 제공하고 있습니다.
하드웨어와 소프트웨어 계층 모두에서 다음과 같은 주요 혁신이 일어나며 AI 솔루션의 설계 및 구축이 보다 쉬워지고 있습니다.
- 인텔® 제온® 스케일러블 프로세서에는 AI 가속이 내장되어 있어 필요한 높은 수준의 AI 성능을 제공합니다. 인텔® DL Boost Vector Neural Network Instructions(VNNI)를 포함하는 인텔® AVX-512는 인텔® 프로세서에만 탑재되어 더 적은 시간에 빠른 통찰력을 얻을 수 있도록 최적화된 AI 성능을 제공합니다.
- 인텔® oneAPI AI 분석 툴킷 내의 저정밀도 최적화 라이브러리는 성능을 높이고 정확도 임계값을 유지하면서도 HPC 및 AI 플랫폼을 위한 코딩을 보다 쉽게 만들고 있습니다.
- 머신 러닝용 인텔® FPGA는 높은 병렬화를 지원하고 HPC 및 AI 워크로드에서 결과 및 통찰력을 도출하는 시간을 단축하는 데 도움이 됩니다.
- 딥 러닝 프로세서 기술에 중점을 둔 인텔의 데이터 센터 팀인 Habana Labs의 Gaudi 플랫폼은 교육을 가속화하고 단 몇 줄의 코드만으로 새 모델을 구축하거나 기존 모델을 마이그레이션할 수 있도록 데이터 과학자와 머신 러닝 엔지니어를 지원하여 생산성을 높이고 운영 비용을 낮춥니다. Habana 가속기는 대규모 AI 모델 교육 및 추론을 위해 특별히 제작되었습니다.
- AI 개발자들은 HPC 클러스터에서 보다 효과적으로 실행될 수 있도록 기술 및 코드를 개선하고 있습니다. 새로운 최적화는 데이터 로딩에서 전처리, 교육, 추론에 이르기까지 종단 간 워크로드를 가속화하고 있습니다.
또한, 복잡성은 HPC 및 AI 채택을 방해하는 주요 원인입니다. 필요한 기술 세트는 영역별로 크게 다르며 성공을 위해 기업은 HPC 및 AI 교육을 받은 인재를 확보해야 합니다. 인텔의 업계 리더십은 기틀을 마련하는 데 도움이 될 수 있습니다. 인텔은 전문 지식과 아이디어를 공유하기 위해 HPC 및 AI 커뮤니티와 모두 긴밀히 협력하고 있습니다.
결론: HPC에 AI의 지능 도입하기
HPC 응용 프로그램에 점점 더 AI가 주입되고 있으며 빠른 발견과 통찰력을 위해 새로운 기술과 방법론은 AI 분석의 속도 및 규모를 증가시키고 있습니다. 이러한 혁신을 통해 데이터 과학자와 연구자는 AI에 의존하여 더 많은 데이터를 처리하고 더 현실적인 시뮬레이션을 생성하고 더 정확한 예측을 도출할 수 있습니다. 더구나 이러한 결과 달성에는 더 적은 시간이 소요되는 경우가 많습니다.