AI 가속 HPC의 새로운 시대 개막
수년 동안 최종 사용자, 시스템 빌더, 솔루션 제공업체, 개발자는 HPC의 힘을 활용하여 세계에서 가장 어렵고 복잡한 문제를 해결해 왔습니다. 그러나 데이터가 끊임없이 증가하고, 더 빠른 가치 창출 시간이 필요해지고, 과학적 발견을 위한 더 크고 더 깊은 통찰력이 요구되며, 시간과 비용 제약이 더해지면서 현재 시스템의 한계가 드러나고 있습니다.
동시에 AI 알고리즘은 더 정교해지고 있으며 이전보다 훨씬 더 큰 데이터 세트를 처리할 수 있으므로 증가하는 과학적 워크로드를 처리하는 데 적합합니다. AI와 HPC의 힘을 함께 활용하는 조직은 동일한 수준 또는 그 이상의 정확성을 충족하면서 인사이트를 얻는 시간을 단축할 수 있어 궁극적으로 세계에서 가장 복잡하고 절박한 여러 문제를 해결할 수 있습니다.
예를 들어 일리노이주 소재 아르곤 국립 연구소의 아르곤 리더십 컴퓨팅 시설(ALCF)은 Aurora 엑사스케일 HPC 시스템의 미래 본거지로, HPC, 고성능 데이터 분석, AI의 융합을 통해 과학적 연구를 발전시키는 데 도움이 되고 있습니다 ALCF에 예정된 최신 프로젝트에서는 AI를 사용하여 핵융합 에너지 원자로 조건을 모델링하고, 다양한 인간 질병의 진행과 국소화를 이해하기 위해 환자별로 비침습적 유체 모델을 개발하며, 핵융합로의 다중 물리 현상을 더 잘 이해할 수 있습니다.
인텔의 고객 성공 사례 모음을 살펴보고 다른 조직과 연구 기관이 AI 가속 HPC를 어떻게 활용하여 정확하고 영향력 있는 과학 혁신을 주도하고 있는지 알아보십시오.
HPC의 AI에 따르는 과제 이해
자체 AI 가속 HPC 이니셔티브를 실행하는 프로세스를 시작할 때 직면할 수 있는 일반적인 과제를 이해하는 것이 중요합니다.
- AI와 HPC 구성의 경우 통상적으로 CPU 아키텍처 내에서 AI와 HPC 요구 사항 간의 균형을 맞출 수 있습니다. AI를 많이 사용하는 워크로드는 일반적으로 속도를 위해 코어 수를 희생하지만, HPC 워크로드는 높은 코어 수와 더 많은 코어 간 대역폭을 통해 보다 향상된 컴퓨팅 성능을 선호하는 경우가 많습니다.
- 모델링, 시뮬레이션, AI 등 데이터 집약적인 워크로드가 점점 더 증가하면서 성능 병목 현상이 발생하므로 이를 해소하고 가속하도록 설계된 고대역폭 메모리를 갖춘 솔루션이 필요합니다.
- HPC의 AI는 복잡성이 높아 도입 과정에서 마찰을 일으키는 주요 원인이 됩니다. AI 및 HPC의 기술 세트는 특정 영역에 세밀하게 맞춰져 있으므로 두 영역 모두에 숙련된 인재를 찾기가 어렵습니다. 그러나 이 인재가 없으면 AI 가속 HPC 이니셔티브는 앞으로 나아가지 못할 수도 있습니다.
고객이 이러한 장애물을 극복하도록 돕기 위해 인텔은 AI 사용에 관해 HPC 커뮤니티와 긴밀히 협력하여 전문 지식과 아이디어를 공유하고, 앞서가는 HPC 기술을 활용하여 혁신적인 솔루션을 제공합니다.
AI 가속 HPC 배포 계획 만들기
AI로 HPC 프로젝트를 가속하기 위한 필수 단계는 조직의 필요 및 요구 사항을 충족하는 포괄적인 배포 계획을 수립하여 연구와 발견에 적합한 기술을 확보하는 것입니다.
HPC 환경에 강력한 AI 기능을 추가하고자 할 때 다음 몇 가지 질문을 거치면 더 풍부한 정보를 바탕으로 필요한 기술을 결정할 수 있습니다.
- 출력이 충족해야 하는 시간 및 정확성 요구 사항은 무엇입니까?
- 어떤 유형의 알고리즘 편향을 알아두고 피해야 합니까?
- 민감성 또는 특이성 요구 사항을 달성하기 위해 어떤 절충안을 허용할 수 있습니까?
- 모델 선택, 데이터 세트, 출력의 크기와 방향은 변경될 예정입니까?
- 프로젝트에서 코드 변경은 어디서 어떻게 이루어집니까?
- 코드 변경을 달성하는 가장 좋은 방법은 무엇입니까?
- 사용 사례마다 상당한 양의 코드를 다시 작성해야 합니까?
- 어떤 유형의 워크로드를 얼마나 많이 실행할 예정입니까? 워크로드를 얼마나 자주 실행해야 합니까? 워크로드를 지속적으로 실행합니까?
이러한 질문에 답함으로써 기본 요구 사항을 확실히 파악하고, 기술 파트너와 함께 시스템 설계 옵션을 살펴볼 때 이를 활용할 수 있습니다.
AI 가속 HPC 발견을 지원하는 기술 선택
HPC에서 AI의 가능성을 실현하는 열쇠는 메모리 대역폭과 컴퓨팅을 극대화하기 위해 함께 작동하는 올바른 기술을 선택하여 동적 워크로드 프로파일의 요구 사항을 충족하는 것입니다.
인텔은 개방형 표준 기반의 교차 아키텍처 프레임워크에 구축된 포괄적인 HPC 및 AI 기술 세트를 제공하여 배포를 간소화하고, 고유한 워크로드의 요구 사항을 충족하는 데 필요한 유연한 전력 및 성능을 제공합니다. 또한, 인텔의 강력한 오픈 소스 소프트웨어 도구는 개발자가 코드를 한 번만 작성하면 데이터 센터와 클라우드 전반의 모든 시스템에 배포할 수 있어 코드 개발을 가속하는 데 도움이 됩니다.
고성능 및 효율성을 갖춘 하드웨어 선택
AI 가속 HPC 기술의 고유한 조합을 구축하려면 인텔® 제온® 스케일러블 프로세서 기반 등 강력한 하드웨어 기반부터 시작하는 것이 좋습니다. 이러한 CPU는 인텔® Advanced Matrix Extensions(인텔® AMX)와 인텔® Advanced Vector Extensions 512(인텔® AVX-512)를 포함한 AI 및 HPC용 통합 인텔® Accelerator Engines를 갖추어 뛰어난 성능으로 까다로운 HPC 및 AI 워크로드를 지원합니다.
대규모 학습 및 추론에 중점을 둔 매우 복잡한 워크로드가 작업에 포함되어 있다면, 더 높은 수준의 처리량을 제공하는 더 전문화된 하드웨어를 고려할 수 있습니다.
- 인텔® Gaudi® AI 가속기는 고효율의 스케일러블 컴퓨팅을 제공하여 데이터 과학자와 머신 러닝 엔지니어가 단 몇 줄의 코드만으로 학습을 가속하고 새로운 모델을 구축하거나 기존 모델을 마이그레이션할 수 있도록 지원합니다. 또한, 인텔® Gaudi® AI 가속기는 놀라운 전원 효율성을 제공하여 비용을 절감하고 지속 가능성을 높입니다.
- 인텔® 제온® CPU Max 시리즈 프로세서는 미래의 AI-HPC 기능에 필요한 획기적인 성능을 제공하는 동시에 메모리 바운드 워크로드의 병목 현상을 해소합니다. 인텔® 제온® CPU Max 시리즈는 고대역폭 메모리로 강력해진 최초이자 유일한 x86 기반 프로세서로, 실제 HPC 및 AI 워크로드에서 경쟁 제품 대비 최대 4.8배 더 나은 성능을 제공할 수 있습니다.1 인텔® Max 시리즈 CPU의 효과를 극대화하고 가장 까다로운 워크로드를 처리하기 위해 인텔® Data Center GPU Max Series를 별도 GPU로 통합할 수 있습니다. 1,000억 개 이상의 트랜지스터를 하나의 패키지에 담았으며, 인텔® Xe Link가 포함되어 있어 어떤 폼 팩터라도 유연하게 실행하고 스케일 업 및 스케일 아웃을 수행할 수 있습니다.
현재 전 세계의 조직이 이러한 인텔® 기술을 사용하여 작업을 향상하고 있습니다. 예를 들어, Texas Advanced Computing Center(TACC)는 인텔® 제온® CPU Max 시리즈, 인텔® Data Center GPU Max Series, 인텔® 제온® 스케일러블 프로세서를 사용하여 미국 전역의 학술 연구를 지원하고 있습니다. 라틴 아메리카에서 가장 강력한 학술 연구용 슈퍼컴퓨터가 있는 아르헨티나의 Servicio Meteorológico Nacional(SMN)은 인텔® Max 시리즈 CPU와 GPU를 기반으로 구축되었습니다.
강력한 소프트웨어 도구로 HPC 및 AI 프로젝트 가속화
AI와 HPC에 대한 수요가 증가함에 따라 개발자는 아키텍처 전반에서 쉽게 확장되는 빠른 HPC 앱을 구축할 방법을 모색할 때 몇 가지 과제에 직면하게 됩니다. HPC 클러스터에서 작동하도록 소프트웨어를 전환하고 고성능 병렬 컴퓨팅을 효율적으로 프로그래밍하려면 개발자가 상당한 시간을 투자해야 할 수 있습니다. 동시에 개발자는 아키텍처 전반에서 특수 워크로드를 가속하는 동시에 코드가 가능한 많은 하드웨어 유형과 컴퓨팅 모델에서 작동하도록 해야 하는데, 여기에도 시간과 비용이 많이 듭니다.
개발자가 이러한 과제를 극복하도록 지원하기 위해 인텔은 HPC 소프트웨어 및 HPC 최적화에 대한 개방형 접근 방식을 취하며 이기종 네트워크에서 작동하는 오픈 언어 인텔® oneAPI 툴킷을 제공합니다. 이를 통해 개발자는 고성능 병렬 컴퓨팅에 최적화된 교차 아키텍처 응용 프로그램을 더 빠르고 쉽게 구축할 수 있습니다.
인텔® oneAPI Base 툴킷과 인텔® oneAPI HPC 툴킷을 통해 개발자는 여러 유형의 아키텍처에서 HPC 응용 프로그램을 더 쉽고 빠르게 구축, 분석, 최적화, 확장할 수 있습니다. 인텔은 AI 및 분석 워크로드로 작업하는 개발자, 데이터 과학자, 연구원을 위해 익숙한 Python 도구 및 AI 프레임워크를 통해 AI 파이프라인을 가속하고, 성능을 극대화하며, 더 효율적인 개발을 위한 상호 운용성을 제공하는 인텔® oneAPI AI 분석 툴킷을 제공합니다. 또한, HPC 및 AI 툴킷은 모두 저수준 컴퓨팅 최적화를 위해 oneAPI 라이브러리를 사용하여 구축되었습니다. 개발자는 oneAPI로 HPC 응용 프로그램을 구축함으로써 독점 프로그래밍 코드 종속을 방지하여 발견을 극대화하고 새로운 기회를 발굴할 수 있습니다.