HPC 스토리지 및 메모리

데이터 액세스 지연 시간이 주요 성능의 장애가 되는 것을 방지합니다. 오늘날의 데이터 집약적인 HPC 워크로드 대역폭 및 처리량 요구를 충족하도록 최적화된 고급 영구 메모리 및 HPC 스토리지 솔루션을 살펴보십시오.

HPC 스토리지 및 메모리 개요:

  • HDD 및 블록 I/O용으로 설계된 기존 스토리지 스택은 AI 및 시뮬레이션을 비롯한 오늘날의 데이터 집약적 HPC 워크로드에 적합하지 않습니다.

  • HPC 스토리지 요구 사항의 진화로 인해 지연 시간 감소와 비휘발성 메모리(NVM) 기술, HPC 소프트웨어 에코시스템 및 모든 HPC 아키텍처 구성 요소에 완전히 최적화된 HPC 스토리지 솔루션이 필요하게 되었습니다.

  • 인텔® Optane™ 영구 메모리, 인텔® Optane™ 솔리드 스테이트 드라이브(SSD), 인텔® QLC 3D NAND SSD가 포함된 인텔® HPC 스토리지 및 메모리 솔루션은 함께 협업하여 데이터와 컴퓨팅 간의 장벽을 해소합니다.

author-image

By

오늘날 가장 까다로운 성능 벤치마크를 충족하고 능가하기 위해서는 HPC 시스템에 균형 잡힌 구성 요소 포트폴리오를 통합해야 합니다. 최근 데이터 세트의 크기가 기하급수적으로 증가하고 HPC 애플리케이션이 수행해야 하는 읽기/쓰기 작업 수가 증가함에 따라 프로세서 속도보다는 스토리지와 메모리 성능이 시스템의 전반적인 성능을 제한하는 경우가 많습니다.

오늘날의 첨단 HPC 스토리지 및 메모리 기술은 핫 티어의 DRAM에서 콜드 티어의 저렴한 장기 스토리지 미디어로 이어지는 연속체의 일부로서 존재합니다. 시스템 설계자는 개별 HPC 워크로드의 성능 요구를 가장 잘 충족하는 제품과 기능을 파악해야 합니다. 이러한 현상은 기존 NVM 및 스토리지 솔루션에서는 점점 더 찾아보기 어렵게 될 것입니다.

HPC 스토리지 및 메모리의 과제

HPC의 경계는 끊임없이 확대되고 있습니다. 실제 컴퓨팅 문제를 해결하기 위해서는 지속적으로 증가하는 대량의 데이터를 수집, 저장, 액세스 및 처리해야 하기 때문입니다. 이러한 데이터 세트의 크기가 메모리 및 스토리지 문제를 야기합니다. 간단히 말해 DRAM은 용량이 너무 작고 하드 디스크 드라이브는 너무 느립니다.

기존 메모리 및 스토리지 솔루션에 의존할 때는 HPC 시스템 설계자가 스토리지 용량, 성능, 비용 간의 균형을 잘 절충해야 했습니다. 다양한 HPC 워크로드의 전체 범위에 대해 CPU 근처의 국부화된 핫 데이터와 비휘발성 스토리지 용량 간의 격차를 해소하는 것은 어려운 작업이었습니다. 특히 다음과 같은 두 가지 중요한 격차가 남아 있었습니다.

  • 높은 비용과 적은 용량의 DRAM과 보다 저렴하게 용량을 제공하지만 지연 시간 문제를 야기하는 NAND 기반 SSD 사이.
  • 저렴한 비용으로 대용량 스토리지를 제공할 수 있지만 전력, 냉각 및 물리적 공간 요구 사항이 상당하고 안정성 문제가 발생할 수 있으며 지연 시간이 훨씬 긴 NAND SSD와 HDD 사이.

필요한 것은 지연 시간 감소와 스토리지 용량 증가

많은 HPC 워크로드의 경우 데이터를 프로세서로 가져오는 속도는 실제 성능 병목 현상의 주요한 원인입니다. HPC 솔루션 설계자들은 로컬 캐싱을 사용하고 증가하는 DRAM 풀을 구축하여 더 많은 데이터를 CPU에 더 가깝게 유지함으로써 이러한 한계를 극복하려고 했습니다. DRAM은 콘텐츠에 대한 빠른 액세스를 제공하지만 고가이고 대용량 인메모리 데이터베이스와 함께 사용하기에는 비현실적인 크기 제약이 있으며 휘발성입니다.

휘발성 메모리 솔루션은 오늘날의 HPC 시스템이 직면한 극한의 성능 요구에 적합하지 않습니다. 시스템 충돌이 있을 때마다 발생하는 데이터 손실의 결과는 치명적일 수 있으며 긴 재부팅 시간은 생산성을 심각하게 저하시킵니다.

그러나 NAND SSD나 HDD와 같은 비휘발성 미디어에 더 많은 양의 데이터를 저장하는 것은 더 큰 성능 문제를 야기합니다. 기존 HDD 미디어 및 POSIX 입출력(I/O) 기능을 위해 설계된 스토리지 시스템은 분석 및 시뮬레이션 워크로드에서 생성되는 복잡한 랜덤 읽기 및 쓰기 패턴과 보조를 맞출 수 없으며 AI 워크로드의 읽기 집약적인 요구에도 적합하지 않습니다.

실제로 컴퓨팅 노드당 I/O 수요는 소규모 시스템과 엑사스케일에서 전반적으로 증가하고 있으며 모든 워크로드가 더욱 복잡해짐에 따라 HPC 스토리지 솔루션에 대한 수요가 증가하고 있습니다.

워크로드에 가장 적합한 HPC 스토리지 및 메모리 솔루션 선택

기존 HPC 클러스터
유체 역학 예측, 기후 모델링, 재무 예측과 같은 고성능 시뮬레이션과 모델링 애플리케이션의 경우 계산은 일반적으로 단일 HPC 클러스터로 작동하도록 구성된 여러 시스템에 분산됩니다. 보다 세밀한 모델링, 빠른 결과 생성, 생산성 향상을 위해서는 더 빠른 HPC 스토리지 및 메모리가 필요합니다.

인공 지능(AI) 시스템
AI 워크로드는 HPC 애플리케이션 사이에서 점점 더 널리 사용되고 있습니다. 이러한 워크로드에는 기존의 HPC 워크로드보다 훨씬 더 많은 읽기 작업이 필요하며, 계기판 또는 기타 실시간 스트리밍 데이터 서비스와 상호 작용하는 워크로드는 중요한 데이터 손실을 방지하기 위해 더 높은 수준의 지속적인 서비스 품질(QoS)이 필요합니다. AI의 수집 단계와 마찬가지로 쓰기 집중도도 증가합니다. 이러한 시스템은 머신 러닝 및 추론 알고리즘이 필요한 속도와 정확도로 기능하도록 보장하기 위해 이상적으로는 운영 체제를 완전히 우회하는 짧은 지연 시간과 높은 메시지 전송 속도를 가진 통신이 필요합니다.

고성능 데이터 분석(HPDA)
데이터의 양이 기하급수적으로 증가하고 있지만 분석을 신속하게 수행해야 할 필요성도 증가하고 있습니다. HPDA 워크로드는 일반적인 '빅 데이터' 워크로드보다 I/O 수요가 훨씬 더 클 뿐만 아니라 대규모의 컴퓨팅 클러스터보다 효율적인 네트워킹이 필요합니다. HPDA 워크로드의 HPC 메모리 및 스토리지 수요도 그에 상응하여 더 큽니다.

슈퍼컴퓨터와 엑사스케일 시스템
최신 HPC 스토리지 및 메모리 솔루션의 확장성과 비용 이점은 슈퍼컴퓨팅 클러스터 및 엑사스케일 시스템에 특히 중요합니다. 이러한 HPC 솔루션이 기업과 학계에서 점점 더 널리 사용됨에 따라 비용이 점점 더 중요한 요소가 되고 있습니다. 그러나 이러한 솔루션이 알려진 컴퓨팅 용량의 한계를 계속 넓혀가는 것은 여전히 중요하며, 이를 위한 유일한 방법은 프로세서, 패브릭 및 기타 HPC 구성 요소의 발전에 상응하는 성능을 갖춘 HPC 메모리 및 스토리지 솔루션을 사용하는 것입니다.

HPC 스토리지 및 메모리 제품

인텔은 인텔® 엑사스케일 소프트웨어 스택의 기반인 분산 비동기 객체 스토리지(DAOS)와 함께 HPC 스토리지 및 메모리 솔루션의 포괄적인 포트폴리오를 통해 HPC 스토리지 아키텍처를 혁신하고 있습니다. 이러한 기술은 세계적인 수준의 컴퓨팅 성능이 필요한 혁신적인 프로젝트를 지원하기 위해 대용량 데이터 세트의 인메모리 데이터와 스토리지 용량 간의 격차를 해소하고 있습니다.

인텔® Optane 영구 메모리
인텔® Optane영구 메모리는 오늘날 가장 큰 데이터 세트를 실시간에 가깝게 분석할 수 있도록 지원하는 새로운 차원의 HPC 메모리 솔루션입니다. 인텔® Optane은 DRAM과 동일한 버스/채널에 상주할 수 있고 휘발성 데이터를 저장할 때 DRAM 역할을 할 수 있는 고용량, 고성능 영구 메모리를 제공합니다. 인텔® Optane은 또한 전원 공급 없이 영구 모드에서 작동할 수 있으며 더 낮은 GB당 비용으로 더 큰 저장 용량을 제공할 수 있습니다. 이를 통해 HPC 솔루션 설계자는 DRAM과 SSD 사이의 빠르고 경제적인 대용량 영구 메모리 계층을 사용할 수 있습니다.

인텔® Optane 솔리드 스테이트 드라이브(SSD)
인텔® Optane 솔리드 스테이트 드라이브(SSD)는 메모리와 3D NAND SSD 사이에 완전히 새로운 유형의 데이터 스토리지 계층을 제공합니다. 인텔® Optane DC SSD는 높은 랜덤 읽기/쓰기 성능과 일관된 짧은 지연 시간을 제공하여 캐싱을 가속화하는 데 이상적입니다. 인텔® Optane 기술은 또한 HPC 워크로드가 획기적인 성능을 달성하는 데 필요한 서비스 품질과 내구성을 제공합니다.

인텔® QLC 3D NAND SSD
인텔® QLC 3D NAND SSD 기술은 성능, 용량 및 가치의 안정적인 조합을 제공하는 비용 효율적인 고밀도 스토리지를 통해 오늘날 스토리지의 경제성을 혁신하고 있습니다. 검증된 수직 플로팅 게이트 기술을 기반으로 하지만 더 높은 면밀도와 고유한 지원 회로 아키텍처를 갖춘 인텔® QLC 3D NAND SSD는 특히 인텔® Optane 기술과 함께 사용할 경우 과도한 쓰기 혼합이나 광범위한 캐싱이 필요한 HPC 워크로드에 최적의 성능을 제공하도록 설계되었습니다.

분산형 비동기 객체 스토리지(DAOS)
HPC 워크로드의 지연 시간 감소를 위해 설계된 분산형 비동기 객체 스토리지(DAOS)는 인텔® Optane 영구 메모리와 인텔® Optane DC SSD 및 기타 인텔® HPC 솔루션 및 제품에 완벽하게 최적화된 오픈 소스 소프트웨어 에코시스템입니다. DAOS는 NVM 기술의 이점을 최대한 활용하도록 설계되어 HPC 애플리케이션을 위한 넓은 대역폭, 짧은 지연 시간, 높은 초당 입출력 처리 횟수(IOPS)의 스토리지 컨테이너를 제공합니다.

HPC용 인텔® 셀렉트 솔루션
모든 HPC 클러스터 구성 요소가 상호 운용되고 특정 워크로드의 성능 요구 사항을 충족하는지 검증하는 것은 어려운 일입니다. HPC용 인텔® 셀렉트 솔루션은 분석 클러스터나 특정 HPC 애플리케이션에 대한 인사이트와 혁신을 달성하는 데 걸리는 시간을 단축해 줄 균형 잡힌 시스템을 위한 컴퓨팅, 패브릭, 메모리, 스토리지, 소프트웨어의 적절한 조합을 통해 간편하고 신속하게 구축할 수 있는 HPC 인프라를 제공합니다.