데이터 센터의 성패를 좌우하는 요인
풍부한 데이터는 기업이 시스템 아키텍처를 새롭게 구상하고 설계하는 데 필요한, 귀중한 인사이트와 혁신을 약속합니다. 하지만 혁신을 추구하지 않는 기업에서는 방대한 양의 데이터에 파묻혀 허둥대고 있는 모습이 연출될 수 밖에 없습니다.
문제는 단지 원시 데이터 저장에만 있지 않습니다. 기업이 경쟁력을 유지하려면 비즈니스 인사이트, 연구, 인공 지능(AI) 및 기타 용도를 위해 모든 데이터를 신속하고 비용 효율적으로 액세스 및 처리해야 합니다. 이런 수준의 처리를 구현하는 데는 메모리와 스토리지, 둘 다 필요하며, 기업은 제한된 용량 및 성능 제약 조건과 높은 비용의 균형점을 찾는 데 애를 먹고 있습니다.
다양한 워크로드에는 저마다 다른 유형의 메모리와 스토리지가 필요하기 때문에 문제는 더욱 심각합니다. 더군다나 비용과 성능 간에 최적의 균형을 유지하기 위해 여러 기술이 함께 사용되는 경우도 있습니다.
인텔은 기업이 완전히 새로운 데이터 센터 아키텍처를 구축할 수 있도록 지원하는 획기적인 메모리 및 스토리지 기술을 통해 이러한 문제를 해결하고 있습니다.
메모리/스토리지 계층 구조의 간극
역사적으로 메모리 및 스토리지 솔루션은 밀도, 성능 및 비용에 의해 제약을 받아왔습니다. 이 제약은 리테일부터 정부 기관, 헬스케어, 금융까지 모든 종류의 조직에서 체감하고 있는 문제입니다. 예를 들어, 클라우드 서비스 공급자(CSP)는 데이터 부하가 증가함에 따라 서비스 수준 계약(SLA)을 충족하기 어려울 수 있습니다. 높은 수준의 거래량을 신속히 처리해야 하는 금융 서비스 기업의 경우, 용량 및 성능 제약 문제에 부딪힐 수 있습니다. 그리고 대기업은 주로 DRAM(Dynamic Random Access Memory)의 높은 비용과 제한된 용량으로 인해 고객, 인벤토리, 소셜 미디어 및 사물 인터넷(IoT) 데이터에서 기인한 인메모리 분석 요구를 충족할 수 없습니다.
데이터를 효율적이고 효과적으로 관리하려면 어떤 인프라 구성 요소가 비즈니스 요구 및 예산에 가장 적합한지 판별해야 합니다. 그러나 계층 구조에 사용된 기술이 저마다 고유한 장단점을 지니고 있기 때문에 이는 쉬운 일이 아닙니다.
- 예를 들어, DRAM은 성능 면에서는 우수하지만 휘발성이면서 가격이 비싸고 확장성이 제한됩니다.
- 플래시 스토리지(NAND)는 비휘발성이고 DRAM보다 가격이 저렴하지만 DRAM의 성능을 따라가지 못합니다.
- 하드 디스크 드라이브(HDD)는 가장 낮은 가격대로 대용량 스토리지를 제공하지만 물리적 디스크 사용 시의 안정성, 실제 공간 요구 사항, 냉각 및 전력과 관련하여 익히 알려진 총 소유 비용(TCO) 문제가 생겨납니다.
전반적으로 이러한 기존의 스토리지 옵션은 데이터 센터의 메모리 및 스토리지 영역에서 상당한 간극을 생성하기 때문에 애플리케이션의 성능 제약을 초래합니다. 계속 증가하는 데이터 용량과 이러한 데이터에 신속히 액세스해야 하는 요구로 인해 문제는 더 심각해졌습니다.
특히 다음과 같은 메모리 및 스토리지의 두 가지 간극은 데이터 혁신을 추구하는 조직이 겪는 대표적인 애로 사항입니다.
- 고비용, 저용량 DRAM과 훨씬 저렴한 NAND 기반 솔리드 스테이트 드라이브(SSD) 간의 간극.
- 더 느린 NAND SSD와 훨씬 저렴하지만 안정성이 떨어지는 HDD 간의 간극.
지금까지 조직들은 비용, 용량 및 성능의 균형을 유지함으로써 이러한 간극을 좁히는 효과적인 옵션을 보유하지 못했습니다(그림 1 참조).
그림 1. 전형적인 메모리 및 스토리지 분야에서는 용량, 비용 및 성능 측면에서 상당한 간극이 생겨납니다.
인텔® 기술을 활용한 간극 문제의 해결
인텔은 뛰어난 성능, 용량 및 안정성을 제공하도록 설계된 솔루션으로 데이터 센터 메모리 및 스토리지 간극을 없앱니다. 이러한 솔루션은 기존 옵션에 비해 더 짧은 지연 시간과 탁월한 운영 가치를 제공합니다. 특히 다음과 같은 3가지 제품군은 새로운 데이터 계층을 위한 유연성을 통해 비용 및 성능 간극을 해소하도록 설계되어 있습니다.
- 인텔® Optane™ 영구 메모리는 고용량, 경제성 및 지속성을 제공하는 새로운 차원의 메모리 및 스토리지 기술을 대표합니다. 더 많은 데이터를 프로세서에 더 가까운 곳에서 유지 관리할 수 있으므로 워크로드 및 서비스를 최적화하여 지연 시간을 단축하고 성능을 향상시킬 수 있습니다.
- 인텔® Optane™ SSD는 기존 메모리 및 스토리지 특성에 높은 처리량, 짧은 지연 시간, 탁월한 서비스 품질(QoS) 및 뛰어난 내구성을 결합하여 제공합니다.
- 인텔® QLC 3D NAND SSD(인텔® SSD D5-P4320 등)는 액세스 빈도가 낮은 데이터를 저장하는 데 적합한 HDD 대체 옵션으로, 합리적인 가격대와 최고 수준의 PCIe*(Peripheral Component Interconnect Express*) 데이터 용량 밀도를 갖추고 있습니다.
이와 같은 혁신적인 제품들은 데이터 센터 구성을 새롭게 구성하여 현대적 워크로드를 처리하고 비즈니스 경쟁력을 유지하도록 지원합니다. 성능, 용량, 비용 이점 등 각 제품에 대한 세부 정보가 아래에 설명되어 있습니다.
데이터 계층 구조에 새로운 계층을 형성하는 인텔® Optane™ 기술
기업이 신기술과 보조를 맞추고 고객의 요구를 충족할 수 있으려면 이전에 상상할 수 없었던 방식으로 솔루션을 설계하고 발전시켜야 합니다. 인텔® Optane™ 기술은 인텔® 3D XPoint™ 기술에 기반한 새로운 비휘발성 스토리지 옵션으로, 메모리 및 스토리지 계층 구조에 새로운 계층을 형성하여 기존 데이터 센터 아키텍처를 현대화하고 고성능 휘발성 메모리와 저성능이지만 가격 경쟁력을 갖춘 NAND 스토리지 간의 간극을 없애도록 지원합니다. 인텔® Optane™ 기술은 짧은 지연 시간, 탁월한 서비스 품질(QoS), 뛰어난 내구성 및 높은 처리량이 고유한 방식으로 결합된 획기적인 기술입니다.
그림 2. 인텔® Optane™ 기술은 DRAM의 성능 이점과 NAND SSD의 용량 이점을 모두 제공합니다.
인텔® Optane™ 기술은 "작업 데이터", 즉 신속한 액세스를 위해 CPU와 가까운 곳에 있어야 하는 데이터를 처리하는 데 적합합니다. 작업 데이터는 평균 응답 시간이 충분히 빠르지 않은 경우에도 기대 수준의 빠른 읽기 응답 시간이 필요한 실시간 분석, 금융 거래, 비행편 예약 및 기타 사용 사례에서 더 많은 데이터에 더 빠르게 액세스할 수 있어야 합니다. 작업 데이터의 예측 가능하고 일관된 성능은 첫 요청에서부터 중요합니다.
인텔® Optane™ 영구 메모리와 인텔® Optane™ SSD는 인텔® Optane™ 기술을 기반으로 구축됩니다. 그러나 아래 설명된 대로 각각은 서로 다른 폼 팩터를 보유하고 있으며, 데이터 센터에서 별도로 혹은 함께 사용하여 비즈니스를 위한 혁신적인 메모리 및 스토리지 옵션을 제공할 수 있습니다.
고가의 DRAM을 확장하거나 대체하는 인텔® Optane™ 영구 메모리
인텔® Optane™ 영구 메모리는 DRAM과 인텔® Optane™ SSD의 간극을 없애는 업계 선도적 제품입니다. 데이터의 인메모리 처리에 의존하는 기업의 경우 인텔® Optane™ 영구 메모리는 AI, 분석, 고성능 컴퓨팅(HPC) 및 기타 사용 사례에서 더 많은 용량의 "핫" 데이터에 더 빠르게 액세스할 수 있는 기회를 제공합니다.
전통적인 DRAM과 달리, 인텔® Optane™ 영구 메모리는 뛰어난 밀도, 합리적인 가격 및 우수한 지속성을 모두 갖추고 있습니다. 기업은 예산에 맞춰 시스템 메모리 용량을 (CPU 소켓당 3TB 이상으로) 확장함으로써 더 많은 데이터를 프로세서와 더 가까운 곳으로 이동하고 기존의 비휘발성 시스템 스토리지에서 데이터에 액세스할 때 발생하는 더 긴 지연 시간을 최소화할 수 있기 때문에 데이터 센터 워크로드를 보다 효과적으로 최적화할 수 있습니다.
인텔® Optane™ 영구 메모리는 차세대 인텔® 제온® 확장 가능한 플랫폼의 출시에 맞춰 2019년에 광범위하게 보급될 예정입니다.
그림 3. 인텔® Optane™ 영구 메모리 모듈
데이터 센터의 작업 데이터 관련 문제를 해결하는 인텔® Optane™ SSD P4800X
인텔® Optane™ SSD P4800X 드라이브는 표준 SSD처럼 보이지만 인텔® Optane™ 기술이 적용된 NAND 기반입니다. 인텔® Optane™ SSD P4800X의 독특한 아키텍처는 NAND 기반 SSD보다 훨씬 빠르고 일관된 성능을 제공합니다. 일반적으로 NAND 기반 드라이브는 읽기 시간이 빠르지만 쓰기 시간은 느립니다. 특히 빈도가 높은 작업 수행 시 쓰기 속도는 더욱 느려집니다. 이에 반해 인텔® Optane™ SSD는 가비지 수집 없이 더욱 균형 잡힌 읽기 및 쓰기 성능과 훨씬 쉽게 예측 가능한 성능을 위해 바이트 또는 페이지 수준의 쓰기를 수행할 수 있는 구조를 갖추고 있습니다.
인텔® Optane™ SSD P4800X는 드라이브에 적용된 쓰기 처리량에 상관없이 일관된 읽기 응답 시간을 유지합니다. 그림 4의 그래프는 특히 랜덤 쓰기 작업이 증가하는 부담스러운 상황에서 현세대 인텔® 3D NAND SSD에 비해 인텔® Optane™ SSD의 지연 시간이 얼마나 더 짧은지 보여줍니다. NAND 기반 SSD와 달리 인텔® Optane™ SSD의 지연 시간은 모든 쓰기 요청에 대해 일관적으로 짧게 유지됩니다.1
그림 4. 인텔® Optane™ SSD P4800X는 인텔® 3D NAND SSD에 비해 일관적으로 짧은 지연 시간을 제공합니다.1
일관적으로 짧은 지연 시간과 뛰어난 내구성의 조합은 인텔® Optane™ SSD가 장치 캐싱을 수행할 때 NAND 기반 솔루션보다 훨씬 효율적으로 작동하도록 지원합니다.
Evaluator Group의 한 연구에서는 캐싱 계층에서 전체 NAND 플래시 기반의 쓰기 캐싱 및 스토리지 솔루션을 인텔® Optane™ SSD로 대체할 때의 영향이 증명되었습니다. 테스트를 통해 캐싱 계층에 인텔® Optane™ SSD P4800X 드라이브를 사용하는 인텔® 제온® 확장 가능한 프로세서 기반 시스템이 이전 세대 시스템 및 스토리지 미디어보다 3배 더 나은 가격/성능 수준을 제공한다는 사실이 밝혀졌습니다(IOmark-VM* 벤치마크 측정치 기준).2
인텔® Optane™ SSD P4800X는 NAND 기반 드라이브보다 훨씬 탁월한 내구성도 제공합니다. 예를 들어 현재 출시된 2가지 드라이브의 비교 평가에서 인텔® Optane™ SSD P4800X는 최대 60회의 일일 드라이브 쓰기(DWPD)를, NAND 기반 인텔® SSD P4600은 단지 3회의 DWPD를 나타냈습니다.3 이는 고트래픽 캐싱 환경에서 인텔® Optane™ SSD의 내구성이 훨씬 뛰어나다는 증거입니다.
그림 5에서 보듯, 인텔® Optane™ 영구 메모리는 인텔® Optane™ SSD와 결합하여 전체적으로 새롭고 유연한 메모리 유사 계층을 형성할 수도 있습니다. 더 느린 NAND 스토리지에 갇혀 있기 마련인 귀중한 데이터에 신속하게 액세스하고 관련 작업을 수행할 수 있습니다.
그림 5. 인텔® Optane™ 영구 메모리는 인텔® Optane™ SSD와 결합하여 인메모리 분석을 위한 핫 작업 데이터와 웜 용량 데이터의 처리를 위한 완전히 새로운 계층을 형성할 수 있습니다(빨간색 = "핫" 데이터, 노란색 = "웜" 데이터, 파란색 = "콜드" 데이터).
인텔® Optane™ 기술 성능을 활용하도록 소프트웨어 최적화
인텔® Optane™ SSD를 기존 데이터 센터 인프라에 추가하기만 하면 획기적으로 성능을 개선할 수 있지만, 소프트웨어를 최적화하면 인텔® Optane™ 기술을 기반으로 실행되는 애플리케이션의 성능을 한층 더 향상시킬 수 있습니다. 특히 오픈 소스 소프트웨어는 개발자가 인텔® Optane™ SSD P4800X의 이점을 활용하도록 애플리케이션을 수정할 수 있기 때문에 인텔® Optane™ SSD와 훌륭한 조화를 이룹니다.
예를 들어 Oracle의 한 성능 아키텍트는 인텔® Optane™ SSD P4800X에 맞춰 MySQL*을 최적화하는 방식으로 과중한 입력/출력(I/O) 기반 워크로드에서 5배 높은 성능을 달성했습니다. 이 Oracle 아키텍트는 단일 인텔® Optane™ SSD에서 100만 회의 읽기도 구현했습니다.4
다른 예로, Direct I/O* 최적화는 Buffered I/O*에 비해 Java 10*에서 최대 48% 향상된 효율을 제공한다는 사실이 입증되었습니다.5 이러한 최적화는 Cassandra*, Apache HBase* 같은 데이터베이스나 AI 워크로드를 실행하는 조직에 상당한 의미가 있습니다.
소프트웨어 아키텍트는 기존 도구 및 개발 키트를 사용하여 인텔® Optane™ 기술에 맞게 성능을 최적화할 수 있습니다. 아래 나열된 인텔 리소스를 사용하여 최적화를 시작해 보십시오.
- SPDK(Storage Performance Development Kit): https://spdk.io/
- PMDK(Persistent Memory Development Kit): https://pmem.io/pmdk/
- 인텔® Optane™ SSD를 탑재한 베어 메탈 서버에 액세스: acceleratewithoptane.com
인텔® 메모리 드라이브 기술을 통한 메모리 확장
인텔® Optane™ SSD는 인텔® 메모리 드라이브 기술을 사용하여 확장형 메모리로도 구성할 수 있습니다. 인텔® 메모리 드라이브 기술은 SSD를 메모리 하위 시스템에 투명하게 통합시켜 운영 체제 또는 애플리케이션에 필요한 변경 사항 없이 DRAM처럼 만듭니다. 인텔® 메모리 드라이브 기술은 일정 부분의 DRAM을 대체하여 전체 메모리 비용을 절감하거나, 시스템 메모리 용량이 많이 필요한 경우 DRAM 용량 이상으로 메모리 풀을 확장하는 데 사용할 수 있습니다.
실제로 인텔® 메모리 드라이브 기술 소프트웨어를 인텔® Optane™ SSD P4800X에 추가하면 Apache Spark* 성능이 5배 더 빨라집니다.4
인텔® QLC 3D NAND SSD로 용량 스토리지 간극 줄이기
NAND 기술의 효율성이 증가하고 가격이 낮아지면서 기계적 드라이브의 필요성은 계속 감소하는 추세입니다. 최첨단 인텔® QLC 3D NAND SSD의 등장으로 인해 회전형 디스크는 최악의 데이터 스토리지 시나리오로 전락했습니다.
인텔® QLC 3D NAND SSD는 더 높은 밀도와 합리적인 가격대로 플래시 안정성을 제공하도록 설계되어 있습니다. 이러한 이점은 일반적으로 훨씬 속도가 느리고, 안정성이 떨어지고, 전력 사용량이 많으며, 냉각이 더 필요하고, 플래시 드라이브에 비해 더 많은 데이터 공간을 차지하는 기존 HDD의 대체와 관련된 다양한 장애물을 없애는 데 도움이 됩니다.
그림 6. HDD에서 인텔® QLC 3D NAND SSD로 전환하는 기업은 데이터 센터 공간을 줄임으로써 전력, 냉방 및 서비스 측면에서 상당한 절감 효과를 얻을 수 있습니다.6 7
인텔® QLC 3D NAND SSD는 인텔® Optane™ 기술과 결합하여 빈번하게 이용하는 데이터의 액세스 속도를 높이는 동시에 HDD를 능가하는 플래시 기술의 가격 및 용량 이점을 갖춘 대용량 스토리지로 활용할 수 있습니다. 이를 통해 조직은 인텔® Optane™ SSD와 HDD 간의 스토리지 비용/용량 간극을 없앨 수 있습니다. 더군다나 인텔® QLC 3D NAND SSD는 뛰어난 안정성과 경제성을 제공하기 때문에 다수의 조직에서 HDD의 대안으로 사용할 수 있습니다.
인텔의 혁신적인 폼 팩터를 통한 데이터 통합
인텔은 또한 혁신적인 폼 팩터를 통해 스토리지 비용/용량 간극 문제를 해결하고 있습니다. 2018년 Gold International Design Excellence Award에서 수상의 영예를 안은 인텔의 SSD용 3D NAND "Ruler" 폼 팩터는 서버 아키텍처를 혁신하는 효율적인 열 설계는 물론 향상된 밀도, 관리 기능 및 서비스 용이성을 제공합니다.
EDSFF를 기반으로 구축된 드라이브의 독특한 외관 및 특성 덕분에 Supermicro 같은 벤더는 32TB 용량의 인텔 "Ruler" 드라이브 32개를 단일 1U 서버에 각각 배치하여 서버당 최대 1페타바이트의 데이터를 제공할 수 있습니다.8
새롭게 구상하는 데이터 센터 스토리지
모든 인텔® 기술은 인텔® Optane™ 영구 메모리와 인텔® Optane™ SSD P4800X부터 인텔® QLC 3D NAND SSD와 고용량 "Ruler" 폼 팩터 드라이브까지, 폭넓은 옵션을 활용하여 메모리 및 스토리지 간극 문제를 해결함으로써 분석, AI, HPC 및 기타 워크로드를 위한 대용량 데이터를 빠르고 유연하게 저장, 처리 및 관리할 수 있도록 현대적인 기업을 지원합니다.
이와 더불어 인텔 스토리지 기술 및 제품은 데이터 센터 아키텍트가 비즈니스 애플리케이션 및 워크로드에 따라 성능, 용량, 안정성 및 경제성을 유연하게 맞출 수 있습니다. 지금이 바로 인텔® Optane™ 기술과 인텔® QLC 3D NAND 기술을 통해 메모리 및 스토리지를 재구상할 적기입니다.