요약
Rochester 대학의 LLE(레이저 에너지 연구소)는 미국의 고유한 리소스입니다. 이곳은 과학자들이 별에 동력을 공급하는 것, 즉 핵융합과 같은 동일한 과정에서 에너지를 수확하기 위해 관성밀폐 핵융합(ICF)을 연구하고 실험하는 세계에서 몇 안 되는 시설 중 하나입니다. 핵융합은 미래에 동력을 공급하기 위해 거의 무한한 자원에서 청정에너지를 제공할 것을 약속하지만, 이를 실현하기 위해서는 핵 "연료"를 안전하게 점화하고 제한하기 위해 수십 년의 연구, 컴퓨팅 및 실험이 필요했습니다.
LLE는 에너지부(DOE) 국가 핵 안보 관리국(NNSA)과 협력 계약을 맺었으므로 고밀도 에너지 물리학 및 ICF 연구를 위한 대학 연구소로서도, 또 국가 자원으로도 활용되고 있습니다.
관성밀폐 핵융합은 강력한 레이저를 포함한 정교한 장비로 수행됩니다. 하지만 ICF로 가는 길은 슈퍼컴퓨터가 물질, 레이저 및 실험 자체를 모델링하는 것으로 시작합니다. LLE는 설립 이후 수십 년 동안 많은 슈퍼컴퓨터를 관리했습니다. 약 5~7년마다 LLE는 컴퓨팅 수요가 기존 리소스의 용량을 능가하는 임계점에 도달합니다. 이런 일이 최근 발생하면서 새로운 슈퍼컴퓨터의 필요성을 야기했습니다.
LLE는 4세대 인텔® 제온® 스케일러블 프로세서를 탑재한 Dell Technologies가 구축한 시스템을 인수했는데요. 이를 통해 그들은 실험을 보다 정밀하게 시뮬레이션할 수 있을 뿐만 아니라 머신러닝과 인공 지능(AI) 사용해 핵 에너지로부터 전력을 수확하는 방법에 대한 통찰력을 얻을 수 있습니다.
코네서스는 인텔® Accelerator Engines가 내장된 4세대 인텔 제온 스케일러블 프로세서를 기반으로 합니다. Rochester 대학교 사진 / / J. Adam Fenster.
당면 과제
LLE와 자매 연구소인 Lawrence Livermore National Laboratory(LLNL)의 National Ignition Facility는 모두 ICF 실험실입니다. 2022년 12월 5일에 처음으로 NIF의 과학자들은 실험에서 통제된 핵융합을 달성하여 긍정적인 순이익을 얻었는데요: 바로 실험에 사용된 레이저 에너지보다 더 많은 에너지를 생성한 것입니다. 이는 아주 중요한 단계이죠.
LLE와 NIF는 핵 대상을 핵융합 반응을 일으키는 압력으로 압축하기 위해 다양한 방법을 사용합니다. NIF는 간접 드라이브를 사용하고 LLE는 직접 드라이브를 사용합니다. 둘 다 강력한 레이저를 사용합니다. 직접 드라이브는 레이저 에너지를 핵 대상에 공격해 필요한 반응을 일으키며, 간접 드라이브는 레이저를 대상 주변의 중간 매체에 공격합니다. 중간 매체 내의 반응은 대상을 압축하고 점화하는 X-레이를 생성합니다.
LLE는 연구실 과학자들이 슈퍼컴퓨터의 도움으로 설계한 OMEGA 및 OMEGA EP라는 매우 강력한 레이저를 갖추고 있습니다.
"하루에 약 10회 정도 우리의 레이저는 병 안에 별을 만드는 데 사용됩니다."라고 LLE 컴퓨팅 시설의 HPC 리더 William Scullin는 말했습니다.
레이저 설계와 실험 시뮬레이션은 계산적으로 까다로운 작업입니다.
"우리의 많은 컴퓨팅 주기가 실험 시뮬레이션에 사용됩니다."라고 Scullin은 설명합니다. "우리에게는 관성밀폐 핵융합을 모델링하기 위한 1D, 2D, 3D 모델링 기능이 있습니다. 우리는 극한의 온도와 압력에서 물질과 플라즈마를 시뮬레이션합니다. 고출력 레이저는 상업적으로 사용할 수 있는 구성 요소가 아닙니다. 따라서 우리는 액정 코팅과 같은 개발을 위한 물질 모델링을 포함할 수 있는 자체 광학 및 레이저 시스템을 설계했습니다. 추가로, 해야 할 통계 작업이 점점 더 많이 발생하고 있습니다."
예를 들어, Scullin이 말하는 바에 따르면 통계 분석이 필요함에 따라 계산 과학자들은 오래된 데이터와 사용 가능한 데이터에서 무엇을 발견할 수 있는지 알아보기 위해 머신 러닝을 사용하는 방법을 탐구하고 있습니다. 계산 과학자들은 그러한 발견을 가능하게 하는 새로운 컴퓨팅 리소스가 필요했습니다. 또한, LLE는 점점 더 커지고 있습니다.
"연구소는 성장하고 있습니다."라고 Scullin은 덧붙였습니다. "우리는 물리적으로 확장하고 있습니다. 우리는 캠퍼스의 교수진들과 새로운 파트너십을 맺었으며 더 넓은 커뮤니티에서 새로운 파트너십을 맺었습니다. 또한 우리는 NNSA와의 협력 계약을 갱신할 예정입니다. 우리는 리소스의 가용성이 사용자가 연구를 위해 긴 대기열에서 기다려야 한다는 것을 의미하는 지점에 도달했습니다. 이 모든 것은 새로운 대규모 클러스터를 구매하는 것을 정당화했습니다."
2022년, 컴퓨팅 리소스가 제한되면서 새로운 HPC 시스템 획득 프로세스를 시작했습니다.
솔루션
"NNSA와 협력 계약을 맺는다는 것은 우리가 트리랩스(Sandia National Laboratory, Los Alamos National Laboratory, and Lawrence Livermore National Laboratory)의 CTS2 슈퍼컴퓨터 설계 작업에서 혜택을 누릴 수 있다는 것을 의미합니다."라고 Scullin은 말했습니다. "CTS2는 트리랩스가 해결하는 핵 문제의 종류에 대한 효율적이고 비용 효율적인 컴퓨팅 시스템의 구성을 정의합니다."
CTS2 프로그램에 따라 LLE는 뉴욕 Rochester 주변 지역의 핑거 레이크스 중 하나의 이름을 딴 코네서스 슈퍼컴퓨터를 인수했습니다. 코네서스는 인텔® Accelerator Engines가 내장된 4세대 인텔 제온 프로세서를 기반으로 합니다.
원자재 기술 시스템 2(CTS-2) 프로그램은 트리랩스(Sandia 국립 연구소, Los Alamos 국립 연구소, Lawrence Livermore 국립 연구소)를 위한 국가 핵 안보실 슈퍼컴퓨터 조달 프로그램입니다. 2007년 이후로 원자재 시스템 조달 프로그램을 통해 트리랩스는 강력한 용량 컴퓨팅을 위해 원자재 구성 요소를 사용하여 공통 플랫폼에 구축된 비용 효율적인 HPC 리소스를 얻을 수 있었습니다:
이전 프로그램은 TLCC1(트리랩스 용량 클러스터 1, 2007-2010), TLCC2(2011-2015), CTS-1(2016-2021)이었습니다. CTS-2 조달은 2022년부터 2025년까지 실행됩니다.
CTS-2 머신은 4세대 인텔 제온 스케일러블 프로세서로 구축되었습니다. 또한 트리랩스 소프트웨어 스택(TOSS) 및 트리랩스 공통 환경(TCE)과 함께 사용할 때 공통 컴퓨팅 환경을 제공합니다. Dell EMC가 구축한 CTS-2 머신은 다음과 같은 기술을 구성합니다.
- Dell C6620 컴퓨팅 노드
- Dell 760 로그인/관리/게이트웨이 서버
- 4세대 인텔 제온 스케일러블 프로세서
- Cornelis Networks Omni-Path 또는 Mellanox InfiniBand 패브릭
- CoolIT 칩에 직접 냉각
- GPU 옵션
2022년에 여러 대의 CTS-2 머신이 배포되었고, LLE의 코네서스를 포함한 다른 머신이 2023년에도 계속 출시되었습니다.
"우리는 항상 CPU 상점이었습니다."라고 Scullin은 말했습니다. "우리의 통합 모델링 코드의 대부분은 유한체적법을 사용합니다. 따라서 메모리 대역폭과 같은 것들은 매우 빠르게 중요해졌습니다. 마찬가지로, 우리의 많은 제품 코드는 포트란으로 작성되었습니다. 인텔 컴파일러는 포트란에 항상 탁월한 성능을 보여왔습니다."
Dell Technologies가 구축한 코네서스는 두 개의 소켓에 각각 56개의 코어가 포함된 인텔 제온 Platinum 8480+ 프로세서가 탑재된 384개의 PowerEdge C6220 노드로 구성됩니다. 인텔 제온 Platinum 8480+ 프로세서가 탑재된 새로운 Dell PowerEdge 서버는 CPU당 최대 8개의 DIMM과 최대 4800MTS를 지원할 수 있습니다. CPU의 아키텍처는 이전 세대 프로세서 대비 최대 50% 더 높은 메모리 대역폭(4800MTS (1DPC)/4400MTS(2DPC)을 제공합니다. 43,008 코어 머신은 최근 2023년 6월 Top500 목록에서 2.59페타플롭스로 311위를 차지했습니다. 또한 새로운 슈퍼컴퓨터는 2023년 6월 Green500 목록에서 77위를 차지했습니다.
내장 인텔 Accelerator Engines는 HPC의 많은 주요 워크로드에 대한 시간 단축을 제공합니다. Scullin은 과학자들이 부동 소수점 계산에 대해 상당한 가속화를 제공하는 인텔® Advanced Vector Extensions 512(인텔® AVX-512), 를 활용할 것이라 기대합니다. 보안은 또한 LLE의 주요 필수 사항입니다.
Scullin은 "우리는 이곳에서 극비 작업을 하지는 않아요. 그렇지만 업무와 관련해서 보안에는 민감하죠."라고 덧붙였습니다. 그래서 아키텍처의 또 다른 중요한 측면은 추출 통제가 가능한 환경을 구축했는지 확실히 하는 것이었습니다. 모든 것이 NIST SP 800-171을 따르고 있고 여기에는 정지 시 암호화, 부팅 시 암호화, 전송 중 암호화 같은 보안 제어 기능이 포함되어 있습니다."
LLNL의 국립 핵융합 시설의 대상 실험실은 2022년 12월 5일, 192개의 레이저 빔이 작은 연료 펠릿에 200만 줄 이상의 자외선 에너지를 전달하여 핵융합 점화를 생성했습니다.
인텔® Crypto Acceleration을 비롯한 많은 하드웨어 지원 인텔® 보안 기술은 이러한 유형의 NIST 요구 사항을 지원합니다. LLE 작업은 또한 대용량 데이터 세트를 분석하기 위한 인텔® Data Streaming Accelerator와 같은 다른 가속기 엔진의 이점을 얻을 수 있습니다.
LLE는 미국 내 최대 규모의 NNSA 대학 기반 연구 프로그램으로, "새로운 시스템을 위한 완벽한 장소"라고 LLE의 이사 Chris Deeney는 말합니다. "코네서스는 Rochester 지역과 전국 각지의 학생과 교수진에게 특별한 교육 및 연구 기회를 제공할 것입니다."
이 시스템은 DOE 및 NNSA의 여러 그룹의 지원을 받으며, 뉴욕주 에너지 연구개발청(NYSERDA), 엠파이어 스테이트 개발국의 정부 자금을 지원받습니다.
"NNSA의 지원과 국립 연구소와 협력하려는 그들의 의지가 없었다면 우리는 이러한 도약을 할 수 없었을 것입니다."라고 Deeney는 말했습니다. "우리의 뉴욕주 정부 자금 덕분에 LLE는 전략적 투자를 할 수 있게 되었고, 새로운 컴퓨터의 힘을 이용할 수 있는 새로운 스토리지 시스템은 또 다른 훌륭한 사례가 될 것입니다."
결과
"코네서스의 모든 것은 융합과 LLE의 필요성으로 돌아옵니다."라고 Scullin은 설명합니다. "우리는 그동안 리소스에 제한이 있었고, 사용자는 작업을 완료하기 위해 대기열에서 기다려야 했습니다. 추가 용량을 확보하면 더 빨리 더 많은 작업을 수행할 수 있습니다. 우리는 DDR5로 인해 대역폭이 크게 향상되고 효율성과 처리량 측면에서 큰 성과를 낼 것으로 기대합니다. 또한 사용자가 크기를 조정할 수 있을 겁니다."
Scullin은 이제 과학자들이 더 많은 실행을 하고 더 많은 데이터 수집하며 더 큰 데이터 세트에 대한 머신 러닝 사용을 포함한 고해상도 연구를 수행할 수 있는 컴퓨팅 리소스를 갖게 될 것이라고 말합니다. 한 연구원은 이전 LLE HPC 시스템에서는 실행하는 데 일주일에서 30일이 소요되는 그의 프로젝트 중 하나가 코네서스에서는 단 며칠 만에 완료될 수 있을 것으로 추정했습니다.
LLE의 많은 과학 코드가 포트란으로 작성되었지만, 인텔 기술 및 인텔® 소프트웨어가 탑재된 코네서스는 다른 프레임워크에서 성능 최적화를 제공할 것입니다.
"많은 젊은 과학자들이 분석을 위해 Jupyter 노트북을 사용하기 시작했습니다."라고 Scullin은 말했습니다. "따라서 우리는 워크플로우를 위한 Python과 같은 것들을 찾고 있습니다. 인텔이 Python용 인텔® Distribution으로 수행한 최적화 작업은 머신 러닝 유형의 문제를 처리할 수 있는 더 나은 능력으로 직접 전환되어야 합니다."
여러 초기 과학 프로젝트가 코네서스용으로 계획되어 있습니다. 연구원들은 코네서스가 규모에 맞게 무엇을 할 수 있는지 확인하기 위해 다른 기계로 수행한 프로젝트를 작업하고 있습니다. 이러한 실행에는 OMEGA 레이저 시스템의 극저온 내파의 통계 모델링 테스트, 알파 입자 정지 및 소모 플라스마 시뮬레이션, 매우 높은 수준의 열 안정성으로 큰 반응을 생성하는 액정 연구가 포함됩니다.
코네서스는 이번 여름에 제작에 들어갈 예정입니다.
솔루션 요약
LLE는 핵융합으로 인한 전력을 수확하기 위한 관성밀폐 핵융합 연구용 자료입니다. LLE의 High Performance Computing을 통해 과학자들은 물질을 시뮬레이션하고, 레이저를 제작 및 테스트 하며, ICF를 위한 고밀도 에너지 물리 실험을 시뮬레이션할 수 있습니다. 연구원들이 기존 리소스에서 컴퓨팅 시간을 위해 긴 대기열을 기다리는 가운데, 연구소는 NNSA CTS-2 프로그램에 따라 코네서스라는 새로운 시스템을 획득했습니다. 코네서스는 인텔® Accelerator Engines가 내장된 4세대 인텔 제온 프로세서를 기반으로 합니다. 새로운 2.59페타플롭스 시스템이 올해 말에 생산될 예정이지만, 이미 Top500과 Green500에 오른 경력이 있습니다. 코네서스는 연구원이 더 많은 용량으로 ICF 작업을 계속하고 머신 러닝으로 대규모 데이터 세트를 탐색하여 ICF에 대한 통찰력을 확장할 수 있도록 할 것입니다.