트랜스포머 학습 모델의 성장으로 고성능 컴퓨팅에 대한 기대치가 높아졌습니다
Taneishi 씨는 의료 영상을 사용하여 딥 러닝(DL) 기반 질병 분석에 대한 연구를 수행했습니다. 여기에는 흉부 엑스레이, 분자 표적에 영향을 미치는 저분자의 가상 검사, 단백질의 구조적 및 기능적 변화가 포함되었습니다. 이러한 분야의 AI 기반 연구는 대규모 컴퓨팅 플랫폼을 요구하므로 AI 가속기가 필수적입니다.
Taneishi 씨는 "2017년에 트랜스포머가 처음 선보이고 어텐션 메커니즘이 딥 러닝의 필수 요소로 인식되면서 자연어 처리 이외의 영역에서도 컨볼루션 및 순환 신경망 아키텍처에 기반한 이전 모델들이 다시 작성되어 왔습니다."라고 말합니다. "이로 인해 컴퓨팅 프레임워크가 크게 확장되어 고급 DL 컴퓨팅 성능에 대한 추가 수요가 발생합니다."
Kei Taneishi, 데이터 과학자, 국립연구개발원 RIKEN 포토닉스 연구센터.
RIKEN은 대규모 공유 컴퓨팅 플랫폼 중 하나로 HSS(Hokusai Sailing ship)를 호스팅하고 있으며 HSS는 AI 가속기 없이 데이터 과학에 주로 최적화되어 있습니다. 대신, 연구소는 온프레미스와 클라우드 인프라를 결합한 이기종 컴퓨팅 환경을 구축했습니다. 여기에서 4개 주요 공급업체의 클라우드 기술이 전산과학센터의 범용 이플리케이션용 슈퍼컴퓨터인 Fugaku 그리고 RIKEN 고급 인텔리전스 프로젝트 센터의 AI 개발용 컴퓨터 시스템인 RAIDEN과 함께 실행됩니다.
우수한 가격 대비 성능 및 간편한 모델 포팅
연구소의 클라우드 기반 컴퓨팅 리소스 중 Habana® Gaudi® AI 프로세서 기반의 Amazon EC2 DL1 인스턴스는 Taneishi 씨가 특별히 관심을 갖는 부분입니다. 이 인스턴스는 8개의 Habana® Gaudi® AI 프로세서와 함께 96개의 vCPU, 768GB 메모리, 400Gbps 대역폭 네트워크, 4TB의 로컬 스토리지를 탑재한 3세대 인텔® 제온® 스케일러블 프로세서를 갖추고 있습니다. Habana Gaudi AI 프로세서는 8개의 TPC(Tensor Processing Core), 32GB의 고대역폭 메모리, 10개의 통합 100GbE RoCE(RDMA over Converged Ethernet) 포트를 자랑합니다. DL1 인스턴스에 있는 8개의 Gaudi 장치는 이 RoCE 포트들을 통해 모두 연결되어 뛰어난 확장 효율성을 제공합니다. AWS EC2 DL1 인스턴스는 최신 세대 GPU 기반 EC2 인스턴스에 비해 딥 러닝 모델 교육 시 최대 40% 더 나은 가격 대비 성능을 제공합니다.1
"Habana® Gaudi® AI 프로세서는 하드웨어에서 텐서 연산과 행렬 곱셈을 모두 지원하고 딥 러닝 계산 그래프를 최적으로 컴파일하여 강력한 성능을 제공합니다."라고 Taneishi 씨는 설명합니다.
트랜스포머가 표준으로 채택된 2019년에 출시된 이 프로세서는 매우 효율적으로 트랜스포머 모델을 교육하는 데 도움이 됩니다. 그리고 AI 가속기 중 특수 제작된 DL 아키텍처의 이점을 통해 Gaudi 기반 솔루션은 컴퓨터 비전 및 NLP 모델에 대해 유사한 비용으로 V100 GPU에 비해 탁월한 가격 대비 성능 그리고 2배 이상의 교육 처리량을 제공할 수 있습니다.
또한, Habana Gaudi AI 프로세서와 함께 TensorFlow 및 PyTorch 모델을 쉽게 사용할 수 있습니다. 약간의 스크립트 재작성만 필요합니다. Habana® SynapseAI® SDK를 통한 코드 변화가 최소화되므로 개발자는 AI 선택기를 컴퓨팅 리소스에 맞게 전환하는 동시에 기존 스크립트를 활용하여 마이그레이션 노력 및 비용을 최소화할 수 있습니다.
Taneishi 씨는 "TensorFlow와 PyTorch 구문을 사용하면 변경 없이 AI 가속기로 작업할 수 있기 때문에 Habana SynapseAI SDK 지원 모델 및 그 파생 모델을 쉽게 포팅할 수 있습니다."라고 설명합니다. "AI 가속기를 제어하기 위해 몇 줄의 코드를 추가해야 하지만, 데이터 정의, 모델링, 교육 또는 추론 과정에서 호환성 문제는 발견되지 않습니다. 연구원들에게 가장 큰 장점은 가성비가 높은 컴퓨터를 사용하여 학술 논문을 통해 발표된 새로운 모델을 즉시 사용해 볼 수 있다는 것입니다."
탁월한 가속화: 단백질 2차 구조의 22% 더 빠른 예측, 의료 영상 기반 18% 가속화된 질병 패턴 분류2
Taneishi 씨는 Habana Gaudi AI 프로세서를 사용하여 2개 영역에서 딥 러닝 교육을 평가했습니다. 하나는 언어 모델인 BERT-Large로 단백질의 2차 구조를 예측하는 것이었고 다른 하나는 컴퓨터 비전 모델인 CheXNet을 사용한 흉부 엑스레이 장애 분류였습니다.
단백질의 2차 구조를 예측하기 위해 3D 구조 예측의 첫 번째 단계에서 DL 모델을 교육했습니다. 미리 결정된 단백질 구조가 담긴 데이터베이스에 입력으로 단백질 패밀리를 구성하는 20개의 아미노산 잔기가 사용되었고 그 결과 2차 구조 서열의 추론이 발생했습니다. 테스트 결과, Habana Gaudi AI 프로세서를 사용한 모델 훈련 시에는 반복당 4.6초밖에 걸리지 않은 것으로 나타났습니다. V100 GPU의 5.9초보다 22% 더 빠른 수치입니다(그림 1 참조).
그림 1. 단백질의 2차 구조 예측
CheXNet을 사용한 장애 분류에서는 환자 30,805명으로부터 받은 112,120개 흉부 엑스레이 이미지로 구성된 데이터세트를 입력하여 폐렴 등의 증상이 발생하는 유형과 위치를 추론했습니다. Habana Gaudi AI 프로세서는 반복당 859.1초를 기록하여 V100 GPU의 1,047.7초에 비해 18% 더 빠른 교육 결과를 보였습니다(그림 2 참조). 또한, 분산 데이터와 병렬 실행되는 Habana Gaudi AI 프로세서는 단일 노드 내에서 더 낮은 오버헤드와 더 높은 확장성을 보장합니다.
그림 2. 흉부 엑스레이 이미지에서의 장애 분류
Habana® Gaudi®2 AI 프로세서에 대한 더 높은 기대치, 이전 세대보다 최대 3배 높은 성능 제공3
AI 약물 발견의 미래를 발전시키기 위해 Taneishi 씨는 현재 아미노산 잔기 사이의 거리를 식별하는 분자 동역학(MD) 궤적에서 AI 모델을 훈련하여 변형을 감지하면서 단백질 내 리간드 결합의 존재로 발생하는 3D 구조적 및 기능적 변화에 대한 더 깊은 이해를 제공하기 위해 노력하고 있습니다. Taneishi 씨는 의료 AI 분야에서 방대한 양의 복잡한 데이터(전자 의료 기록, 의료 영상, 게놈 및 환자 수만 명의 라이프스타일 포함)를 사용할 수 있게 됨에 따라 의료 영상 외에도 다중 모델 데이터를 통한 모델링 분야에서 연구를 진행할 계획입니다.
인텔은 2022년 5월, 2세대 Habana® Gaudi®2 AI 프로세서를 발표했습니다. 이 제품군의 최신작은 향상된 계산 효율성을 자랑하며 프로세스 노드를 16nm에서 7nm로 축소하였고 전작보다 3배 많은 24개의 TPC를 제공합니다. 또한, 이 2세대 프로세서는 1세대보다 3배 더 많은 96GB의 메모리를 갖추었으며 GbE 포트 수가 10개에서 24개로 증가하여 네트워킹이 상당히 향상되었습니다. 이러한 개선 사항은 엄청난 성능 향상을 제공합니다. A100 GPU에 비해 ResNet-50 교육 처리량에서 약 2배 더 나은 성능을 제공하고4 1세대 Gaudi보다 3~4.7배 더 나은 성능을 제공합니다3.
"더 많은 개발자들이 Habana Gaudi 및 Gaudi2 AI 프로세서를 선택할수록 더 많은 모델과 프레임워크를 지원하게 되어 Habana Gaudi2 AI 프로세서의 배포와 관련된 장벽이 사라질 수 있습니다."라고 Taneishi 씨는 말합니다. "클라우드 환경을 위한 더 강력하고 사용하기 쉬운 서비스가 등장하고 있어요. 꼭 사용해보고 싶습니다."