주요 발표 내용
- 인텔, AI 및 HPC 워크로드 성능을 두 배로 향상시키는 제온 6 P-코어 신제품 출시
- 신규 Gaudi 3 AI 가속기는 라마(LLaMa) 2 70B1의 추론 성능에서 H100 대비 최대 20% 높은 처리량과 2배 더 우수한 가성비(가격 대비 성능) 제공
2024 년 9월 26일 서울 – AI를 통한 업계 혁신이 계속되면서 기업들은 비용 효율적이면서도 빠르게 개발 및 배포할 수 있는 인프라를 필요로 하고 있다. 이러한 요구에 대응하기 위해 인텔은 오늘 제온 6 P-코어(Xeon 6 with Performance-cores)와 Gaudi 3(Gaudi 3) AI 가속기를 출시하며, 최적의 와트(watt)당 성능과 더 낮은 총 소유 비용(TCO)을 제공해 강력한 AI 시스템을 지원하겠다고 밝혔다.
인텔 데이터센터 및 AI 사업 총괄 저스틴 호타드(Justin Hotard) 수석부사장은 "AI에 대한 수요가 데이터센터의 대규모 변화를 이끌고 있으며, 업계는 하드웨어, 소프트웨어, 개발 도구에서 다양한 선택지를 원하고 있다"고 말하며, "제온 6 P-코어 프로세서 및 Gaudi 3 AI 가속기의 출시와 함께, 인텔은 고객들이 더 높은 성능, 효율성, 보안을 갖춘 워크로드를 구현할 수 있도록 개방형 생태계를 지원하고 있다"고 강조했다.
더 보기: 인텔 제온 6 P-코어 및 Gaudi 3 AI 가속기 (프레스 키트) | 인텔 제온 6900 P-core 시리즈를 통한 리더십 성과 (팩트 시트) | 고성능 엔터프라이즈 AI 시스템 및 솔루션의 새로운 시대 (쿼트 시트)
제온 6 P-코어 및 Gaudi 3 AI 가속기 소개
인텔은 데이터 센터 포트폴리오에 두 가지 주요 업데이트를 포함한 최신 AI 인프라스트럭처 지원사항에 대해 발표했다.
- 인텔 제온 6(Intel® Xeon® 6) P-코어: 컴퓨팅 집약적인 워크로드를 탁월한 효율로 처리할 수 있도록 설계된 제온 6는 이전 세대 대비 2배 높은 성능을 제공한다2 코어 수 증가, 메모리 대역폭 2배 증가, 모든 코어에 내장 AI 가속 기능을 갖춘 것이 특징이다. 이 프로세서는 엣지에서 데이터센터 및 클라우드 환경에 이르기까지 AI의 성능 요구를 충족하도록 설계되었다.
- 인텔 Gaudi 3(Intel® Gaudi® 3) AI 가속기: 대규모 생성형 AI에 최적화된 Gaudi 3은 64개의 텐서 프로세서 코어(TPC)와 8개의 행렬 곱셈 엔진(MME)을 통해 심층 신경망 연산을 가속화한다. Gaudi 3은 학습 및 추론 작업을 위한 128GB의 HBM2e 메모리와, 확장 가능한 네트워킹을 위한 24개의 200Gb 이더넷 포트를 갖추고 있다. 또한 파이토치(PyTorch) 프레임워크와 허깅페이스(Hugging Face)의 고급 트랜스포머 및 디퓨전 모델과의 완벽한 호환성을 제공한다. 인텔은 최근 IBM과 협력하여 IBM 클라우드에서 Gaudi 3 AI 가속기를 서비스 방식으로 배포한다고 발표한 바 있다. 이를 통해 인텔과 IBM은 AI를 활용하고 확장하는 데 있어 총 소유 비용을 줄이고 성능을 향상시킬 계획이다.
TCO 절감해 AI 시스템 향상
대규모 AI 배포를 위해서는 유연한 배포 옵션, 경쟁력 있는 가격 대비 성능, 접근 가능한 AI 기술 등을 고려해야 한다. 인텔의 강력한 x86 인프라와 광범위한 개방형 생태계는 기업들이 최적의 TCO와 성능 대 전력비를 갖춘 고부가가치 AI 시스템을 구축할 수 있도록 지원한다. 특히, GPU 가속 서버의 73%가 호스트 CPU로 인텔 제온을 사용하고 있다3.
인텔은 델 테크놀로지스(Dell Technologies), 슈퍼마이크로(Supermicro) 등 주요 OEM 파트너들과 협력하여 고객의 특정 요구에 맞춘 AI 배포 시스템을 공동 설계하고 있다. 델 테크놀로지스는 현재 Gaudi 3과 제온 6을 활용한 RAG 기반 솔루션을 공동 설계 중이다.
인텔은 오늘 2024년 9월 24일 가상 출시 순간에 인텔 Gaudi 3 AI 가속기를 출시했습니다. 가속기는 대규모 생성 AI에 최적화되어 있습니다. (인텔 제공)
인텔은 오늘 2024년 9월 24일 가상 출시 순간에 인텔 Gaudi 3 AI 가속기를 출시했습니다. Gaudi 3 PCIe CEM 더 낮은 전력과 비용으로 Gen AI의 효율성을 높이고 추론, 미세 조정 및 소규모 모델 교육에 이상적입니다. (인텔 제공)
인텔은 오늘 2024년 9월 24일 가상 출시 순간에 인텔 Gaudi 3 AI 가속기를 출시했습니다. Gaudi 3는 all2all 토폴로지에 연결된 8개의 가속기가 있는 UBB의 OAM 폼 팩터 모두에서 사용할 수 있습니다. (인텔 제공)
인텔은 오늘 2024년 9월 24일 가상 출시 순간에 인텔 Gaudi 3 AI 가속기를 출시했습니다. Gaudi 3는 64개의 텐서 프로세서 코어(TPC)와 8개의 행렬 곱셈 엔진(MME)을 자랑하여 심층 신경망 계산을 가속화합니다. (인텔 제공)
인텔은 오늘 2024년 9월 24일 가상 출시 순간에 P-core를 탑재한 인텔 제온 6를 출시했습니다. P-core를 탑재한 제온 6는 AI, HPC, 데이터베이스와 같은 중요한 성장 공간에서 상당한 성능 향상을 제공하도록 고유하게 설계되었습니다. (인텔 제공)
인텔은 오늘 2024년 9월 24일 가상 출시 순간에 P-core를 탑재한 인텔 제온 6를 출시했습니다. 제온 6는 컴퓨팅 집약적인 워크로드를 탁월한 효율성으로 처리하도록 설계되었으며, 제온 6는 이전 제품보다 두 배의 성능을 제공합니다. (인텔 제공)
인텔은 오늘 2024년 9월 24일 가상 출시 순간에 P-core를 탑재한 인텔 제온 6를 출시했습니다. 코어 수 증가, 메모리 대역폭 2배 증가, 모든 코어에 내장된 AI 가속 기능이 특징입니다. 이 프로세서는 에지에서 데이터 센터 및 클라우드 환경에 이르는 AI의 성능 요구 사항을 충족하도록 설계되었습니다. (인텔 제공)
공동 엔지니어링으로 프로토타입에서 생산까지의 격차 해소
생성형 AI(Gen AI) 솔루션을 프로토타입에서 생산 준비가 완료된 시스템으로 전환하는 과정에는 실시간 모니터링, 오류 처리, 로깅, 보안, 확장성 등에 대한 과제가 포함된다. 인텔은 OEM 및 파트너들과의 공동 엔지니어링을 통해 이러한 문제를 해결하며, 생산 준비가 완료된 RAG 솔루션을 제공한다.
OPEA(Open Platform Enterprise AI) 이 솔루션은 오픈 플랫폼 엔터프라이즈 AI(OPEA) 플랫폼을 기반으로 하며, OPEA 기반 마이크로서비스를 통합하여 확장 가능한 RAG 시스템을 구축하고, 제온 및 Gaudi AI 시스템에 최적화되어 고객이 쿠버네티스(Kubernetes), 레드햇 오픈시프트 AI(Red Hat OpenShift AI) 및 레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI)에서 쉽게 애플리케이션을 통합할 수 있도록 설계되었다.
엔터프라이즈 AI 애플리케이션 접근성 확대
인텔의 타이버(Tiber™) 포트폴리오는 AI, 클라우드, 엣지 환경 전반에서 접근성, 비용, 복잡성, 보안, 효율성 및 확장성 문제를 해결하는 비즈니스 솔루션을 제공한다. 인텔 타이버 개발자 클라우드(Intel® Tiber™ Developer Cloud)는 이제 기술 평가 및 테스트를 위한 인텔 제온 6의 미리보기 시스템을 제공한다. 또한, 선별된 고객들은 AI 모델 배포를 검증할 수 있는 인텔 Gaudi 3에 대한 조기 접근 권한을 이용할 수 있으며, Gaudi 3 클러스터는 다음 분기부터 대규모 생산 배포를 위해 출시될 예정이다.
새로운 서비스 제공 사항에는 신뢰할 수 있는 AI 애플리케이션 개발을 위해 시커(Seekr)의 엔드투엔드 AI 플랫폼인 시커플로우(SeekrFlow)가 포함된다. 최신 업데이트에는 새로운 AI 가속 기능과 제온 6 프로세서 지원이 포함된 파이토치 2.4(PyTorch 2.4)와 인텔 oneAPI 및 AI 도구 2024.2가 탑재된 인텔 Gaudi 소프트웨어의 최신 버전과 주피터(Jupyter) 노트북이 지원된다.
1intel.com/processorclaims 참조: 인텔 Gaudi 3. 결과는 달라질 수 있다.
2intel.com/processorclaims: 인텔 제온 6 참조. 결과는 달라질 수 있다.
3출처: IDC 서버 트래커 보고서, Q1'24 시스템 볼륨 기준.