인텔® Gaudi® 2 AI 가속기
GenAI 및 LLM을 위한 고성능 가속화.
인텔® Gaudi® 2 AI 가속기
딥 러닝 가격 대비 성능을 향상하고 있는 인텔® Gaudi® 2 AI 가속기
또한 최대 규모의 언어 및 다중 모달 모델부터 기본적인 컴퓨터 비전 및 NLP 모델까지 최첨단 모델을 훈련하고 실행하는 운영 효율성을 제고합니다. 클라우드에서나 데이터 센터에서 효율적인 확장성을 제공하도록 설계된 인텔 Gaudi 2 가속기는 그 어느 때보다 AI 산업에 필요한 선택지를 제공합니다.
인텔® Gaudi® 2 아키텍처 기능:
입증된 1세대 인텔 Gaudi 설계 기반을 토대로 제작
- 7nm 프로세스 기술
- 이기종 컴퓨팅
- 텐서 프로세서 코어 24개
- 듀얼 행렬 곱셈 엔진
- 100기가비트 이더넷 온칩 24개
- 96GB HBM2E 메모리 온보드
- 48MB SRAM
- 통합 미디어 제어
Gen AI 성능을 위한 Nvidia H100의 유일한 벤치마크 대안으로 남은 인텔® Gaudi® 2 AI 가속기
각각 2023년 12월과 2024년 3월에 발표된 최신 MLPerf Training 3.1과 추론 4.0 벤치마크를 기반으로 하는 인텔 Gaudi 2 가속기는 Nvidia H100의 유일한 벤치마킹 대안으로 남아 있습니다.
인텔 Gaudi 2 AI 가속기는 MLPerf 업계 벤치마크 외에도 다른 타사 평가에서 점수를 받았습니다.1
대규모의 유연한 스케일 아웃을 지원하는 인텔® Gaudi® 2 AI 가속기
모든 인텔 Gaudi 2 AI 가속기에 통합된 24개의 100기가비트 이더넷(RoCEv2) 포트를 통해, 고객은 인텔 Gaudi 2 AI 가속기의 성능을 한 대에서 수천 대의 가속기로 확장하는 유연하고 비용 효율적인 확장성에서 오는 이점을 누릴 수 있습니다.
8개의 인텔 Gaudi 2 가속기를 장착한 서버 참조 디자인을 아래 이미지에서 확인하십시오.
인텔 Gaudi 2 AI 가속기를 사용하여 시스템 규모를 확장하는 데에 관한 자세한 내용은 네트워킹 페이지를 참조하십시오 ›
주요 파트너
Cisco Nexus 9364D-GX2A 스위치는 인텔 Gaudi 2 가속기와 연결하여 대규모 언어 모델(LLM) 훈련, 추론 또는 이와 유사한 생성형 AI 워크로드를 실행할 수 있는 확장형 네트워크를 구축할 수 있습니다.
인텔 Gaudi 2 AI 가속기에서 손쉽게 새 모델 구축 또는 기존 모델 마이그레이션
인텔 Gaudi 플랫폼 성능 및 용이성에 최적화된 인텔 Gaudi 소프트웨어는 개발자가 인텔 Gaudi 소프트웨어를 빠르고 쉽게 시작할 수 있도록 문서, 도구, 사용 방법 콘텐츠 및 참조 모델을 제공합니다.
Hugging Face 허브에서 Habana Optimum Library로 50만 개 이상의 모델을 이용하고 손쉽게 구현하십시오.
자세한 내용은 개발자 사이트를 참조하십시오 ›
제품 및 성능 정보
워크로드 및 구성은 https://habana.ai/habana-claims-validation에서 확인하십시오. 결과는 다를 수 있습니다. https://huggingface.co/blog/habana-gaudi-2-benchmark https://huggingface.co/blog/habana-gaudi-2-bloom