인텔® FPGA AI Suite
인텔® FPGA AI 제품군이 임베디드 시스템 및 데이터 센터에 FPGA AI를 추가하는 방법을 확인해 보십시오.
개요
인텔 FPGA는 다음과 같은 이점과 함께 실시간, 짧은 대기 시간 및 저전력 딥 러닝 추론을 활성화합니다.
- I/O 유연성
- 재구성
- 사용자 지정 플랫폼에 쉽게 통합
- 긴 수명
인텔 FPGA AI 제품군은 인텔 FPGA에 대한 인공 지능(AI) 추론의 사용 편의성을 비전으로 개발되었습니다. 이 제품군을 통해 FPGA 설계자, 머신 러닝 엔지니어 및 소프트웨어 개발자 모두가 최적화된 FPGA AI 플랫폼을 효율적으로 만들 수 있습니다.
인텔 FPGA AI Suite의 유틸리티는 TensorFlow나 PyTorch 및 OpenVINO 툴킷처럼 익숙하고 널리 사용되는 업계 프레임워크를 이용하여 AI 추론을 위한 FPGA 개발 속도를 높이는 한편, 인텔 Quartus Prime 소프트웨어로 강력하고 검증된 FPGA 개발 흐름을 활용합니다.
인텔 FPGA AI 제품군 도구 플로우는 오픈 소스 프로젝트인 OpenVINO 툴킷과 함께 다양한 하드웨어 아키텍처에 대한 추론을 최적화합니다. OpenVINO 툴킷은 모든 주요 딥 러닝 프레임워크(예: TensorFlow, PyTorch, Keras)에서 딥 러닝 모델을 가져와 다양한 CPU, CPU+GPU, FPGA를 비롯한 여러 하드웨어에 대한 추론을 위해 최적화합니다.
인텔 FPGA AI 제품군이 임베디드 시스템 및 데이터 센터에 FPGA AI를 추가하는 방법을 확인해 보십시오. 가격 및 구매 가능 여부는 인텔 영업팀에 문의하십시오 ›
지금 바로 시작하십시오
FPGA가 AI 구현에 특히 적합한 이유
이 백서에서 인텔® FPGA AI 제품군 및 OpenVINO 툴킷을 탑재한 인텔® FPGA 및 SoC가 임베디드/에지 AI/머신 러닝 애플리케이션을 어떻게 구동하는지 알아보십시오.
백서 읽기
사용자 후기
"인텔® FPGA AI 제품군 및 OpenVINO™ 툴킷의 인텔® 배포 사용 편의성으로 Stryker는 딥 러닝 추론에 최적화된 인텔® FPGA IP를 개발할 수 있었습니다. 추론 IP는 인텔® Quartus® Prime 소프트웨어를 사용하여 인텔® FPGA에 성공적으로 통합되었습니다. 제품군과 함께 제공되는 예제 설계를 통해 저희 팀은 다양한 이미지 소스에 대한 여러 알고리즘을 빠르게 평가할 수 있었습니다. 인텔® FPGA AI 제품군 및 OpenVINO™ 툴킷의 인텔® 배포를 통해 데이터 과학자와 FPGA 엔지니어들은 서로 원활하게 협력하여 의료 애플리케이션에 대한 최적화된 딥 러닝 추론을 개발할 수 있었습니다." — Stryker 엔지니어링 팀
주요 기능
고성능
인텔® Agilex™ 7 FPGA M-시리즈는 이론상 최대 성능인 38 INT8 TOPS 또는 FPGA 사용률 90%에서 초당 3,679개의 Resnet-50 프레임을 달성할 수 있습니다.
쉬운 시스템 통합
ADC/DAC, 비디오, 이더넷과 같은 사용자 지정 IP와의 통합을 지원하여 최소 설치 공간과 최저 대기 시간을 달성합니다.
총 소유 비용(TCO) 절감
광범위한 성능 및 배치 규모에 대해 확장성이 뛰어나고 맞춤화가 가능하며 세분화된 AI 추론으로 TCO를 최소화합니다.
간단한 표준 흐름
인텔 Quartus Prime 소프트웨어 또는 플랫폼 디자이너와 함께 현재 또는 새로운 FPGA 디자인에 AI 추론 IP를 생성하고 추가합니다.
AI 프론트엔드 지원
TensorFlow, Caffe, Pytorch, MXNet, Keras, ONNX와 같이 선호하는 AI 프론트엔드를 사용하십시오.
OpenVINO 최적화
OpenVINO 툴킷은 로직과 메모리 공간을 최소화하면서 성능과 전력을 최적화합니다.
FPGA AI 추론 개발 흐름
AI 추론 개발 흐름은 그림 1에 나와 있습니다. 이 흐름은 하드웨어와 소프트웨어 워크플로를 일반적인 엔드투엔드 AI 워크플로로 원활하게 결합합니다. 단계는 다음과 같습니다.
1. OpenVINO 툴킷의 모델 옵티마이저는 중간 표현 네트워크 파일(.xml)과 가중치 및 편향 파일(.bin)을 생성합니다.
2. 인텔 FPGA AI 제품군 컴파일러는 다음과 같은 용도로 사용됩니다.
- 지정된 아키텍처 파일에 대한 예상 영역 또는 성능 메트릭을 제공하거나 최적화된 아키텍처 파일을 생성합니다. (아키텍처는 PE 배열의 크기, 정밀도, 활성화 기능, 인터페이스 너비, 창 크기 등과 같은 추론 IP 매개변수를 의미합니다.)
- 네트워크 파일을 가중치 및 편향과 함께 FPGA와 CPU(또는 둘 다)에 대해 네트워크 파티션이 있는 bin 파일로 컴파일합니다.
3. 컴파일된 .bin 파일은 런타임 시 사용자 추론 응용 프로그램이 가져옵니다.
- 런타임 응용 프로그램 프로그래밍 인터페이스(API)는 추론 엔진 API(런타임 파티션 CPU 및 FPGA, 일정 추론) 및 FPGA AI(DDR 메모리, FPGA 하드웨어 블록)를 포함합니다.
- 참조 디자인은 호스트 CPU(x86 및 Arm 프로세서)를 지원하는 FPGA에서 .bin을 가져오고 추론을 실행하는 기본 작업을 보여줍니다.
그림 1: 인텔 FPGA AI 제품군 개발 흐름
참고:
지원되는 장치: 인텔® Agilex™ 7 FPGA, 인텔® Cyclone® 10 GX FPGA, 인텔® Arria® 10 FPGA
테스트된 네트워크, 레이어 및 활성화 기능1:
- ResNet-50, MobileNet v1/v2/v3, YOLO v3, TinyYOLO v3, UNET, i3d
- 2D Conv, 3D Conv, Fully Connected, Softmax, BatchNorm, EltWise Mult, Clamp
- ReLU, PReLU
시스템 레벨 아키텍처
인텔 FPGA AI 제품군은 다양한 시스템 레벨 사용 사례에 맞게 유연하게 구성할 수 있습니다. FPGA AI 제품군 IP를 시스템에 통합하는 일반적인 방법은 그림 2에 나와 있습니다. 사용 사례는 호스트 CPU(인텔® 코어™ 프로세서, Arm 프로세서)를 탑재한 애플리케이션부터 인텔® 제온® 프로세서를 탑재한 데이터 센터 환경, 호스트가 없는 애플리케이션(또는 Nios® V 프로세서와 같은 소프트 프로세서)에 이르기까지 최적화된 임베디드 플랫폼의 다양한 분야에 걸쳐 있습니다.
그림 2: 일반적인 인텔 FPGA AI 제품군 시스템 토폴로지
CPU 오프로드
AI 가속기
다기능 CPU 오프로드
AI 가속기 + 추가 하드웨어 기능
Ingest / Inline Processing + AI
AI 가속기 + Direct Ingest 및 데이터 스트리밍
임베디드 SoC FPGA + AI
AI 가속기 + Direct Ingest 및 데이터 스트리밍 + 하드웨어 기능 +
임베디드 Arm 또는 Nios® II 또는 Nios V 프로세서
데모 비디오
인텔 FPGA AI 제품군 개요
이 비디오를 시청하고 인텔 FPGA AI 제품군의 설계 흐름을 이해하십시오.
인텔® FPGA AI 제품군 설치 데모 비디오
인텔 FPGA AI 제품군 설치는 간단합니다. 데모 설치는 이 비디오를 시청하십시오.
인텔® FPGA AI 제품군 컴파일 데모 비디오
RESNET-50 사전 학습된 모델 및 출력 추론 결과를 컴파일하는 인텔 FPGA AI 제품군의 빠른 데모를 시청하십시오.
인텔® Agilex™ FPGA 보드 설치 및 보드 소개 데모 비디오
이 빠른 튜토리얼은 인텔 FPGA AI 제품군을 사용하기 위해 인텔® Agilex™ 7 FPGA를 쉽게 불러오고 프로그래밍하는 방법을 안내합니다.
인텔® FPGA AI 제품군 PCIe 설계 예제
이 비디오는 인텔 FPGA AI 제품군의 일부 기능을 소개합니다.