다양한 데이터 및 중량 형식 사용의 트레이드 오프
- 두 개의 IR 파일 생성(동일한 .xml 파일이지만 다른 .bin 파일)
- 무게가 다른 유사한 모델은 다른 fps(27fps 및 6fps)에서 실행됩니다.
- 더 다양한 가중치가 Myriad X의 추론 성능에 영향을 미칩니까?
모델 무게와 정밀도(FP32, FP16, INT8)는 추론 성능에 영향을 줍니다.
FP32 형식을 사용하면 전체 중량 분포가 발생하며 단일 정밀 부동 지점으로 알려져 있습니다.
한편, FP16 및 INT8 형식은 모두 압축된 중량 형식으로 크기가 작아지도록 압착됩니다. 이러한 압축의 단점은 모델의 정확도 또는 Quantization Error라고도 합니다.
데이터를 나타내기 위해 할당된 비트가 많을수록 더 넓은 범위와 잠재적으로 모델의 정확도가 높아질 수 있습니다. 그러나 더 큰 데이터는 스토리지를 위한 더 큰 메모리 공간, 이를 전송하는 데 필요한 더 높은 메모리 대역폭, 더 많은 컴퓨팅 리소스와 사용 시간이 필요합니다.
OpenVINO™ 툴킷의 인텔® 배포 벤치마크 결과는 서로 다른 무게 형식 또는 정밀도 간의 성능 측면에서 명백한 차이를 묘사합니다.