문서 ID: 000088030 콘텐츠 형태: 문제 해결 마지막 검토일: 2023-05-15

모델에 다른 가중치를 적용하는 것이 추론 성능에 영향을 미치는 이유는 무엇입니까?

BUILT IN - ARTICLE INTRO SECOND COMPONENT
요약

다양한 데이터 및 중량 형식 사용의 트레이드 오프

설명
  1. 두 개의 IR 파일 생성(동일한 .xml 파일이지만 다른 .bin 파일)
  2. 무게가 다른 유사한 모델은 다른 fps(27fps 및 6fps)에서 실행됩니다.
  3. 더 다양한 가중치가 Myriad X의 추론 성능에 영향을 미칩니까?
해결 방법

모델 무게와 정밀도(FP32, FP16, INT8)는 추론 성능에 영향을 줍니다.

FP32 형식을 사용하면 전체 중량 분포가 발생하며 단일 정밀 부동 지점으로 알려져 있습니다.

한편, FP16 및 INT8 형식은 모두 압축된 중량 형식으로 크기가 작아지도록 압착됩니다. 이러한 압축의 단점은 모델의 정확도 또는 Quantization Error라고도 합니다.

데이터를 나타내기 위해 할당된 비트가 많을수록 더 넓은 범위와 잠재적으로 모델의 정확도가 높아질 수 있습니다. 그러나 더 큰 데이터는 스토리지를 위한 더 큰 메모리 공간, 이를 전송하는 데 필요한 더 높은 메모리 대역폭, 더 많은 컴퓨팅 리소스와 사용 시간이 필요합니다.

OpenVINO™ 툴킷의 인텔® 배포 벤치마크 결과는 서로 다른 무게 형식 또는 정밀도 간의 성능 측면에서 명백한 차이를 묘사합니다.

관련 제품

이 문서는 다음 항목에 적용됩니다. 2 제품

이 페이지의 콘텐츠는 원본 영어 콘텐츠에 대한 사람 번역 및 컴퓨터 번역의 조합으로 완성되었습니다. 이 콘텐츠는 편의와 일반적인 정보 제공을 위해서만 제공되었으며, 완전하거나 정확한 것으로 간주되어선 안 됩니다. 이 페이지의 영어 버전과 번역 간 모순이 있는 경우, 영어 버전이 우선적으로 적용됩니다. 이 페이지의 영어 버전을 확인하십시오.