모델에 다른 가중치를 적용하면 추론 성능에 영향을 미치는 이유는 무엇입니까?
콘텐츠 유형: 문제 해결 | 문서 ID: 000088030 | 최종 검토: 2026-03-09
다른 가중치 파일을 사용하여 동일한 모델 아키텍처를 실행할 때 다른 추론 처리량이 관찰되었습니다. 모델 구조는 동일하지만 추론 성능은 사용된 가중치 정밀도와 표현에 따라 크게 달라집니다.
모델 가중치와 정밀도(FP32, FP16, INT8)는 추론 성능에 영향을 미칩니다.
FP32 형식을 사용하면 가중치가 완전히 분산되며 이를 단정밀도 부동 소수점이라고 합니다.
한편, FP16 및 INT8 형식은 모두 크기가 더 작도록 압축된 압축 중량 형식입니다. 이러한 압축의 단점은 양자화 오류라고도 하는 모델의 정확도입니다.
데이터를 나타내기 위해 할당된 비트가 많을수록 표현할 수 있는 범위가 넓어지고 잠재적으로 모델의 정확도가 향상됩니다. 그러나 데이터가 클수록 스토리지에 더 큰 메모리 공간이 필요하고, 데이터를 전송하는 데 더 많은 메모리 대역폭이 필요하며, 더 많은 컴퓨팅 리소스와 시간이 소모됩니다.
OpenVINO™ 툴킷의 인텔® 배포 벤치마크 결과는 서로 다른 중량 형식 또는 정밀도 간의 성능 측면에서 명백한 차이를 보여줍니다.