여러 프로세스를 실행할 때 OpenVINO™ 추론 시간이 늘어남

동일한 모델을 유추하기 위해 두 프로세스를 실행할 때 추론 시간이 두 배가 됩니다.

• OpenVINO™ 사용하여 모델을 유추합니다.
• 추론 시간은 단일 프로세스 실행 시 약 300ms입니다.
• 두 프로세스를 사용할 때 두 프로세스의 추론 시간은 600ms가 됩니다.

1. 응용 프로그램에 다음 구성을 추가합니다.
   Python*: core.set_property("CPU", {ov.properties.hint.enable_cpu_pinning(False)})
   C++ : core.set_property("CPU", ov::hint::enable_cpu_pinning(false));
2. 데모를 빌드합니다.

• 기본값 enable_cpu_pinning property is enabled (true or YES) on Linux* and disabled (false or NO) on Windows* and macOS*.
• Linux에서 기본 설정인 enable_cpu_pinning is enabled, which in some scenarios can cause multiple processes to bind to the same CPU core, potentially doubling inference time.
• 속성을 false unbinds inferencing threads from specific CPU cores, allowing the operating system to schedule threads, which may be beneficial in applications with several parallel workloads.으로 설정

자세한 내용은 성능 힌트 및 스레드 스케줄링 을 참조하십시오.