OpenVINO™를 사용하여 히트맵을 생성하는 방법

OpenVINO™ 사용하여 레이어별 관련성 전파 또는 Grad-CAM과 같은 히트맵 생성 기술을 구현할 수 있습니까?

히트맵은 신경망의 의사 결정 과정을 시각화하는 데 사용할 수 있습니다.

OpenVINO™에서 히트맵을 생성하려면 다음을 수행해야 합니다.

1. 목표 컨벌루션 계층의 출력 특징 맵과 이에 대응하는 가중치에 액세스합니다.

   참고	이 작업은 OpenVINO™ 2.0+ API에서 네트워크를 초기화할 때 model.add_outputs() 함수 호출을 통해 수행할 수 있습니다(더 이상 사용되지 않는 CNNNetwork: addOutput() 대체).

2. 추론을 실행한 후 기능 맵을 사용하여 가중치의 가중치 합계를 계산 하여 클래스 활성화 맵을 생성합니다.

3. Grad-CAM 구현의 경우 기능 맵에 대한 대상 클래스의 그라데이션을 계산 한 다음 그라디언트에 기능 맵을 곱 합니다.

4. 적용 ReLU 활성화를 통해 음수 값을 제거하고 결과 히트맵을 정규화합니다 .

5. 입력 이미지 크기와 일치하도록 히트맵의 크기를 조정하고 시각화를 위해 원본 이미지에 오버레이합니다.

추가 단계:

• model.get_ops() 사용하여 사용 가능한 도면층 이름을 식별합니다.
• 더 나은 시각화를 위해 색상 매핑(예: cv2.COLORMAP_JET)을 적용합니다.
• 시각화하기 전에 0-1 사이의 히트맵 값을 정규화합니다.