OpenVINO™ 툴킷의 인텔® Distribution

새로운 기능

• 코드 변경을 최소화하기 위한 더 많은 Gen AI 적용 범위 및 프레임워크 통합
  • 지원되는 새 모델: Phi-4-mini-reasoning, AFM-4.5B, Gemma-3-1B-it, Gemma-3-4B-it 및 Gemma-3-12B.
  • NPU 지원 추가: Qwen3-1.7B, Qwen3-4B 및 Qwen3-8B.
  • NPU에 최적화된 LLM은 이제 OpenVINO Hugging Face 컬렉션에서 사용할 수 있습니다.
  • 미리보기: 인텔® Core™ Ultra 프로세서 및 Windows 기반 AI PC는 이제 Windows* ML용 OpenVINO™ 실행 공급자를 활용하여 Windows*에서 고성능의 기성 시작 환경을 제공할 수 있습니다.
• 광범위한 LLM 모델 지원 및 더 많은 모델 압축 최적화 기술
  • NPU 플러그인은 향상된 LLM 성능을 위해 최대 8K 토큰, 동적 프롬프트 및 동적 LoRA의 더 긴 컨텍스트에 대한 지원을 추가합니다.
  • NPU 플러그인은 이제 모델을 배치 크기 1로 재구성하고 여러 추론 요청을 동시에 관리하여 성능을 향상시키고 메모리 사용률을 최적화하여 동적 배치 크기를 지원합니다.
  • 내장 및 개별 그래픽 모두에서 GenAI 모델의 정확도 향상은 기존 KV 캐시/토큰 압축 방법 외에도 채널당 키 캐시 압축 기술의 구현을 통해 달성되었습니다.
  • OpenVINO™ GenAI는 검색 관련성 및 RAG 파이프라인 정확도를 개선하기 위해 TextRerankPipeline을 도입하고, 사전 정의된 형식을 준수하면서 응답 안정성 및 함수 호출을 개선하기 위해 구조화된 출력을 도입했습니다.
• 에지, 클라우드 또는 로컬에서 AI를 실행할 수 있는 향상된 이동성 및 성능
  • 인텔® Arc™ Pro B-시리즈(B50 및 B60)에 대한 지원을 발표합니다.
  • 미리보기: OpenVINO GenAI에 대해 GGUF를 지원하는 Hugging Face 모델은 이제 DeepSeek Distill, Qwen2, Qwen2.5 및 Llama 3와 같은 인기 있는 LLM 모델 아키텍처에 대한 OpenVINO™ Model Server에서 지원됩니다. 이 기능은 메모리 공간을 줄이고 GenAI 워크로드를 위한 통합을 간소화합니다.
  • 안정성과 툴 호출 정확도가 향상된 OpenVINO™ Model Server는 AI PC에서 에이전트 AI 사용 사례에 대한 지원을 강화하는 동시에 Intel CPU, 내장 GPU 및 NPU의 성능을 향상시킵니다.
  • 이제 ONNX 모델용 NNCF(신경망 압축 프레임워크)에서 지원되는 int4 데이터 인식 가중치 압축은 정확성을 유지하면서 메모리 공간을 줄이고 리소스가 제한된 환경에서 효율적인 배포를 가능하게 합니다.

모든 세부 정보를 확인하십시오. 2025.3 릴리스 정보를 참조하십시오.

설치 지침

운영 체제에 따라 아카이브*에서 OpenVINO™ 런타임을 설치하는 방법을 선택할 수 있습니다.

• Linux*에서 OpenVINO 런타임 설치
• Windows*에서 OpenVINO 런타임 설치
• macOS*에 OpenVINO 런타임 설치

다운로드 패키지(아카이브 파일)에 포함된 내용

• C/C++ 및 Python API 모두 제공
• 또한 코드 샘플이 포함되어 있습니다.

유용한 링크

참고: 링크가 새 창에서 열립니다.

• 홈페이지
• 다운로드
• 모든 문서, 가이드 및 리소스
• OpenVINO 노트북
• 릴리스 정보
• 커뮤니티 포럼
• GitHub*에서 문제 제출