Intel OpenVINO 내보내기

이 가이드에서는 내보내기에 대해 다룹니다. YOLO11 최대 3배의 CPU 속도 향상을 제공할 수 있는 OpenVINO 형식으로 모델을 가속화합니다. YOLO 추론 Intel GPU 및 NPU 하드웨어.

OpenVINO오픈 시각적 추론 및 신경망 최적화 툴킷의 줄임말로, AI 추론 모델을 최적화하고 배포하기 위한 종합적인 툴킷입니다. 이름에 Visual이 포함되어 있지만 OpenVINO 은 언어, 오디오, 시계열 등 다양한 추가 작업도 지원합니다.

Watch: 추론을 위해 Ultralytics YOLOv8 모델을 내보내고 최적화하는 방법 OpenVINO.

사용 예

YOLO11n 모델을 다음으로 내보내기 OpenVINO 내보낸 모델을 포맷하고 추론을 실행합니다.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

내보내기 인수

내보내기 프로세스에 대한 자세한 내용은 내보내기 관련 문서 페이지(Ultralytics )를 참조하세요.

다음과 같은 이점이 있습니다. OpenVINO

1. 성능: OpenVINO 는 Intel CPU, 통합형 및 개별형 GPU, FPGA의 성능을 활용하여 고성능 추론을 제공합니다.
2. 이기종 실행 지원: OpenVINO 은 한 번 작성하여 지원되는 모든 Intel 하드웨어(CPU, GPU, FPGA, VPU 등)에 배포할 수 있는 API를 제공합니다.
3. 모델 옵티마이저: OpenVINO 는 PyTorch 과 같은 인기 있는 딥 러닝 프레임워크에서 모델을 가져오고, 변환하고, 최적화하는 모델 옵티마이저를 제공합니다, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, 및 Caffe.
4. 사용 편의성: 툴킷에는 툴킷의 다양한 측면을 알려주는 80개 이상의 튜토리얼 노트북 ( YOLOv8 최적화 포함)이 포함되어 있습니다.

OpenVINO 내보내기 구조

모델을 OpenVINO 형식으로 내보내면 다음이 포함된 디렉터리가 생성됩니다:

1. XML 파일입니다: 네트워크 토폴로지를 설명합니다.
2. BIN 파일: weights and biases 바이너리 데이터를 포함합니다.
3. 매핑 파일: 원본 모델 출력 텐서를 OpenVINO tensor 이름으로 매핑합니다.

이러한 파일을 사용하여 OpenVINO 추론 엔진으로 추론을 실행할 수 있습니다.

배포에서 OpenVINO 내보내기 사용

모델이 성공적으로 내보내지면 OpenVINO 형식에 따라 추론을 실행하기 위한 두 가지 기본 옵션이 있습니다.

1. 사용 ultralytics 고수준 API를 제공하고 래핑하는 패키지 OpenVINO 실행 시간.

2. 네이티브를 사용하세요 openvino 추론 동작에 대한 보다 고급 또는 사용자 정의 제어를 위한 패키지입니다.

추론 Ultralytics

그만큼 ultralytics 패키지를 사용하면 내보낸 것을 사용하여 쉽게 추론을 실행할 수 있습니다. OpenVINO predict 메서드를 통해 모델을 생성합니다. 대상 장치(예: intel:gpu, intel:npu, intel:cpu) 장치 인수를 사용합니다.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

이 접근 방식은 추론 파이프라인을 완벽하게 제어할 필요가 없을 때 빠른 프로토타입 제작이나 배포에 이상적입니다.

추론 OpenVINO 실행 시간

그만큼 openvino 런타임은 지원되는 모든 항목에 대한 추론을 위한 통합 API를 제공합니다. Intel 하드웨어. 또한 부하 분산과 같은 고급 기능도 제공합니다. Intel 하드웨어 및 비동기 실행. 추론 실행에 대한 자세한 내용은 YOLO11 노트북을 참조하세요.

런타임에서 모델을 올바르게 설정하고 사용하려면 XML 및 BIN 파일은 물론 입력 크기, 정규화를 위한 배율 등 애플리케이션별 설정이 필요하다는 점을 기억하세요.

배포 애플리케이션에서는 일반적으로 다음 단계를 수행합니다:

1. 다음을 생성하여 OpenVINO 초기화 core = Core().
2. 를 사용하여 모델을 로드합니다. core.read_model() 메서드를 사용합니다.
3. 다음을 사용하여 모델을 컴파일합니다. core.compile_model() 함수입니다.
4. 입력(이미지, 텍스트, 오디오 등)을 준비합니다.
5. 다음을 사용하여 추론을 실행합니다. compiled_model(input_data).

자세한 단계와 코드 스니펫은 OpenVINO 문서 또는 API 튜토리얼을 참조하세요.

OpenVINO YOLO11 벤치마크

그만큼 Ultralytics 팀 벤치마킹 YOLO11 다양한 모델 형식과 정밀도 에 걸쳐 속도와 정확도를 평가합니다. Intel 호환되는 장치 OpenVINO .

Intel 핵심 CPU

인텔® 코어® 시리즈는 Intel 의 고성능 프로세서 제품군입니다. 라인업에는 코어 i3(보급형), 코어 i5(중급형), 코어 i7(고급형) 및 코어 i9(극한의 성능)이 포함됩니다. 각 시리즈는 일상적인 작업부터 까다로운 전문 워크로드까지 다양한 컴퓨팅 요구 사항과 예산을 충족합니다. 새로운 세대가 나올 때마다 성능, 에너지 효율성 및 기능이 개선됩니다.

아래 벤치마크는 12세대 Intel® Core® i9-12900KS에서 실행되었습니다. CPU FP32 정밀도.

인텔® 코어™ 울트라

인텔® 코어™ 울트라™ 시리즈는 게이머, 크리에이터부터 AI를 활용하는 전문가에 이르기까지 현대 사용자의 끊임없이 변화하는 요구를 충족하도록 설계된 고성능 컴퓨팅의 새로운 기준을 제시합니다. 이 차세대 라인업은 기존의 CPU 시리즈; 강력한 결합 CPU 코어, 통합 고성능 GPU 다양한 기능과 전용 신경 처리 장치(NPU)를 단일 칩에 탑재하여 다양하고 집약적인 컴퓨팅 워크로드에 대한 통합 솔루션을 제공합니다.

Intel® Core Ultra™ 아키텍처의 핵심은 기존 처리 작업 전반에 걸쳐 뛰어난 성능을 구현하는 하이브리드 디자인입니다. GPU - 가속화된 워크로드 및 AI 기반 운영. NPU를 포함하면 온디바이스 AI 추론이 향상되어 다양한 애플리케이션에서 더 빠르고 효율적인 머신 러닝 및 데이터 처리가 가능해집니다.

Core Ultra™ 제품군은 다양한 성능 요구에 맞춰 설계된 다양한 모델로 구성되어 있으며, 에너지 효율적인 디자인부터 "H" 표시가 있는 고전력 모델까지 다양한 옵션을 제공합니다. 강력한 컴퓨팅 성능을 요구하는 노트북 및 소형 폼팩터에 이상적입니다. 모든 라인업에서 사용자는 다음과 같은 시너지 효과를 누릴 수 있습니다. CPU , GPU , NPU 통합으로 뛰어난 효율성, 반응성, 멀티태스킹 기능을 제공합니다.

의 일부로서 Intel 의 지속적인 혁신을 통해 Core Ultra™ 시리즈는 미래 지향적인 컴퓨팅의 새로운 기준을 제시합니다. 다양한 모델이 출시되었으며, 앞으로도 더 많은 모델이 출시될 예정인 이 시리즈는 Intel 차세대 지능형 AI 강화 기기를 위한 최첨단 솔루션을 제공하겠다는 약속입니다.

아래 벤치마크는 FP32 및 INT8 정밀도의 Intel® Core™ Ultra™ 7 258V에서 실행되었습니다.

인텔® 코어™ 울트라™ 7 258V

벤치마크

통합 인텔® 아크™ GPU인텔® 메테오 레이크 CPU통합 인텔® AI 부스트 NPU

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6112	19.59
YOLO11n	OpenVINO	INT8	✅	3.3	0.6219	14.43
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7414	16.274
YOLO11s	OpenVINO	INT8	✅	9.8	0.7086	19.436
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.281
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	18.69
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	31.90
YOLO11l	OpenVINO	INT8	✅	25.7	0.7376	25.64
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	45.12
YOLO11x	OpenVINO	INT8	✅	55.9	0.8156	32.57

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6082	30.21
YOLO11n	OpenVINO	INT8	✅	3.3	0.6256	17.98
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7400	81.09
YOLO11s	OpenVINO	INT8	✅	9.8	0.7488	41.04
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	204.31
YOLO11m	OpenVINO	INT8	✅	20.2	0.7504	109.51
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7249	319.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.7318	136.44
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	742.98
YOLO11x	OpenVINO	INT8	✅	55.9	0.819	288.02

모델	형식	정밀도	상태	크기(MB)	metrics/mAP50-95(B)	추론 시간(ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6096	11.58
YOLO11n	OpenVINO	INT8	✅	3.3	0.6380	12.60
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7430	15.15
YOLO11s	OpenVINO	INT8	✅	9.8	0.744	21.22
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	32.92
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	43.15
YOLO11l	OpenVINO	INT8	✅	25.7	0.7313	42.27
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	74.33
YOLO11x	OpenVINO	INT8	✅	55.9	0.8211	59.41

결과 재현

모든 내보내기 형식에서 위의 Ultralytics 벤치마크를 재현하려면 다음 코드를 실행하세요:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

결론

벤치마킹 결과는 수출의 이점을 명확히 보여줍니다. YOLO11 모델에 OpenVINO 형식입니다. 다양한 모델과 하드웨어 플랫폼에서 OpenVINO 이 형식은 비슷한 정확도를 유지하면서 추론 속도 측면에서 다른 형식보다 지속적으로 우수한 성능을 보입니다.

이 벤치마크는 딥러닝 모델을 배포하는 도구로서 OpenVINO 의 효율성을 강조합니다. 개발자는 모델을 OpenVINO 형식으로 변환함으로써 상당한 성능 향상을 달성할 수 있으며, 실제 애플리케이션에 이러한 모델을 더 쉽게 배포할 수 있습니다.

OpenVINO 사용에 대한 자세한 정보와 지침은 공식 OpenVINO 문서를 참조하세요.

자주 묻는 질문

어떻게 내보내나요? YOLO11 모델에 OpenVINO 체재?

수출 YOLO11 모델에 OpenVINO 형식은 크게 향상될 수 있습니다 CPU 속도 및 활성화 GPU 및 NPU 가속 Intel 하드웨어. 내보내려면 다음 중 하나를 사용할 수 있습니다. Python 또는 CLI 아래와 같이 표시됩니다.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

자세한 내용은 내보내기 형식 문서를 참조하세요.

사용의 이점은 무엇입니까? OpenVINO ~와 함께 YOLO11 모델?

사용 중 Intel '에스 OpenVINO 툴킷 포함 YOLO11 모델은 여러 가지 이점을 제공합니다.

1. 성능: CPU 추론에서 최대 3배의 속도 향상을 달성하고 Intel GPU 및 NPU를 가속에 활용하세요.
2. 모델 옵티마이저: PyTorch , TensorFlow, ONNX 과 같은 인기 있는 프레임워크에서 모델을 변환, 최적화 및 실행합니다.
3. 사용 편의성 : 사용자가 시작하는 데 도움이 되는 80개 이상의 튜토리얼 노트북이 제공됩니다. YOLO11 .
4. 이기종 실행: 통합 API를 사용하여 다양한 Intel 하드웨어에 모델을 배포하세요.

자세한 성능 비교는 벤치마크 섹션에서 확인하세요.

어떻게 추론을 실행할 수 있습니까? YOLO11 모델이 다음으로 내보내짐 OpenVINO ?

YOLO11n 모델을 내보낸 후 OpenVINO 형식을 사용하면 추론을 실행할 수 있습니다. Python 또는 CLI :

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

자세한 내용은 예측 모드 설명서를 참조하세요.

왜 선택해야 하나요? Ultralytics YOLO11 다른 모델보다 OpenVINO 내보내다?

Ultralytics YOLO11 높은 정확도와 속도로 실시간 객체 감지에 최적화되어 있습니다. 특히, OpenVINO , YOLO11 제공합니다:

• Intel CPU에서 최대 3배 속도 향상
• Intel GPU 및 NPU에서 원활한 배포
• 다양한 내보내기 형식에서 일관되고 비교 가능한 정확도 제공

심층적인 성능 분석을 위해 다양한 하드웨어에 대한 자세한 YOLO11 벤치마크를 확인하세요.

벤치마킹이 가능한가요? YOLO11 다양한 형식의 모델 PyTorch , ONNX , 그리고 OpenVINO ?

네, 벤치마킹을 할 수 있습니다 YOLO11 다양한 형식의 모델 포함 PyTorch , TorchScript , ONNX , 그리고 OpenVINO 다음 코드 조각을 사용하여 선택한 데이터 세트에 대한 벤치마크를 실행하세요.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

자세한 벤치마크 결과는 벤치마크 섹션과 내보내기 형식 문서를 참조하세요.

📅1 년 전 생성됨 ✏️ 1 일 전 업데이트됨

댓글