Intel OpenVINO Xuất khẩu

Trong hướng dẫn này, chúng tôi đề cập đến việc xuất khẩu YOLO11 các mô hình theo định dạng OpenVINO , có thể tăng tốc CPU lên đến 3 lần, cũng như tăng tốc YOLO suy luận về Intel Phần cứng GPU và NPU .

OpenVINO , viết tắt của Open Visual Inference & Neural Network Optimization toolkit, là một bộ công cụ toàn diện để tối ưu hóa và triển khai các mô hình suy luận AI. Mặc dù tên có chứa Visual, OpenVINO cũng hỗ trợ nhiều tác vụ bổ sung khác bao gồm ngôn ngữ, âm thanh, chuỗi thời gian, v.v.

Đồng hồ: Làm thế nào để xuất và tối ưu hóa một Ultralytics YOLOv8 Mô hình suy luận với OpenVINO .

Ví dụ sử dụng

Xuất mô hình YOLO11n sang OpenVINO định dạng và chạy suy luận với mô hình đã xuất.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

Xuất khẩu đối số

Để biết thêm chi tiết về quy trình xuất, hãy truy cập trang tài liệu Ultralytics về xuất .

Lợi ích của OpenVINO

1. Hiệu suất : OpenVINO cung cấp suy luận hiệu suất cao bằng cách sử dụng sức mạnh của Intel CPU, GPU tích hợp và rời rạc, và FPGA.
2. Hỗ trợ thực thi không đồng nhất : OpenVINO cung cấp API để viết một lần và triển khai trên bất kỳ hệ điều hành nào được hỗ trợ Intel phần cứng ( CPU , GPU , FPGA, VPU, v.v.).
3. Trình tối ưu hóa mô hình : OpenVINO cung cấp một Trình tối ưu hóa mô hình nhập, chuyển đổi và tối ưu hóa các mô hình từ các khuôn khổ học sâu phổ biến như PyTorch , TensorFlow , TensorFlow Lite, Keras, ONNX , PaddlePaddle và Caffe.
4. Dễ sử dụng : Bộ công cụ đi kèm hơn 80 sổ tay hướng dẫn (bao gồm cả tối ưu hóa YOLOv8 ) hướng dẫn các khía cạnh khác nhau của bộ công cụ.

OpenVINO Cấu trúc xuất khẩu

Khi bạn xuất một mô hình sang OpenVINO định dạng, kết quả sẽ là một thư mục chứa những thông tin sau:

1. Tệp XML : Mô tả cấu trúc mạng.
2. Tệp BIN : Chứa weights and biases dữ liệu nhị phân.
3. Tệp ánh xạ : Lưu trữ ánh xạ của tenxơ đầu ra mô hình gốc tới OpenVINO tensor tên.

Bạn có thể sử dụng các tập tin này để chạy suy luận với OpenVINO Công cụ suy luận.

Sử dụng OpenVINO Xuất trong triển khai

Sau khi mô hình của bạn được xuất thành công sang OpenVINO định dạng, bạn có hai tùy chọn chính để chạy suy luận:

1. Sử dụng ultralytics gói, cung cấp API cấp cao và gói OpenVINO Thời gian chạy.

2. Sử dụng bản địa openvino gói để kiểm soát nâng cao hơn hoặc tùy chỉnh hơn đối với hành vi suy luận.

Suy luận với Ultralytics

Các ultralytics gói cho phép bạn dễ dàng chạy suy luận bằng cách sử dụng đã xuất OpenVINO mô hình thông qua phương pháp dự đoán. Bạn cũng có thể chỉ định thiết bị mục tiêu (ví dụ: intel:gpu, intel:npu, intel:cpu) sử dụng đối số thiết bị.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Phương pháp này lý tưởng cho việc tạo mẫu nhanh hoặc triển khai khi bạn không cần kiểm soát hoàn toàn quy trình suy luận.

Suy luận với OpenVINO Thời gian chạy

Các openvino Runtime cung cấp một API thống nhất để suy luận trên tất cả các hỗ trợ Intel phần cứng. Nó cũng cung cấp các khả năng tiên tiến như cân bằng tải trên Intel phần cứng và thực thi không đồng bộ. Để biết thêm thông tin về việc chạy suy luận, hãy tham khảo sổ ghi chép YOLO11 .

Hãy nhớ rằng bạn sẽ cần các tệp XML và BIN cũng như bất kỳ thiết lập cụ thể nào cho ứng dụng như kích thước đầu vào, hệ số tỷ lệ để chuẩn hóa, v.v., để thiết lập và sử dụng đúng mô hình với Runtime.

Trong ứng dụng triển khai của bạn, bạn thường thực hiện các bước sau:

1. Khởi tạo OpenVINO bằng cách tạo ra core = Core().
2. Tải mô hình bằng cách sử dụng core.read_model() phương pháp.
3. Biên dịch mô hình bằng cách sử dụng core.compile_model() chức năng.
4. Chuẩn bị dữ liệu đầu vào (hình ảnh, văn bản, âm thanh, v.v.).
5. Chạy suy luận bằng cách sử dụng compiled_model(input_data).

Để biết các bước chi tiết hơn và đoạn mã, hãy tham khảo tài liệu OpenVINO hoặc hướng dẫn API .

OpenVINO YOLO11 Tiêu chuẩn

Các Ultralytics nhóm được đánh giá chuẩn YOLO11 trên nhiều định dạng mô hình và độ chính xác khác nhau, đánh giá tốc độ và độ chính xác trên các Intel thiết bị tương thích với OpenVINO .

Intel Lõi CPU

Dòng Intel® Core® là một loạt các bộ xử lý hiệu suất cao của Intel . Dòng sản phẩm bao gồm Core i3 (mức cơ bản), Core i5 (tầm trung), Core i7 (cao cấp) và Core i9 (hiệu suất cực cao). Mỗi dòng sản phẩm đáp ứng các nhu cầu và ngân sách điện toán khác nhau, từ các tác vụ hàng ngày đến khối lượng công việc chuyên nghiệp đòi hỏi khắt khe. Với mỗi thế hệ mới, hiệu suất, hiệu quả năng lượng và các tính năng đều được cải thiện.

Điểm chuẩn bên dưới chạy trên Intel® Core® i9-12900KS thế hệ thứ 12 CPU ở độ chính xác FP32.

Intel® Core™ Siêu

Dòng Intel® Core™ Ultra™ đại diện cho chuẩn mực mới trong điện toán hiệu suất cao, được thiết kế để đáp ứng nhu cầu ngày càng tăng của người dùng hiện đại—từ game thủ và người sáng tạo đến các chuyên gia tận dụng AI. Dòng sản phẩm thế hệ tiếp theo này không chỉ là một CPU loạt; nó kết hợp mạnh mẽ CPU lõi, tích hợp hiệu suất cao GPU khả năng và một Bộ xử lý thần kinh (NPU) chuyên dụng trong một con chip duy nhất, cung cấp giải pháp thống nhất cho khối lượng công việc tính toán đa dạng và chuyên sâu.

Kiến trúc Intel® Core Ultra™ nằm ở trung tâm là thiết kế lai cho phép hiệu suất vượt trội trên các tác vụ xử lý truyền thống, GPU - khối lượng công việc được tăng tốc và các hoạt động do AI điều khiển. Việc đưa NPU vào sẽ tăng cường suy luận AI trên thiết bị, cho phép máy học và xử lý dữ liệu nhanh hơn, hiệu quả hơn trên nhiều ứng dụng.

Dòng Core Ultra™ bao gồm nhiều mẫu máy khác nhau được thiết kế riêng cho các nhu cầu hiệu suất khác nhau, với các tùy chọn từ thiết kế tiết kiệm năng lượng đến các biến thể công suất cao được đánh dấu bằng ký hiệu "H"—lý tưởng cho máy tính xách tay và các yếu tố hình thức nhỏ gọn đòi hỏi sức mạnh tính toán nghiêm ngặt. Trong toàn bộ dòng sản phẩm, người dùng được hưởng lợi từ sự kết hợp của CPU , GPU và tích hợp NPU, mang lại hiệu quả, khả năng phản hồi và khả năng đa nhiệm đáng chú ý.

Là một phần của Intel Với sự đổi mới liên tục, dòng Core Ultra™ đặt ra một tiêu chuẩn mới cho điện toán sẵn sàng cho tương lai. Với nhiều mẫu máy có sẵn và nhiều mẫu khác nữa sắp ra mắt, dòng máy này nhấn mạnh Intel cam kết cung cấp các giải pháp tiên tiến cho thế hệ thiết bị thông minh được cải tiến bằng AI tiếp theo.

Điểm chuẩn bên dưới chạy trên Intel® Core™ Ultra™ 7 258V ở độ chính xác FP32 và INT8.

Intel® Core™ Ultra™ 7 258V

Tiêu chuẩn

Intel® Arc™ tích hợp GPUHồ Thiên Thạch Intel® CPUTích hợp Intel® AI Boost NPU

Người mẫu	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6112	19.59
YOLO11n	OpenVINO	INT8	✅	3.3	0.6219	14.43
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7414	16.274
YOLO11s	OpenVINO	INT8	✅	9.8	0.7086	19.436
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.281
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	18.69
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	31.90
YOLO11l	OpenVINO	INT8	✅	25.7	0.7376	25.64
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	45.12
YOLO11x	OpenVINO	INT8	✅	55.9	0.8156	32.57

Người mẫu	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6082	30.21
YOLO11n	OpenVINO	INT8	✅	3.3	0.6256	17.98
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7400	81.09
YOLO11s	OpenVINO	INT8	✅	9.8	0.7488	41.04
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	204.31
YOLO11m	OpenVINO	INT8	✅	20.2	0.7504	109.51
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7249	319.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.7318	136.44
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	742.98
YOLO11x	OpenVINO	INT8	✅	55.9	0.819	288.02

Người mẫu	Định dạng	Độ chính xác	Trạng thái	Kích thước (MB)	số liệu/mAP50-95(B)	Thời gian suy luận (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6096	11.58
YOLO11n	OpenVINO	INT8	✅	3.3	0.6380	12.60
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7430	15.15
YOLO11s	OpenVINO	INT8	✅	9.8	0.744	21.22
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	32.92
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	43.15
YOLO11l	OpenVINO	INT8	✅	25.7	0.7313	42.27
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	74.33
YOLO11x	OpenVINO	INT8	✅	55.9	0.8211	59.41

Tái tạo kết quả của chúng tôi

Để tái tạo Ultralytics các tiêu chuẩn trên trên tất cả các định dạng xuất khẩu chạy mã này:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Phần kết luận

Kết quả đánh giá chuẩn mực chứng minh rõ ràng lợi ích của việc xuất khẩu YOLO11 mô hình cho OpenVINO định dạng. Trên các mô hình và nền tảng phần cứng khác nhau, OpenVINO Định dạng này luôn vượt trội hơn các định dạng khác về tốc độ suy luận trong khi vẫn duy trì độ chính xác tương đương.

Các tiêu chuẩn nhấn mạnh hiệu quả của OpenVINO như một công cụ để triển khai các mô hình học sâu. Bằng cách chuyển đổi các mô hình sang OpenVINO định dạng, các nhà phát triển có thể đạt được những cải tiến hiệu suất đáng kể, giúp triển khai các mô hình này dễ dàng hơn trong các ứng dụng thực tế.

Để biết thông tin chi tiết hơn và hướng dẫn sử dụng OpenVINO , tham khảo tài liệu chính thức OpenVINO .

CÂU HỎI THƯỜNG GẶP

Làm thế nào để tôi xuất khẩu YOLO11 mô hình để OpenVINO định dạng?

Xuất khẩu YOLO11 các mô hình cho OpenVINO định dạng có thể cải thiện đáng kể CPU tốc độ và kích hoạt GPU và tăng tốc NPU trên Intel phần cứng. Để xuất, bạn có thể sử dụng Python hoặc CLI như được hiển thị bên dưới:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

Để biết thêm thông tin, hãy tham khảo tài liệu về định dạng xuất .

Lợi ích của việc sử dụng là gì? OpenVINO với YOLO11 mô hình?

Sử dụng Intel 'S OpenVINO bộ công cụ với YOLO11 mô hình cung cấp một số lợi ích:

1. Hiệu suất : Tăng tốc lên đến 3 lần CPU suy luận và đòn bẩy Intel GPU và NPU để tăng tốc.
2. Trình tối ưu hóa mô hình : Chuyển đổi, tối ưu hóa và thực thi các mô hình từ các khuôn khổ phổ biến như PyTorch , TensorFlow , Và ONNX .
3. Dễ sử dụng : Có hơn 80 sổ tay hướng dẫn giúp người dùng bắt đầu, bao gồm cả sổ tay hướng dẫn dành cho YOLO11 .
4. Thực hiện không đồng nhất : Triển khai các mô hình trên nhiều Intel phần cứng có API thống nhất.

Để so sánh hiệu suất chi tiết, hãy truy cập phần điểm chuẩn của chúng tôi.

Làm thế nào tôi có thể chạy suy luận bằng cách sử dụng một YOLO11 mô hình xuất khẩu sang OpenVINO ?

Sau khi xuất mô hình YOLO11n sang OpenVINO định dạng, bạn có thể chạy suy luận bằng cách sử dụng Python hoặc CLI :

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Tham khảo tài liệu về chế độ dự đoán của chúng tôi để biết thêm chi tiết.

Tại sao tôi nên chọn Ultralytics YOLO11 trên các mô hình khác cho OpenVINO xuất khẩu?

Ultralytics YOLO11 được tối ưu hóa để phát hiện đối tượng theo thời gian thực với độ chính xác và tốc độ cao. Cụ thể, khi kết hợp với OpenVINO , YOLO11 cung cấp:

• Tăng tốc lên đến 3x Intel CPU
• Triển khai liền mạch trên Intel GPU và NPU
• Độ chính xác nhất quán và tương đương trên nhiều định dạng xuất khác nhau

Để phân tích hiệu suất chuyên sâu, hãy kiểm tra điểm chuẩn YOLO11 chi tiết của chúng tôi trên các phần cứng khác nhau.

Tôi có thể đánh giá chuẩn không? YOLO11 các mô hình trên các định dạng khác nhau như PyTorch , ONNX , Và OpenVINO ?

Có, bạn có thể đánh giá chuẩn YOLO11 các mô hình ở nhiều định dạng khác nhau bao gồm PyTorch , TorchScript , ONNX , Và OpenVINO . Sử dụng đoạn mã sau để chạy chuẩn mực trên tập dữ liệu bạn đã chọn:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Để biết kết quả chuẩn chi tiết, hãy tham khảo phần chuẩn và tài liệu định dạng xuất của chúng tôi.

📅 Được tạo ra cách đây 1 năm ✏️ Đã cập nhật cách đây 1 ngày

Bình luận