Intel OpenVINO İhracat

Bu kılavuzda, ihracatı ele alıyoruz YOLO11 CPU hızını 3 kata kadar artırabilen ve hızlandırabilen OpenVINO formatına modeller YOLO çıkarım Intel GPU ve NPU donanımları.

OpenVINOOpen Visual Inference & Neural Network Optimization toolkit'in kısaltması olan bu araç, yapay zeka çıkarım modellerini optimize etmek ve dağıtmak için kapsamlı bir araç setidir. İsmi Görsel içermesine rağmen, OpenVINO ayrıca dil, ses, zaman serisi vb. dahil olmak üzere çeşitli ek görevleri de destekler.

İzle: OpenVINO ile Çıkarım için bir Ultralytics YOLOv8 Modeli Nasıl Dışa Aktarılır ve Optimize Edilir?

Kullanım Örnekleri

Bir YOLO11n modelini dışa aktarın OpenVINO biçimlendirin ve dışa aktarılan modelle çıkarım çalıştırın.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

Dışa Aktarma Argümanları

Dışa aktarma işlemi hakkında daha fazla bilgi için, dışa aktarma ile ilgiliUltralytics dokümantasyon sayfasını ziyaret edin.

Faydaları OpenVINO

1. Performans: OpenVINO , Intel CPU'ların, entegre ve ayrık GPU'ların ve FPGA'ların gücünü kullanarak yüksek performanslı çıkarım sağlar.
2. Heterojen Yürütme Desteği: OpenVINO , bir kez yazmak ve desteklenen herhangi bir Intel donanımına (CPU, GPU, FPGA, VPU, vb.) dağıtmak için bir API sağlar.
3. Model Optimize Edici: OpenVINO , PyTorch gibi popüler derin öğrenme çerçevelerinden modelleri içe aktaran, dönüştüren ve optimize eden bir Model Optimize Edici sağlar, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle ve Caffe.
4. Kullanım Kolaylığı: Araç seti, araç setinin farklı yönlerini öğreten 80'den fazla öğretici not defteri ( YOLOv8 optimizasyonu dahil) ile birlikte gelir.

OpenVINO İhracat Yapısı

Bir modeli OpenVINO biçiminde dışa aktardığınızda, aşağıdakileri içeren bir dizinle sonuçlanır:

1. XML dosyası: Ağ topolojisini açıklar.
2. BIN dosyası: weights and biases ikili verilerini içerir.
3. Eşleme dosyası: Orijinal model çıktı tensörlerinin OpenVINO tensor adlarıyla eşlenmesini tutar.

Bu dosyaları OpenVINO Inference Engine ile çıkarım yapmak için kullanabilirsiniz.

Dağıtımda OpenVINO Dışa Aktarmayı Kullanma

Modeliniz başarıyla dışa aktarıldığında OpenVINO biçiminde, çıkarımı çalıştırmak için iki temel seçeneğiniz vardır:

1. Kullanın ultralytics yüksek seviyeli bir API sağlayan ve paketi saran OpenVINO Çalışma zamanı.

2. Yerel dili kullan openvino çıkarım davranışı üzerinde daha gelişmiş veya özelleştirilmiş kontrol için paket.

Çıkarım ile Ultralytics

The ultralytics paket, dışa aktarılanları kullanarak çıkarımı kolayca çalıştırmanıza olanak tanır OpenVINO tahmin yöntemi ile modelleyin. Ayrıca hedef cihazı da belirtebilirsiniz (örneğin, intel:gpu, intel:npu, intel:cpu) cihaz argümanını kullanarak.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Bu yaklaşım, çıkarım hattı üzerinde tam kontrole ihtiyacınız olmadığında hızlı prototipleme veya dağıtım için idealdir.

Çıkarım ile OpenVINO Çalışma zamanı

The openvino Çalışma zamanı, desteklenen tüm uygulamalar arasında çıkarım yapmak için birleşik bir API sağlar Intel donanım. Ayrıca, yük dengeleme gibi gelişmiş yetenekler de sağlar Intel donanım ve eşzamansız yürütme. Çıkarımı çalıştırma hakkında daha fazla bilgi için YOLO11 not defterlerine bakın.

Modeli Çalışma Zamanı ile doğru şekilde kurmak ve kullanmak için XML ve BIN dosyalarının yanı sıra girdi boyutu, normalleştirme için ölçek faktörü vb. gibi uygulamaya özel ayarlara ihtiyacınız olacağını unutmayın.

Dağıtım uygulamanızda genellikle aşağıdaki adımları uygularsınız:

1. OpenVINO adresini oluşturarak başlatın core = Core().
2. Kullanarak modeli yükleyin core.read_model() yöntem.
3. kullanarak modeli derleyin core.compile_model() fonksiyon.
4. Girişi hazırlayın (görüntü, metin, ses, vb.).
5. Kullanarak çıkarım çalıştırın compiled_model(input_data).

Daha ayrıntılı adımlar ve kod parçacıkları için OpenVINO belgelerine veya API öğreticisine bakın.

OpenVINO YOLO11 Kriterler

The Ultralytics takım kıyaslandı YOLO11 çeşitli model formatları ve hassasiyetler arasında, farklı modellerde hız ve doğruluğu değerlendirerek Intel uyumlu cihazlar OpenVINO .

Intel Çekirdek CPU

Intel® Core® serisi, Intel tarafından üretilen bir dizi yüksek performanslı işlemcidir. Seride Core i3 (giriş seviyesi), Core i5 (orta seviye), Core i7 (üst seviye) ve Core i9 (aşırı performans) bulunmaktadır. Her seri, günlük görevlerden zorlu profesyonel iş yüklerine kadar farklı bilgisayar ihtiyaçlarına ve bütçelerine hitap etmektedir. Her yeni nesilde performans, enerji verimliliği ve özelliklerde iyileştirmeler yapılır.

Aşağıdaki kıyaslamalar 12. Nesil Intel® Core® i9-12900KS'de çalışmaktadır CPU FP32 hassasiyetinde.

Intel® Core™ Ultra

Intel® Core™ Ultra™ serisi, oyunculardan ve içerik oluşturuculardan yapay zeka kullanan profesyonellere kadar modern kullanıcıların değişen taleplerini karşılamak üzere tasarlanmış, yüksek performanslı bilgi işlemde yeni bir ölçüt sunar. Bu yeni nesil ürün grubu, geleneksel bir CPU dizi; güçlü bir şekilde bir araya getiriyor CPU çekirdekler, entegre yüksek performanslı GPU yetenekleri ve tek bir çip içerisinde özel bir Sinirsel İşleme Birimi (NPU) sunarak, çeşitli ve yoğun bilgi işlem iş yükleri için birleşik bir çözüm sunuyor.

Intel® Core Ultra™ mimarisinin merkezinde, geleneksel işlem görevlerinde olağanüstü performans sağlayan bir hibrit tasarım yer alır. GPU -hızlandırılmış iş yükleri ve AI destekli işlemler. NPU'nun dahil edilmesi, cihaz içi AI çıkarımını geliştirerek, çok çeşitli uygulamalarda daha hızlı, daha verimli makine öğrenimi ve veri işlemeyi mümkün kılar.

Core Ultra™ ailesi, enerji tasarruflu tasarımlardan "H" işaretiyle işaretlenmiş yüksek güçlü varyantlara kadar çeşitli seçeneklerle farklı performans ihtiyaçlarına göre uyarlanmış çeşitli modeller içerir; bu, ciddi bilgi işlem gücü gerektiren dizüstü bilgisayarlar ve kompakt form faktörleri için idealdir. Ürün yelpazesinde, kullanıcılar sinerjiden yararlanır CPU , GPU ve NPU entegrasyonu sayesinde olağanüstü verimlilik, yanıt verme hızı ve çoklu görev yetenekleri sunar.

Bir parçası olarak Intel 'nin devam eden yeniliği olan Core Ultra™ serisi, geleceğe hazır bilgi işlem için yeni bir standart belirliyor. Birden fazla model mevcut ve ufukta daha fazlası varken, bu seri, Intel 'nin yeni nesil akıllı, yapay zeka destekli cihazlar için son teknoloji çözümler sunma taahhüdü.

Aşağıdaki kıyaslamalar Intel® Core™ Ultra™ 7 258V'de FP32 ve INT8 hassasiyetinde çalıştırılmıştır.

Intel® Core™ Ultra™ 7 258V

Ölçütler

Entegre Intel® Arc™ GPUIntel® Meteor Gölü CPUEntegre Intel® AI Boost NPU

Model	Biçim	Hassasiyet	Durum	Boyut (MB)	metrik/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6112	19.59
YOLO11n	OpenVINO	INT8	✅	3.3	0.6219	14.43
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7414	16.274
YOLO11s	OpenVINO	INT8	✅	9.8	0.7086	19.436
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.281
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	18.69
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	31.90
YOLO11l	OpenVINO	INT8	✅	25.7	0.7376	25.64
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	45.12
YOLO11x	OpenVINO	INT8	✅	55.9	0.8156	32.57

Model	Biçim	Hassasiyet	Durum	Boyut (MB)	metrik/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6082	30.21
YOLO11n	OpenVINO	INT8	✅	3.3	0.6256	17.98
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7400	81.09
YOLO11s	OpenVINO	INT8	✅	9.8	0.7488	41.04
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	204.31
YOLO11m	OpenVINO	INT8	✅	20.2	0.7504	109.51
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7249	319.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.7318	136.44
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	742.98
YOLO11x	OpenVINO	INT8	✅	55.9	0.819	288.02

Model	Biçim	Hassasiyet	Durum	Boyut (MB)	metrik/mAP50-95(B)	Çıkarım süresi (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6096	11.58
YOLO11n	OpenVINO	INT8	✅	3.3	0.6380	12.60
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7430	15.15
YOLO11s	OpenVINO	INT8	✅	9.8	0.744	21.22
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	32.92
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	43.15
YOLO11l	OpenVINO	INT8	✅	25.7	0.7313	42.27
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	74.33
YOLO11x	OpenVINO	INT8	✅	55.9	0.8211	59.41

Sonuçlarımızı Yeniden Üretin

Yukarıdaki Ultralytics kıyaslamalarını tüm dışa aktarma biçimlerinde yeniden oluşturmak için bu kodu çalıştırın:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Sonuç

Karşılaştırmalı değerlendirme sonuçları, ihracatın faydalarını açıkça ortaya koymaktadır. YOLO11 modele OpenVINO biçimi. Farklı modeller ve donanım platformları arasında, OpenVINO formatı, karşılaştırılabilir doğruluğu korurken çıkarım hızı açısından diğer formatlardan sürekli olarak daha iyi performans göstermektedir.

Kıyaslamalar, derin öğrenme modellerini dağıtmak için bir araç olarak OpenVINO 'un etkinliğinin altını çiziyor. Geliştiriciler, modelleri OpenVINO formatına dönüştürerek önemli performans iyileştirmeleri elde edebilir ve bu modellerin gerçek dünya uygulamalarında kullanılmasını kolaylaştırabilir.

OpenVINO adresini kullanma hakkında daha ayrıntılı bilgi ve talimatlar için resmi OpenVINO belgelerine bakın.

SSS

Nasıl dışa aktarırım? YOLO11 modeller OpenVINO biçimi?

İhracat YOLO11 modeller OpenVINO biçimi önemli ölçüde geliştirebilir CPU hız ve etkinleştirme GPU ve NPU hızlanmaları Intel donanım. Dışa aktarmak için, aşağıdakilerden birini kullanabilirsiniz Python veya CLI Aşağıda gösterildiği gibi:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

Daha fazla bilgi için dışa aktarma biçimleri belgelerine bakın.

Kullanmanın faydaları nelerdir? OpenVINO ile YOLO11 modeller?

Kullanarak Intel 'S OpenVINO araç takımı ile YOLO11 modeller birçok avantaj sunar:

1. Performans: CPU çıkarımında 3 kata kadar hızlanma elde edin ve hızlandırma için Intel GPU'larından ve NPU'larından yararlanın.
2. Model Optimize Edici: PyTorch , TensorFlow ve ONNX gibi popüler çerçevelerden modelleri dönüştürün, optimize edin ve çalıştırın.
3. Kullanım Kolaylığı : Kullanıcıların başlamasına yardımcı olmak için 80'den fazla öğretici not defteri mevcuttur; bunlara şunlar dahildir: YOLO11 .
4. Heterojen Yürütme: Modelleri birleşik bir API ile çeşitli Intel donanımlarında dağıtın.

Ayrıntılı performans karşılaştırmaları için kıyaslamalar bölümümüzü ziyaret edin.

Bir çıkarımı nasıl çalıştırabilirim? YOLO11 model ihraç edildi OpenVINO ?

Bir YOLO11n modelini dışa aktardıktan sonra OpenVINO biçimini kullanarak çıkarım yapabilirsiniz Python veya CLI :

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Daha fazla ayrıntı için tahmin modu belgelerimize bakın.

Neden seçmeliyim? Ultralytics YOLO11 diğer modellere göre OpenVINO ihracat?

Ultralytics YOLO11 yüksek doğruluk ve hızla gerçek zamanlı nesne tespiti için optimize edilmiştir. Özellikle, ile birleştirildiğinde OpenVINO , YOLO11 sağlar:

• Intel CPU'larda 3 kata kadar hızlanma
• Intel GPU'lar ve NPU'larda sorunsuz dağıtım
• Çeşitli dışa aktarma formatlarında tutarlı ve karşılaştırılabilir doğruluk

Ayrıntılı performans analizi için farklı donanımlardaki detaylı YOLO11 kıyaslamalarımızı inceleyin.

Ben kıyaslama yapabilir miyim? YOLO11 farklı formatlardaki modeller gibi PyTorch , ONNX , Ve OpenVINO ?

Evet, kıyaslama yapabilirsiniz YOLO11 çeşitli formatlarda modeller dahil PyTorch , TorchScript , ONNX , Ve OpenVINO Seçtiğiniz veri kümesinde kıyaslama testleri çalıştırmak için aşağıdaki kod parçacığını kullanın:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Ayrıntılı kıyaslama sonuçları için kıyaslamalar bölümümüze ve dışa aktarma biçimleri belgelerimize bakın.

📅1 yıl önce oluşturuldu ✏️ 1 gün önce güncellendi

Yorumlar