Intel OpenVINO 輸出

このガイドでは、エクスポートについて説明しますYOLO11 OpenVINO形式へのモデル変換により、 CPU速度が最大3倍向上し、 YOLO 推論Intel GPUおよびNPUハードウェア。

OpenVINOOpen Visual Inference &Neural NetworkOptimization toolkitの略で、AI推論モデルの最適化と展開のための包括的なツールキットである。名前にVisualが含まれていますが、OpenVINO 、言語、音声、時系列など様々な追加タスクもサポートしています。

見るんだ： OpenVINO を使った推論のためにUltralytics YOLOv8 モデルをエクスポートして最適化する方法 .

使用例

YOLO11nモデルをエクスポートするOpenVINO エクスポートされたモデルをフォーマットして推論を実行します。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

エクスポートの引数

エクスポートプロセスの詳細については、Ultralytics ドキュメントのエクスポートに関するページをご覧ください。

メリットOpenVINO

1. パフォーマンス：Intel CPU、統合GPU、ディスクリートGPU、FPGAのパワーを活用することで、OpenVINO 、高性能な推論を実現。
2. ヘテロジニアス実行のサポート：OpenVINO は、一度書けば、サポートされているIntel ハードウェア（CPU 、GPU 、FPGA、VPUなど）にデプロイできるAPIを提供する。
3. モデル・オプティマイザー：OpenVINO は、PyTorch などの一般的なディープラーニング・フレームワークのモデルをインポート、変換、最適化するモデル・オプティマイザーを提供する、 TensorFlowTensorFlow Lite、Keras、ONNX 、PaddlePaddle 、Caffe。
4. 使いやすさ：ツールキットには、ツールキットのさまざまな側面を教える80以上のチュートリアルノートブック （YOLOv8 最適化を含む）が付属しています。

OpenVINO 輸出構造

モデルをOpenVINO フォーマットにエクスポートすると、次のようなディレクトリが作成されます：

1. XMLファイル：ネットワークのトポロジーを記述する。
2. BINファイル：weights and biases バイナリデータを含む。
3. マッピングファイル：元のモデル出力テンソルのOpenVINO tensor へのマッピングを保持する。

これらのファイルを使用して、OpenVINO 推論エンジンで推論を実行することができる。

デプロイメントでOpenVINO エクスポートを使用する

モデルが正常にエクスポートされると、 OpenVINO 形式によっては、推論を実行するための 2 つの主なオプションがあります。

1. を使用する。 ultralytics パッケージは高レベルのAPIを提供し、 OpenVINO ランタイム。

2. ネイティブを使う openvino 推論動作をより高度に、またはカスタマイズして制御するためのパッケージ。

推論Ultralytics

そのultralytics パッケージを使用すると、エクスポートされたOpenVINO 予測メソッドでモデルを予測します。また、ターゲットデバイス（例： intel:gpu, intel:npu, intel:cpu) をデバイス引数を使用して実行します。

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

このアプローチは、推論パイプラインを完全に制御する必要がない場合に、迅速なプロトタイピングやデプロイメントに最適です。

推論OpenVINO ランタイム

そのopenvino ランタイムは、サポートされているすべての推論に統合されたAPIを提供します。 Intel ハードウェア。また、負荷分散などの高度な機能も提供します。 Intel ハードウェアと非同期実行。推論の実行に関する詳細については、 YOLO11ノートブックを参照してください。

Runtimeでモデルを正しくセットアップして使用するには、XMLファイルとBINファイル、および入力サイズや正規化のためのスケールファクターなど、アプリケーション固有の設定が必要であることを忘れないでください。

デプロイメント・アプリケーションでは、通常、以下の手順を実行する：

1. を作成してOpenVINO を初期化する。 core = Core().
2. モデルをロードするには core.read_model() メソッドを使用する。
3. モデルをコンパイルするには core.compile_model() 関数である。
4. 入力（画像、テキスト、音声など）を準備する。
5. を使用して推論を実行する。 compiled_model(input_data).

より詳細な手順とコード・スニペットについては、OpenVINO ドキュメントまたはAPI チュートリアルを参照してください。

OpenVINO YOLO11 ベンチマーク

そのUltralytics チームのベンチマークYOLO11 さまざまなモデル形式と精度にわたって、さまざまな速度と精度を評価しますIntel 対応デバイスOpenVINO 。

Intel コアCPU

インテル® Core® シリーズは、Intel の高性能プロセッサー製品群である。ラインナップには、Core i3（エントリーレベル）、Core i5（ミッドレンジ）、Core i7（ハイエンド）、Core i9（エクストリームパフォーマンス）がある。各シリーズは、日常的なタスクから要求の厳しいプロフェッショナルなワークロードまで、さまざまなコンピューティングニーズと予算に対応しています。新しい世代になるごとに、パフォーマンス、エネルギー効率、機能が改善されています。

以下のベンチマークは第12世代Intel® Core® i9-12900KSで実行されていますCPU FP32 精度で。

インテル® Core™ ウルトラ

インテル® Core™ Ultra™ シリーズは、ゲーマーやクリエイターからAIを活用するプロフェッショナルまで、現代のユーザーの進化するニーズに応えるよう設計された、ハイパフォーマンスコンピューティングの新たなベンチマークです。この次世代ラインナップは、従来のラインナップにとどまりません。 CPU シリーズ;強力なCPU コア、統合された高性能GPU 機能と専用のニューラル プロセッシング ユニット (NPU) を 1 つのチップ内に統合し、多様で集中的なコンピューティング ワークロードに対応する統合ソリューションを提供します。

インテル® Core™ Ultra™ アーキテクチャーの中核は、従来の処理タスクで優れたパフォーマンスを実現するハイブリッド設計です。 GPUワークロードの高速化、AIを活用した運用など、幅広いアプリケーションで活用できます。NPUの搭載により、デバイス上でのAI推論が強化され、より高速で効率的な機械学習とデータ処理が幅広いアプリケーションで実現します。

Core Ultra™ファミリーには、さまざまなパフォーマンスニーズに合わせてカスタマイズされた様々なモデルがあり、省電力設計から「H」マークの付いた高出力モデルまで、幅広いオプションが用意されています。これは、高度なコンピューティングパワーを必要とするノートパソコンやコンパクトなフォームファクターに最適です。ラインナップ全体を通して、ユーザーは以下の相乗効果を享受できます。 CPU 、 GPU 、NPU 統合により、優れた効率性、応答性、マルチタスク機能を実現します。

の一環としてIntel Core Ultra™シリーズは、継続的なイノベーションによって、未来を見据えたコンピューティングの新たなスタンダードを確立しました。複数のモデルが用意されており、さらに新しいモデルも登場予定であるこのシリーズは、 Intelは、次世代のインテリジェントな AI 強化デバイス向けに最先端のソリューションを提供するというコミットメントを果たします。

以下のベンチマークは、FP32 および INT8 精度で Intel® Core™ Ultra™ 7 258V で実行されます。

インテル® Core™ Ultra™ 7 258V

ベンチマーク

統合インテル® Arc™GPUインテル® メテオ・レイクCPU統合インテル® AIブーストNPU

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6112	19.59
YOLO11n	OpenVINO	INT8	✅	3.3	0.6219	14.43
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7414	16.274
YOLO11s	OpenVINO	INT8	✅	9.8	0.7086	19.436
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.281
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	18.69
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	31.90
YOLO11l	OpenVINO	INT8	✅	25.7	0.7376	25.64
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	45.12
YOLO11x	OpenVINO	INT8	✅	55.9	0.8156	32.57

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6082	30.21
YOLO11n	OpenVINO	INT8	✅	3.3	0.6256	17.98
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7400	81.09
YOLO11s	OpenVINO	INT8	✅	9.8	0.7488	41.04
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	204.31
YOLO11m	OpenVINO	INT8	✅	20.2	0.7504	109.51
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7249	319.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.7318	136.44
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	742.98
YOLO11x	OpenVINO	INT8	✅	55.9	0.819	288.02

モデル	フォーマット	精密	ステータス	サイズ (MB)	メトリック/mAP50-95(B)	推論時間（ms/im）
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6096	11.58
YOLO11n	OpenVINO	INT8	✅	3.3	0.6380	12.60
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7430	15.15
YOLO11s	OpenVINO	INT8	✅	9.8	0.744	21.22
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	32.92
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	43.15
YOLO11l	OpenVINO	INT8	✅	25.7	0.7313	42.27
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	74.33
YOLO11x	OpenVINO	INT8	✅	55.9	0.8211	59.41

結果を再現する

上記のUltralytics のベンチマークをすべてのエクスポートフォーマットで再現するには、以下のコードを実行してください：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

結論

ベンチマークの結果は、輸出の利点を明確に示しています。 YOLO11 モデルにOpenVINO フォーマット。異なるモデルやハードウェアプラットフォーム間で、 OpenVINO この形式は、同等の精度を維持しながら、推論速度の点で一貫して他の形式を上回ります。

ベンチマークは、ディープラーニングモデルを展開するツールとしてのOpenVINO の有効性を強調しています。モデルをOpenVINO 形式に変換することで、開発者は大幅な性能向上を達成することができ、これらのモデルを実世界のアプリケーションに展開することが容易になります。

OpenVINO の詳しい情報や使用方法については、 OpenVINO の公式ドキュメントを参照してください。

よくあるご質問

エクスポートするにはどうすればいいですか？ YOLO11 モデルをOpenVINO 形式？

エクスポートYOLO11 モデルをOpenVINO フォーマットは大幅に強化されますCPU スピードと有効化GPU NPUアクセラレーションIntel ハードウェア。エクスポートするには、 Python またはCLI 以下のように表示されます。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

詳細については、エクスポート・フォーマットのドキュメントを参照してください。

使用することのメリットは何ですか？ OpenVINO とYOLO11 モデルですか？

使用IntelのOpenVINO ツールキット付きYOLO11 モデルにはいくつかの利点があります:

1. パフォーマンス：CPU 推論で最大3倍のスピードアップを達成し、Intel GPUとNPUをアクセラレーションに活用。
2. モデル・オプティマイザー：PyTorch 、TensorFlow 、ONNX のような一般的なフレームワークからモデルを変換、最適化、実行します。
3. 使いやすさ: 80以上のチュートリアルノートブックが用意されており、ユーザーが使い始めるのに役立ちます。 YOLO11 。
4. ヘテロジニアス実行：統一された API を使用して、さまざまなIntel ハードウェア上にモデルを展開します。

詳細な性能比較については、ベンチマークセクションをご覧ください。

推論を実行するにはどうすればいいですか？ YOLO11 モデルをエクスポートOpenVINO ？

YOLO11nモデルをエクスポートした後OpenVINO 形式では、推論を実行することができますPython またはCLI ：

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

詳細については、予測モードのドキュメントを参照してください。

なぜ選ぶべきなのかUltralytics YOLO11 他のモデルよりもOpenVINO 輸出？

Ultralytics YOLO11 高精度かつ高速なリアルタイム物体検出に最適化されています。具体的には、 OpenVINO 、 YOLO11 提供するもの:

• Intel CPUで最大3倍のスピードアップ
• Intel GPUおよびNPUへのシームレスな展開
• 様々なエクスポートフォーマットで一貫した同等の精度

詳細なパフォーマンス分析については、さまざまなハードウェアでの詳細なYOLO11ベンチマークを確認してください。

ベンチマークできますかYOLO11 さまざまな形式のモデル、例えばPyTorch 、 ONNX 、 そしてOpenVINO ？

はい、ベンチマークできますYOLO11 さまざまな形式のモデルを含むPyTorch 、 TorchScript 、 ONNX 、 そしてOpenVINO選択したデータセットでベンチマークを実行するには、次のコード スニペットを使用します。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

詳細なベンチマーク結果については、ベンチマークセクションおよびエクスポートフォーマットのドキュメントを参照してください。

📅作成：1年前 ✏️更新：1日前

コメント