Exportação Intel OpenVINO

Neste guia, abordamos a exportação de modelos YOLO11 para o formato OpenVINO, que pode fornecer até 3x de aceleração na CPU, bem como acelerar a inferência YOLO no hardware GPU e NPU da Intel.

OpenVINO, abreviação de Open Visual Inference & Neural Network Optimization toolkit, é um kit de ferramentas abrangente para otimizar e implementar modelos de inferência de IA. Embora o nome contenha Visual, o OpenVINO também oferece suporte a várias tarefas adicionais, incluindo linguagem, áudio, séries temporais, etc.

Assista: Como Exportar e Otimizar um Modelo Ultralytics YOLOv8 para Inferência com OpenVINO.

Exemplos de uso

Exporte um modelo YOLO11n para o formato OpenVINO e execute a inferência com o modelo exportado.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

Argumentos de Exportação

Para mais detalhes sobre o processo de exportação, visite a página de documentação da Ultralytics sobre exportação.

Benefícios do OpenVINO

1. Desempenho: O OpenVINO oferece inferência de alto desempenho utilizando o poder das CPUs Intel, GPUs integradas e discretas e FPGAs.
2. Suporte para Execução Heterogênea: OpenVINO fornece uma API para escrever uma vez e implantar em qualquer hardware Intel suportado (CPU, GPU, FPGA, VPU, etc.).
3. Otimizador de Modelo: O OpenVINO fornece um Otimizador de Modelo que importa, converte e otimiza modelos de frameworks populares de aprendizado profundo, como PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle e Caffe.
4. Facilidade de Uso: O toolkit vem com mais de 80 notebooks de tutoriais (incluindo otimização do YOLOv8) ensinando diferentes aspectos do toolkit.

Estrutura de Exportação OpenVINO

Ao exportar um modelo para o formato OpenVINO, o resultado é um diretório contendo o seguinte:

1. Arquivo XML: Descreve a topologia da rede.
2. Arquivo BIN: Contém os dados binários de pesos e biases.
3. Arquivo de mapeamento: Contém o mapeamento dos tensores de saída do modelo original para os nomes dos tensores OpenVINO.

Você pode usar esses arquivos para executar a inferência com o OpenVINO Inference Engine.

Usando a Exportação OpenVINO na Implantação

Depois que seu modelo for exportado com sucesso para o formato OpenVINO, você terá duas opções principais para executar a inferência:

1. Use o comando ultralytics pacote, que fornece uma API de alto nível e envolve o OpenVINO Runtime.

2. Utilize o nativo openvino pacote para um controlo mais avançado ou personalizado sobre o comportamento da inferência.

Inferência com Ultralytics

O pacote ultralytics permite que você execute facilmente a inferência usando o modelo OpenVINO exportado através do método predict. Você também pode especificar o dispositivo de destino (por exemplo, intel:gpu, intel:npu, intel:cpu) usando o argumento device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Esta abordagem é ideal para prototipagem rápida ou implantação quando você não precisa de controle total sobre o pipeline de inferência.

Inferência com OpenVINO Runtime

O OpenVINO Runtime fornece uma API unificada para inferência em todo o hardware Intel suportado. Ele também fornece recursos avançados, como balanceamento de carga entre o hardware Intel e execução assíncrona. Para obter mais informações sobre como executar a inferência, consulte os notebooks YOLO11.

Lembre-se de que você precisará dos arquivos XML e BIN, bem como de quaisquer configurações específicas do aplicativo, como tamanho da entrada, fator de escala para normalização, etc., para configurar e usar corretamente o modelo com o Runtime.

Na sua aplicação de implementação, você normalmente seguiria os seguintes passos:

1. Inicialize o OpenVINO criando core = Core().
2. Carregue o modelo usando o core.read_model() método.
3. Compile o modelo usando o core.compile_model() função.
4. Prepare a entrada (imagem, texto, áudio, etc.).
5. Executar inferência usando compiled_model(input_data).

Para obter passos e trechos de código mais detalhados, consulte a documentação do OpenVINO ou o tutorial da API.

Benchmarks OpenVINO YOLO11

A equipe Ultralytics fez um benchmark do YOLO11 em vários formatos de modelo e precisão, avaliando a velocidade e a exatidão em diferentes dispositivos Intel compatíveis com OpenVINO.

CPU Intel Core

A série Intel® Core® é uma gama de processadores de alto desempenho da Intel. A linha inclui Core i3 (nível de entrada), Core i5 (nível médio), Core i7 (nível superior) e Core i9 (desempenho extremo). Cada série atende a diferentes necessidades e orçamentos de computação, desde tarefas cotidianas até cargas de trabalho profissionais exigentes. A cada nova geração, são feitas melhorias no desempenho, eficiência energética e recursos.

Os benchmarks abaixo são executados numa CPU Intel® Core® i9-12900KS de 12ª geração com precisão FP32.

Intel® Core™ Ultra

A série Intel® Core™ Ultra™ representa um novo marco na computação de alto desempenho, projetada para atender às demandas em evolução dos usuários modernos — de gamers e criadores a profissionais que aproveitam a IA. Esta linha de última geração é mais do que uma série de CPU tradicional; ela combina núcleos de CPU poderosos, recursos de GPU integrados de alto desempenho e uma Unidade de Processamento Neural (NPU) dedicada dentro de um único chip, oferecendo uma solução unificada para diversas e intensivas cargas de trabalho de computação.

No cerne da arquitetura Intel® Core Ultra™ está um design híbrido que permite um desempenho excecional em tarefas de processamento tradicionais, cargas de trabalho aceleradas por GPU e operações orientadas por IA. A inclusão da NPU melhora a inferência de IA no dispositivo, permitindo uma aprendizagem automática e um processamento de dados mais rápidos e eficientes numa vasta gama de aplicações.

A família Core Ultra™ inclui vários modelos adaptados para diferentes necessidades de desempenho, com opções que variam desde designs com baixo consumo de energia até variantes de alta potência marcadas pela designação "H" — ideal para laptops e formatos compactos que exigem grande poder de computação. Em toda a linha, os usuários se beneficiam da sinergia da integração de CPU, GPU e NPU, proporcionando eficiência, capacidade de resposta e recursos multitarefa notáveis.

Como parte da inovação contínua da Intel, a série Core Ultra™ estabelece um novo padrão para a computação preparada para o futuro. Com vários modelos disponíveis e mais no horizonte, esta série sublinha o compromisso da Intel em fornecer soluções de ponta para a próxima geração de dispositivos inteligentes e aprimorados por IA.

Os benchmarks abaixo são executados em Intel® Core™ Ultra™ 7 258V e Intel® Core™ Ultra™ 7 265K com precisão FP32 e INT8.

Intel® Core™ Ultra™ 7 258V

Benchmarks

GPU Intel® Arc™ integradaIntel® Lunar Lake CPUNPU Intel® AI Boost integrada

Resultados Detalhados de Benchmark

Modelo	Formato	Precisão	Status	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5068	11.84
YOLO11n	OpenVINO	INT8	✅	3.3	0.4969	11.24
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5797	14.82
YOLO11s	OpenVINO	INT8	✅	9.8	0.5751	12.88
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6306	22.94
YOLO11m	OpenVINO	INT8	✅	20.2	0.6126	17.85
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6365	27.34
YOLO11l	OpenVINO	INT8	✅	25.7	0.6242	20.83
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6890	39.09
YOLO11x	OpenVINO	INT8	✅	55.9	0.6856	30.60

Resultados Detalhados de Benchmark

Modelo	Formato	Precisão	Status	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	32.55
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	22.98
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	98.38
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	52.84
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	275.74
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	132.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6361	348.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	171.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	783.16
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	346.82

Resultados Detalhados de Benchmark

Modelo	Formato	Precisão	Status	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5085	8.33
YOLO11n	OpenVINO	INT8	✅	3.3	0.5019	8.91
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5788	9.72
YOLO11s	OpenVINO	INT8	✅	9.8	0.5710	10.58
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6301	19.41
YOLO11m	OpenVINO	INT8	✅	20.2	0.6124	18.26
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6362	23.70
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	21.40
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6892	43.91
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	34.04

Intel® Core™ Ultra™ 7 265K

Benchmarks

GPU Intel® Arc™ integradaIntel® Arrow Lake CPUNPU Intel® AI Boost integrada

Resultados Detalhados de Benchmark

Modelo	Formato	Precisão	Status	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5079	13.13
YOLO11n	OpenVINO	INT8	✅	3.3	0.4976	8.86
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5808	18.26
YOLO11s	OpenVINO	INT8	✅	9.8	0.5726	13.24
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	43.50
YOLO11m	OpenVINO	INT8	✅	20.2	0.6137	20.90
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6371	54.52
YOLO11l	OpenVINO	INT8	✅	25.7	0.6226	27.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6884	112.76
YOLO11x	OpenVINO	INT8	✅	55.9	0.6900	52.06

Resultados Detalhados de Benchmark

Modelo	Formato	Precisão	Status	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	15.04
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	11.60
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	33.45
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	20.64
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	81.15
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	44.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6409	103.77
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	58.00
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	208.37
YOLO11x	OpenVINO	INT8	✅	55.9	0.6897	113.04

Resultados Detalhados de Benchmark

Modelo	Formato	Precisão	Status	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5075	8.02
YOLO11n	OpenVINO	INT8	✅	3.3	0.3656	9.28
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5801	13.12
YOLO11s	OpenVINO	INT8	✅	9.8	0.5686	13.12
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	29.88
YOLO11m	OpenVINO	INT8	✅	20.2	0.6111	26.32
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6356	37.08
YOLO11l	OpenVINO	INT8	✅	25.7	0.6245	30.81
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6894	68.48
YOLO11x	OpenVINO	INT8	✅	55.9	0.6417	49.76

Intel® Arc GPU

Intel® Arc™ é a linha de placas gráficas discretas da Intel, projetada para jogos de alto desempenho, criação de conteúdo e cargas de trabalho de IA. A série Arc apresenta arquiteturas de GPU avançadas que suportam ray tracing em tempo real, gráficos aprimorados por IA e jogos em alta resolução. Com foco no desempenho e eficiência, a Intel® Arc™ tem como objetivo competir com outras marcas líderes de GPU, fornecendo recursos exclusivos, como codificação AV1 acelerada por hardware e suporte para as mais recentes APIs gráficas.

Os benchmarks abaixo são executados em Intel Arc A770 e Intel Arc B580 com precisão FP32 e INT8.

Intel Arc A770

Intel Arc B580

Reproduzir Nossos Resultados

Para reproduzir os benchmarks Ultralytics acima em todos os formatos de exportação, execute este código:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml

Conclusão

Os resultados de benchmarking demonstram claramente os benefícios de exportar o modelo YOLO11 para o formato OpenVINO. Em diferentes modelos e plataformas de hardware, o formato OpenVINO supera consistentemente outros formatos em termos de velocidade de inferência, mantendo uma precisão comparável.

Os benchmarks destacam a eficácia do OpenVINO como uma ferramenta para implantar modelos de deep learning. Ao converter modelos para o formato OpenVINO, os desenvolvedores podem obter melhorias significativas de desempenho, facilitando a implantação desses modelos em aplicações do mundo real.

Para obter informações e instruções mais detalhadas sobre como usar o OpenVINO, consulte a documentação oficial do OpenVINO.

FAQ

Como exporto modelos YOLO11 para o formato OpenVINO?

Exportar modelos YOLO11 para o formato OpenVINO pode melhorar significativamente a velocidade da CPU e habilitar acelerações de GPU e NPU em hardware Intel. Para exportar, você pode usar Python ou CLI, como mostrado abaixo:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

Para obter mais informações, consulte a documentação de formatos de exportação.

Quais são os benefícios de usar o OpenVINO com modelos YOLO11?

Usar o kit de ferramentas OpenVINO da Intel com modelos YOLO11 oferece vários benefícios:

1. Desempenho: Alcance até 3x de aceleração na inferência da CPU e aproveite as GPUs e NPUs da Intel para aceleração.
2. Otimizador de Modelo: Converta, otimize e execute modelos de frameworks populares como PyTorch, TensorFlow e ONNX.
3. Facilidade de Uso: Mais de 80 notebooks de tutoriais estão disponíveis para ajudar os usuários a começar, incluindo aqueles para YOLO11.
4. Execução Heterogênea: Implante modelos em vários hardwares Intel com uma API unificada.

Para comparações de desempenho detalhadas, visite a nossa seção de benchmarks.

Como posso executar a inferência usando um modelo YOLO11 exportado para OpenVINO?

Após exportar um modelo YOLO11n para o formato OpenVINO, você pode executar a inferência usando Python ou CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Consulte nossa documentação do modo de previsão para obter mais detalhes.

Por que devo escolher o Ultralytics YOLO11 em vez de outros modelos para exportação OpenVINO?

O Ultralytics YOLO11 é otimizado para detecção de objetos em tempo real com alta precisão e velocidade. Especificamente, quando combinado com o OpenVINO, o YOLO11 fornece:

• Aceleração de até 3x em CPUs Intel
• Implantação perfeita em GPUs e NPUs Intel
• Precisão consistente e comparável em vários formatos de exportação

Para uma análise de desempenho aprofundada, consulte nossos benchmarks YOLO11 detalhados em diferentes hardwares.

Posso realizar benchmark de modelos YOLO11 em diferentes formatos, como PyTorch, ONNX e OpenVINO?

Sim, você pode avaliar os modelos YOLO11 em vários formatos, incluindo PyTorch, TorchScript, ONNX e OpenVINO. Use o seguinte trecho de código para executar benchmarks em seu conjunto de dados escolhido:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Para resultados de benchmark detalhados, consulte nossa seção de benchmarks e a documentação de formatos de exportação.

📅 Criado há 1 ano ✏️ Atualizado há 1 mês

Comentários