Guia de Início Rápido: NVIDIA Jetson com Ultralytics YOLO11

Este guia abrangente fornece um passo a passo detalhado para implementar o Ultralytics YOLO11 em dispositivos NVIDIA Jetson. Além disso, apresenta benchmarks de desempenho para demonstrar as capacidades do YOLO11 nesses dispositivos pequenos e poderosos.

Assista: Como usar Ultralytics YOLO11 em Dispositivos NVIDIA JETSON

O que é NVIDIA Jetson?

NVIDIA Jetson é uma série de placas de computação embarcadas projetadas para trazer computação acelerada de IA (inteligência artificial) para dispositivos de borda. Esses dispositivos compactos e poderosos são construídos em torno da arquitetura de GPU da NVIDIA e são capazes de executar algoritmos complexos de IA e modelos de aprendizado profundo diretamente no dispositivo, sem a necessidade de depender de recursos de computação em nuvem. As placas Jetson são frequentemente usadas em robótica, veículos autônomos, automação industrial e outras aplicações onde a inferência de IA precisa ser realizada localmente com baixa latência e alta eficiência. Além disso, essas placas são baseadas na arquitetura ARM64 e funcionam com menor consumo de energia em comparação com os dispositivos de computação GPU tradicionais.

Comparação da Série NVIDIA Jetson

Jetson Orin é a iteração mais recente da família NVIDIA Jetson baseada na arquitetura NVIDIA Ampere, que traz um desempenho de IA drasticamente aprimorado quando comparado com as gerações anteriores. A tabela abaixo compara alguns dos dispositivos Jetson no ecossistema.

Para uma tabela de comparação mais detalhada, visite a seção Especificações Técnicas da página oficial do NVIDIA Jetson.

O que é NVIDIA JetPack?

O NVIDIA JetPack SDK, que alimenta os módulos Jetson, é a solução mais abrangente e fornece um ambiente de desenvolvimento completo para a criação de aplicações de IA aceleradas de ponta a ponta e reduz o tempo de lançamento no mercado. O JetPack inclui Jetson Linux com bootloader, kernel Linux, ambiente de desktop Ubuntu e um conjunto completo de bibliotecas para aceleração de computação de GPU, multimídia, gráficos e visão computacional. Ele também inclui amostras, documentação e ferramentas de desenvolvedor para computador host e kit de desenvolvedor, e suporta SDKs de nível superior, como DeepStream para análise de vídeo em streaming, Isaac para robótica e Riva para IA conversacional.

Instalar o JetPack no NVIDIA Jetson

O primeiro passo depois de colocar as mãos em um dispositivo NVIDIA Jetson é instalar o NVIDIA JetPack no dispositivo. Existem várias maneiras diferentes de instalar dispositivos NVIDIA Jetson.

1. Se você possui um Kit de Desenvolvimento NVIDIA oficial, como o Jetson Orin Nano Developer Kit, você pode baixar uma imagem e preparar um cartão SD com o JetPack para inicializar o dispositivo.
2. Se você possui qualquer outro Kit de Desenvolvimento NVIDIA, você pode instalar o JetPack no dispositivo usando o SDK Manager.
3. Se você possui um dispositivo Seeed Studio reComputer J4012, você pode instalar o JetPack no SSD incluído e, se você possui um dispositivo Seeed Studio reComputer J1020 v2, você pode instalar o JetPack no eMMC/SSD.
4. Se você possui qualquer outro dispositivo de terceiros alimentado pelo módulo NVIDIA Jetson, é recomendável seguir a instalação pela linha de comando.

Suporte do JetPack Baseado no Dispositivo Jetson

A tabela abaixo destaca as versões do NVIDIA JetPack suportadas por diferentes dispositivos NVIDIA Jetson.

Início Rápido com Docker

A maneira mais rápida de começar a usar o Ultralytics YOLO11 no NVIDIA Jetson é executar com imagens docker pré-construídas para Jetson. Consulte a tabela acima e escolha a versão do JetPack de acordo com o dispositivo Jetson que você possui.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Depois de feito isso, pule para a seção Usar TensorRT no NVIDIA Jetson.

Comece com a Instalação Nativa

Para uma instalação nativa sem Docker, consulte os passos abaixo.

Executar no JetPack 6.1

Instalar Pacote Ultralytics

Aqui, instalaremos o pacote Ultralytics no Jetson com dependências opcionais para que possamos exportar os modelos PyTorch para outros formatos diferentes. Focaremos principalmente nas exportações NVIDIA TensorRT, porque o TensorRT garantirá que possamos obter o máximo desempenho dos dispositivos Jetson.

1. Atualize a lista de pacotes, instale o pip e atualize para a versão mais recente

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instalar ultralytics pacote pip com dependências opcionais

   pip install ultralytics[export]
   

3. Reinicie o dispositivo

   sudo reboot
   

Instalar PyTorch e Torchvision

A instalação Ultralytics acima instalará o Torch e o Torchvision. No entanto, esses 2 pacotes instalados via pip não são compatíveis para serem executados na plataforma Jetson, que é baseada na arquitetura ARM64. Portanto, precisamos instalar manualmente o wheel pip PyTorch pré-compilado e compilar/instalar o Torchvision a partir do código fonte.

Instalar torch 2.5.0 e torchvision 0.20 de acordo com JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Instalar cuSPARSELt para corrigir um problema de dependência com torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Instalar onnxruntime-gpu

O onnxruntime-gpu pacote hospedado no PyPI não tem aarch64 binários para o Jetson. Portanto, precisamos instalar este pacote manualmente. Este pacote é necessário para algumas das exportações.

Você pode encontrar todos os onnxruntime-gpu pacotes — organizados por versão do JetPack, versão do Python e outros detalhes de compatibilidade — no Matriz de compatibilidade do Jetson Zoo ONNX Runtime. Aqui vamos baixar e instalar onnxruntime-gpu 1.20.0 com Python3.10 suporte.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Executar no JetPack 5.1.2

Instalar Pacote Ultralytics

Aqui, instalaremos o pacote Ultralytics no Jetson com dependências opcionais para que possamos exportar os modelos PyTorch para outros formatos diferentes. Focaremos principalmente nas exportações NVIDIA TensorRT, porque o TensorRT garantirá que possamos obter o máximo desempenho dos dispositivos Jetson.

1. Atualize a lista de pacotes, instale o pip e atualize para a versão mais recente

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Instalar ultralytics pacote pip com dependências opcionais

   pip install ultralytics[export]
   

3. Reinicie o dispositivo

   sudo reboot
   

Instalar PyTorch e Torchvision

A instalação Ultralytics acima instalará o Torch e o Torchvision. No entanto, esses 2 pacotes instalados via pip não são compatíveis para serem executados na plataforma Jetson, que é baseada na arquitetura ARM64. Portanto, precisamos instalar manualmente o wheel pip PyTorch pré-compilado e compilar/instalar o Torchvision a partir do código fonte.

1. Desinstale o PyTorch e o Torchvision atualmente instalados.

   pip uninstall torch torchvision
   

2. Instalar torch 2.2.0 e torchvision 0.17.2 de acordo com JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.2.0-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.17.2+c1d70fe-cp38-cp38-linux_aarch64.whl
   

Instalar onnxruntime-gpu

O onnxruntime-gpu pacote hospedado no PyPI não tem aarch64 binários para o Jetson. Portanto, precisamos instalar este pacote manualmente. Este pacote é necessário para algumas das exportações.

Você pode encontrar todos os onnxruntime-gpu pacotes — organizados por versão do JetPack, versão do Python e outros detalhes de compatibilidade — no Matriz de compatibilidade do Jetson Zoo ONNX Runtime. Aqui vamos baixar e instalar onnxruntime-gpu 1.17.0 com Python3.8 suporte.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Usar TensorRT no NVIDIA Jetson

Entre todos os formatos de exportação de modelos suportados pela Ultralytics, o TensorRT oferece o maior desempenho de inferência em dispositivos NVIDIA Jetson, tornando-o a nossa principal recomendação para implementações Jetson. Para obter instruções de configuração e utilização avançada, consulte o nosso guia de integração TensorRT dedicado.

Converter Modelo para TensorRT e Executar Inferência

O modelo YOLO11n no formato PyTorch é convertido para TensorRT para executar a inferência com o modelo exportado.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Use o Acelerador de Aprendizado Profundo (DLA) da NVIDIA

O NVIDIA Deep Learning Accelerator (DLA) é um componente de hardware especializado integrado aos dispositivos NVIDIA Jetson que otimiza a inferência de deep learning para eficiência energética e desempenho. Ao descarregar tarefas da GPU (liberando-a para processos mais intensivos), o DLA permite que os modelos sejam executados com menor consumo de energia, mantendo o alto rendimento, ideal para sistemas embarcados e aplicações de IA em tempo real.

Os seguintes dispositivos Jetson estão equipados com hardware DLA:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo11n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Benchmarks NVIDIA Jetson Orin YOLO11

Os benchmarks do YOLO11 foram executados pela equipe Ultralytics em 10 formatos de modelo diferentes, medindo velocidade e precisão: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN. Os benchmarks foram executados no NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit e Seeed Studio reComputer J4012 alimentado por um dispositivo Jetson Orin NX 16GB com precisão FP32 com tamanho de imagem de entrada padrão de 640.

Gráficos de Comparação

Embora todas as exportações de modelos funcionem com NVIDIA Jetson, incluímos apenas PyTorch, TorchScript, TensorRT para o gráfico de comparação abaixo porque eles utilizam a GPU no Jetson e têm garantia de produzir os melhores resultados. Todas as outras exportações utilizam apenas a CPU e o desempenho não é tão bom quanto os três acima. Você pode encontrar benchmarks para todas as exportações na seção após este gráfico.

NVIDIA Jetson AGX Orin Developer Kit (64GB)

Kit de Superdesenvolvedor NVIDIA Jetson Orin Nano

NVIDIA Jetson Orin NX 16GB

Tabelas de Comparação Detalhadas

A tabela abaixo representa os resultados de benchmark para cinco modelos diferentes (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) em dez formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN), fornecendo o status, tamanho, métrica mAP50-95(B) e tempo de inferência para cada combinação.

NVIDIA Jetson AGX Orin Developer Kit (64GB)

Kit de Superdesenvolvedor NVIDIA Jetson Orin Nano

NVIDIA Jetson Orin NX 16GB

Explore mais esforços de benchmarking da Seeed Studio executados em diferentes versões do hardware NVIDIA Jetson.

Reproduzir Nossos Resultados

Para reproduzir os benchmarks Ultralytics acima em todos os formatos de exportação, execute este código:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

Melhores Práticas ao usar NVIDIA Jetson

Ao usar o NVIDIA Jetson, existem algumas práticas recomendadas a serem seguidas para habilitar o máximo desempenho no NVIDIA Jetson executando YOLO11.

1. Ativar Modo de Potência MÁX.

   Ativar o Modo de Potência MÁX. no Jetson garantirá que todos os núcleos da CPU e GPU sejam ativados.

   sudo nvpmodel -m 0
   

2. Ativar Clocks Jetson

   Ativar os Clocks Jetson garantirá que todos os núcleos da CPU e GPU sejam sincronizados em sua frequência máxima.

   sudo jetson_clocks
   

3. Instalar o Aplicativo Jetson Stats

   Podemos usar o aplicativo jetson stats para monitorar as temperaturas dos componentes do sistema e verificar outros detalhes do sistema, como visualizar a utilização de CPU, GPU, RAM, alterar os modos de energia, definir os clocks máximos, verificar as informações do JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Próximos Passos

Parabéns por configurar com sucesso o YOLO11 no seu NVIDIA Jetson! Para mais aprendizagem e suporte, visite mais guias em Ultralytics YOLO11 Docs!

FAQ

Como implemento o Ultralytics YOLO11 em dispositivos NVIDIA Jetson?

A implantação do Ultralytics YOLO11 em dispositivos NVIDIA Jetson é um processo simples. Primeiro, faça o flash do seu dispositivo Jetson com o NVIDIA JetPack SDK. Em seguida, use uma imagem Docker pré-construída para configuração rápida ou instale manualmente os pacotes necessários. Etapas detalhadas para cada abordagem podem ser encontradas nas seções Início Rápido com Docker e Iniciar com Instalação Nativa.

Quais benchmarks de desempenho posso esperar dos modelos YOLO11 em dispositivos NVIDIA Jetson?

Os modelos YOLO11 foram comparados em vários dispositivos NVIDIA Jetson, mostrando melhorias significativas de desempenho. Por exemplo, o formato TensorRT oferece o melhor desempenho de inferência. A tabela na seção Tabelas de Comparação Detalhadas fornece uma visão abrangente de métricas de desempenho como mAP50-95 e tempo de inferência em diferentes formatos de modelo.

Por que devo usar o TensorRT para implantar o YOLO11 no NVIDIA Jetson?

O TensorRT é altamente recomendado para implantar modelos YOLO11 no NVIDIA Jetson devido ao seu desempenho ideal. Ele acelera a inferência aproveitando os recursos da GPU do Jetson, garantindo máxima eficiência e velocidade. Saiba mais sobre como converter para TensorRT e executar a inferência na seção Use TensorRT on NVIDIA Jetson.

Como posso instalar PyTorch e Torchvision no NVIDIA Jetson?

Para instalar o PyTorch e o Torchvision no NVIDIA Jetson, primeiro desinstale quaisquer versões existentes que possam ter sido instaladas via pip. Em seguida, instale manualmente as versões compatíveis do PyTorch e do Torchvision para a arquitetura ARM64 do Jetson. Instruções detalhadas para este processo são fornecidas na seção Instalar o PyTorch e o Torchvision.

Quais são as melhores práticas para maximizar o desempenho no NVIDIA Jetson ao usar o YOLO11?

Para maximizar o desempenho no NVIDIA Jetson com YOLO11, siga estas práticas recomendadas:

1. Ative o Modo de Potência MÁX. para utilizar todos os núcleos da CPU e GPU.
2. Ative os Clocks Jetson para executar todos os núcleos em sua frequência máxima.
3. Instale o aplicativo Jetson Stats para monitorar as métricas do sistema.

Para comandos e detalhes adicionais, consulte a seção Melhores Práticas ao usar NVIDIA Jetson.

📅 Criado há 1 ano ✏️ Atualizado há 23 dias

Comentários