Ultralytics YOLO11 no NVIDIA Jetson usando DeepStream SDK e TensorRT

Ver: Como usar modelos Ultralytics YOLO11 com NVIDIA Deepstream no Jetson Orin NX 🚀

Este guia abrangente fornece um passo a passo detalhado para implementar o Ultralytics YOLO11 em dispositivos NVIDIA Jetson usando o DeepStream SDK e TensorRT. Aqui, usamos o TensorRT para maximizar o desempenho da inferência na plataforma Jetson.

O que é NVIDIA DeepStream?

O DeepStream SDK da NVIDIA é um kit de ferramentas completo de análise de streaming baseado em GStreamer para processamento multi-sensor baseado em IA, vídeo, áudio e compreensão de imagem. É ideal para desenvolvedores de visão de IA, parceiros de software, startups e OEMs que criam aplicações e serviços de IVA (Intelligent Video Analytics). Agora você pode criar pipelines de processamento de stream que incorporam redes neurais e outras tarefas de processamento complexas, como rastreamento, codificação/decodificação de vídeo e renderização de vídeo. Esses pipelines permitem análises em tempo real em dados de vídeo, imagem e sensor. O suporte multi-plataforma do DeepStream oferece uma maneira mais rápida e fácil de desenvolver aplicações e serviços de visão de IA on-premise, na borda e na nuvem.

Pré-requisitos

Antes de começar a seguir este guia:

• Visite nossa documentação, Guia de Início Rápido: NVIDIA Jetson com Ultralytics YOLO11 para configurar seu dispositivo NVIDIA Jetson com Ultralytics YOLO11.
• Instalar DeepStream SDK de acordo com a versão do JetPack
  • Para JetPack 4.6.4, instale o DeepStream 6.0.1
  • Para JetPack 5.1.3, instale o DeepStream 6.3
  • Para JetPack 6.1, instale o DeepStream 7.1

Configuração do DeepStream para YOLO11

Aqui estamos usando o repositório GitHub marcoslucianops/DeepStream-Yolo, que inclui suporte ao NVIDIA DeepStream SDK para modelos YOLO. Agradecemos os esforços de marcoslucianops por suas contribuições!

1. Instalar Ultralytics com as dependências necessárias

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim
   

2. Clone o repositório DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   

3. Copiar o export_yolo11.py ficheiro de DeepStream-Yolo/utils diretório para o ultralytics pasta

   cp ~/DeepStream-Yolo/utils/export_yolo11.py ~/ultralytics
   cd ultralytics
   

4. Baixe o modelo de detecção Ultralytics YOLO11 (.pt) de sua escolha em YOLO11 releases. Aqui usamos yolo11s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.3.0/yolo11s.pt
   

   Nota

   Você também pode usar um modelo YOLO11 treinado personalizado.

5. Converter modelo para ONNX

   python3 export_yolo11.py -w yolo11s.pt
   

   Passe os argumentos abaixo para o comando acima

   Para DeepStream 5.1, remova o --dynamic arg e use opset 12 ou inferior. O padrão opset é 17.

   --opset 12
   

   Para alterar o tamanho da inferência (padrão: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   Exemplo para 1280:

   -s 1280
   or
   -s 1280 1280
   

   Para simplificar o modelo ONNX (DeepStream >= 6.0)

   --simplify
   

   Para usar o tamanho de lote dinâmico (DeepStream >= 6.1)

   --dynamic
   

   Para usar o tamanho de lote estático (exemplo para tamanho de lote = 4)

   --batch 4
   

6. Copiar o gerado .onnx arquivo de modelo e labels.txt ficheiro para o DeepStream-Yolo pasta

   cp yolo11s.pt.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo
   

7. Defina a versão do CUDA de acordo com a versão do JetPack instalada.

   Para JetPack 4.6.4:

   export CUDA_VER=10.2
   

   Para JetPack 5.1.3:

   export CUDA_VER=11.4
   

   Para Jetpack 6.1:

   export CUDA_VER=12.6
   

8. Compile a biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

9. Editar o config_infer_primary_yolo11.txt arquivo de acordo com seu modelo (para YOLO11s com 80 classes)

   [property]
   ...
   onnx-file=yolo11s.pt.onnx
   ...
   num-detected-classes=80
   ...
   

10. Editar o deepstream_app_config ficheiro

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo11.txt
    

11. Você também pode alterar a fonte do vídeo em deepstream_app_config ficheiro. Aqui, um ficheiro de vídeo padrão é carregado

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
    

Executar Inferência

deepstream-app -c deepstream_app_config.txt

Calibração INT8

Se você quiser usar a precisão INT8 para inferência, você precisa seguir os passos abaixo

1. Definir OPENCV variável de ambiente

   export OPENCV=1
   

2. Compile a biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. Para o conjunto de dados COCO, baixe o val2017, extraia e mova para DeepStream-Yolo pasta

4. Crie um novo diretório para imagens de calibração

   mkdir calibration
   

5. Execute o seguinte para selecionar 1000 imagens aleatórias do conjunto de dados COCO para executar a calibração

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done
   

   Nota

   A NVIDIA recomenda pelo menos 500 imagens para obter uma boa precisão. Neste exemplo, 1000 imagens são escolhidas para obter uma melhor precisão (mais imagens = mais precisão). Você pode configurá-lo em head -1000. Por exemplo, para 2000 imagens, head -2000. Este processo pode demorar muito.

6. Criar o calibration.txt ficheiro com todas as imagens selecionadas

   realpath calibration/*jpg > calibration.txt
   

7. Definir variáveis de ambiente

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   Nota

   Valores mais altos de INT8_CALIB_BATCH_SIZE resultarão em mais precisão e maior velocidade de calibração. Defina-o de acordo com a sua memória GPU.

8. Atualize o config_infer_primary_yolo11.txt ficheiro

   De

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   Para

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

Executar Inferência

deepstream-app -c deepstream_app_config.txt

Configuração MultiStream

Ver: Como Executar Múltiplos Fluxos com DeepStream SDK no Jetson Nano usando Ultralytics YOLO11 🎉

Para configurar múltiplos fluxos sob uma única aplicação deepstream, você pode fazer as seguintes alterações no deepstream_app_config.txt ficheiro

1. Altere as linhas e colunas para construir uma exibição em grade de acordo com o número de streams que você deseja ter. Por exemplo, para 4 streams, podemos adicionar 2 linhas e 2 colunas.

   [tiled-display]
   rows=2
   columns=2
   

2. Definir num-sources=4 e adicione uri de todos os 4 fluxos

   [source0]
   enable=1
   type=3
   uri=path/to/video1.jpg
   uri=path/to/video2.jpg
   uri=path/to/video3.jpg
   uri=path/to/video4.jpg
   num-sources=4
   

Executar Inferência

deepstream-app -c deepstream_app_config.txt

Resultados de Benchmark

Os benchmarks a seguir resumem o desempenho dos modelos YOLO11 em diferentes níveis de precisão TensorRT com um tamanho de entrada de 640x640 no NVIDIA Jetson Orin NX 16GB.

Gráfico de Comparação

Tabela de Comparação Detalhada

Agradecimentos

Este guia foi inicialmente criado por nossos amigos da Seeed Studio, Lakshantha e Elaine.

FAQ

Como configurar o Ultralytics YOLO11 em um dispositivo NVIDIA Jetson?

Para configurar o Ultralytics YOLO11 em um dispositivo NVIDIA Jetson, você primeiro precisa instalar o DeepStream SDK compatível com sua versão do JetPack. Siga o guia passo a passo no nosso Guia de Início Rápido para configurar seu NVIDIA Jetson para a implantação do YOLO11.

Qual é o benefício de usar TensorRT com YOLO11 no NVIDIA Jetson?

Usar o TensorRT com YOLO11 otimiza o modelo para inferência, reduzindo significativamente a latência e melhorando a taxa de transferência em dispositivos NVIDIA Jetson. O TensorRT fornece inferência de deep learning de alto desempenho e baixa latência por meio de fusão de camadas, calibração de precisão e ajuste automático de kernel. Isso leva a uma execução mais rápida e eficiente, particularmente útil para aplicações em tempo real, como análise de vídeo e máquinas autônomas.

Posso executar o Ultralytics YOLO11 com o DeepStream SDK em diferentes hardwares NVIDIA Jetson?

Sim, o guia para implantar o Ultralytics YOLO11 com o DeepStream SDK e o TensorRT é compatível com toda a linha NVIDIA Jetson. Isso inclui dispositivos como o Jetson Orin NX 16GB com JetPack 5.1.3 e o Jetson Nano 4GB com JetPack 4.6.4. Consulte a seção Configuração do DeepStream para YOLO11 para obter etapas detalhadas.

Como posso converter um modelo YOLO11 para ONNX para DeepStream?

Para converter um modelo YOLO11 para o formato ONNX para implantação com DeepStream, use o utils/export_yolo11.py script de DeepStream-Yolo repositório.

Aqui está um comando de exemplo:

python3 utils/export_yolo11.py -w yolo11s.pt --opset 12 --simplify

Para obter mais detalhes sobre a conversão de modelos, consulte a nossa seção de exportação de modelos.

Quais são os benchmarks de desempenho para YOLO no NVIDIA Jetson Orin NX?

O desempenho dos modelos YOLO11 no NVIDIA Jetson Orin NX 16GB varia com base nos níveis de precisão do TensorRT. Por exemplo, os modelos YOLO11s alcançam:

• Precisão FP32: 14,6 ms/im, 68,5 FPS
• Precisão FP16: 7,94 ms/im, 126 FPS
• Precisão INT8: 5,95 ms/im, 168 FPS

Esses benchmarks ressaltam a eficiência e a capacidade de usar modelos YOLO11 otimizados para TensorRT no hardware NVIDIA Jetson. Para mais detalhes, consulte nossa seção de Resultados de Benchmark.

📅 Criado há 1 ano ✏️ Atualizado há 22 dias

Comentários