Treinando YOLO11 com ClearML: Otimizando seu Fluxo de Trabalho de MLOps
O MLOps preenche a lacuna entre a criação e a implantação de modelos de aprendizado de máquina em ambientes do mundo real. Ele se concentra na implantação eficiente, escalabilidade e gerenciamento contínuo para garantir que os modelos tenham um bom desempenho em aplicações práticas.
O Ultralytics YOLO11 integra-se facilmente com o ClearML, simplificando e aprimorando o treinamento e o gerenciamento do modelo de detecção de objetos. Este guia irá orientá-lo através do processo de integração, detalhando como configurar o ClearML, gerenciar experimentos, automatizar o gerenciamento de modelos e colaborar de forma eficaz.
ClearML
ClearML é uma plataforma MLOps inovadora de código aberto, habilmente projetada para automatizar, monitorar e orquestrar fluxos de trabalho de aprendizado de máquina. Suas principais características incluem o registro automatizado de todos os dados de treinamento e inferência para total reprodutibilidade do experimento, uma interface de usuário web intuitiva para fácil visualização de dados e análise, algoritmos de otimização de hiperparâmetros avançados e gerenciamento robusto de modelos para implantação eficiente em várias plataformas.
Treino YOLO11 com ClearML
Você pode trazer automação e eficiência para o seu fluxo de trabalho de machine learning, melhorando o seu processo de treinamento ao integrar o YOLO11 com o ClearML.
Instalação
Para instalar os pacotes necessários, execute:
Instalação
# Install the required packages for YOLO11 and ClearML
pip install ultralytics clearml
Para obter instruções detalhadas e as melhores práticas relacionadas ao processo de instalação, consulte nosso guia de instalação do YOLO11. Ao instalar os pacotes necessários para o YOLO11, se você encontrar alguma dificuldade, consulte nosso guia de problemas comuns para soluções e dicas.
Configurando o ClearML
Depois de instalar os pacotes necessários, a próxima etapa é inicializar e configurar seu ClearML SDK. Isso envolve configurar sua conta ClearML e obter as credenciais necessárias para uma conexão perfeita entre seu ambiente de desenvolvimento e o servidor ClearML.
Comece inicializando o SDK ClearML em seu ambiente. O comando 'clearml-init' inicia o processo de configuração e solicita as credenciais necessárias.
Configuração Inicial do SDK
# Initialize your ClearML SDK setup process
clearml-init
Após executar este comando, visite a página de configurações do ClearML. Navegue até o canto superior direito e selecione "Settings". Vá para a seção "Workspace" e clique em "Create new credentials". Use as credenciais fornecidas no pop-up "Create Credentials" para concluir a configuração conforme as instruções, dependendo se você está configurando o ClearML em um Jupyter Notebook ou em um ambiente Python local.
Utilização
Antes de se aprofundar nas instruções de uso, certifique-se de verificar a variedade de modelos YOLO11 oferecidos pela Ultralytics. Isso ajudará você a escolher o modelo mais adequado para os requisitos do seu projeto.
Utilização
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Entendendo o Código
Vamos entender as etapas apresentadas no trecho de código de uso acima.
Passo 1: Criando uma Tarefa ClearML: Uma nova tarefa é inicializada no ClearML, especificando seu projeto e nomes de tarefa. Esta tarefa irá rastrear e gerenciar o treinamento do seu modelo.
Passo 2: Selecionando o Modelo YOLO11: O model_variant variável é definida como 'yolo11n', um dos modelos YOLO11. Esta variante é então registada no ClearML para rastreamento.
Passo 3: Carregando o Modelo YOLO11: O modelo YOLO11 selecionado é carregado usando a classe YOLO da Ultralytics, preparando-o para o treinamento.
Passo 4: Configurando Argumentos de Treinamento: Argumentos-chave de treinamento como o conjunto de dados (coco8.yaml) e o número de épocas (16) são organizados em um dicionário e conectados à tarefa ClearML. Isso permite o rastreamento e a possível modificação através da interface do usuário ClearML. Para uma compreensão detalhada do processo de treinamento do modelo e das melhores práticas, consulte nosso Guia de Treinamento do Modelo YOLO11.
Passo 5: Iniciando o Treinamento do Modelo: O treinamento do modelo é iniciado com os argumentos especificados. Os resultados do processo de treinamento são capturados no results variável.
Entendendo a Saída
Ao executar o trecho de código de uso acima, você pode esperar a seguinte saída:
- Uma mensagem de confirmação indicando a criação de uma nova tarefa ClearML, juntamente com seu ID exclusivo.
- Uma mensagem informativa sobre o código do script que está sendo armazenado, indicando que a execução do código está sendo rastreada pelo ClearML.
- Um link URL para a página de resultados do ClearML, onde você pode monitorar o progresso do treinamento e visualizar logs detalhados.
- Progresso do download para o modelo YOLO11 e o conjunto de dados especificado, seguido por um resumo da arquitetura do modelo e da configuração de treinamento.
- Mensagens de inicialização para vários componentes de treinamento, como TensorBoard, Precisão Mista Automática (AMP) e preparação do conjunto de dados.
- Finalmente, o processo de treinamento começa, com atualizações de progresso à medida que o modelo é treinado no conjunto de dados especificado. Para uma compreensão aprofundada das métricas de desempenho usadas durante o treinamento, leia o nosso guia sobre métricas de desempenho.
Visualizando a Página de Resultados do ClearML
Ao clicar no link URL para a página de resultados do ClearML na saída do trecho de código de uso, você pode acessar uma visão abrangente do processo de treinamento do seu modelo.
Principais Recursos da Página de Resultados do ClearML
-
Rastreamento de Métricas em Tempo Real
- Rastreie métricas críticas como perda, precisão e pontuações de validação à medida que ocorrem.
- Fornece feedback imediato para ajustes oportunos no desempenho do modelo.
-
Comparação de Experimentos
- Compare diferentes execuções de treinamento lado a lado.
- Essencial para ajuste de hiperparâmetros e identificação dos modelos mais eficazes.
-
Logs e Saídas Detalhados
- Acesse logs abrangentes, representações gráficas de métricas e saídas de console.
- Obtenha uma compreensão mais profunda do comportamento do modelo e da resolução de problemas.
-
Monitoramento da Utilização de Recursos
- Monitore a utilização de recursos computacionais, incluindo CPU, GPU e memória.
- Chave para otimizar a eficiência e os custos de treinamento.
-
Gerenciamento de Artefatos do Modelo
- Visualize, baixe e compartilhe artefatos do modelo, como modelos treinados e checkpoints.
- Melhora a colaboração e agiliza a implantação e o compartilhamento de modelos.
Para uma demonstração visual de como é a página de resultados do ClearML, assista ao vídeo abaixo:
Assista: Integração YOLO11 MLOps usando ClearML
Recursos Avançados no ClearML
O ClearML oferece vários recursos avançados para aprimorar sua experiência de MLOps.
Execução Remota
O recurso de execução remota do ClearML facilita a reprodução e manipulação de experimentos em diferentes máquinas. Ele registra detalhes essenciais como pacotes instalados e alterações não commitadas. Quando uma tarefa é enfileirada, o Agente ClearML a puxa, recria o ambiente e executa o experimento, reportando de volta com resultados detalhados.
A implantação de um Agente ClearML é simples e pode ser feita em várias máquinas usando o seguinte comando:
clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]
Esta configuração é aplicável a VMs na nuvem, GPUs locais ou laptops. Os ClearML Autoscalers ajudam a gerenciar cargas de trabalho na nuvem em plataformas como AWS, GCP e Azure, automatizando a implantação de agentes e ajustando os recursos com base no seu orçamento de recursos.
Clonagem, Edição e Enfileiramento
A interface amigável do ClearML permite clonar, editar e enfileirar tarefas facilmente. Os usuários podem clonar um experimento existente, ajustar parâmetros ou outros detalhes através da UI e enfileirar a tarefa para execução. Este processo simplificado garante que o Agente ClearML que executa a tarefa use configurações atualizadas, tornando-o ideal para experimentação iterativa e ajuste fino de modelos.
Gerenciamento de Versões de Conjuntos de Dados
O ClearML também oferece poderosos recursos de gerenciamento de versão de conjunto de dados que se integram perfeitamente aos fluxos de trabalho de treinamento do YOLO11. Este recurso permite que você:
- Controle a versão dos seus conjuntos de dados separadamente do seu código
- Rastrear qual versão do conjunto de dados foi usada para cada experimento
- Aceda e descarregue facilmente a versão mais recente do conjunto de dados
Para preparar seu conjunto de dados para o ClearML, siga estas etapas:
- Organize seu conjunto de dados com a estrutura YOLO padrão (imagens, rótulos, etc.)
- Copie o arquivo YAML correspondente para a raiz da pasta do seu conjunto de dados
-
Carregue seu conjunto de dados usando a ferramenta ClearML Data:
cd your_dataset_folder clearml-data sync --project YOLOv11 --name your_dataset_name --folder .
Este comando criará um conjunto de dados versionado no ClearML que pode ser referenciado em seus scripts de treinamento, garantindo a reprodutibilidade e o fácil acesso aos seus dados.
Resumo
Este guia conduziu você pelo processo de integração do ClearML com o YOLO11 da Ultralytics. Abrangendo desde a configuração inicial até o gerenciamento avançado de modelos, você descobriu como aproveitar o ClearML para treinamento eficiente, rastreamento de experimentos e otimização de fluxo de trabalho em seus projetos de aprendizado de máquina.
Para obter mais detalhes sobre o uso, visite a documentação oficial do ClearML.
Além disso, explore mais integrações e capacidades da Ultralytics visitando a página do guia de integração da Ultralytics, que é um tesouro de recursos e insights.
FAQ
Qual é o processo para integrar Ultralytics YOLO11 com ClearML?
A integração do Ultralytics YOLO11 com ClearML envolve uma série de etapas para otimizar seu fluxo de trabalho de MLOps. Primeiro, instale os pacotes necessários:
pip install ultralytics clearml
Em seguida, inicialize o SDK ClearML no seu ambiente usando:
clearml-init
Em seguida, configure o ClearML com suas credenciais da página de configurações do ClearML. Instruções detalhadas sobre todo o processo de configuração, incluindo a seleção do modelo e as configurações de treinamento, podem ser encontradas em nosso guia de treinamento do modelo YOLO11.
Por que devo usar o ClearML com o Ultralytics YOLO11 para meus projetos de machine learning?
Usar o ClearML com o Ultralytics YOLO11 aprimora seus projetos de machine learning, automatizando o rastreamento de experimentos, otimizando fluxos de trabalho e permitindo o gerenciamento robusto de modelos. O ClearML oferece rastreamento de métricas em tempo real, monitoramento de utilização de recursos e uma interface amigável para comparar experimentos. Esses recursos ajudam a otimizar o desempenho do seu modelo e tornam o processo de desenvolvimento mais eficiente. Saiba mais sobre os benefícios e procedimentos em nosso guia de Integração MLOps.
Como solucionar problemas comuns durante a integração de YOLO11 e ClearML?
Se você encontrar problemas durante a integração do YOLO11 com o ClearML, consulte nosso Guia de Problemas Comuns para soluções e dicas. Os problemas típicos podem envolver erros de instalação de pacotes, configuração de credenciais ou problemas de configuração. Este guia fornece instruções de solução de problemas passo a passo para resolver esses problemas comuns de forma eficiente.
Como configurar a tarefa ClearML para o treinamento do modelo YOLO11?
Configurar uma tarefa ClearML para treinamento YOLO11 envolve inicializar uma tarefa, selecionar a variante do modelo, carregar o modelo, configurar argumentos de treinamento e, finalmente, iniciar o treinamento do modelo. Aqui está um exemplo simplificado:
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Consulte nosso guia de uso para uma análise detalhada dessas etapas.
Onde posso visualizar os resultados do meu treinamento YOLO11 no ClearML?
Após executar seu script de treinamento YOLO11 com ClearML, você pode visualizar os resultados na página de resultados do ClearML. A saída incluirá um link de URL para o painel do ClearML, onde você pode rastrear métricas, comparar experimentos e monitorar o uso de recursos. Para obter mais detalhes sobre como visualizar e interpretar os resultados, consulte nossa seção sobre Visualização da Página de Resultados do ClearML.
