تدريب YOLO11 باستخدام ClearML: تبسيط سير عمل MLOps الخاص بك
تقوم MLOps بسد الفجوة بين إنشاء ونشر نماذج تعلم الآلة في بيئات العالم الحقيقي. وهي تركز على النشر الفعال وقابلية التوسع والإدارة المستمرة لضمان أداء النماذج بشكل جيد في التطبيقات العملية.
يتكامل Ultralytics YOLO11 بسهولة مع ClearML، مما يبسط ويعزز تدريب وإدارة نموذج اكتشاف الكائنات الخاص بك. سيرشدك هذا الدليل خلال عملية التكامل، مع تفصيل كيفية إعداد ClearML وإدارة التجارب وأتمتة إدارة النماذج والتعاون بفعالية.
ClearML
ClearML عبارة عن منصة MLOps مبتكرة مفتوحة المصدر مصممة بمهارة لأتمتة ومراقبة وتنظيم سير عمل تعلم الآلة. تشمل ميزاته الرئيسية التسجيل التلقائي لجميع بيانات التدريب والاستدلال لإعادة إنتاج التجربة بالكامل، وواجهة مستخدم ويب سهلة الاستخدام لسهولة تصور البيانات وتحليلها، وخوارزميات تحسين المعلمات الفائقة المتقدمة، وإدارة نماذج قوية للنشر الفعال عبر منصات مختلفة.
تدريب YOLO11 باستخدام ClearML
يمكنك تحقيق الأتمتة والكفاءة في سير عمل تعلم الآلة الخاص بك عن طريق تحسين عملية التدريب الخاصة بك عن طريق دمج YOLO11 مع ClearML.
التثبيت
لتثبيت الحزم المطلوبة، قم بتشغيل:
التثبيت
# Install the required packages for YOLO11 and ClearML
pip install ultralytics clearml
للحصول على إرشادات مفصلة وأفضل الممارسات المتعلقة بعملية التثبيت، تأكد من مراجعة دليل تثبيت YOLO11 الخاص بنا. أثناء تثبيت الحزم المطلوبة لـ YOLO11، إذا واجهت أي صعوبات، فراجع دليل المشكلات الشائعة الخاص بنا للحصول على حلول ونصائح.
تكوين ClearML
بمجرد تثبيت الحزم الضرورية، فإن الخطوة التالية هي تهيئة وتكوين ClearML SDK الخاص بك. يتضمن ذلك إعداد حساب ClearML الخاص بك والحصول على بيانات الاعتماد اللازمة لاتصال سلس بين بيئة التطوير وخادم ClearML.
ابدأ بتهيئة ClearML SDK في بيئتك. يبدأ الأمر 'clearml-init' عملية الإعداد ويطالبك ببيانات الاعتماد اللازمة.
الإعداد الأولي لـ SDK
# Initialize your ClearML SDK setup process
clearml-init
بعد تنفيذ هذا الأمر، قم بزيارة صفحة إعدادات ClearML. انتقل إلى الزاوية العلوية اليمنى وحدد "Settings". انتقل إلى قسم "Workspace" وانقر على "Create new credentials". استخدم بيانات الاعتماد المتوفرة في النافذة المنبثقة "Create Credentials" لإكمال الإعداد كما هو موضح، اعتمادًا على ما إذا كنت تقوم بتكوين ClearML في Jupyter Notebook أو بيئة Python محلية.
الاستخدام
قبل الغوص في إرشادات الاستخدام، تأكد من مراجعة مجموعة نماذج YOLO11 التي تقدمها Ultralytics. سيساعدك هذا في اختيار النموذج الأنسب لمتطلبات مشروعك.
الاستخدام
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
فهم الكود
دعنا نفهم الخطوات المعروضة في مقتطف رمز الاستخدام أعلاه.
الخطوة 1: إنشاء مهمة ClearML: يتم تهيئة مهمة جديدة في ClearML، مع تحديد مشروعك وأسماء المهام. ستتتبع هذه المهمة تدريب النموذج الخاص بك وإدارته.
الخطوة 2: تحديد نموذج YOLO11: The model_variant يتم تعيين المتغير على 'yolo11n'، وهو أحد نماذج YOLO11. يتم بعد ذلك تسجيل هذا المتغير في ClearML للتتبع.
الخطوة 3: تحميل نموذج YOLO11: يتم تحميل نموذج YOLO11 المحدد باستخدام فئة YOLO الخاصة بـ Ultralytics، وإعداده للتدريب.
الخطوة 4: إعداد حجج التدريب: حجج التدريب الرئيسية مثل مجموعة البيانات (coco8.yaml) وعدد حقبة (16) منظمة في قاموس ومتصلة بمهمة ClearML. يتيح ذلك التتبع والتعديل المحتمل عبر واجهة مستخدم ClearML. لفهم مفصل لعملية تدريب النموذج وأفضل الممارسات، راجع دليل تدريب نموذج YOLO11.
الخطوة الخامسة: بدء تدريب النموذج: يبدأ تدريب النموذج بالوسائط المحددة. يتم تسجيل نتائج عملية التدريب في المتغير results variable.
فهم الإخراج
عند تشغيل جزء التعليمات البرمجية للاستخدام أعلاه، يمكنك توقع المخرجات التالية:
- رسالة تأكيد تشير إلى إنشاء مهمة ClearML جديدة، بالإضافة إلى المعرف الفريد الخاص بها.
- رسالة إعلامية حول تخزين كود البرنامج النصي، مما يشير إلى أن تنفيذ الكود يتم تتبعه بواسطة ClearML.
- رابط URL إلى صفحة نتائج ClearML حيث يمكنك مراقبة تقدم التدريب وعرض السجلات التفصيلية.
- تقدم تنزيل نموذج YOLO11 ومجموعة البيانات المحددة، يليه ملخص لهندسة النموذج وتكوين التدريب.
- رسائل تهيئة لمكونات التدريب المختلفة مثل TensorBoard، و الدقة المختلطة التلقائية (AMP)، وإعداد مجموعة البيانات.
- أخيرًا، تبدأ عملية التدريب، مع تحديثات التقدم حيث يتم تدريب النموذج على مجموعة البيانات المحددة. لفهم متعمق لمقاييس الأداء المستخدمة أثناء التدريب، اقرأ دليلنا حول مقاييس الأداء.
عرض صفحة نتائج ClearML
بالنقر فوق رابط URL إلى صفحة نتائج ClearML في إخراج مقتطف التعليمات البرمجية للاستخدام، يمكنك الوصول إلى عرض شامل لعملية تدريب النموذج الخاص بك.
الميزات الرئيسية لصفحة نتائج ClearML
-
تتبع المقاييس في الوقت الفعلي
- تتبع المقاييس الهامة مثل الخسارة، و الدقة، ودرجات التحقق أثناء حدوثها.
- يوفر ملاحظات فورية لإجراء تعديلات في الوقت المناسب على أداء النموذج.
-
مقارنة التجارب
- قارن بين عمليات التدريب المختلفة جنبًا إلى جنب.
- ضروري لـ ضبط المعلمات الفائقة وتحديد النماذج الأكثر فعالية.
-
السجلات والمخرجات التفصيلية
- الوصول إلى السجلات الشاملة والتمثيلات الرسومية للمقاييس ومخرجات وحدة التحكم.
- اكتسب فهمًا أعمق لسلوك النموذج وحل المشكلات.
-
مراقبة استخدام الموارد
- مراقبة استخدام موارد الحوسبة، بما في ذلك CPU و GPU والذاكرة.
- مفتاح لتحسين كفاءة التدريب والتكاليف.
-
إدارة مصنوعات النموذج
- عرض وتنزيل ومشاركة مصنوعات النموذج مثل النماذج المدربة ونقاط التفتيش.
- يعزز التعاون ويبسط نشر النموذج ومشاركته.
لمشاهدة عرض مرئي لكيفية ظهور صفحة نتائج ClearML، شاهد الفيديو أدناه:
شاهد: تكامل YOLO11 MLOps باستخدام ClearML
الميزات المتقدمة في ClearML
توفر ClearML العديد من الميزات المتقدمة لتحسين تجربتك في MLOps.
التنفيذ عن بعد
تسهل ميزة التنفيذ عن بعد في ClearML إعادة إنتاج التجارب ومعالجتها على أجهزة مختلفة. يسجل التفاصيل الأساسية مثل الحزم المثبتة والتغييرات غير الملتزم بها. عند وضع مهمة في قائمة الانتظار، يقوم ClearML Agent بسحبها وإعادة إنشاء البيئة وتشغيل التجربة، والإبلاغ مرة أخرى بنتائج مفصلة.
إن نشر وكيل ClearML أمر مباشر ويمكن القيام به على أجهزة مختلفة باستخدام الأمر التالي:
clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]
هذا الإعداد قابل للتطبيق على الأجهزة الافتراضية السحابية أو وحدات معالجة الرسومات المحلية أو أجهزة الكمبيوتر المحمولة. تساعد ClearML Autoscalers في إدارة أعباء العمل السحابية على منصات مثل AWS و GCP و Azure، وأتمتة نشر الوكلاء وتعديل الموارد بناءً على ميزانية الموارد الخاصة بك.
الاستنساخ والتحرير والإضافة إلى قائمة الانتظار
تتيح واجهة ClearML سهلة الاستخدام استنساخ المهام وتعديلها وإضافتها إلى قائمة الانتظار بسهولة. يمكن للمستخدمين استنساخ تجربة موجودة، وتعديل المعلمات أو التفاصيل الأخرى من خلال واجهة المستخدم، وإضافة المهمة إلى قائمة الانتظار للتنفيذ. تضمن هذه العملية المبسطة أن وكيل ClearML الذي ينفذ المهمة يستخدم تكوينات محدثة، مما يجعلها مثالية للتجريب التكراري والضبط الدقيق للنموذج.
إدارة إصدار مجموعة البيانات
يوفر ClearML أيضًا إمكانات إدارة إصدارات مجموعات البيانات قوية تتكامل بسلاسة مع مهام سير عمل تدريب YOLO11. تتيح لك هذه الميزة:
- قم بإصدار مجموعات البيانات الخاصة بك بشكل منفصل عن التعليمات البرمجية الخاصة بك
- تتبع إصدار مجموعة البيانات الذي تم استخدامه لكل تجربة
- يمكنك الوصول بسهولة إلى أحدث إصدار من مجموعة البيانات وتنزيله
لإعداد مجموعة البيانات الخاصة بك لـ ClearML، اتبع الخطوات التالية:
- نظم مجموعة البيانات الخاصة بك بهيكل YOLO القياسي (الصور والتسميات وما إلى ذلك).
- انسخ ملف YAML المقابل إلى جذر مجلد مجموعة البيانات الخاصة بك
-
قم بتحميل مجموعة البيانات الخاصة بك باستخدام أداة ClearML Data:
cd your_dataset_folder clearml-data sync --project YOLOv11 --name your_dataset_name --folder .
سينشئ هذا الأمر مجموعة بيانات ذات إصدارات في ClearML يمكن الرجوع إليها في نصوص التدريب الخاصة بك، مما يضمن إمكانية التكرار وسهولة الوصول إلى بياناتك.
ملخص
لقد أرشدك هذا الدليل خلال عملية دمج ClearML مع YOLO11 من Ultralytics. من خلال تغطية كل شيء بدءًا من الإعداد الأولي وحتى إدارة النماذج المتقدمة، اكتشفت كيفية الاستفادة من ClearML للتدريب الفعال وتتبع التجارب وتحسين سير العمل في مشاريع تعلم الآلة الخاصة بك.
لمزيد من التفاصيل حول الاستخدام، قم بزيارة وثائق ClearML الرسمية.
بالإضافة إلى ذلك، استكشف المزيد من عمليات التكامل وقدرات Ultralytics من خلال زيارة صفحة دليل تكامل Ultralytics، والتي تعد كنزًا دفينًا من الموارد والرؤى.
الأسئلة الشائعة
ما هي عملية دمج Ultralytics YOLO11 مع ClearML؟
يتضمن دمج Ultralytics YOLO11 مع ClearML سلسلة من الخطوات لتبسيط سير عمل MLOps الخاص بك. أولاً، قم بتثبيت الحزم الضرورية:
pip install ultralytics clearml
بعد ذلك، قم بتهيئة ClearML SDK في بيئتك باستخدام:
clearml-init
ثم تقوم بتكوين ClearML ببيانات الاعتماد الخاصة بك من صفحة إعدادات ClearML. يمكن العثور على إرشادات مفصلة حول عملية الإعداد بأكملها، بما في ذلك تحديد النموذج وتكوينات التدريب، في دليل تدريب نموذج YOLO11 الخاص بنا.
لماذا يجب علي استخدام ClearML مع Ultralytics YOLO11 لمشاريع تعلم الآلة الخاصة بي؟
يعمل استخدام ClearML مع Ultralytics YOLO11 على تحسين مشاريع تعلم الآلة الخاصة بك عن طريق أتمتة تتبع التجارب وتبسيط سير العمل وتمكين إدارة قوية للنماذج. توفر ClearML تتبعًا للمقاييس في الوقت الفعلي ومراقبة استخدام الموارد وواجهة سهلة الاستخدام لمقارنة التجارب. تساعد هذه الميزات على تحسين أداء النموذج الخاص بك وجعل عملية التطوير أكثر كفاءة. تعرف على المزيد حول الفوائد والإجراءات في دليل تكامل MLOps الخاص بنا.
كيف يمكنني استكشاف المشكلات الشائعة وإصلاحها أثناء دمج YOLO11 و ClearML؟
إذا واجهت مشكلات أثناء دمج YOLO11 مع ClearML، فراجع دليل المشكلات الشائعة الخاص بنا للحصول على حلول ونصائح. قد تتضمن المشكلات النموذجية أخطاء في تثبيت الحزمة أو إعداد بيانات الاعتماد أو مشكلات في التكوين. يوفر هذا الدليل إرشادات مفصلة لاستكشاف الأخطاء وإصلاحها لحل هذه المشكلات الشائعة بكفاءة.
كيف يمكنني إعداد مهمة ClearML لتدريب نموذج YOLO11؟
يتضمن إعداد مهمة ClearML لتدريب YOLO11 تهيئة مهمة وتحديد نوع النموذج وتحميل النموذج وإعداد وسيطات التدريب وأخيرًا بدء تدريب النموذج. إليك مثال مبسط:
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLO11 Model
model_variant = "yolo11n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLO11 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
راجع دليل الاستخدام الخاص بنا للحصول على تفاصيل مفصلة حول هذه الخطوات.
أين يمكنني عرض نتائج تدريب YOLO11 الخاص بي في ClearML؟
بعد تشغيل برنامج تدريب YOLO11 النصي الخاص بك باستخدام ClearML، يمكنك عرض النتائج على صفحة نتائج ClearML. سيتضمن الإخراج رابط URL إلى لوحة معلومات ClearML، حيث يمكنك تتبع المقاييس ومقارنة التجارب ومراقبة استخدام الموارد. لمزيد من التفاصيل حول كيفية عرض النتائج وتفسيرها، راجع القسم الخاص بنا حول عرض صفحة نتائج ClearML.
