تصدير TensorRT لنماذج YOLO11

قد يتطلب نشر نماذج الرؤية الحاسوبية في بيئات عالية الأداء تنسيقًا يزيد من السرعة والكفاءة. وهذا صحيح بشكل خاص عندما تقوم بنشر النموذج الخاص بك على وحدات معالجة الرسوميات NVIDIA.

باستخدام تنسيق التصدير TensorRT، يمكنك تحسين نماذج Ultralytics YOLO11 الخاصة بك للاستدلال السريع والفعال على أجهزة NVIDIA. سيوفر لك هذا الدليل خطوات سهلة الاتباع لعملية التحويل ويساعدك على تحقيق أقصى استفادة من تقنية NVIDIA المتقدمة في مشاريع التعلم العميق الخاصة بك.

TensorRT

TensorRT، الذي تم تطويره بواسطة NVIDIA، عبارة عن مجموعة تطوير برامج (SDK) متقدمة مصممة للاستدلال عالي السرعة في التعلم العميق. إنها مناسبة تمامًا للتطبيقات في الوقت الفعلي مثل اكتشاف الكائنات.

تعمل هذه المجموعة من الأدوات على تحسين نماذج التعلم العميق لوحدات معالجة الرسوميات NVIDIA وتؤدي إلى عمليات أسرع وأكثر كفاءة. تخضع نماذج TensorRT لتحسين TensorRT، والذي يتضمن تقنيات مثل دمج الطبقات ومعايرة الدقة (INT8 و FP16) وإدارة ذاكرة الموتر الديناميكية والضبط التلقائي للنواة. يتيح تحويل نماذج التعلم العميق إلى تنسيق TensorRT للمطورين إدراك إمكانات وحدات معالجة الرسوميات NVIDIA بالكامل.

تشتهر TensorRT بتوافقها مع تنسيقات النماذج المختلفة، بما في ذلك TensorFlow و PyTorch و ONNX، مما يوفر للمطورين حلاً مرنًا لدمج وتحسين النماذج من الأطر المختلفة. تتيح هذه المرونة نشر النماذج بكفاءة عبر بيئات الأجهزة والبرامج المتنوعة.

الميزات الرئيسية لنماذج TensorRT

تقدم نماذج TensorRT مجموعة من الميزات الرئيسية التي تساهم في كفاءتها وفعاليتها في الاستدلال عالي السرعة للتعلم العميق:

• معايرة الدقة: يدعم TensorRT معايرة الدقة، مما يسمح بضبط النماذج بدقة لمتطلبات دقة معينة. يتضمن ذلك دعم تنسيقات الدقة المنخفضة مثل INT8 و FP16، والتي يمكن أن تزيد من سرعة الاستدلال مع الحفاظ على مستويات دقة مقبولة.

• دمج الطبقات (Layer Fusion): تتضمن عملية تحسين TensorRT دمج الطبقات، حيث يتم دمج طبقات متعددة من شبكة عصبية في عملية واحدة. هذا يقلل من النفقات العامة الحسابية ويحسن سرعة الاستدلال عن طريق تقليل الوصول إلى الذاكرة والحساب.

• إدارة ذاكرة Tensor الديناميكية: تدير TensorRT استخدام ذاكرة tensor بكفاءة أثناء الاستدلال، مما يقلل من حمل الذاكرة ويحسن تخصيص الذاكرة. هذا يؤدي إلى استخدام أكثر كفاءة لذاكرة GPU.

• الضبط التلقائي للنواة: يطبق TensorRT الضبط التلقائي للنواة لتحديد نواة GPU الأكثر تحسينًا لكل طبقة من طبقات النموذج. يضمن هذا النهج التكيفي أن النموذج يستفيد بشكل كامل من قوة الحوسبة لوحدات معالجة الرسومات.

خيارات النشر في TensorRT

قبل أن ننظر إلى التعليمات البرمجية لتصدير نماذج YOLO11 إلى تنسيق TensorRT، دعنا نفهم أين تستخدم نماذج TensorRT عادةً.

تقدم TensorRT العديد من خيارات النشر، وكل خيار يوازن بين سهولة التكامل وتحسين الأداء والمرونة بشكل مختلف:

• النشر داخل TensorFlow: تدمج هذه الطريقة TensorRT في TensorFlow، مما يسمح بتشغيل النماذج المحسّنة في بيئة TensorFlow مألوفة. إنه مفيد للنماذج التي تحتوي على مزيج من الطبقات المدعومة وغير المدعومة، حيث يمكن لـ TF-TRT التعامل مع هذه الطبقات بكفاءة.

• واجهة برمجة تطبيقات وقت التشغيل TensorRT المستقلة: توفر تحكمًا دقيقًا، وهي مثالية للتطبيقات ذات الأهمية البالغة للأداء. إنها أكثر تعقيدًا ولكنها تسمح بالتنفيذ المخصص للمشغلين غير المدعومين.

• خادم NVIDIA Triton للاستدلال: خيار يدعم النماذج من مختلف الأطر. إنه مناسب بشكل خاص للاستدلال السحابي أو الطرفي، ويوفر ميزات مثل التنفيذ المتزامن للنماذج وتحليل النماذج.

تصدير نماذج YOLO11 إلى TensorRT

يمكنك تحسين كفاءة التنفيذ وتحسين الأداء عن طريق تحويل نماذج YOLO11 إلى تنسيق TensorRT.

التثبيت

لتثبيت الحزمة المطلوبة، قم بتشغيل:

# Install the required package for YOLO11
pip install ultralytics

للحصول على إرشادات مفصلة وأفضل الممارسات المتعلقة بعملية التثبيت، تحقق من دليل تثبيت YOLO11. أثناء تثبيت الحزم المطلوبة لـ YOLO11، إذا واجهت أي صعوبات، فراجع دليل المشكلات الشائعة للحصول على الحلول والنصائح.

الاستخدام

قبل الغوص في إرشادات الاستخدام، تأكد من مراجعة مجموعة نماذج YOLO11 التي تقدمها Ultralytics. سيساعدك هذا في اختيار النموذج الأنسب لمتطلبات مشروعك.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolo11n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine''

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

وسائط التصدير

لمزيد من التفاصيل حول عملية التصدير، قم بزيارة صفحة وثائق Ultralytics حول التصدير.

تصدير TensorRT مع تكميم INT8

يقوم تصدير نماذج Ultralytics YOLO باستخدام TensorRT مع دقة INT8 بتنفيذ تكميم ما بعد التدريب (PTQ). يستخدم TensorRT المعايرة لـ PTQ، والتي تقيس توزيع التنشيطات داخل كل موتر تنشيط حيث يعالج نموذج YOLO الاستدلال على بيانات الإدخال التمثيلية، ثم يستخدم هذا التوزيع لتقدير قيم المقياس لكل موتر. يحتوي كل موتر تنشيط مرشح للتكميم على مقياس مرتبط به يتم استنتاجه بواسطة عملية المعايرة.

عند معالجة الشبكات الكمية ضمنيًا، يستخدم TensorRT INT8 بشكل انتهازي لتحسين وقت تنفيذ الطبقة. إذا كانت الطبقة تعمل بشكل أسرع في INT8 وتم تعيين مقاييس تكميم على مدخلات ومخرجات البيانات الخاصة بها، فسيتم تعيين نواة بدقة INT8 لتلك الطبقة، وإلا فسيختار TensorRT دقة إما FP32 أو FP16 للنواة بناءً على أيهما يؤدي إلى وقت تنفيذ أسرع لتلك الطبقة.

تكوين تصدير INT8

الوسائط المُدخلة عند استخدام تصدير لنموذج Ultralytics YOLO سوف إلى حد كبير تؤثر على أداء النموذج المصدر. ستحتاج أيضًا إلى تحديدها بناءً على موارد الجهاز المتاحة، ومع ذلك فإن الحجج الافتراضية يجب العمل لمعظم وحدات معالجة الرسوميات NVIDIA منفصلة من نوع Ampere (أو أحدث). خوارزمية المعايرة المستخدمة هي "MINMAX_CALIBRATION" ويمكنك قراءة المزيد من التفاصيل حول الخيارات المتاحة في دليل مطور TensorRTأظهرت اختبارات Ultralytics أن "MINMAX_CALIBRATION" كان الخيار الأفضل وتم إصلاح عمليات التصدير لاستخدام هذه الخوارزمية.

• workspace : يتحكم في حجم (بوحدة جيجابايت) تخصيص ذاكرة الجهاز أثناء تحويل أوزان النموذج.

  • اضبط workspace القيمة وفقًا لاحتياجات المعايرة وتوافر الموارد لديك. في حين أن workspace قد يزيد من وقت المعايرة، إلا أنه يسمح لـ TensorRT باستكشاف نطاق أوسع من تكتيكات التحسين، مما قد يعزز أداء النموذج و الدقة. وعلى العكس من ذلك، فإن workspace يمكن أن يقلل من وقت المعايرة ولكنه قد يحد من استراتيجيات التحسين، مما يؤثر على جودة النموذج الكمي.

  • الافتراضي هو workspace=None، والذي سيسمح لـ TensorRT بتخصيص الذاكرة تلقائيًا، عند التكوين يدويًا، قد تحتاج هذه القيمة إلى الزيادة إذا تعطل المعايرة (يخرج بدون تحذير).

  • سيقوم TensorRT بالإبلاغ UNSUPPORTED_STATE أثناء التصدير إذا كانت قيمة workspace أكبر من الذاكرة المتاحة للجهاز، مما يعني أن قيمة workspace يجب خفضه أو تعيينه إلى None.

  • إذا workspace تم تعيينه على القيمة القصوى وفشل المعايرة/تعطلت، ففكر في استخدام None للتخصيص التلقائي أو عن طريق تقليل قيم imgsz و batch لتقليل متطلبات الذاكرة.

  • تذكر أن معايرة INT8 خاصة بكل جهاز، وقد يؤدي استعارة وحدة معالجة الرسوميات "عالية الجودة" للمعايرة إلى ضعف الأداء عند تشغيل الاستدلال على جهاز آخر.

• batch : الحد الأقصى لحجم الدفعة الذي سيتم استخدامه للاستدلال. أثناء الاستدلال، يمكن استخدام دفعات أصغر، ولكن الاستدلال لن يقبل أي دفعات أكبر مما هو محدد.

أدت التجارب التي أجرتها NVIDIA إلى التوصية باستخدام ما لا يقل عن 500 صورة معايرة تمثل بيانات النموذج الخاص بك، مع معايرة تحديد الكمية INT8. هذا مجرد دليل إرشادي وليس صعب المتطلبات، و ستحتاج إلى التجربة لتحديد المتطلبات اللازمة لتحقيق أداء جيد لمجموعة البيانات الخاصة بك. نظرًا لأن بيانات المعايرة مطلوبة لمعايرة INT8 باستخدام TensorRT، فتأكد من استخدام data وسيطة عندما int8=True لـ TensorRT والاستخدام. data="my_dataset.yaml"، والذي سيستخدم الصور من التحقق للمعايرة به. عندما لا يتم تمرير أي قيمة لـ data مع التصدير إلى TensorRT مع تحديد كمية INT8، سيكون الإعداد الافتراضي هو استخدام أحد مجموعات بيانات أمثلة "صغيرة" تستند إلى مهمة النموذج بدلاً من إظهار خطأ.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolo11n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

ما هي مزايا استخدام YOLO مع TensorRT INT8؟

• حجم نموذج مُخفّض: يمكن أن يؤدي التكميم من FP32 إلى INT8 إلى تقليل حجم النموذج بمقدار 4x (على القرص أو في الذاكرة)، مما يؤدي إلى أوقات تنزيل أسرع. متطلبات تخزين أقل، وتقليل مساحة الذاكرة عند نشر نموذج.

• انخفاض استهلاك الطاقة: يمكن لعمليات الدقة المنخفضة لنماذج YOLO المصدرة بتنسيق INT8 أن تستهلك طاقة أقل مقارنة بنماذج FP32، خاصة بالنسبة للأجهزة التي تعمل بالبطاريات.

• سرعات استدلال محسنة: يعمل TensorRT على تحسين النموذج للأجهزة المستهدفة، مما قد يؤدي إلى سرعات استدلال أسرع على وحدات معالجة الرسومات (GPUs) والأجهزة المدمجة والمسرّعات.

عيوب استخدام YOLO مع TensorRT INT8

• انخفاض في مقاييس التقييم: استخدام دقة أقل سيعني ذلك mAP, Precision, Recall أو أي مقياس آخر يستخدم لتقييم أداء النموذج من المرجح أن تكون أسوأ إلى حد ما. انظر قسم نتائج الأداء لمقارنة الاختلافات في mAP50 و mAP50-95 عند التصدير باستخدام INT8 على عينة صغيرة من الأجهزة المختلفة.

• زيادة أوقات التطوير: قد يستغرق العثور على الإعدادات "المثالية" لمعايرة INT8 لمجموعة البيانات والجهاز قدرًا كبيرًا من الاختبار.

• الاعتماد على الأجهزة: يمكن أن يعتمد اكتساب المعايرة والأداء بشكل كبير على الأجهزة، وتكون أوزان النموذج أقل قابلية للنقل.

أداء تصدير Ultralytics YOLO TensorRT

NVIDIA A100

وحدات معالجة الرسومات الاستهلاكية

الأجهزة المدمجة

طرق التقييم

قم بتوسيع الأقسام أدناه للحصول على معلومات حول كيفية تصدير هذه النماذج واختبارها.

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

نشر نماذج YOLO11 TensorRT المصدرة

بعد نجاح تصدير نماذج Ultralytics YOLO11 الخاصة بك إلى تنسيق TensorRT، أنت الآن جاهز لنشرها. للحصول على إرشادات متعمقة حول نشر نماذج TensorRT الخاصة بك في إعدادات مختلفة، ألق نظرة على الموارد التالية:

• نشر Ultralytics مع خادم Triton: دليلنا حول كيفية استخدام NVIDIA Triton Inference (TensorRT Inference سابقًا) Server خصيصًا للاستخدام مع نماذج Ultralytics YOLO.

• نشر الشبكات العصبية العميقة مع NVIDIA TensorRT: تشرح هذه المقالة كيفية استخدام NVIDIA TensorRT لنشر الشبكات العصبية العميقة على منصات النشر المستندة إلى GPU بكفاءة.

• الذكاء الاصطناعي الشامل لأجهزة الكمبيوتر الشخصية المستندة إلى NVIDIA: نشر NVIDIA TensorRT: تشرح مشاركة المدونة هذه استخدام NVIDIA TensorRT لتحسين ونشر نماذج الذكاء الاصطناعي على أجهزة الكمبيوتر الشخصية المستندة إلى NVIDIA.

• مستودع GitHub لـ NVIDIA TensorRT:: هذا هو مستودع GitHub الرسمي الذي يحتوي على شفرة المصدر والوثائق الخاصة بـ NVIDIA TensorRT.

ملخص

في هذا الدليل، ركزنا على تحويل نماذج Ultralytics YOLO11 إلى تنسيق نموذج TensorRT الخاص بـ NVIDIA. تعتبر خطوة التحويل هذه ضرورية لتحسين كفاءة وسرعة نماذج YOLO11، مما يجعلها أكثر فعالية ومناسبة لبيئات النشر المتنوعة.

لمزيد من المعلومات حول تفاصيل الاستخدام، ألقِ نظرة على وثائق TensorRT الرسمية.

إذا كنت مهتمًا بمعرفة المزيد حول تكاملات Ultralytics YOLO11 الإضافية، فإن صفحة دليل التكامل الخاصة بنا توفر مجموعة واسعة من الموارد والرؤى الإعلامية.

الأسئلة الشائعة

كيف يمكنني تحويل نماذج YOLO11 إلى تنسيق TensorRT؟

لتحويل نماذج Ultralytics YOLO11 الخاصة بك إلى تنسيق TensorRT للاستدلال الأمثل لوحدة معالجة الرسومات NVIDIA، اتبع الخطوات التالية:

1. تثبيت الحزمة المطلوبة:

   pip install ultralytics
   

2. تصدير نموذج YOLO11 الخاص بك:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.pt")
   model.export(format="engine")  # creates 'yolo11n.engine'
   
   # Run inference
   model = YOLO("yolo11n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

لمزيد من التفاصيل، قم بزيارة دليل تثبيت YOLO11 و وثائق التصدير.

ما هي فوائد استخدام TensorRT لنماذج YOLO11؟

يوفر استخدام TensorRT لتحسين نماذج YOLO11 العديد من المزايا:

• سرعة استدلال أسرع: تعمل TensorRT على تحسين طبقات النموذج وتستخدم معايرة الدقة (INT8 و FP16) لتسريع الاستدلال دون التضحية بالدقة بشكل كبير.
• كفاءة الذاكرة: يدير TensorRT ذاكرة tensor ديناميكيًا، مما يقلل النفقات العامة ويحسن استخدام ذاكرة GPU.
• دمج الطبقات (Layer Fusion): يجمع بين طبقات متعددة في عمليات واحدة، مما يقلل من التعقيد الحسابي.
• الضبط التلقائي للنواة (Kernel Auto-Tuning): يختار تلقائيًا نوى GPU مُحسّنة لكل طبقة نموذج، مما يضمن أقصى أداء.

لمعرفة المزيد، استكشف وثائق TensorRT الرسمية من NVIDIA و نظرة عامة متعمقة على TensorRT.

هل يمكنني استخدام تكميم INT8 مع TensorRT لنماذج YOLO11؟

نعم، يمكنك تصدير نماذج YOLO11 باستخدام TensorRT مع تحديد كمية INT8. تتضمن هذه العملية تحديد الكمية بعد التدريب (PTQ) والمعايرة:

1. تصدير باستخدام INT8:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. تشغيل الاستدلال:

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

لمزيد من التفاصيل، راجع قسم تصدير TensorRT مع تحديد الكمية INT8.

كيف يمكنني نشر نماذج YOLO11 TensorRT على خادم NVIDIA Triton Inference؟

يمكن نشر نماذج YOLO11 TensorRT على خادم NVIDIA Triton Inference باستخدام الموارد التالية:

• نشر Ultralytics YOLOv8 مع خادم Triton: إرشادات خطوة بخطوة حول إعداد واستخدام Triton Inference Server.
• توثيق خادم NVIDIA Triton Inference: توثيق NVIDIA الرسمي لخيارات النشر والتكوينات التفصيلية.

ستساعدك هذه الأدلة على دمج نماذج YOLOv8 بكفاءة في بيئات نشر مختلفة.

ما هي التحسينات في الأداء التي لوحظت مع نماذج YOLOv8 المصدرة إلى TensorRT؟

يمكن أن تختلف تحسينات الأداء مع TensorRT بناءً على الأجهزة المستخدمة. فيما يلي بعض المعايير النموذجية:

• NVIDIA A100:

  • FP32 الاستدلال: ~0.52 مللي ثانية / صورة
  • الاستدلال FP16: ~0.34 مللي ثانية / صورة
  • استدلال INT8: ~0.28 مللي ثانية / صورة
  • انخفاض طفيف في متوسط الدقة (mAP) مع دقة INT8، ولكن تحسن كبير في السرعة.

• وحدات معالجة الرسومات الاستهلاكية (مثل RTX 3080):

  • FP32 الاستدلال: ~1.06 مللي ثانية / صورة
  • الاستدلال FP16: ~0.62 مللي ثانية / صورة
  • استدلال INT8: ~0.52 مللي ثانية / صورة

يمكن العثور على معايير الأداء التفصيلية لتكوينات الأجهزة المختلفة في قسم الأداء.

للحصول على رؤى أكثر شمولاً حول أداء TensorRT، راجع وثائق Ultralytics وتقارير تحليل الأداء الخاصة بنا.

📅 أُنشئ منذ سنة واحدة ✏️ تم التحديث منذ 23 يومًا

تعليقات