تخطي إلى المحتوى

تقنيات المعالجة المسبقة للبيانات المشروحة في مجال الرؤية الحاسوبية

مقدمة

بعد تحديد أهداف مشروع الرؤية الحاسوبية الخاص بك وجمع البيانات وشرحها، فإن الخطوة التالية هي المعالجة المسبقة للبيانات المشروحة وإعدادها لتدريب النموذج. البيانات النظيفة والمتسقة ضرورية لإنشاء نموذج يعمل بشكل جيد.



شاهد: كيفية استخدام المعالجة المسبقة للبيانات وزيادة حجمها لتحسين دقة النموذج في سيناريوهات العالم الحقيقي 🚀

المعالجة المسبقة هي خطوة في سير عمل مشروع الرؤية الحاسوبية تتضمن تغيير حجم الصور، وتطبيع قيم البكسل، وزيادة حجم مجموعة البيانات، وتقسيم البيانات إلى مجموعات تدريب وتقييم واختبار. دعنا نستكشف التقنيات الأساسية وأفضل الممارسات لتنظيف بياناتك!

أهمية معالجة البيانات المسبقة

نحن بالفعل نقوم بجمع بياناتنا وشرحها بعناية مع أخذ اعتبارات متعددة في الاعتبار. إذن، ما الذي يجعل المعالجة المسبقة للبيانات مهمة جدًا لمشروع رؤية حاسوبية؟ حسنًا، المعالجة المسبقة للبيانات تدور حول إدخال بياناتك في تنسيق مناسب للتدريب يقلل من الحمل الحسابي ويساعد على تحسين أداء النموذج. فيما يلي بعض المشكلات الشائعة في البيانات الأولية التي تعالجها المعالجة المسبقة:

  • الضوضاء: اختلافات غير ذات صلة أو عشوائية في البيانات.
  • عدم الاتساق: اختلافات في أحجام الصور وتنسيقاتها وجودتها.
  • عدم التوازن: توزيع غير متساوٍ للفئات أو التصنيفات في مجموعة البيانات.

تقنيات معالجة البيانات المسبقة

تعد إعادة التحجيم واحدة من الخطوات الأولى والأهم في المعالجة المسبقة للبيانات. تم تصميم بعض النماذج للتعامل مع أحجام إدخال متغيرة، ولكن العديد من النماذج تتطلب حجم إدخال ثابت. إن تغيير حجم الصور يجعلها موحدة ويقلل من التعقيد الحسابي.

تغيير حجم الصور

يمكنك تغيير حجم صورك باستخدام الطرق التالية:

  • الاستيفاء الثنائي الخطي: يعمل على تلطيف قيم البكسل عن طريق أخذ متوسط مرجح لأقرب أربع قيم بكسل.
  • أقرب جار: يعين قيمة البكسل الأقرب دون حساب المتوسط، مما يؤدي إلى صورة مكتنزة ولكن حساب أسرع.

لتسهيل مهمة تغيير الحجم، يمكنك استخدام الأدوات التالية:

  • OpenCV: مكتبة رؤية حاسوبية شائعة مع وظائف واسعة النطاق لمعالجة الصور.
  • PIL (Pillow): مكتبة تصوير python لفتح ملفات الصور ومعالجتها وحفظها.

فيما يتعلق بـ YOLO11، تسمح معلمة 'imgsz' أثناء تدريب النموذج بأحجام إدخال مرنة. عند التعيين على حجم معين، مثل 640، سيقوم النموذج بتغيير حجم صور الإدخال بحيث يكون أكبر بُعد لها 640 بكسل مع الحفاظ على نسبة العرض إلى الارتفاع الأصلية.

من خلال تقييم الاحتياجات المحددة لنموذجك ومجموعة البيانات الخاصة بك، يمكنك تحديد ما إذا كان تغيير الحجم خطوة ضرورية للمعالجة المسبقة أم أن النموذج الخاص بك يمكنه التعامل بكفاءة مع الصور ذات الأحجام المختلفة.

تطبيع قيم البكسل

أسلوب آخر للمعالجة المسبقة هو التسوية. تعمل التسوية على تغيير مقياس قيم البكسل إلى نطاق قياسي، مما يساعد في التقارب بشكل أسرع أثناء التدريب ويحسن أداء النموذج. فيما يلي بعض تقنيات التسوية الشائعة:

  • توسيع الحد الأدنى والأقصى: يقوم بتغيير مقياس قيم البكسل إلى نطاق من 0 إلى 1.
  • تسوية النتيجة المعيارية Z: يقوم بتغيير مقياس قيم البكسل بناءً على المتوسط والانحراف المعياري.

فيما يتعلق بـ YOLO11، يتم التعامل مع التسوية بسلاسة كجزء من خط أنابيب المعالجة المسبقة الخاص بها أثناء تدريب النموذج. تقوم YOLO11 تلقائيًا بتنفيذ العديد من خطوات المعالجة المسبقة، بما في ذلك التحويل إلى RGB، وتغيير مقياس قيم البكسل إلى النطاق [0, 1]، والتسوية باستخدام قيم متوسطة وانحراف معياري محددة مسبقًا.

تقسيم مجموعة البيانات

بمجرد تنظيف البيانات، تكون جاهزًا لتقسيم مجموعة البيانات. يتم تقسيم البيانات إلى مجموعات تدريب وتقييم واختبار لضمان إمكانية تقييم النموذج على بيانات غير مرئية لتقييم أداء التعميم الخاص به. التقسيم الشائع هو 70٪ للتدريب و 20٪ للتقييم و 10٪ للاختبار. هناك أدوات ومكتبات مختلفة يمكنك استخدامها لتقسيم بياناتك مثل scikit-learn أو TensorFlow.

ضع في اعتبارك ما يلي عند تقسيم مجموعة البيانات الخاصة بك:

  • الحفاظ على توزيع البيانات: التأكد من الحفاظ على توزيع بيانات الفئات عبر مجموعات التدريب والتقييم والاختبار.
  • تجنب تسرب البيانات: عادةً ما يتم إجراء زيادة البيانات بعد تقسيم مجموعة البيانات. يجب تطبيق زيادة البيانات وأي معالجة مسبقة أخرى على مجموعة التدريب فقط لمنع المعلومات من مجموعات التحقق أو الاختبار من التأثير على تدريب النموذج.
  • موازنة الفئات: بالنسبة لمجموعات البيانات غير المتوازنة، ضع في اعتبارك تقنيات مثل أخذ عينات زائدة للفئة الأقلية أو أخذ عينات ناقصة للفئة الأغلبية داخل مجموعة التدريب.

ما هو توسيع البيانات؟

إن خطوة المعالجة المسبقة للبيانات الأكثر شيوعًا هي زيادة البيانات. تعمل زيادة البيانات على زيادة حجم مجموعة البيانات بشكل مصطنع عن طريق إنشاء إصدارات معدلة من الصور. من خلال زيادة بياناتك، يمكنك تقليل التجاوز وتحسين تعميم النموذج.

فيما يلي بعض الفوائد الأخرى لزيادة البيانات:

  • إنشاء مجموعة بيانات أكثر قوة: يمكن لزيادة البيانات أن تجعل النموذج أكثر قوة في مواجهة الاختلافات والتشوهات في بيانات الإدخال. وهذا يشمل التغييرات في الإضاءة والاتجاه والمقياس.
  • فعالة من حيث التكلفة: تعتبر زيادة البيانات طريقة فعالة من حيث التكلفة لزيادة كمية بيانات التدريب دون جمع بيانات جديدة وتصنيفها.
  • استخدام أفضل للبيانات: يتم استخدام كل نقطة بيانات متاحة إلى أقصى إمكاناتها عن طريق إنشاء اختلافات جديدة

طرق توسيع البيانات

تشمل تقنيات زيادة البيانات الشائعة القلب والتدوير والتحجيم وتعديلات الألوان. يمكن للعديد من المكتبات، مثل Albumentations و Imgaug و ImageDataGenerator الخاص بـ TensorFlow، إنشاء هذه الزيادات.

نظرة عامة على زيادة البيانات

فيما يتعلق بـ YOLO11، يمكنك زيادة مجموعة البيانات المخصصة الخاصة بك عن طريق تعديل ملف تكوين مجموعة البيانات، وهو ملف .yaml. في هذا الملف، يمكنك إضافة قسم زيادة مع معلمات تحدد الطريقة التي تريد بها زيادة بياناتك.

يدعم مستودع Ultralytics YOLO11 مجموعة واسعة من عمليات زيادة البيانات. يمكنك تطبيق تحويلات مختلفة مثل:

  • الاقتصاصات العشوائية
  • التقليب: يمكن قلب الصور أفقيًا أو رأسيًا.
  • التدوير: يمكن تدوير الصور بزوايا محددة.
  • التشويه

أيضًا، يمكنك ضبط شدة تقنيات الزيادة هذه من خلال معلمات محددة لإنشاء المزيد من تنوع البيانات.

دراسة حالة للمعالجة المسبقة

ضع في اعتبارك مشروعًا يهدف إلى تطوير نموذج لاكتشاف وتصنيف أنواع مختلفة من المركبات في صور المرور باستخدام YOLO11. لقد جمعنا صورًا لحركة المرور وقمنا بتعليقها بمربعات محيطة وتسميات.

إليك كيف ستبدو كل خطوة من خطوات المعالجة المسبقة لهذا المشروع:

  • تغيير حجم الصور: نظرًا لأن YOLO11 يتعامل مع أحجام إدخال مرنة وينفذ تغيير الحجم تلقائيًا، فإن تغيير الحجم يدويًا غير مطلوب. سيقوم النموذج بضبط حجم الصورة وفقًا لمعامل 'imgsz' المحدد أثناء التدريب.
  • تطبيع قيم البكسل: يقوم YOLO11 تلقائيًا بتطبيع قيم البكسل إلى نطاق من 0 إلى 1 أثناء المعالجة المسبقة، لذلك ليس مطلوبًا.
  • تقسيم مجموعة البيانات: قسّم مجموعة البيانات إلى مجموعات تدريب (70٪) والتحقق من الصحة (20٪) والاختبار (10٪) باستخدام أدوات مثل scikit-learn.
  • Data Augmentation: قم بتعديل ملف تكوين مجموعة البيانات (.yaml) لتضمين تقنيات زيادة البيانات مثل الاقتصاص العشوائي والقلب الأفقي وتعديلات السطوع.

تضمن هذه الخطوات إعداد مجموعة البيانات دون أي مشكلات محتملة وتكون جاهزة لتحليل البيانات الاستكشافي (EDA).

تقنيات تحليل البيانات الاستكشافي

بعد المعالجة المسبقة لبياناتك وزيادتها، فإن الخطوة التالية هي اكتساب رؤى من خلال تحليل البيانات الاستكشافي. يستخدم EDA التقنيات الإحصائية وأدوات التصور لفهم الأنماط والتوزيعات في بياناتك. يمكنك تحديد مشكلات مثل اختلال توازن الفئات أو القيم المتطرفة واتخاذ قرارات مستنيرة بشأن المزيد من المعالجة المسبقة للبيانات أو تعديلات تدريب النموذج.

تقنيات EDA الإحصائية

غالبًا ما تبدأ التقنيات الإحصائية بحساب المقاييس الأساسية مثل المتوسط والوسيط والانحراف المعياري والنطاق. توفر هذه المقاييس نظرة عامة سريعة على خصائص مجموعة بيانات الصور الخاصة بك، مثل توزيعات كثافة البكسل. يساعدك فهم هذه الإحصائيات الأساسية على فهم الجودة والخصائص العامة لبياناتك، مما يسمح لك باكتشاف أي مخالفات في وقت مبكر.

تقنيات EDA المرئية

تُعد المرئيات أساسية في الاستكشاف البصري للبيانات (EDA) لمجموعات بيانات الصور. على سبيل المثال، يُعد تحليل عدم توازن الفئات جانبًا حيويًا آخر من جوانب الاستكشاف البصري للبيانات (EDA). فهو يساعد في تحديد ما إذا كانت بعض الفئات ممثلة تمثيلاً ناقصًا في مجموعة البيانات الخاصة بك. يمكن أن يكشف تصور توزيع فئات أو تصنيفات الصور المختلفة باستخدام الرسوم البيانية الشريطية بسرعة عن أي اختلالات. وبالمثل، يمكن تحديد القيم المتطرفة باستخدام أدوات التصور مثل مخططات الصندوق، التي تسلط الضوء على الحالات الشاذة في كثافة البكسل أو توزيعات الميزات. يمنع اكتشاف القيم المتطرفة نقاط البيانات غير العادية من تحريف نتائجك.

تتضمن الأدوات الشائعة للتصورات ما يلي:

  • المدرجات التكرارية والمخططات الصندوقية: مفيدة لفهم توزيع قيم البكسل وتحديد القيم المتطرفة.
  • مخططات التشتت: مفيدة لاستكشاف العلاقات بين ميزات الصورة أو التعليقات التوضيحية.
  • الخرائط الحرارية: فعالة لتصور توزيع كثافة البكسل أو التوزيع المكاني للميزات المشروحة داخل الصور.

استخدام Ultralytics Explorer لـ EDA

ملاحظة من المجتمع ⚠️

اعتبارًا من ultralytics>=8.3.10، تم إيقاف دعم Ultralytics Explorer. ولكن لا تقلق! يمكنك الآن الوصول إلى وظائف مماثلة وحتى محسّنة من خلال Ultralytics HUB، منصتنا سهلة الاستخدام بدون تعليمات برمجية والمصممة لتبسيط سير عملك. باستخدام Ultralytics HUB، يمكنك متابعة استكشاف بياناتك وتصورها وإدارتها بسهولة، كل ذلك دون كتابة سطر واحد من التعليمات البرمجية. تأكد من التحقق من ذلك والاستفادة من ميزاته القوية! 🚀

للحصول على نهج أكثر تقدمًا لـ EDA، يمكنك استخدام أداة Ultralytics Explorer. إنها توفر قدرات قوية لاستكشاف مجموعات بيانات رؤية الكمبيوتر. من خلال دعم البحث الدلالي واستعلامات SQL والبحث عن تشابه المتجهات، تسهل الأداة تحليل بياناتك وفهمها. باستخدام Ultralytics Explorer، يمكنك إنشاء تضمينات لمجموعة البيانات الخاصة بك للعثور على صور مماثلة، وتشغيل استعلامات SQL لتحليل مفصل، وإجراء عمليات بحث دلالية، كل ذلك من خلال واجهة رسومية سهلة الاستخدام.

نظرة عامة على Ultralytics Explorer

تواصل وتفاعل

يمكن أن تمنحك المناقشات حول مشروعك مع عشاق رؤية الكمبيوتر الآخرين أفكارًا جديدة من وجهات نظر مختلفة. فيما يلي بعض الطرق الرائعة للتعلم واستكشاف الأخطاء وإصلاحها والتواصل:

قنوات للتواصل مع المجتمع

  • مشكلات GitHub: قم بزيارة مستودع YOLO11 GitHub واستخدم علامة التبويب "مشكلات" لطرح الأسئلة والإبلاغ عن الأخطاء واقتراح الميزات. المجتمع والقائمون على الصيانة موجودون للمساعدة في أي مشكلات تواجهك.
  • خادم Ultralytics Discord: انضم إلى خادم Ultralytics Discord للتواصل مع المستخدمين والمطورين الآخرين، والحصول على الدعم، وتبادل المعرفة، وتبادل الأفكار.

الوثائق الرسمية

  • وثائق Ultralytics YOLO11: راجع وثائق YOLO11 الرسمية للحصول على إرشادات شاملة ورؤى قيمة حول العديد من مهام ومشاريع رؤية الكمبيوتر.

مجموعة البيانات الخاصة بك جاهزة!

تعمل البيانات التي تم تغيير حجمها وتطبيعها وزيادتها بشكل صحيح على تحسين أداء النموذج عن طريق تقليل الضوضاء وتحسين التعميم. باتباع تقنيات المعالجة المسبقة وأفضل الممارسات الموضحة في هذا الدليل، يمكنك إنشاء مجموعة بيانات قوية. مع استعداد مجموعة البيانات التي تمت معالجتها مسبقًا، يمكنك المتابعة بثقة إلى الخطوات التالية في مشروعك.

الأسئلة الشائعة

ما هي أهمية معالجة البيانات المسبقة في مشاريع رؤية الكمبيوتر؟

تعد المعالجة المسبقة للبيانات ضرورية في مشاريع رؤية الكمبيوتر لأنها تضمن أن البيانات نظيفة ومتسقة وفي تنسيق مثالي لتدريب النموذج. من خلال معالجة مشكلات مثل الضوضاء وعدم الاتساق والاختلال في البيانات الأولية، تساعد خطوات المعالجة المسبقة مثل تغيير الحجم والتطبيع والزيادة وتقسيم مجموعة البيانات على تقليل الحمل الحسابي وتحسين أداء النموذج. لمزيد من التفاصيل، قم بزيارة خطوات مشروع رؤية الكمبيوتر.

كيف يمكنني استخدام Ultralytics YOLO لتوسيع البيانات؟

لتوسيع البيانات باستخدام Ultralytics YOLO11، تحتاج إلى تعديل ملف تكوين مجموعة البيانات (.yaml). في هذا الملف، يمكنك تحديد تقنيات توسيع مختلفة مثل الاقتصاصات العشوائية والتقليب الأفقي وتعديلات السطوع. يمكن القيام بذلك بفعالية باستخدام تكوينات التدريب الموضحة هنا. يساعد توسيع البيانات على إنشاء مجموعة بيانات أكثر قوة وتقليل التجاوز وتحسين تعميم النموذج.

ما هي أفضل تقنيات تطبيع البيانات لبيانات رؤية الكمبيوتر؟

تعمل التسوية على تغيير قيم البكسل إلى نطاق قياسي لتحقيق تقارب أسرع وتحسين الأداء أثناء التدريب. تتضمن التقنيات الشائعة ما يلي:

  • توسيع الحد الأدنى والأقصى: يقوم بتغيير مقياس قيم البكسل إلى نطاق من 0 إلى 1.
  • تسوية النتيجة المعيارية Z: يقوم بتغيير مقياس قيم البكسل بناءً على المتوسط والانحراف المعياري.

بالنسبة إلى YOLO11، تتم معالجة التسوية تلقائيًا، بما في ذلك التحويل إلى RGB وتوسيع قيمة البكسل. تعرف على المزيد حول هذا الموضوع في قسم تدريب النموذج.

كيف يمكنني تقسيم مجموعة البيانات المشروحة الخاصة بي للتدريب؟

لتقسيم مجموعة البيانات الخاصة بك، تتمثل الممارسة الشائعة في تقسيمها إلى 70٪ للتدريب و 20٪ للتحقق و 10٪ للاختبار. من المهم الحفاظ على توزيع البيانات للفئات عبر هذه الانقسامات وتجنب تسرب البيانات عن طريق إجراء التوسيع فقط على مجموعة التدريب. استخدم أدوات مثل scikit-learn أو TensorFlow لتقسيم مجموعة البيانات بكفاءة. راجع الدليل المفصل حول إعداد مجموعة البيانات.

هل يمكنني التعامل مع أحجام الصور المتغيرة في YOLO11 بدون تغيير الحجم يدويًا؟

نعم، يمكن لـ Ultralytics YOLO11 التعامل مع أحجام الصور المختلفة من خلال معلمة 'imgsz' أثناء تدريب النموذج. تضمن هذه المعلمة تغيير حجم الصور بحيث يتطابق أكبر بُعد لها مع الحجم المحدد (على سبيل المثال، 640 بكسل)، مع الحفاظ على نسبة العرض إلى الارتفاع. للتعامل الأكثر مرونة مع المدخلات والتعديلات التلقائية، تحقق من قسم تدريب النموذج.



📅 تم الإنشاء منذ سنة واحدة ✏️ تم التحديث منذ شهرين

تعليقات