استخدام نماذج Unity Sentis من Hugging Face

Unity 3D هو أحد أكثر محركات الألعاب شعبية في العالم. Unity Sentis هو محرك الاستدلال الذي يعمل على Unity 2023 أو إصدار أحدث. إنه واجهة برمجة تطبيقات تتيح لك دمج نماذج الشبكات العصبية وتشغيلها بسهولة في لعبتك أو تطبيقك مع الاستفادة من تسريع العتاد. وبما أن Unity يمكن تصديره إلى العديد من أشكال الأجهزة المختلفة بما في ذلك أجهزة الكمبيوتر الشخصية والهواتف المحمولة وأجهزة الألعاب، فإن ذلك يعني أن هذه طريقة سهلة لتشغيل نماذج الشبكات العصبية على العديد من أنواع العتاد المختلفة.

استكشاف نماذج Sentis في Hub

ستجد نماذج unity-sentis عن طريق التصفية في الجزء الأيسر من صفحة النماذج.

جميع نماذج Sentis في Hub تأتي مع كود وتعليمات تسهّل عليك البدء باستخدام النموذج في Unity. جميع نماذج Sentis الموجودة تحت مساحة الأسماء unity (على سبيل المثال، unity/sentis-yolotinyv7) تم التحقق من عملها، لذا يمكنك التأكد من أنها ستعمل في Unity.

للحصول على مزيد من التفاصيل حول استخدام Sentis، يمكنك قراءة وثائقه. ولطلب المساعدة من الآخرين الذين يستخدمون Sentis، يمكنك طرح أسئلتك في منتدى النقاش الخاص به

أنواع الملفات

ستحتوي كل مستودع على عدة أنواع من الملفات:

• ملفات sentis: هذه هي ملفات النموذج الرئيسية التي تحتوي على الشبكات العصبية التي تعمل على Unity.
• ملفات ONNX: هذا هو تنسيق بديل يمكنك تضمينه بالإضافة إلى ملفات Sentis أو بدلاً منها. وقد يكون مفيداً للتصور باستخدام أدوات طرف ثالث مثل Netron.
• cs ملف: هذه ملفات C# تحتوي على الكود لتشغيل النموذج على Unity.
• info.json: يحتوي هذا الملف على معلومات حول الملفات في المستودع.
• ملفات البيانات. هذه ملفات أخرى مطلوبة لتشغيل النموذج. قد تتضمن ملفات المفردات، قوائم أسماء الفئات، وما إلى ذلك. بعض الملفات النموذجية يكون امتدادها json أو txt.
• README.md. هذه بطاقة النموذج. تحتوي على تعليمات حول كيفية استخدام النموذج ومعلومات أخرى ذات صلة.

تشغيل النموذج

يجب دائمًا الرجوع إلى التعليمات الموجودة في بطاقة النموذج. يُفترض أن لديك بعض المعرفة بـ Unity وبعض المعرفة الأساسية بلغة C#.

1. افتح Unity 2023 أو إصدارًا أحدث وأنشئ مشهدًا جديدًا.

2. قم بتثبيت حزمة com.unity.sentis من مدير الحزم.

3. حمّل ملفات النموذج الخاصة بك (*.sentis) وملفات البيانات وضعها في مجلد StreamingAssets وهو مجلد فرعي داخل مجلد Assets. (إذا لم يكن هذا المجلد موجودًا يمكنك إنشاؤه).

4. ضع ملف C# الخاص بك على كائن في المشهد، مثل الكاميرا الرئيسية.

5. راجع بطاقة النموذج لمعرفة ما إذا كانت هناك أي كائنات أخرى تحتاج إلى إنشائها في المشهد.

في معظم الحالات، نوفر فقط التنفيذ الأساسي لتتمكن من البدء في العمل. أما إيجاد الاستخدامات الإبداعية فهو من اختصاصك. على سبيل المثال، قد ترغب في دمج نموذجين أو أكثر لإنجاز مهام مثيرة للاهتمام.

مشاركة نماذج Sentis الخاصة بك

نشجعكم على مشاركة نماذج Sentis الخاصة بكم على Hugging Face. وقد تكون هذه النماذج هي التي درّبتموها بأنفسكم، أو نماذج قمتم بتحويلها إلى صيغة Sentis وقمتم باختبارها للتشغيل في Unity.

يرجى تقديم النماذج بصيغة Sentis لكل مستودع تقوم برفعه. يوفر هذا فحصًا إضافيًا للتأكد من أنها ستعمل في Unity، وهي أيضًا الصيغة المفضلة للنماذج الكبيرة. يمكنك أيضًا تضمين إصدارات ONNX الأصلية من ملفات النموذج.

قدّم ملف C# يتضمن تنفيذًا أساسيًا. على سبيل المثال، يجب أن يحتوي نموذج معالجة الصور على كود يُظهر كيفية تجهيز الصورة للإدخال وبناء الصورة من المخرجات. أو يمكنك بدلاً من ذلك ربط بعض الكود النموذجي الخارجي. وهذا سيُسهّل على الآخرين تنزيل النموذج واستخدامه في Unity.

قدّم أي ملفات بيانات مطلوبة لتشغيل النموذج. على سبيل المثال، ملفات المفردات.

أخيرًا، يرجى تقديم ملف info.json الذي يدرج ملفات مشروعك. يساعد هذا في عدّ التحميلات. بعض الأمثلة على محتوى info.json هي:

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

أو إذا كان مثال الكود الخاص بك خارجيًا:

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

معلومات إضافية

كما نوفر بعض المشاريع النموذجية الكاملة لمساعدتك على البدء في استخدام Sentis.