Upload all models and assets for ary (20251201)

README.md

@@ -36,15 +36,13 @@ generated: 2025-12-27
 # Moroccan Arabic - Wikilangs Models
 ## Comprehensive Research Report & Full Ablation Study
 
-This report presents a comprehensive evaluation of language models trained on **Moroccan Arabic** Wikipedia data.
+This repository contains NLP models trained and evaluated by Wikilangs, specifically on **Moroccan Arabic** Wikipedia data.
 We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and word embeddings.
 
 ## 📋 Repository Contents
 
 ### Models & Assets
 
-```
-models/
 - Tokenizers (8k, 16k, 32k, 64k)
 - N-gram models (2, 3, 4-gram)
 - Markov chains (context of 1, 2, 3 and 4)
@@ -52,11 +50,9 @@ models/
 - Embeddings in various sizes and dimensions
 - Language Vocabulary
 - Language Statistics
-```
-
 ![Performance Dashboard](visualizations/performance_dashboard.png)
 
-### Quick Links
+### Analysis and Evaluation
 
 - [1. Tokenizer Evaluation](#1-tokenizer-evaluation)
 - [2. N-gram Model Evaluation](#2-n-gram-model-evaluation)
@@ -85,41 +81,37 @@ models/
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `لوغة تماجق كاتعني إمّا:
- لوغة تاولامت
- لوغة تايرت`
-
-| Vocab | Tokens | Count |
-|-------|--------|-------|
-| 8k | `▁لوغة ▁تما ج ق ▁كاتعني ▁إم ّا : ▁لوغة ▁تا ... (+6 more)` | 16 |
-| 16k | `▁لوغة ▁تما ج ق ▁كاتعني ▁إم ّا : ▁لوغة ▁تا ... (+6 more)` | 16 |
-| 32k | `▁لوغة ▁تما ج ق ▁كاتعني ▁إم ّا : ▁لوغة ▁تا ... (+5 more)` | 15 |
-| 64k | `▁لوغة ▁تماجق ▁كاتعني ▁إمّا : ▁لوغة ▁تاول امت ▁لوغة ▁تايرت` | 10 |
-
-**Sample 2:** `تلاتين (رّمز ف نّماري لغبارية 30) نمرة ؤ عاداد جا مورا 29 ؤ قبل 31.
+**Sample 1:** `معمر زين العاشقين قاري و حافظ د لقرآن.
 
  مصادر 
 
+تصنيف:زيادة 1954
+تصنيف:ناس حيين...`
+
+| Vocab | Tokens | Count |
+|-------|--------|-------|
+| 8k | `▁مع مر ▁زين ▁الع اش قين ▁ق اري ▁و ▁ح ... (+21 more)` | 31 |
+| 16k | `▁مع مر ▁زين ▁الع اش قين ▁ق اري ▁و ▁حافظ ... (+20 more)` | 30 |
+| 32k | `▁معمر ▁زين ▁الع اش قين ▁قاري ▁و ▁حافظ ▁د ▁لقرآن ... (+18 more)` | 28 |
+| 64k | `▁معمر ▁زين ▁العاش قين ▁قاري ▁و ▁حافظ ▁د ▁لقرآن . ... (+17 more)` | 27 |
 
-ت...`
+**Sample 2:** `ضريب لمؤخرة (ب ) فبي دي إس إم عملية جنسية كاتخدّم كا عقاب ولا ل لإتارة لجنسية ما...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁تلات ين ▁( ر ّم ز ▁ف ▁نّ ماري ▁لغ ... (+30 more)` | 40 |
-| 16k | `▁تلات ين ▁( رّمز ▁ف ▁نّماري ▁لغبارية ▁ 3 0 ... (+23 more)` | 33 |
-| 32k | `▁تلاتين ▁( رّمز ▁ف ▁نّماري ▁لغبارية ▁ 3 0 ) ... (+22 more)` | 32 |
-| 64k | `▁تلاتين ▁( رّمز ▁ف ▁نّماري ▁لغبارية ▁ 3 0 ) ... (+22 more)` | 32 |
+| 8k | `▁ض ريب ▁لمؤ خرة ▁( ب ▁) ▁ف بي ▁دي ... (+40 more)` | 50 |
+| 16k | `▁ض ريب ▁لمؤ خرة ▁( ب ▁) ▁ف بي ▁دي ... (+36 more)` | 46 |
+| 32k | `▁ض ريب ▁لمؤ خرة ▁( ب ▁) ▁ف بي ▁دي ... (+32 more)` | 42 |
+| 64k | `▁ضريب ▁لمؤخرة ▁( ب ▁) ▁ف بي ▁دي ▁إس ▁إم ... (+28 more)` | 38 |
 
-**Sample 3:** `هادي صفحة د التوضيح، كلمة خان يمكن يكونو عندها هاد لمعاني:
- جينكيز خان
- شاه روخ ...`
+**Sample 3:** `ضباب  هوّا إيروصول كيتشاف ب لْعين، مكوّن من قطرات صغار ديال لما ؤلا كريستالات دي...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁هادي ▁صفحة ▁د ▁التوضيح ، ▁كلمة ▁خ ان ▁يمكن ▁يكونو ... (+19 more)` | 29 |
-| 16k | `▁هادي ▁صفحة ▁د ▁التوضيح ، ▁كلمة ▁خان ▁يمكن ▁يكونو ▁عندها ... (+16 more)` | 26 |
-| 32k | `▁هادي ▁صفحة ▁د ▁التوضيح ، ▁كلمة ▁خان ▁يمكن ▁يكونو ▁عندها ... (+14 more)` | 24 |
-| 64k | `▁هادي ▁صفحة ▁د ▁التوضيح ، ▁كلمة ▁خان ▁يمكن ▁يكونو ▁عندها ... (+12 more)` | 22 |
+| 8k | `▁ض باب ▁هوّا ▁إير وص ول ▁كيت شاف ▁ب ▁لْ ... (+34 more)` | 44 |
+| 16k | `▁ض باب ▁هوّا ▁إير وص ول ▁كيت شاف ▁ب ▁لْ ... (+31 more)` | 41 |
+| 32k | `▁ض باب ▁هوّا ▁إير وصول ▁كيتشاف ▁ب ▁لْ عين ، ... (+27 more)` | 37 |
+| 64k | `▁ض باب ▁هوّا ▁إير وصول ▁كيتشاف ▁ب ▁لْ عين ، ... (+24 more)` | 34 |
 
 
 ### Key Findings
@@ -213,27 +205,27 @@ Below are text samples generated from each Markov chain model:
 
 **Context Size 1:**
 
-1. `. " ) هي واحد ( ليسي و لإتحاد الرياضي الفاسي كرمتها منظمة لكاس ( ن`
-2. `، فين لمتماكنين ( لفلامانية ) : لمعمار ، 30 د لكتابة ؤ ݣاري كاسپاروڤ وغلب`
-3. `ف 29 . الشكال ف 2017 : دوار ف لوسط د الناس النشيطين ف 1994 تصنيف`
+1. `. لخصوبة عند الجواج ف لكامبيانة د فلوسها من ݣوجارات ف لمغريب تصنيف : لقرن 20`
+2. `، منهوم 816 , geerat j . ولادها بجوج فالإليادة ، عاود قاسها قبل منهوم 154`
+3. `ف إقليم لخميسات تصنيف : سلطان شرعي . ناس د الكاسترد تصنيف : 29 مارس 1920`
 
 **Context Size 2:**
 
-1. `تصنيف : دوار ف إقليم تارودانت تصنيف : مقالات فيها مصدر و علاين 3000 بايت تصنيف :`
-2. `، و كتعتمد ف بزاف ديال العولاما الآخرين . خمس قصايد سومرية قديمة على حساب لبلاد تصنيف`
-3. `ن ّ اس ن ّ شيطين ( ل ّ ي ف اللخر د عصر ت ّ قويم`
+1. `تصنيف : مارس تصنيف : زيادة 1961 تصنيف : أفلام د 2005 . لمحطة التانية فيها 66`
+2. `، و معتاقل سياسي روسي . كان خدا لجايزة د لأوسكار لأحسن فيلم قصير ( 4 )`
+3. `ن ّ اس ل ّ ي قاريين فوق الليسي ( ليسي و جامعة ) : 12 ,`
 
 **Context Size 3:**
 
-1. `مصادر تصنيف : دوار ف لمغريب تصنيف : دوار ف إقليم تارودانت تصنيف : مقالات فيها مصدر و`
-2. `تصنيف : مقالات زادهوم داريجابوت تصنيف : لقرن 18 ذكر سفير لمغريبي الزياني ف لمذكرات ديالو فاش كان`
-3. `ن ّ اس اللي خدامين ف لپريڤي : 35 % مصادر تصنيف : جهة طنجة تطوان الحسيمة ،`
+1. `مصادر تصنيف : پاناما تصنيف : عواصم ديال بلدان تصنيف : بانݣلاديش تصنيف : بزوليات د جنوب آسيا`
+2. `تصنيف : مقالات فيها مصدر و 3000 بايت تصنيف : مقالات فيها مصدر و 3000 بايت تصنيف :`
+3. `ن ّ اس ل ّ ي كتعتابر لوغة كيلتية ، ؤ ل ّ يسي . كروص كانت تتحيد`
 
 **Context Size 4:**
 
-1. `تصنيف : دوار ف لمغريب تصنيف : دوار ف لمغريب تصنيف : دوار ف لمغريب تصنيف : دوار ف`
-2. `نسبة ن ّ اس اللي خدامين ف د ّ ولة : 5 , 1 % نسبة ن ّ اس`
-3. `. مصادر تصنيف : عوام د تقويم لميلادي تصنيف : مقالات زادهوم داريجابوت تصنيف : سيسطيم تاع سميات الضومي...`
+1. `تصنيف : دوار ف عمالة مكناس تصنيف : مقالات زادهوم داريجابوت تصنيف : ناس حيين تصنيف : زيادة 1987`
+2. `نسبة ن ّ اس اللي خدامين ف د ّ ولة : 8 , 3 % نسبة ن ّ اس`
+3. `. مصادر تصنيف : لوغات أمازيغية تصنيف : مقالات فيها مصدر و 3000 بايت تصنيف : مقالات زادهوم داريجابوت`
 
 
 ### Key Findings
@@ -560,7 +552,8 @@ MIT License - Free for academic and commercial use.
 - 🌐 Website: [wikilangs.org](https://wikilangs.org)
 - 🤗 Models: [huggingface.co/wikilangs](https://huggingface.co/wikilangs)
 - 📊 Data: [wikipedia-monthly](https://huggingface.co/datasets/omarkamali/wikipedia-monthly)
+- 👤 Author: [Omar Kamali](https://huggingface.co/omarkamali)
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2025-12-27 04:21:06*
+*Report Date: 2025-12-27 04:26:59*