# معالجة اللغة العربية الطبيعية: لماذا تربك اللهجات النماذج؟

العربية لغة واحدة على الورق، وعشرات اللهجات على ألسنة الناس. ونظام يحلل تقييمات العملاء يصطدم بهذا فوراً.

## أين تظهر الصعوبة
**التشكيل والإملاء:** "الى" و"إلى"، و"ة" و"ه" في نهاية الكلمة. كتابة الناس لا تلتزم بقاعدة.

**اللهجات:** "وش"، "إيش"، "شو"، "ايش" كلها بمعنى "ماذا". والنموذج المدرَّب على الفصحى قد لا يفهمها.

**العربيزي:** كتابة العربية بحروف لاتينية وأرقام: "7abibi".

**السخرية:** "ممتاز، تأخر الطلب أسبوعاً!" نص إيجابي ظاهرياً.

**الصيغ الصرفية:** الكلمة الواحدة تحمل ضميراً وحرف جر وفعلاً: "فسيكتبونها".

## كيف نتعامل معها
1. **تطبيع النص:** توحيد أشكال الألف والياء وإزالة التطويل.
2. **بيانات مصنّفة محلياً:** عيّنات من تعليقات حقيقية بلهجة منطقتك.
3. **تقييم منفصل لكل لهجة** حتى لا يخفي المتوسط ضعف الأداء في إحداها.
4. **مراجعة بشرية** للحالات منخفضة الثقة.

## مثال على التطبيع
```python
import re

def normalize(text):
    text = re.sub("[إأآ]", "ا", text)
    text = re.sub("ـ+", "", text)
    text = re.sub("[\u064B-\u0652]", "", text)
    return text.strip()
```

## الخلاصة
لا تقبل مؤشر دقة واحداً يعلنه المورّد. اطلب اختباراً على بياناتك أنت. نعمل في هذا المجال ضمن [معالجة اللغات الطبيعية](https://sultanfirst.com/nlp.html).