معالجة اللغة العربية الطبيعية: لماذا تربك اللهجات النماذج؟

العربية لغة واحدة على الورق، وعشرات اللهجات على ألسنة الناس. ونظام يحلل تقييمات العملاء يصطدم بهذا فوراً.

أين تظهر الصعوبة

التشكيل والإملاء: "الى" و"إلى"، و"ة" و"ه" في نهاية الكلمة. كتابة الناس لا تلتزم بقاعدة.

اللهجات: "وش"، "إيش"، "شو"، "ايش" كلها بمعنى "ماذا". والنموذج المدرَّب على الفصحى قد لا يفهمها.

العربيزي: كتابة العربية بحروف لاتينية وأرقام: "7abibi".

السخرية: "ممتاز، تأخر الطلب أسبوعاً!" نص إيجابي ظاهرياً.

الصيغ الصرفية: الكلمة الواحدة تحمل ضميراً وحرف جر وفعلاً: "فسيكتبونها".

كيف نتعامل معها

1. تطبيع النص: توحيد أشكال الألف والياء وإزالة التطويل.
2. بيانات مصنّفة محلياً: عيّنات من تعليقات حقيقية بلهجة منطقتك.
3. تقييم منفصل لكل لهجة حتى لا يخفي المتوسط ضعف الأداء في إحداها.
4. مراجعة بشرية للحالات منخفضة الثقة.

مثال على التطبيع

import re

def normalize(text):
    text = re.sub("[إأآ]", "ا", text)
    text = re.sub("ـ+", "", text)
    text = re.sub("[\u064B-\u0652]", "", text)
    return text.strip()

الخلاصة

لا تقبل مؤشر دقة واحداً يعلنه المورّد. اطلب اختباراً على بياناتك أنت. نعمل في هذا المجال ضمن معالجة اللغات الطبيعية.