لماذا يبدأ كل مشروع ذكاء اصطناعي ناجح بتنظيف الجداول؟
أغلب الوقت في مشاريع التعلم الآلي لا يُقضى في النموذج، بل في البيانات. وهذا ليس سوء حظ، بل طبيعة العمل.
مشكلات نراها في البيانات
- تكرار: العميل نفسه مسجل ثلاث مرات بإملاء مختلف.
- قيم ناقصة: حقول فارغة أو "غير معروف".
- تنسيقات متضاربة: 12/03 قد يكون ديسمبر أو مارس.
- تحيّز مخفي: بيانات قديمة لا تمثل عملاء اليوم.
مثال صغير بلغة Python
import pandas as pd
df = pd.read_csv("sales.csv")
df["date"] = pd.to_datetime(df["date"], errors="coerce")
df = df.drop_duplicates(subset=["customer_id", "date", "amount"])
print(df.isna().mean().sort_values(ascending=False).head())
هذه الأسطر الأربعة تكشف نسب القيم المفقودة، وهي أول ما ننظر إليه.
خطوات عملية
- اجمع المصادر في مكان واحد.
- وحّد التنسيقات.
- أزل التكرار وعالج المفقود بقرار مدروس.
- وثّق كل تغيير حتى يمكن تكراره.
الخلاصة
نموذج متوسط على بيانات نظيفة يتفوق غالباً على نموذج متقدم على بيانات فوضوية. نبدأ مشاريع الذكاء الاصطناعي من هنا دائماً.