هل تغير السلوك أم اختفت السجلات؟ مشروع تخرج لمحقق بيانات

أظهرت لوحة المتابعة أن مدة استخدام التطبيق انخفضت، فاستنتج الفريق أن المستخدمين فقدوا اهتمامهم. لكن ماذا لو كان تحديث التسجيل قد أسقط الجلسات الطويلة فقط؟ يصلح هذا السؤال لبناء واحد من مشاريع تخرج الذكاء الاصطناعي التي تشرح مشكلة حقيقية دون الحاجة إلى سجلات أشخاص. تنشئ أداة «محقق البيانات» عالماً اصطناعياً تعرف أحداثه كاملة، ثم تخفي بعضها وفق سيناريو معلوم، وتطلب من الطالب تفسير الرسم قبل أن تكشف له ما حدث.

عالم كامل ونافذة ناقصة عليه

أنشئ في Python جدولاً من جلسات افتراضية يحتوي المعرّف واليوم ونوع الجهاز والمدة الحقيقية، باستعمال NumPy وبذرة عشوائية محفوظة. احتفظ بنسخة كاملة لا تصل إلى خطوات التحليل، ثم أنشئ نسخة مشاهدة بقناع نقص مستقل. استخدم pandas للحساب وواجهة تفاعلية تعرض الإعدادات والرسم. لا تضع أسماء أو معرفات أشخاص حقيقيين، واكتب على صفحة البيانات والتصدير أنها اصطناعية ومصممة للتعليم، فلا توحي رسومها بأنها تصف مستخدمي خدمة فعلية.

حدد هل النقص يقع في قيمة المدة فقط أم في سجل الجلسة كله. في الحالة الأولى قد تعرف أن الجلسة موجودة وأن مدتها فارغة. أما اختفاء السجل كاملاً فيحتاج سجلاً مستقلاً موثوقاً لعدد الجلسات إذا أردت حساب نسبة الفقد. هذا الفرق أساس المشروع؛ لوحة تستخرج مقام النسبة من السجلات الباقية قد لا ترى ما اختفى أصلاً.

ثلاث آليات تبنيها ولا تدعي اكتشافها تلقائياً

ابدأ بإخفاء عشوائي مستقل عن المتغيرات، ثم اجعل احتمال الغياب يعتمد على نوع جهاز يبقى مسجلاً، ثم على المدة الحقيقية التي ستختفي. هذه أمثلة تعليمية على MCAR وMAR وMNAR بحسب افتراضات السيناريو. يوثق المصدر الرسمي لدالة ampute في حزمة mice توليد هذه الآليات من بيانات كاملة. تستطيع تطبيق مولد بسيط في Python أو مقارنة ناتجه بتنفيذ الحزمة، مع حفظ قواعد الاحتمال المستخدمة.

أضف مفتاحاً منفصلاً لتغيير السلوك الحقيقي، مثل تقليل مدد جميع الجلسات في اليوم الثاني. بذلك تستطيع مقارنة تغير التسجيل فقط، وتغير السلوك فقط، واجتماعهما. وجود ارتباط بين الغياب ونوع الجهاز في النسخة المشاهدة لا يثبت أن بقية النقص عشوائي شرطياً، ولا يستبعد اعتماداً على قيمة لا تراها. اعرض الافتراضات ضمن النتيجة، لا في ملف تقني مخفي.

لغز متوسط ينخفض دون تغير المدد

افترض يومين يحتوي كل منهما 50 جلسة قصيرة مدتها 20 دقيقة و50 جلسة طويلة مدتها 80 دقيقة. هذه أعداد حسابية مختارة بلا ضجيج، وليست بيانات تشغيل. في اليوم الثاني بقيت الجلسات القصيرة كلها، وسجل النظام عشر جلسات طويلة فقط. المتوسط الحقيقي لليومين هو 50 دقيقة، بينما متوسط السجلات المشاهدة لليوم الثاني يصبح 30 دقيقة.

اسأل الطالب أولاً عما يحتاجه للتمييز بين تفسيرين: تغير المدد أو خلل التسجيل. بعد إجابته اكشف عدد السجلات الأصلي وقاعدة الإخفاء. ثم صمم سيناريو آخر يعطي ملخصاً مشاهداً شبيهاً مع تغير سلوكي فعلي؛ التشابه يدربه على طلب دليل إضافي بدلاً من اختيار قصة واثقة من الرسم وحده.

أين تضيف نموذج تعلم آلي؟

اجعل المهمة تقدير مدد مفقودة في سيناريو معلن، وقارنها بحذف الصفوف وتعويض الوسيط. توضح وثائق scikit-learn أساليب التعويض ومؤشر الغياب الذي يحتفظ بمعلومة أن القيمة كانت ناقصة. جرب نموذج انحدار محدوداً اعتماداً على المتغيرات المتاحة، ودرب خطوات المعالجة على قسم التدريب وحده. لا تمرر المدة الأصلية أو قناع السيناريو السري إلى النموذج بوصفهما سمات.

التعويض لا يعيد الحقيقة تلقائياً، خاصة حين يتعلق الغياب بالقيمة غير المرئية. وقد لا توجد أصلاً صفوف لتعويضها عند اختفاء السجل الكامل. أظهر الفرق بين تقدير متوسط المجتمع وتوقع قيمة جلسة واحدة، واسمح بعرض نطاق حساسية تحت افتراضات متعددة بدلاً من رقم يبدو حاسماً. لا تصف الأداة بأنها تعرف سبب انخفاض مؤشرات أي تطبيق حقيقي بمجرد رفع CSV.

اختبار على بذور وسيناريوهات محجوزة

ثبت مجموعة بذور للتطوير وأخرى للتقييم، وبدل نسبة النقص وقوة اعتماده على المدة ونوع الجهاز. لكل تشغيل احسب فرق المتوسط المقدر عن المتوسط الكامل، ومتوسط الخطأ المطلق للمدد المخفية عندما تكون صفوفها معروفة. اعرض التوزيع عبر تشغيلات متعددة، لا أفضل تشغيل فقط. خط الأساس هو حساب المتوسط من المشاهدات المتاحة، ثم تعويض الوسيط عند انطباقه؛ التعقيد لا يضمن تحسناً.

اختبر فقد عمود كامل، وفئة جهاز لا تظهر في التدريب، ويوماً بلا مشاهدات، وتغيراً حقيقياً يتزامن مع عطل التسجيل. يجب أن توضح الواجهة متى لا يمكن حساب المؤشر أو التقدير، وألا تستبدل الفراغ بصفر بلا تفسير. هذه خطة تحقق مقترحة؛ المثال الحسابي أعلاه قابل للمراجعة يدوياً، ولم تنفذ هنا تجارب تدريب أو قياسات أداء.

ثلاث إضافات للمختبر

• جولة تحقيق: يختار الطالب فحص سجل ثانٍ أو توزيع الأجهزة، وتشرح الأداة ما يكشفه كل فحص وما لا يكشفه.
• مقارنة عوالم: عرض سيناريوهين متشابهين في المشاهدة ومختلفين في الآلية، مع كشف تدريجي للمعلومات.
• تقرير قابل للإعادة: تصدير البذرة وإعدادات التوليد والتقسيم والجداول، دون تسريب الجدول الكامل إلى مسار النموذج.

ما الذي تسلمه كمشروع تخرج؟

سلّم مولد البيانات ودفتر الحسابات وواجهة التحقيق وتقرير الحالات التي فشل فيها التقدير. اربط التنفيذ بـمسار تحليل البيانات واضبط منع التسرب من البداية. عند تحديد نطاق مشروع التخرج، اجعل الهدف تعليم حدود الاستدلال وقياس أثر النقص؛ هذا هدف أدق وأقوى من وعد بكشف سبب خفي لا تسمح البيانات بتحديده.