هل تعلّم المصنف خلفية الصورة؟ مشاريع تخرج رؤية حاسوبية لاختبار shortcut learning

درّبت نموذجاً لتمييز نوعين من الأدوات، ثم اكتشفت أن أغلب صور الفئة الأولى التقطت على طاولة زرقاء والثانية على خلفية خشبية. قد يتعلم النموذج لون الطاولة لأنه أسرع قرينة في بيانات التدريب. يقترح هذا المشروع من مشاريع تخرج الرؤية الحاسوبية اختبار اعتماد النموذج على الخلفية: نثبت العنصر قدر الإمكان، ونبدل السياق أو نخفيه، ونقارن القرارات. السؤال هنا عن shortcut بصري، لا عن وجود نسخة مكررة في التدريب والاختبار.

اكتب الفرضية على شكل تغيير قابل للقياس

اختر تصنيفاً آمناً للتجربة، مثل التمييز بين أدوات مكتبية أو أنواع مواد فرز معروفة. افترض أن الخلفية مرتبطة بالفئة في مجموعة التدريب، وأن العلاقة قد تنقلب في الاستخدام الجديد. لا تستخدم فئات طبية أو استنتاجات عن أشخاص. حدد مسبقاً كيف ستعرف اعتماداً زائداً: تغير الفئة أو انخفاض الثقة أو تراجع الدقة على مجموعة معدة لتغيير الخلفية.

الورقة المفاهيمية Shortcut learning in deep neural networks تصف قواعد قرار تبدو ناجحة على معيار عادي لكنها لا تنتقل عند تغير ظروف الاختبار. هذه فكرة تفسيرية عامة، ولا تعني أن كل تغير أداء يثبت shortcut؛ قد يغير تعديل الخلفية حدود العنصر أو الإضاءة أيضاً.

أنشئ أزواج صور بمصدر واضح

استخدم مجموعة صور مرخصة تسمح بتعديلها، أو التقط عينات أدوات جامعية بموافقة أصحاب المكان. سجل الفئة والخلفية ومكان الالتقاط والترخيص. أنشئ لكل صورة نسخة بخلفية محايدة ونسخة بخلفية مختلفة باستخدام قناع يدوي أو أداة قص، واحتفظ بالأصل وبصورة توضح أي آثار قص. لا تنشر وجوهاً أو بيانات مكانية حساسة من دون حاجة وإذن.

يمكن أن تستلهم من WILDS الذي يجمع مسائل توزيع متغير في بيانات العالم الحقيقي، لكن مشروعاً صغيراً لا يساوي معيار WILDS حجماً أو نطاقاً. اجعل الاختبار داخل الصور التي جرى التعديل عليها، وافصلها عن الصور التي استخدمت لتدريب النموذج. هنا نفحص تغيير الخلفية عمداً؛ لا ندعي أن المشكلة تسرب بيانات.

قارن الأصل بالقناع والتبديل

درّب نموذجاً بسيطاً على الصور الأصلية، ثم احسب التنبؤات قبل وبعد إزالة الخلفية أو استبدالها بخلفية من الفئة الأخرى. أضف خط أساساً يتلقى قصاصة العنصر فقط، إن استطعت تجهيزها بجودة مناسبة. اعرض مصفوفة الحالات: العنصر نفسه والخلفية الأصلية، خلفية محايدة، وخلفية بديلة. لا تعالج النموذج أو تضبط عتبة كل نسخة بعد الاطلاع على مجموعة القياس ذاتها.

توضح دراسة Boland وزملائه في MIDL 2024 أمثلة لقرائن مختصرة مثل نص مضاف على الصورة، وتبحث وسائل تحديد موضعها في الشبكات. يمكن لتقرير التخرج استخدام اختبار تدخلي أبسط، لكنه يجب أن يقول إن تغيير البكسلات لا يشرح وحده أي طبقة داخلية أو سبباً وحيداً.

ماذا تعني نتيجة التبديل؟

لنفترض أن صورة المقص على طاولة زرقاء صُنفت بشكل صحيح، ثم انخفضت الثقة بعد قصه على خلفية رمادية. قد يشير هذا إلى حساسية للسياق، أو إلى أن عملية القص شوّهت حدود المقص أو إضاءته. لذلك يعرض الفريق الصورة الأصلية والمعدلة، ودرجة جودة القناع، ونتيجة المراجع الذي يقرر هل بقي العنصر قابلاً للتعرف بصرياً. لا يعتبر كل تغير دليلاً قاطعاً على تعلم لون الطاولة.

اختبر أيضاً صوراً تكون فيها الخلفية مطابقة للفئة وغير مطابقة. إذا حافظ النموذج على قراره عبر تبديلات متعددة مع بقاء العنصر واضحاً، فهذا يدعم مرونته ضمن هذه الظروف فقط. أظهر حالة لم تحسمها الأداة بدلاً من فرض فئة على صورة تالفة.

قِس الدقة والتغير ومتانة التحضير

أبلغ دقة كل مجموعة ومصفوفة الالتباس، وتغير التنبؤ للصورة ذاتها، وفرق الثقة بين الأصل والتبديل. كرر التجربة مع أكثر من خلفية أو طريقة قص. قارن بنموذج بسيط يعتمد على لون الخلفية وحده كأداة تشخيص، لا كدليل نهائي على طريقة عمل الشبكة. إذا كانت العينة قليلة، أظهر الأعداد المطلقة بجانب النسب.

راجع الصور المعدلة يدوياً أو بعينة عشوائية من شخص آخر لا يعرف توقع النموذج. اجعل هذا الفحص مستقلاً عن إعداد train/test حتى تبقى المصطلحات واضحة: تقسيم البيانات يمنع تداخل العينات، أما تغيير الخلفية فيختبر علاقة قرينة بالناتج. يمكن أن توجد المشكلتان معاً لكنهما ليستا الشيء نفسه.

حدود تدخلات الصورة

القناع غير المثالي قد يحذف جزءاً من العنصر، والخلفية البديلة قد تخلق حوافاً غير طبيعية. نموذج التصنيف نفسه قد يتأثر بالإضاءة والدقة وضغط الصورة، لذلك يجب توثيق معالجة كل نسخة. مجموعة صغيرة من الأدوات لا تبرهن سلوك كل الأنظمة أو كل بيئات الالتقاط. لا تعد بأن النموذج «فهم الشيء» بعد اختبار واحد.

أظهر التباين بين تدقيق البيانات وفحص الاختصارات، ولا تخلط هذا المشروع بمشروع كشف الصور المكررة. استخدم أدواته لتوجيه جمع بيانات أكثر تنوعاً ومراجعة بشرية، لا لإطلاق المنتج على المستخدمين دون اختبار ميداني مستقل.

التسليم الذي يدعم قرار الفريق

يشمل المشروع نسخ البيانات مع بياناتها الوصفية، أقنعة أو صور تعديل موثقة، إعدادات التدريب، سكربت المقارنة، أمثلة التغيرات، وقائمة حالات فشل التحضير. تعرض الواجهة بجانب كل صورة الخلفية الأصلية والبديلة ونتيجة النموذج وملاحظات المراجع. يمكن الإشارة إلى تدقيق تغير المجال في صور الأوراق للمقارنة، مع إبقاء سؤال هذه الفكرة عن اعتماد المصنف على خلفية الصورة.

مشاريع تخرج الرؤية الحاسوبية تكون أوضح حين تفصل ما حدث في اختبار مضبوط عما تتوقعه خارج المختبر. قد تنتهي التجربة بأن الخلفية أثرت قليلاً أو كثيراً أو أن أدوات التدخل لم تكن نظيفة بما يكفي؛ كل ذلك يحدد الخطوة التالية، ولا يبرر وصف نظام بأنه صالح للتطبيق العام.