أي مقطع يظهر أولاً؟ مشاريع تخرج استرجاع هجين للأنظمة الجامعية العربية

يسأل طالب عن تمديد استعارة جهاز لمعمل، لكن الدليل يستخدم عبارة «إعارة المعدات» والطالب يكتب باللهجة «بدي أمدد أخذ الجهاز». البحث الحرفي قد يفوّت المقطع، والبحث الدلالي قد يعرض فقرة قريبة في المعنى لكنها تخص استعارة الكتب. يقترح هذا المشروع من مشاريع تخرج نظم المعلومات والذكاء الاصطناعي معياراً لاسترجاع مقاطع عربية من دليل جامعي، ويقارن ترتيب BM25 والاسترجاع الكثيف ودمجهما. لا يولد المشروع جواباً، ولا يقرر صحة مرجع في إجابة مولدة.

أنشئ مجموعة مقاطع وأسئلة مرخصة

ابدأ بدليل خدمة جامعية منشور بإذن مناسب أو اكتب نصوصاً تجريبية واضحة، ثم قسمه إلى مقاطع ثابتة تحتفظ برابط الصفحة والعنوان والعناوين الفرعية. لكل سؤال، عين مقطعاً أو أكثر يراه مراجعان ذا صلة. أضف أسئلة حرفية وأخرى تستخدم مرادفاً أو تهجئة شائعة، وأسئلة غير قابلة للإجابة ضمن المجموعة. اخفِ أي معلومات شخصية أو أرقام حسابات.

احفظ النص الأصلي ومقطع البحث بعد المعالجة حتى تستطيع تفسير سبب العثور أو الإخفاق. ثبت طريقة تقسيم المقاطع لأن تغيير طولها يغير المهمة. لا تستخدم كل صفحة كمقطع واحد إذا كان ذلك يجعل النتائج طويلة جداً، ولا تقطع منتصف عنوان أو شرط خدمة دون الاحتفاظ بسياقه.

ابدأ بخطين أساس معروفين

الخط الأول BM25، وهو ترتيب معجمي يستفيد من تكرار الكلمات وطول الوثيقة. الخط الثاني تمثيل كثيف للتضمين، يقارن متجه السؤال بمتجهات المقاطع. توضح صفحة Robertson وZaragoza عن إطار BM25 خلفية نموذج الاسترجاع الاحتمالي، بينما تشرح وثائق Sentence Transformers كيف يقدم نظام معجمي أو كثيف مرشحين ويمكن ترتيبهم لاحقاً.

ثبّت النموذج واللغة وإعداد التطبيع. إذا استخدمت نموذج تضمين متعدد اللغات، اكتب رقمه ومصدره، ولا تفترض أنه مناسب للنص العربي لمجرد أنه ينتج متجهات. لا تضع رتبة BM25 من مكتبة مختلفة بلا تسجيل إعداداتها؛ تنفيذ التفاصيل مثل إزالة الكلمات الشائعة قد يؤثر على القياس.

ادمج القائمتين دون خلط المهمة

بعد تشغيل الخطين، جرّب دمجاً بسيطاً مثل دمج الرتب reciprocal rank fusion أو إعادة ترتيب مجموعة مرشحين مشتركة. احتفظ بحجم المرشحين متساوياً وقارن كلفة الاستعلام. BEIR هو معيار متعدد المجالات للاسترجاع وجد أن نماذج الاسترجاع مختلفة الأداء والكلفة بين المجالات؛ استعمله لتذكر أهمية الاختبار خارج مجال واحد، لا لادعاء أن مقياس مشروع جامعي يوازي BEIR.

الواجهة تعرض قائمة المقطع ورابطه ودرجة ترتيبه. لا تصوغ فقرة إجابة باستخدام نموذج لغوي في هذه النسخة، لأن ذلك يضيف مسألة توليد واستشهادات ويصعب عزل جودة الاسترجاع. هذا الفصل يجعل سبب فشل البحث قابلاً للتشخيص.

مثال يفرق بين الترتيب والتصنيف

سؤال «كيف أمدد حجز الجهاز؟» قد يطابق لفظياً صفحة تمديد الكتب لكنه يقصد المعدات. أظهر نتائج البحث اللفظي والدلالي والدمج في ثلاثة أعمدة، وعلّم المقطع الصحيح وفق مرجع بشري. إن لم يوجد مقطع يشرح الإجراء، ينبغي أن تكون الحالة «لا يوجد مرجع كافٍ»، لا أن يختار النظام أقرب نتيجة ويعرضها كأنها صحيحة.

هذا ليس موجّه مقصد؛ صفحة موجه الاستفسارات العربية تصنف نوع السؤال، بينما مشروعنا يقيس أي مقطع يرجع أولاً. كما لا يراجع المشروع حجة واستشهاداً في نص منشور، وهي مهمة مختلفة عن ترتيب مقاطع دليل معلوم.

قِس الاستدعاء والرتبة معاً

استخدم Recall@5 أو Recall@10 لتعرف هل ظهر مقطع ذو صلة ضمن أول النتائج، وMRR لتقدير رتبة أول نتيجة مفيدة. يمكن حساب nDCG إن كان لدى المراجعين درجات صلة متدرجة. قارن كل طريقة على الأسئلة نفسها وعلى مجموعة لم تستخدم لضبط النموذج. أبلغ المقاييس لكل فئة سؤال ولهجة أو نوع مصطلح حين تكفي العينة.

قِس زمن البحث واستهلاك الذاكرة على مجموعة المقاطع التي جربتها. افحص حالات التكرار والصفحات المتقاربة والعناوين التي تسيطر على التشابه. لا تعرض متوسط واحد يخفي إخفاقات سؤال «لا يوجد جواب»؛ قيّم أيضاً هل يعيد النظام مقاطع غير مناسبة حين تكون الإجابة غائبة.

اكتب ما لا تغطيه المجموعة

المحتوى الجامعي يتغير، وقد تكون الصفحة المرجعية قديمة أو مقتطعة. تحسين الترتيب لا يصحح الدليل ولا يضمن أن المستخدم فهمه. الجودة تتوقف على وسوم الصلة وطريقة تقسيم النص وملاءمة النموذج للعربية، وعلى ترخيص تضمينات النموذج. لا ترفع سجلات بحث المستخدمين دون موافقة وسياسة احتفاظ واضحة.

لا تساو بين درجة cosine واحتمال الصلة، ولا تفترض أن نتيجة أعلى هي صحيحة. اعرض رابط المقطع ومكانه ليتحقق القارئ، واسمح باعتبار السؤال خارج التغطية. هذه النسخة معيار بحث لا نظام قبول أو رفض طلبات جامعية.

تسليم مشروع تخرج قابل للإعادة

يضم التسليم مجموعة الأسئلة والمقاطع المسموح بها، تعليمات المراجعة، خطي الأساس، كود الدمج، نتائج المقاييس، ودفتر حالات الفشل. احفظ إصدارات محرك البحث ونموذج التضمين وأداة التقطيع. يستطيع الفريق الاستفادة من شرح مسار retrieve-and-rerank للتوسعة لاحقاً، مع إبقاء نطاق المشروع الحالي في استرجاع وترتيب المقاطع فقط.

مشاريع تخرج نظم المعلومات تكون أكثر فائدة حين تقيس ما يظهر للمستخدم في أعلى النتائج، لا حين تكتفي بقول إن لدينا مساعداً ذكياً. إذا فاز BM25 على dense في مجال صغير أو تحسن الدمج فقط في الأسئلة المرادفة، فهذه نتيجة توضح أين يستحق الفريق الاستثمار وأين لا يستحق.