مراجع يفحص علاقة الادعاء بدليله العربي: مشاريع تخرج معالجة اللغة

اسأل عن العلاقة لا عن تشابه الكلمات

خذ المقطعين: «أغلقت الجامعة التسجيل يوم الخميس» و«لم يعد الطالب يستطيع التسجيل يوم الجمعة». قد تتداخل الكلمات، لكن الثاني لا يلزم من الأول، وربما لا يناقضه حسب السياق. يبني مشروع تخرج معالجة اللغة العربية مراجعاً يضع الاقتراح بجانب المقطعين ويصنف العلاقة إلى استلزام أو تناقض أو حياد، مع خيار «السياق غير كاف». ليست مهمته الحكم على الحقيقة الخارجية أو تقديم نصيحة. فرق مهم: نموذج الاستلزام يجيب هل يتبع الادعاء من المقدمة، لا هل المقدمة صادقة. يجب أن يظهر هذا الفرق في اسم الأداة ووصف النتائج حتى لا يفهم المستخدم أنها محرك تحقق حقائق. أظهر الجملة الأصلية وسياقها عندما تسمح البيانات، لا وسم النموذج وحده.

عرّف الوسوم بأمثلة عربية

اكتب دليلاً يشرح أن الاستلزام يتطلب أن يكون الادعاء صحيحاً في كل حالة تتفق مع النص، والتناقض يعني تعارضاً واضحاً، أما الحياد فيترك احتمالاً غير محسوم. اجمع أمثلة على النفي والكمية «بعض» و«كل» وترتيب التاريخ والأسماء والجمل التي تحذف فاعلها. تعرض ورقة E-CONAN الحديثة أنواعاً مختلفة من أزواج البيانات: منها ما ترجم آلياً، وما راجعه بشر، وأمثلة صيغت تعليمياً وأخرى مرتبطة بعناوين أخبار. لا تفترض أن نوعاً واحداً يمثل العربية اليومية أو جميع اللهجات. راجع جودة مصدر البيانات وشروط الإتاحة قبل اختياره، ولا تفترض توافر ملفات مفتوحة من عنوان الورقة وحده. إن تعذر الحصول على مورد مرخص، أنشئ عينة صغيرة بموافقة المشاركين ولا تصفها بbenchmark منشور.

ابدأ بعينة تحكيم صغيرة

خذ مئة زوج تجريبي مكتوباً أو مرخصاً، واحجب عن المراجعين الوسم الذي اقترحه الآخر. اطلب من اثنين وسم العلاقة ثم تدوين مقطع الدليل وسبب القرار. احسب الاتفاق لكل فئة، وافصل «عدم كفاية السياق» إذا كان الخلاف بسبب مرجع ضمير أو جملة مقتطعة. راجع الحالات مع خبير لغة عربية، ولا تحسمها بتصويت الأغلبية فقط؛ قد يكون الوصف المرجعي نفسه غير صالح. خزّن الإصدار الأول من كل وسم واسم المراجع وتاريخ التعديل دون نشر هوية شخصية. إذا استخدمت مجموعة مترجمة، افصلها عن الأمثلة المكتوبة أصلاً ولا تخلطها بلا علامة مصدر. أضف أمثلة للنفي الذي تغير موضعه، والأعداد التي اختلفت، وخطأ كتابة اسم علم كي تكشف أي أنماط تصنع جواباً سهلاً للنموذج.

ضع خط أساس قبل نموذج كبير

ابدأ بخط baseline يعتمد على الكلمات المشتركة ووجود النفي أو الأرقام، ثم اختبر مصنفاً عربياً مسبق التدريب. الخط البسيط يبين إن كان النموذج يستفيد من إشارة سطحية مثل كلمة «لا» بدلاً من تركيب المعنى. استخدم فصل تدريب وتحقق واختبار حسب مصدر الزوج أو قالب الكتابة، حتى لا تتسرب صياغات شبه مطابقة. أضف اختباراً مضاداً يغير نفياً أو رقماً أو اسماً مع تثبيت بقية الجملة؛ إذا لم تتغير النتيجة في حالة تستوجب ذلك فهذه إشارة ضعف. لا تقدم heatmap أو كلمات مؤثرة كشرح حاسم لطريقة تفكير النموذج؛ هي أداة معاينة للباحث وليست برهاناً. اكتب إعدادات كل نموذج وخط التطبيع واللغة التي تدعمها، واربط نسخ التجارب بمصدر البيانات كي يمكن إعادة التنفيذ.

اعرض النتائج بحسب نوع السؤال

احسب precision وrecall وF1 لكل فئة، وmacro-F1 للموازنة بينها، مع مصفوفة التباس تظهر مثلاً هل يخلط النموذج بين الحياد والتناقض. اذكر توزيع الفئات وحجم الاختبار حتى يمكن تفسير الرقم. افحص مجموعة مستقلة من أمثلة لهجات أو صيغ تعليمية مختلفة إذا سمحت الحقوق. لا تفسر التحسن على بيانات مترجمة بوصفه قدرة على اللهجات المنطوقة. تظهر أعمال ArNLI وArEntail العربية أن تكوين البيانات ونمط مصدرها جزء من السؤال التجريبي، بينما يبين Wojood أن التعرف على الكيانات له تحديات وسوم عربية خاصة لكنه ليس مجموعة NLI بديلة. إذا كانت فئة التناقض نادرة، أظهر عددها الخام ولا تخفها في متوسط. استخدم فاصل ثقة أو إعادة أخذ عينات مناسبة عندما يكون الحجم محدوداً، وامتنع عن عرض دقة عشرية غير مبررة.

صمم المراجعة لتقبل عدم اليقين

في الواجهة، يرى المستخدم المقدمة والادعاء ومقطع الدليل المنسوب للمصدر إن وجد، ثم التنبؤ ودرجة الثقة. وفر زر «لا يمكن الحسم» يعيد الحالة إلى طابور مراجعة، ولا تستبدل الدرجة بعبارة «موثوق». اختبر زوجاً عن تاريخين، واسم مؤسسة مشابه، ونص مقتطع من منتصفه، واقتباساً فيه نفي. ينبغي أن تظهر رسالة مناسبة عندما يكون المصدر ناقصاً أو لا يوجد نص دليل. احتفظ بسجل التعديلات البشرية منفصلاً عن سجل النموذج. المشروع يعرض تصنيفاً بحثياً ويساعد على توجيه الانتباه، لكنه ليس أداة للتحقيق الصحفي أو تقرير صحة معلومات عامة. لا تنشئ واجهة توحي بأن خوارزمية واحدة صدقت المصدر؛ هذه خطوة تتطلب الرجوع إلى مرجع خارجي ومراجع ذي اختصاص.

تسليم يميز بين الاستدلال والواقع

يضم التسليم دليل التعليقات، ومجموعة اختبار مصرحاً بها، وكود التقسيم والتقييم، وواجهة معاينة للحالات الغامضة. سجل أنواع البيانات التي اختبرتها ولا تنشر أمثلة تنتهك الخصوصية أو حقوق المصدر. ورقة E-CONAN عمل حديث يصف benchmark؛ راجع نسختها وشروط إتاحتها عند بدء التنفيذ. يمكن بحث نطاق مشاريع تخرج مع تخصص الذكاء الاصطناعي وتحليل البيانات. يقارن مدقق اختلاف نسخ البروتوكول ادعاءات مصدرية محددة، أما واصف الرسم المرتبط ببياناته فيربط جملة بأرقام مرئية؛ كلاهما مجاور لكنه لا يستبدل وسم الاستلزام. أخيراً، انشر الأخطاء النموذجية وسياقها بدلاً من الاكتفاء بملخص يسهل اقتباسه خارج حدوده.