نموذج أصغر لا يعني نتيجة أفضل: مشاريع تخرج ذكاء اصطناعي تقيس quantization

قد ينجح نموذج تصنيف نصوص على حاسوب المختبر لكنه يصبح بطيئاً عند تشغيله على جهاز أقل قدرة. تقليل دقة الأوزان أو ضغط التمثيل قد يخفض حجم النموذج، لكنه قد يغير النتائج أو لا يسرّع التنفيذ على العتاد المتاح. يقترح هذا المشروع من مشاريع تخرج الذكاء الاصطناعي تجربة عملية تقارن نسخة مرجعية بنسخ مكممة من Transformer صغير على المهمة والبيانات نفسيهما.

اختر مهمة ثابتة ومحدودة

ابدأ بتصنيف نص قصير إلى فئات بسيطة، مثل تمييز طلب صيانة عاجل من سؤال عام، باستخدام مجموعة مرخصة أو بيانات تدريبية مصطنعة. ثبّت النموذج المدرب مسبقاً ومجموعة الاختبار والإصدار، ولا تغيرها أثناء مقارنة إعدادات الكمّ. اختر جهازاً واحداً معروف المعالج والذاكرة ونظام التشغيل، وسجلها. إن قست النموذج على جهازين، تعامل مع كل جهاز كتجربة مستقلة.

لا تجعل الهدف الوصول إلى أقل حجم ممكن؛ فنسخة لا تتجاوز حد الدقة المتفق عليه قد لا تصلح للمهمة. اكتب مسبقاً ما الذي تعتبره جودة مقبولة، وأبقِ المقياس مناسباً للفئات. إذا كانت إحدى الفئات نادرة، أظهر مقاييسها ولا تكتفِ بالدقة العامة.

احتفظ بخط أساس مرجعي

صدّر النموذج إلى ONNX أو بيئة تدعمها، ثم قس نسخة الدقة الأصلية كخط أساس. سجّل حجم النموذج على القرص وذاكرة العملية وزمن التحميل وزمن الاستدلال بعد استبعاد فترة الإحماء. استخدم مجموعة طلبات ثابتة وبالترتيب ذاته، وكرر القياس لأن تشغيل النظام قد يتأثر بمهام أخرى في الخلفية. لا تقارن زمن GPU بنسخة CPU دون إعلان ذلك.

توثيق تحسين نماذج Transformer في ONNX Runtime يشرح بعض التحويلات الخاصة ببنية المحول. افصل أثر تحسين الرسم البياني عن أثر quantization: نفّذ خط أساس محسن وخط أساس غير محسن إن كان هذا جزءاً من السؤال، وإلا قد تنسب مكسباً إلى الخطوة الخطأ.

حوّل بطريقة قابلة لإعادة الإنتاج

ابدأ بالتكميم الديناميكي أو الثابت الذي تدعمه البنية والعتاد، واحفظ إعدادات التحويل وإصدار المكتبة. توضح وثائق ONNX Runtime أن التكميم الثابت يستخدم بيانات معايرة لحساب معاملات التنشيط، بينما يحسب النوع الديناميكي بعض القيم وقت التشغيل. لا تنفذ النوعين على نموذج مختلف ثم تقارن النتيجة كأن الاختلاف سببه دقة الأوزان وحدها.

تشرح وثائق Hugging Face Optimum إعدادات كمّ ONNX وأمثلة على النماذج. استخدم مجموعة معايرة صغيرة منفصلة عن الاختبار حين يتطلب المسار تكميمًا ثابتاً. احفظ ملفات الإعداد والبذرة والنسخة المحولة، ولا تحذف النموذج المرجعي بعد التصدير.

اقرأ المفاضلة لا رقماً منفرداً

لنفترض أن النسخة الكاملة تقدم macro-F1 محدداً على اختباركم، والنسخة المكممة تصغر حجم الملف وتختلف نتيجتها قليلاً. القرار يعتمد على مقدار التغير وحد الاستخدام؛ إذا كان التطبيق يحتاج استجابة سريعة على هاتف ضعيف فقد يكون فرق محدود مقبولاً، أما إن كانت الفئة الحرجة تراجعت كثيراً فقد لا يناسبها. لا تضع أرقاماً افتراضية في التقرير على أنها نتائج تشغيل؛ سجّلها بعد التجربة فقط.

أظهر جدولاً يضم حجم النموذج، الذاكرة الذروية، زمن الاستجابة الوسيط والمئين 95، ومقياس الجودة. بيّن زمن التحميل منفصلاً عن الاستدلال. إذا كان الملف أصغر لكن زمن الاستجابة لم يتحسن، فذلك يظل نتيجة تفسيرية قد تشير إلى أن الجهاز لا يملك تعليمات تستفيد من التمثيل المختار.

اختبر السلوك على الحالات نفسها

شغّل كل نسخة على الطلبات نفسها، واحسب فروق المخرجات وتغير الفئة، لا متوسط الدقة فقط. راجع عينات انتقلت من قرار صحيح إلى خطأ، خصوصاً حين كانت درجة النموذج قريبة من حد التصنيف. أعد القياس أكثر من مرة، واستخدم إحصاءات ملائمة مثل الوسيط وفترة تشتت بدلاً من اختيار أسرع تشغيل.

ثبّت دفعة الطلب ودرجة الحرارة البرمجية وعدد الخيوط وإعدادات الطاقة. إذا تغيرت المكتبة أو runtime، سجل ذلك. اجعل سكربت القياس يرفض مقارنة تشغيلين ببيانات أو إعدادات مختلفة، حتى لا تبدو الأرقام دقيقة بينما المقارنة ليست عادلة.

ما الذي قد يبطل الاستنتاج؟

النتيجة تخص النموذج والمهمة والإصدار والعتاد اللذين اختبرتموهما. قد لا تنتقل إلى نموذج آخر أو جهاز مختلف. نوع التكميم وبيانات المعايرة يؤثران في الجودة، كما قد تغير خيارات التصدير النتائج. الحجم على القرص لا يساوي دائماً الذاكرة التي يحتاجها التشغيل، واختبار قصير لا يتنبأ بحمل إنتاجي طويل.

لا تضع نتائج تحكم نموذجاً طبياً أو مالياً أو قراراً مصيرياً. هذه تجربة بنية وأداء أكاديمية. اذكر إن كان runtime يحمّل بعض الطبقات على دقة مختلفة أو لم يتعرف على نوع تعليمات المعالج. لا تساو بين تقليل الحجم وتحسين الطاقة ما لم تقس استهلاك الطاقة مباشرة.

مخرجات مشاريع تخرج قابلة للمراجعة

يسلم الفريق ملفات نموذج أصلية ومكممة أو مؤشرات تحققها، سكربت قياس، مجموعة اختبار موثقة، تقرير إعداد العتاد، ورسماً يربط الجودة بزمن الاستجابة والحجم. استند إلى صفحات ONNX وOptimum أعلاه لشرح خطوات التحويل المدعومة، وأرفق أوامر المشروع الفعلية ونسخة الأدوات حتى يستطيع المشرف إعادة التشغيل.

مشاريع تخرج الذكاء الاصطناعي هنا لا تحتاج الادعاء بأن «الكمّ أسرع» دائماً. القيمة في تحديد نقطة مقبولة على منحنى المفاضلة وفي بيان الشروط التي جعلت قياساً معيناً صالحاً. إن تعذر ضغط النموذج أو تراجعت الجودة أكثر من الحد، فشرح السبب جزء من النتيجة العلمية.