آلة تعزف رسوماتك: مشروع تخرج يجمع التعلم الآلي والصوت

ارسم دائرة ببطء، ثم ارسم خطاً متكسراً بسرعة. يمكن أن ينتج الأول صوتاً مستمراً هادئاً، والثاني نقرات قصيرة متتابعة. الجاذبية هنا أن يدك تصبح وسيلة للعزف حتى إن لم تعرف لوحة البيانو. بين مشاريع تخرج الذكاء الاصطناعي التفاعلية، الفكرة المقترحة أداة متصفح تحفظ الرسم وخريطة الصوت، وتتعلم التمييز بين عدد قليل من الأشكال. لا يكتب النموذج مقطوعة بالنيابة عن المستخدم؛ يساعده على اختيار خامة الصوت، بينما تبقى القرارات الموسيقية ظاهرة ويمكن تعديلها.

اتفق مع المستخدم على معنى الحركة

ابدأ بثلاث عائلات: خط مفتوح، حلقة مغلقة، وخط متكسر. اجعل الشكل يختار خامة أولية، والارتفاع على اللوحة يحدد طبقة النغمة، والسرعة تغير تتابع النقرات. اعرض هذه الخريطة بجوار مساحة الرسم، مع إمكانية قفل كل خاصية. لو غير الرسم نفسه جميع عناصر الصوت عشوائياً، فلن يستطيع المستخدم تعلم العزف عليه أو إعادة تجربة أعجبته. معيار الفكرة هو التحكم القابل للتعلم، وليس كمية الأصوات المختلفة.

مكونات تعمل على حاسوب عادي

تحتاج واجهة Canvas، وتسجيلاً لإحداثيات المؤشر وأزمنتها، ومحركاً صوتياً. تصف مواصفة Pointer Events بيانات الإدخال من القلم واللمس والفأرة؛ بعض الأجهزة لا تقيس الضغط فعلياً، لذلك اجعله ميزة اختيارية ولا تعامله كقياس متوفر على كل جهاز. شريط مستقل لقوة الصوت يتيح التجربة بالفأرة ولوحة المفاتيح. أضف زر بدء واضحاً لتفعيل الصوت، وزر إيقاف ثابتاً، ومؤشراً نصياً للحالة.

توفر Web Audio API عقداً للمذبذب والتحكم في الكسب والمرشحات. صِل المصدر بمرشح ثم بعقدة كسب قبل المخرج، وضع مستوى أولياً منخفضاً. تستطيع تجهيز التدريب في Python وتشغيل مصنف صغير بخدمة محلية، بينما يستمر توليد الصوت داخل المتصفح. بعد تنزيل الاعتماديات والنموذج، اختبر التشغيل دون شبكة قبل وصف الأداة بأنها محلية بالكامل.

ماذا يتعلم المصنف بالضبط؟

اجمع مثلاً 40 رسمة لكل عائلة من مشاركين موافقين، واحفظ رسومات التجربة منفصلة عن رسومات التدريب. استخرج طول المسار بعد تطبيع حجمه، ونسبة العرض إلى الارتفاع، والمسافة بين البداية والنهاية، وتغير اتجاه الحركة. أعد أخذ عينات للمسار حتى لا يصبح عدد أحداث المتصفح دليلاً على الفئة. يمكن البدء بمصنف Random Forest لهذه السمات، مع حدود للعمق تمنع حفظ العينة الصغيرة بسهولة.

لا تسمح للمصنف باختيار النغمة مباشرة. أخرج اسم الشكل ودرجة ترجيح، ثم مرره إلى قواعد الخريطة الموسيقية. إذا كان الرسم بعيداً عن العائلات المعروفة، اطلب من المستخدم اختيار الخامة يدوياً. تسمية «شكل غير معروف» تحتاج قاعدة رفض تختبرها؛ الدرجة الأعلى وحدها لا تضمن أن الرسم ينتمي لأي فئة. احتفظ بزر يعطل التعلم لتقارن قيمة المصنف فعلياً.

مثال خريطة يمكن إعادة عزفها

الأرقام التالية إعداد مقترح للواجهة، لا قياسات أداء. طبّع الإحداثيات إلى المجال من صفر إلى واحد، واجعل قيمة الارتفاع تزداد نحو أعلى اللوحة. حدد السرعة بعد تنعيم قصير حتى لا تحول رجفة المؤشر إلى تغيرات حادة. احفظ إصدار الخريطة مع الرسم، لأن تعديلها لاحقاً سيغير الصوت الناتج من الملف نفسه.

افصل اختبار التعرف عن اختبار العزف

احجز رسومات أشخاص لم يشاركوا في التدريب، وقارن المصنف بقواعد بسيطة: قرب النهايتين للحلقة، وعدد الانعطافات للخط المتكسر. اعرض مصفوفة الالتباس وعدد حالات الرفض؛ لا تكتف بدقة إجمالية تخفي فشل فئة كاملة. أضف رسماً صغيراً جداً، ومساراً مقطوعاً، ونجمة لم يرها النموذج. واختبر تغيير حجم اللوحة كي لا يتغير التصنيف لمجرد اختلاف الشاشة.

بعد ذلك اطلب من عدد محدود من المتطوعين إعادة صوت مستهدف ثلاث مرات، باستخدام الخريطة المباشرة ثم الخريطة مع التصنيف، وبدل ترتيب التجربتين. سجل عدد التصحيحات والوقت ووصف المشاركين لسبب التغير، دون ادعاء تعميم النتائج من العينة الصغيرة. قس زمن وصول المؤشر إلى جدولة العقدة الصوتية برمجياً، وافصل هذا عن التأخر المسموع الذي يحتاج قياس خرج فعلياً. وثق المتصفح والجهاز ووسيلة الإدخال.

ثلاث طرق لتوسيع الآلة

• طبقات الرسم: كل لون مسار مستقل يمكن كتمه وتحريك توقيته، فيتعلم المستخدم تركيب أصوات متعددة.
• تعلم شخصي: يصحح المستخدم عائلة رسوماته، ويعاد التدريب محلياً مع إمكانية مسح الأمثلة.
• محرر خريطة: يربط المستخدم الانحناء بمرشح أو الارتفاع بإيقاع، ويحفظ إعدادات قابلة للمشاركة دون بيانات المشاركين.

اترك ملفاً يعيد التجربة

سلّم نموذج الرسم وتوقيتاته وإعدادات الصوت وملف بيانات مصغراً مجهول الهوية وتعليمات التشغيل. عند إعداد مشروع التخرج، اجعل ملف إعادة العزف جزءاً من التسليم. هذه الأداة ليست تقييماً لموهبة الرسام أو علاجاً حسياً، ولا تحتاج تصوير الأشخاص. قد يفشل التصنيف مع أسلوب جديد، وقد يختلف الخرج بين السماعات؛ أظهر ذلك في التقرير. تفيدك خطة اختبار الواجهة العربية في تسمية الأزرار، وحالات الاختبار في توثيق توقف الصوت واستعادة الجلسة دون نغمات عالقة.