فكّ ترميز إدراك الكلام من تسجيلات دماغية غير باضعة
Decoding speech perception from non-invasive brain recordings
A. Défossez, C. Caucheteux, J. Rapin, O. Kabeli, J.R. King
لمن؟: researcher
المشكلة
ظل فكّ ترميز الكلام المُدرَك من تسجيلات دماغية غير باضعة (EEG/MEG) محدود الدقة بسبب انخفاض نسبة الإشارة إلى الضجيج وتفاوت الدماغ بين الأفراد.
الطريقة
دُرِّب نموذج بالتعلّم التبايني (contrastive learning) على مواءمة تمثيلات كلام مُتعلَّمة ذاتياً مع تسجيلات EEG وMEG لدى 175 مشاركاً سليماً استمعوا إلى قصص وجمل قصيرة، بدمج أربع مجموعات بيانات عامة.
النتيجة
حقّق النموذج دقة أعلى 10 خيارات بلغت 70.7% باستخدام MEG (41.3% كأعلى خيار واحد)، مقابل 17.7–25.7% فقط باستخدام EEG، مع تجاوز أفضل المشاركين 80% دقة في أعلى خيار واحد.
لماذا تهمّ؟
يُثبت أن نماذج اللغة العميقة يمكنها استخراج بنى لغوية غنية من تسجيلات غير باضعة دون أي زراعة أقطاب جراحية.
القيود
أداء EEG يبقى أقل بكثير من MEG، وأجهزة MEG ضخمة وغير محمولة، ويتطلب النموذج ساعات تسجيل طويلة لكل مشارك.