Aktivitas Otak Menginfokan Lagu Apa yang Sedang Anda Dengar

Otak manusia tetap menjadi organ yang paling misterius dalam tubuh kita. Dari ingatan dan kesadaran hingga penyakit mental dan gangguan neurologis, masih banyak penelitian yang harus dilakukan sebelum kita memahami kompleksitas pikiran kita sendiri.

Namun, hingga tingkat tertentu, para peneliti telah berhasil masuk ke dalam pemikiran dan perasaan kita, baik dengan memahami isi mimpi kita secara kasar, mengamati dampak psilosibin pada jaringan otak yang terganggu oleh depresi, atau memprediksi jenis wajah yang akan kita pandang menarik.

Studi yang diterbitkan awal tahun ini menggambarkan pencapaian serupa dalam mendekode aktivitas otak. Ian Daly, peneliti dari Universitas Sussex, Inggris, menggunakan pemindaian otak untuk memprediksi lagu apa yang sedang didengarkan orang, dengan akurasi 72 persen. Daly menjelaskan pekerjaannya, yang menggunakan dua bentuk “dekoder saraf,” dalam sebuah makalah di Nature.

Sementara peserta dalam studinya mendengarkan musik, Daly merekam aktivitas otak mereka, menggunakan elektroensefalografi (EEG). Yaitu menggunakan jaringan elektroda dan kabel untuk menangkap sinyal dari neuron yang tersetrum di otak. Ia juga menggunakan pencitraan resonansi magnetik fungsional (fMRI), yang menunjukkan perubahan dalam oksigenasi darah dan aliran yang terjadi sebagai respon terhadap aktivitas saraf.

EEG dan fMRI memiliki kekuatan yang berlawanan. Yang pertama dapat merekam aktivitas otak selama periode waktu yang singkat, tetapi hanya dari permukaan otak, karena elektroda diletakkan di kulit kepala. Sedangkan fMRI dapat menangkap aktivitas lebih dalam pada otak, tapi hanya selama periode waktu yang lebih lama. Dengan menggunakan keduanya, Daly mendapatkan yang terbaik dari kedua alat itu.

Dia memantau daerah otak yang memiliki aktivitas tinggi selama percobaan musik versus tanpa-musik, menyoroti korteks pendengaran kiri dan kanan, cerebellum, dan hippocampus sebagai daerah penting untuk mendengarkan musik dan memiliki respon emosional terhadapnya. Dia mencatat ada banyak variasi antara peserta yang berbeda dalam hal aktivitas di setiap area otak. Ini masuk akal, karena satu orang dapat memiliki respon emosional terhadap potongan musik tertentu, sementara orang lain merasa bagian itu sama sekali tak menarik.

Dengan menggunakan EEG dan fMRI, Daly merekam aktivitas otak dari 18 orang ketika mereka mendengarkan 36 lagu yang berbeda. Dia memasok data aktivitas otak ke dalam jaringan saraf terdalam long short-term memory (biLSTM), menciptakan model yang dapat merekonstruksi musik yang didengar oleh peserta dengan menggunakan EEG mereka.

BiLSTM adalah jenis jaringan saraf rekuren yang umumnya digunakan untuk aplikasi pemrosesan bahasa alami. Ia memberi lapisan tambahan pada jaringan memori jangka pendek-panjang yang biasa, dan lapisan tambahan tersebut membalik arus informasinya dan memungkinkan urutan input mengalir ke belakang.

Input jaringan ini mengalir maju- mundur (maka disebut “bi-directional”), dan mampu memanfaatkan informasi dari kedua sisi. Hal ini membuatnya menjadi alat yang baik untuk memodelkan ketergantungan antara kata-kata dan frasa-frasa, atau dalam hal ini antara nada-nada dan urutan musik.

Daly menggunakan data dari jaringan biLSTM untuk secara kasar merekonstruksi lagu-lagu berdasarkan aktivitas EEG orang, dan ia dapat mengetahui dengan akurasi 72 persen lagu apa yang telah mereka dengarkan.

Kemudian, ia merekam data dari 20 peserta baru hanya menggunakan EEG, dengan kumpulan data awal yang memberikan info tentang sumber-sumber sinyal ini. Berdasarkan data tersebut, akurasinya untuk menentukan lagu turun menjadi 59 persen.

Namun, Daly percaya metodenya dapat digunakan untuk membantu mengembangkan antarmuka otak-komputer (BCI) untuk membantu orang yang telah mengalami stroke atau menderita kondisi neurologis lain yang dapat menyebabkan kelumpuhan, seperti ALS.

BCI, yang dapat menerjemahkan aktivitas otak menjadi kata-kata, akan memungkinkan orang-orang ini berkomunikasi dengan orang-orang terkasih dan penyedia perawatan mereka, dengan efektif. Solusi yang tersedia selama ini adalah dalam bentuk implan otak. Jika teknologi Daly dapat mencapai hasil yang sama, maka operasi terhadap pasien akan sangat minimal.

“Musik adalah bentuk komunikasi emosional dan juga sinyal akustik yang kompleks, yang memiliki banyak kesamaan temporal, spektral, dan tata bahasa dengan ucapan manusia,” tulis Daly dalam makalahnya.

“Dengan demikian, model dekoding saraf yang mampu merekonstruksi musik yang didengar dari aktivitas otak dapat menjadi langkah yang masuk akal menuju bentuk-bentuk lain dari model dekoding saraf yang memiliki aplikasi untuk membantu komunikasi.”

Sumber
This Researcher Knew What Song People Were Listening to Based on Their Brain Activity