Perancangan Dan Implementasi Aplikasi Penerjemah Bahasa Isyarat Menjadi Suara Berbasis Kinect Menggunakan Metode Dynamic Time Warping

Abstract

Suatu isyarat dapat dikenali berdasarkan kombinasi bentuk dan gerak tangan. Dengan mengenali ciri-ciri khusus pada masing-masing isyarat, maka dapat diterjemahkan. Pada tugas akhir ini, dibangun suatu aplikasi pengenalan bahasa isyarat, agar orang-orang normal lebih mudah mengerti maksud isyarat seorang tunarungu.

Masukan isyarat (berdasarkan Kamus Umum Bahasa Isyarat Indonesia) yang diperagakan user akan ditangkap oleh sensor kinect secara realtime, sehingga menghasilkan skeleton joint setiap framenya. Kemudian frame-frame tersebut akan diproses untuk dikenali menggunakan metode Dynamic Time Warping (DTW) . Keluaran dari sistem ini berupa suara hasil keputusan sistem yang dianggap sebagai terjemahan dari isyarat yang dimasukkan sebelumnya. Metode DTW dapat diterapkan pada aplikasi tersebut dengan memperoleh akurasi pengenalan hingga 92,78% dan rata-rata waktu komputasi setiap masukan yang dikenali berkisar 6,19760479 ms.
Kata Kunci: Bahasa Isyarat, Kinect, Dynamic Time Warping