Perancangan Dan Implementasi Aplikasi Penerjemah Bahasa Isyarat Menjadi Suara Berbasis Kinect Menggunakan Metode Hidden Markov Model

Abstract

Suatu isyarat dapat dikenali melalui gerakan tubuh dan gerakan mulut seseorang. Dengan mengenali ciri-ciri khusus pada masing-masing isyarat, maka dapat diterjemahkan. Pada tugas akhir ini dilakukan pengenalan sejumlah kata dalam bahasa isyarat, agar orang-orang dengan kemampuan berbicara secara verbal lebih mudah menerjemahkan isyarat seorang tunarungu. Masukan secara realtime yang digunakan berupa data gambar (image) pose bahasa isyarat (berdasarkan Kamus Umum Bahasa Isyarat Indonesia) menggunakan perangkat sensor kinect. Data tersebut kemudian diolah sehingga mendapatkan data skeleton. Dari data skeleton kemudian didapatkan skeleton joint. Dalam hal ini menggunakan 6 skeleton joint untuk dijadikan data karakteristik dari setiap isyarat. Berikutnya 6 skeleton joint akan dimodelkan dengan Hidden Markov Model (HMM), dan dilakukan pelatihan sehingga dihasilkan sebuah basis data untuk seluruh HMM. Keluaran dari sistem ini berupa suara yang merupakan terjemahan dari isyarat pada masukan. Hasil pengujian pada tugas akhir ini mendapat akurasi rata – rata 90%, trendline akurasi untuk berbagai jumlah kata mengalami penurunan jika ditambah isyarat baru ke database, dan waktu komputasi sistem rata-rata 22.8μs.

Kata Kunci: Bahasa Isyarat, Kinect, Hidden Markov Model