Sign Language Translator Using Deep Learning

Abstrak

Penelitian ini menjelaskan tentang salah satu permasalahan komunikasi yang terjadi di kehidupan
masyarakat. Permasalahan komunikasi tersebut terjadi antara
teman tuli dan teman dengar. Teman dengar berkomunikasi
secara verbal, sedangkan teman tuli berkomunikasi dengan
non-verbal. Untuk teman tuli berkomunikasi dengan
menggunakan bahasa isyarat sebagai medianya. Solusi paling
umum untuk saat ini adalah dengan menggunakan orang lain
sebagai penerjemah untuk berkomunikasi antara teman tuli
dan teman dengar. Tetapi, solusi tersebut tidak menjawab
solusi yang efektif dikarenakan seorang penerjemah tidak
setiap waktu akan tersedia, berbeda dengan program
komputer.
Solusi yang diusulkan menerapkan teknik deep learning
LSTM dan YOLOv5, sistem akan mengartikan bahasa isyarat
SIBI. Selain itu, melalui pengembangan aplikasi Android dan
pengembangan Backend memastikan operasi aplikasi yang
andal dan efisien. Produk berupa aplikasi dengan fitur deep learning LSTM
untuk fitur deteksi motion dengan akurasi 95.56%, YOLOv5
untuk deteksi realtime memiliki mAP@0.5IoU 99.5%, dan
LSTM untuk Text-Correction 92,5%. Kemudian animasi
gerakan SIBI untuk fitur pembelajaran, dan implementasi ke
Android melalui backend. Pada tes reliabilitas aplikasi
ditemukan bahwa nilai r_11 adalah 0,914428422. Oleh karena
itu, dapat disimpulkan bahwa pengujian ini memiliki tingkat
reliabilitas yang sangat tinggi. Respon waktu dalam hasil tes
server juga menunjukan dikisaran 1-5 detik dan memory usage
rata-rata 130mb.

Kata kunci— SIBI, inklusivitas, Machine Learning, LSTM,YOLOv5, Android, Backend, Animasi