Sign Language Translator Using Deep Learning

Abstract

Penelitian ini menjelaskan tentang salah satu permasalahan komunikasi yang terjadi di kehidupan masyarakat. Permasalahan komunikasi tersebut terjadi antara teman tuli dan teman dengar. Teman dengar berkomunikasi secara verbal, sedangkan teman tuli berkomunikasi dengan non-verbal. Untuk teman tuli berkomunikasi dengan menggunakan bahasa isyarat sebagai medianya. Solusi paling umum untuk saat ini adalah dengan menggunakan orang lain sebagai penerjemah untuk berkomunikasi antara teman tuli dan teman dengar. Tetapi, solusi tersebut tidak menjawab solusi yang efektif dikarenakan seorang penerjemah tidak setiap waktu akan tersedia, berbeda dengan program komputer. Solusi yang diusulkan menerapkan teknik deep learning LSTM dan YOLOv5, sistem akan mengartikan bahasa isyarat SIBI. Selain itu, melalui pengembangan aplikasi Android dan pengembangan Backend memastikan operasi aplikasi yang andal dan efisien. Produk berupa aplikasi dengan fitur deep learning LSTM untuk fitur deteksi motion dengan akurasi 95.56%, YOLOv5 untuk deteksi realtime memiliki mAP@0.5IoU 99.5%, dan LSTM untuk Text-Correction 92,5%. Kemudian animasi gerakan SIBI untuk fitur pembelajaran, dan implementasi ke Android melalui backend. Pada tes reliabilitas aplikasi ditemukan bahwa nilai r_11 adalah 0,914428422. Oleh karena itu, dapat disimpulkan bahwa pengujian ini memiliki tingkat reliabilitas yang sangat tinggi. Respon waktu dalam hasil tes server juga menunjukan dikisaran 1-5 detik dan memory usage rata-rata 130mb.

Kata kunci— SIBI, Machine Learning, Android, Backend, Animasi