Sign Language Translator Using Deep Learning
Abstract
Penelitian ini menjelaskan tentang salah satu permasalahan komunikasi yang terjadi di kehidupan masyarakat. Permasalahan komunikasi tersebut terjadi antara teman tuli dan teman dengar. Teman dengar berkomunikasi secara verbal, sedangkan teman tuli berkomunikasi dengan non-verbal. Untuk teman tuli berkomunikasi dengan menggunakan bahasa isyarat sebagai medianya. Solusi paling umum untuk saat ini adalah dengan menggunakan orang lain sebagai penerjemah untuk berkomunikasi antara teman tuli dan teman dengar. Tetapi, solusi tersebut tidak menjawab solusi yang efektif dikarenakan seorang penerjemah tidak setiap waktu akan tersedia, berbeda dengan program komputer. Solusi yang diusulkan menerapkan teknik deep learning LSTM dan YOLOv5, sistem akan mengartikan bahasa isyarat SIBI. Selain itu, melalui pengembangan aplikasi Android dan pengembangan Backend memastikan operasi aplikasi yang andal dan efisien. Produk berupa aplikasi dengan fitur deep learning LSTM untuk fitur deteksi motion dengan akurasi 95.56%, YOLOv5 untuk deteksi realtime memiliki [email protected] 99.5%, dan LSTM untuk Text-Correction 92,5%. Kemudian animasi gerakan SIBI untuk fitur pembelajaran, dan implementasi ke Android melalui backend. Pada tes reliabilitas aplikasi ditemukan bahwa nilai r_11 adalah 0,914428422. Oleh karena itu, dapat disimpulkan bahwa pengujian ini memiliki tingkat reliabilitas yang sangat tinggi. Respon waktu dalam hasil tes server juga menunjukan dikisaran 1-5 detik dan memory usage rata-rata 130mb.
Kata kunci— SIBI, inklusivitas, Machine Learning, LSTM,YOLOv5, Android, Backend, Animasi
References
M. Sari and A. Taher, "Perkembangan Sosial dan Kepribadian Pada Anak Tunarungu (Studi Penelitian di SDLB Kebayakan Takengon, Aceh Tengah)," Jurnal Ilmiah Mahasiswa Fakultas Ilmu Sosial & Ilmu Politik, vol. 1, no. 1, hal. 6-8, 2017. [2] B. Kabupaten, "Banyaknya Desa Menurut Keberadaan Penyandang Cacat di Kabupaten/Kota Provinsi Jawa Barat (Bukan Tepi Laut)," Badan Pusat Statistik Kabupaten Bekasi, 2021. [Online]. Tersedia: -bekasikab.bps.go.id/statictable/2021/06/18/1 717/banyaknya-desa-menurut-keberadaanpenyandang-cacat-di-kabupaten-kota-provinsijawa-barat-bukan-tepi-laut-2011.html. [Diakses: 07-Nov-2022]. [3] P. R. Anggriana, "Stop AUDISME, yes Bahasa isyarat," The Columnist, 23-Sep-2022. [Online]. Tersedia: -thecolumnist.id/artikel/stopaudisme-yes-bahasa-isyarat-2260. [Diakses: 07- Nov-2022]. [4] J. K. Hikmalansya, "Aplikasi Pembelajaran Bahasa Isyarat berbasis android," Inform : Jurnal Ilmiah Bidang Teknologi Informasi dan Komunikasi, vol. 1, no. 2, 2016. [5] Nugraheni, A.S., Husain, A.P. and Unayah, H. (2023) 8Optimalisasi Penggunaan Bahasa ISYARAT Dengan sibi Dan Bisindo Pada Mahasiswa difabel tunarungu di Prodi Pgmi Uin Sunan Kalijaga9, Jurnal Holistika, 5(1), p. 28. doi:10.24853/holistika.5.1.28-33. [6] K. Perempuan, "Siaran pers," Komnas Perempuan | Komisi Nasional Anti Kekerasan Terhadap Perempuan, 23-Sep-2021. [Online]. Tersedia: -komnasperempuan.go.id/siaran-persdetail/siaran-pers-komnas-perempuan-tentangperingatan-hari-bahasa-isyarat-internasionaljakarta-23-september2021#:~:text=Penerapan%20SIBI%20ini%20dires mikan%20dalam,Sekolah%20Luar%20Biasa%20( SLB). [Diakses: 08-Nov-2022]. [7] J. J. Grefenstette, "Genetic algorithms and machine learning," Machine Learning, vol. 3, no. 2-3, hal. 95-99, 198. [8] Salim, A. (2020) Intersection over Union, Medium. Available at: -medium.com/bisaai/intersection-over-union-a8d1532899b3 (Accessed: 01 June 2023). [9] S, G., Duraimurugan, N. and Chokkalingam, S.P. (2019) Real-Time Object Detection with Yolo, 8(3S), pp. 578-581.
