Sign Language Translator Using Deep Learning
Abstrak
Penelitian ini menjelaskan tentang salah satu
permasalahan komunikasi yang terjadi di kehidupan
masyarakat. Permasalahan komunikasi tersebut terjadi antara
teman tuli dan teman dengar. Teman dengar berkomunikasi
secara verbal, sedangkan teman tuli berkomunikasi dengan
non-verbal. Untuk teman tuli berkomunikasi dengan
menggunakan bahasa isyarat sebagai medianya. Solusi paling
umum untuk saat ini adalah dengan menggunakan orang lain
sebagai penerjemah untuk berkomunikasi antara teman tuli
dan teman dengar. Tetapi, solusi tersebut tidak menjawab solusi
yang efektif dikarenakan seorang penerjemah tidak setiap
waktu akan tersedia, berbeda dengan program komputer.
Solusi yang diusulkan menerapkan teknik deep learning
LSTM dan YOLOv5, sistem akan mengartikan bahasa isyarat
SIBI. Selain itu, melalui pengembangan aplikasi Android dan
pengembangan Backend memastikan operasi aplikasi yang
andal dan efisien.
Produk berupa aplikasi dengan fitur deep learning LSTM
untuk fitur deteksi motion dengan akurasi 95.56%, YOLOv5
untuk deteksi realtime memiliki mAP@0.5IoU 99.5%, dan
LSTM untuk Text-Correction 92,5%. Kemudian animasi
gerakan SIBI untuk fitur pembelajaran, dan implementasi ke
Android melalui backend. Pada tes reliabilitas aplikasi
ditemukan bahwa nilai r_11 adalah 0,914428422. Oleh karena
itu, dapat disimpulkan bahwa pengujian ini memiliki tingkat
reliabilitas yang sangat tinggi. Respon waktu dalam hasil tes
server juga menunjukan dikisaran 1-5 detik dan memory usage
rata-rata 130mb.
Kata kunci— SIBI, Machine Learning, Android, Backend, Animasi
Referensi
B. Kabupaten, "Banyaknya Desa Menurut
Keberadaan Penyandang Cacat di Kabupaten/Kota
Provinsi Jawa Barat (Bukan Tepi Laut)," Badan
Pusat Statistik Kabupaten Bekasi, 2021. [Online].
Tersedia:-bekasikab.bps.go.id/statictable/2021
/06/18/1717/banyaknya-desa-menurut-keberadaanpenyandang-cacat-di-kabupaten-kota-provinsi-jawabarat-bukan-tepi-laut-2011.html. [Diakses: 07-Nov2022].
J. K. Hikmalansya, "Aplikasi Pembelajaran Bahasa
Isyarat berbasis android," Inform : Jurnal Ilmiah
Bidang Teknologi Informasi dan Komunikasi, vol. 1,
no. 2, 2016.
K. Perempuan, "Siaran pers," Komnas Perempuan
Komisi Nasional Anti Kekerasan Terhadap
Perempuan, 23-Sep-2021. [Online]. Tersedia:
-komnasperempuan.go.id/siaran-persdetail/siaran-pers-komnas-perempuan-tentangperingatan-hari-bahasa-isyarat-internasionaljakarta-23-september
#:~:text=Penerapan%20SIBI%20ini%20dires
mikan%20dalam,Sekolah%20Luar%20Biasa%20(
SLB). [Diakses: 08-Nov-2022].
S. GlobalStats, "Mobile Operating System Market
Share Indonesia," StatCounter Global Stats, 2022.
[Online]. Tersedia: -gs.statcounter.com/osmarket-share/mobile/indonesia. [Diakses: 08-Nov2022].
Shah, J. and Dubaria, D. (2019) 8Building modern
clouds: Using Docker, Kubernetes & Google Cloud
Platform9, 2019 IEEE 9th Annual Computing and
Communication Workshop and Conference
(CCWC)[Preprint].doi:10.1109/ccwc.2019.8666479.