Indonesian Sign Language Classification Using You Only Look Once
Abstrak
Abstrak— Seiring majunya teknologi di bidang kamera digital, semakin banyak lapisan masyarakat yang terbantu oleh perkembangan teknologi tersebut, namun sayang ada beberapa kelompok masyarakat yang tidak dapat menikmati kemajuan tersebut seperti kaum disabilitas terkhusus Tuli dan Bisu. Tujuan sistem ini adalah untuk membantu kaum-kaum disabilitas tersebut agar dapat lebih mudah berkomunikasi dengan masyarakat umum melalui bahasa isyarat. Sistem yang dikembangkan dengan metode YOLOv5 dan menggunakan model pre-trained YOLOv5s untuk mengurangi waktu pelatihan. Model kemudian akan digunakan untuk melatih kelas-kelas baru dengan konfigurasi baru. Model yang sudah dilatih dengan konfigurasi tersebut kemudian akan digunakan untuk mengklasifikasikan 26 alfabet dari Sistem Bahasa Isyarat Indonesia atau biasa disingkat BISINDO. Pengujian sistem ini dilakukan berdasarkan beberapa skenario seperti jarak kamera, latar belakang pengambilan video dan tingkat pencahayaan area. Luaran yang didapatkan dari penelitian Tugas Akhir ini adalah sistem dapat mendeteksi 26 alfabet bahasa isyarat BISINDO secara real-time tanpa dipengaruhi oleh latar belakang dan tingkat pencahayaan tetapi dipengaruhi oleh jarak kamera dan objek. Hasil konfigurasi performa terbaik pada penelitian ini adalah dataset dengan distribusi 70% data training:20% data validation;10% data testing, 300 epochs, 16 batch size, dan 0.01 learning rate yang menghasilkan nilai mAP@0.5IoU sebesar 99.27%.
Kata kunci— BISINDO, disabilitias, YOLO
Referensi
K. Snoddon, “Action Research with a Family ASL Literacy Program,” Writing & Pedagogy, vol. 3, no. 2, Dec. 2011, doi: 10.1558/WAP.V3I2.265.
H. Cooper, B. Holt, and R. Bowden, “Sign Language Recognition,” Visual Analysis of Humans, pp. 539–562, 2011, doi: 10.1007/978-0-85729-997-0_27.
“Sistem Informasi Penyandang Disabilitas - Kementerian Sosial RI.” http://simpd.kemensos.go.id/ (accessed Aug. 10, 2022).
X. Huang et al., “PP-YOLOv2: A Practical Object Detector,” Apr. 2021, doi: 10.48550/arxiv.2104.10419.
R. Fatmi, S. Rashad, R. Integlia, and G. Hutchison, “American Sign Language Recognition using Hidden Markov Models and Wearable Motion Sensors,” Trans. Mach. Learn. Data Min., vol. 10, pp. 41–55, 2017.
P. Patel and N. Patel, “Vision Based Real-time Recognition of Hand Gestures for Indian Sign Language using Histogram of Oriented Gradients Features,” International Journal of Next-Generation Computing, pp. 92–102, Jul. 2019, doi: 10.47164/IJNGC.V10I2.158.
A. Corovic, V. Ilic, S. Duric, M. Marijan, and B. Pavkovic, “The Real-Time Detection of Traffic Participants Using YOLO Algorithm,” 2018 26th Telecommunications Forum, TELFOR 2018 - Proceedings, 2018, doi: 10.1109/TELFOR.2018.8611986.
“What is Sign Language?”, Accessed: Aug. 10, 2022. [Online]. Available: http://www.lsadc.org
R. Xu, H. Lin, K. Lu, L. Cao, and Y. Liu, “A Forest Fire Detection System Based on Ensemble Learning,” Forests 2021, Vol. 12, Page 217, vol. 12, no. 2, p. 217, Feb. 2021, doi: 10.3390/F12020217.
C. Shorten and T. M. Khoshgoftaar, “A survey on Image Data Augmentation for Deep Learning,” Journal of Big Data, vol. 6, no. 1, pp. 1–48, Dec. 2019, doi: 10.1186/S40537-019-0197-0/FIGURES/33.
