Implementasi Model Deep Learning Untuk Deteksi Gerakan Tangan Pada Bahasa Isyarat Indonesia
Abstrak
Abstrak — Bahasa isyarat merupakan sarana komunikasi utama bagi teman tuli. Namun, kurangnya pemahaman masyarakat terhadap bahasa ini sering menjadi hambatan dalam berinteraksi. Penelitian ini bertujuan mengembangkan sistem deteksi gerakan tangan pada Bahasa Isyarat Indonesia (SIBI) dengan memanfaatkan model deep learning berbasis Convolutional Neural Network (CNN). Sistem dirancang untuk mengenali 26 huruf alfabet, angka 0–9, serta lima kata dasar, yaitu “saya”, “kamu”, “dia”, “makan”, dan “tidur”. Implementasi sistem menggunakan bahasa pemrograman Python dengan framework TensorFlow, serta pustaka pendukung seperti OpenCV, MediaPipe, scikit-learn, seaborn, dan numpy. Dataset dikumpulkan mandiri menggunakan kamera laptop, disimpan dalam format .h5, dan diberi label dengan bantuan Roboflow. Perangkat keras yang digunakan berupa laptop dengan GPU serta webcam internal untuk proses pengambilan data dan pengujian. Hasil pengujian menunjukkan sistem mampu berjalan secara real-time dengan akurasi 100% saat diuji terpisah pada huruf, angka, maupun lima kata dasar. Pada pengujian gabungan, akurasi mencapai ±97%. Meski kadang terjadi kesalahan akibat kemiripan bentuk gerakan, sistem tetap stabil dan dapat digunakan untuk membantu penerjemahan bahasa isyarat, sehingga mempermudah komunikasi antara teman tuli dan masyarakat.Kata kunci— bahasa isyarat indonesia, convolutional neural network, mediapipe, tensorflow, real-time processing, aksesibilitas komunikasi
Unduhan
Referensi
A. A. &. Suharjito, "BISINDO (Bahasa Isyarat Indonesia) Sign Language Recognition Using CNN ISSN : 2442-5826 e-Proceeding of Applied Science : Vol.11, No.5 Oktober 2025 | Page 1729 and LSTM," Advances in Science, Technology and Engineering Systems Journal, 2020.
M. A. L. &. D. Tristianto, "SIBI Alphabet Detection System Based on Convolutional Neural Network (CNN) Method as Learning Media," IoTA Journal, vol. 4, p. 1, 2024.
R. A. T. Kurniawan, "SIBI Dynamic Gesture Translation Using MediaPipe and LSTM," Atlantis Press, 2024. HALIM, "Implementasi MediaPipe Hand Tracking untuk Gesture Classification Menggunakan Dense Neural Network pada Aplikasi 3D," 2023.
F. Zaka, "Pemahaman Mendalam dan Perhitungan Long Short-Term Memory (LSTM) menggunkan Python," GABUT-IT, 16 September 2023. [Online]. Available: https://www.gabut-it.com/pemahamanmendalam-dan-perhitungan-long-short-termmemory-LSTM-menggunkan-Python/.
"Perbandingan TensorFlow vs Keras dalam Machine learning Python," learn.com, 26 Maret 2024. [Online]. Available: https://statslearn.com/id/perbandingan-TensorFlow-vs-Kerasdalam-machine-learning-Python/.
Q. Chalik, "Mouse Tracking Tangan dengan Klasifikasi Gestur Menggunakan," Sinov, vol. Vol 1 No. 2, pp. 1-9, 2021. Y. a. H. G. R. Jannah, "Implementasi Deep learning dalam Pengenalan Sistem," Jurnal Tektro, pp. 266- , 2024.
