Rancang Bangun Aplikasi Mobile Pengenalan Bahasa Isyarat Berbasis Machine Learning (Studi Kasus: SLB Putra Mandiri Surabaya)
Abstract
Komunikasi merupakan kebutuhan dasar manusia, termasuk bagi penyandang tuna rungu dan tuna wicara. Penelitian ini dilakukan di SLB Putra Mandiri Surabaya, yang menunjukkan bahwa masih banyak siswa belum menguasai bahasa isyarat SIBI dengan baik. Untuk menjawab permasalahan tersebut, dikembangkan aplikasi mobile pembelajaran dan penerjemah bahasa isyarat berbasis machine learning menggunakan metode prototype. Metode ini dipilih karena memungkinkan pengembangan yang fleksibel dan berbasis umpan balik pengguna. Fitur utama aplikasi ini adalah kamera penerjemah real-time yang menggunakan model Convolutional Neural Network (CNN) untuk mengenali gestur tangan. Ekstraksi fitur dilakukan menggunakan MediaPipe, sementara pelatihan model menggunakan dataset gesture SIBI dari Kaggle serta input manual. Model dilatih menggunakan TensorFlow dan diimplementasikan melalui API Flask yang terintegrasi ke aplikasi Flutter. Selain fitur penerjemah, aplikasi ini menyediakan modul pembelajaran berupa kamus alfabet isyarat, video pembelajaran, dan kuis edukatif. Hasil pengujian menunjukkan aplikasi mampu mengenali gesture secara akurat serta meningkatkan pemahaman siswa terhadap SIBI. Hasil yang diharapkan adalah terciptanya sebuah aplikasi edukatif yang dapat meningkatkan keterampilan komunikasi siswa tunarungu, memudahkan proses belajar SIBI, dan memperkaya interaksi sosial mereka dengan lingkungan sekitar secara lebih inklusif.
Kata kunci— SIBI, Machine learning, Flutter, CNN, Metode Prototype
Downloads
References
[1] A. Bintang. “SIBI Sign Language Dataset.” Internet: https://www.kaggle.com/datasets/alvations/sibi-sign-language, 2021 [Jul. 15, 2025].
[2] F. Chollet. Deep Learning with Python. New York: Manning Publications, 2017.
[3] TensorFlow. “TensorFlow: An end-to-end open source machine learning platform.” Internet: https://www.tensorflow.org, 2023 [Jul. 15, 2025].
[4] Google. “MediaPipe Hands: Real-time hand and finger tracking.” Internet: https://google.github.io/mediapipe/solutions/hands.html, 2023 [Jul. 15, 2025].
[5] M. Abadi, et al. “TensorFlow: Large-Scale Machine Learning on Heterogeneous Systems.” Internet: https://www.tensorflow.org, 2015 [Jul. 15, 2025].
[6] J. Brownlee. Imbalanced Classification with Python. [Online]. Machine Learning Mastery, 2020. Available: https://machinelearningmastery.com/imbalanced-classification-with-python/ [Jul. 15, 2025].
[7] A. Krizhevsky, I. Sutskever, and G. E. Hinton. “ImageNet Classification with Deep Convolutional Neural Networks.” in Advances in Neural Information Processing Systems, vol. 25, 2012, pp. 1097-1105.
[8] A. B. J. Teixeira, F. D. O. Teixeira, and J. M. de Souza. “Hand gesture recognition using deep learning: A review.” ACM Computing Surveys, vol. 55, no. 2, pp. 1–36, 2023.
[9] B. Kitchenham and S. Charters. “Guidelines for performing Systematic Literature Reviews in Software Engineering.” Keele University & University of Durham, Technical Report EBSE-2007-01, 2007.
[10] R. Szeliski. Computer Vision: Algorithms and Applications. New York: Springer, 2010.
[11] Supabase. “Supabase: The open source Firebase alternative.” Internet: https://supabase.com, 2024 [Jul. 15, 2025].
[12] H. Zhang, H. Dai, Y. Sun, and C. Sun. “An Improved Real-Time Hand Gesture Recognition System Based on CNN.” Journal of Physics: Conference Series, vol. 1820, no. 1, 2021.
[13] N. Ketaren. “Implementasi Metode CNN untuk Pengenalan Bahasa Isyarat Indonesia.” Jurnal Teknologi Informasi dan Komputer, vol. 9, no. 2, 2022.
[14] Maze. “Remote Usability Testing Software.” Internet: https://maze.co, 2024 [Jul. 15, 2025].
[15] M. Miran, et al. “Real-Time Hand Gesture Recognition Using CNN and Transfer Learning.” Sensors, vol. 21, no. 14, p. 4745, Jul. 2021.
[16] S. Raschka and V. Mirjalili. Python Machine Learning. Birmingham, UK: Packt Publishing, 2019.



