Sign Language Translator Using Deep Learning
Abstrak
Proyek akhir ini menyoroti masalah yang mencolok di dalam teman tuli yaitu hambatan komunikasi yang dihadapi oleh teman tuli dengan teman dengar, karena ketidakmampuan dengar, mereka menggunakan bahasa isyarat untuk berkomunikasi. Bentuk komunikasi ini sering kali menyebabkan tantangan besar dalam interaksi mereka dengan populasi pendengar. Untuk mengatasi masalah ini, kami mengusulkan solusi yang tangguh berupa aplikasi yang tidak hanya berfungsi sebagai alat bantu dalam pembelajaran bahasa isyarat SIBI bagi pendengar, tetapi juga sebagai penerjemah bahasa isyarat. Solusi yang diusulkan ini memanfaatkan beberapa bidang dalam Teknik Komputer untuk menciptakan aplikasi yang integratif. Dengan menerapkan teknik machine learning LSTM dan framework Mediapipe, sistem secara akan mengenali dan mengartikan bahasa isyarat SIBI.
Kata kunci: SIBI (Sistem Isyarat Bahasa Indonesia), LSTM(Long-Short Term Memory), Mediapipe
Referensi
S. Mhatre, S. Joshi, dan H.B. Kulkarni, "Sign Language Detection using LSTM," Current Development in Engineering and Technology (CCET), IEEE, hal. 13-17, 2022. [2] Google Developer, "Hand Landmarks Detection Guide," Google Mediapipe Documentation, [Online]. Tersedia: -developers.google.com/mediapipe/solu tions/vision/hand_landmarker. [Diakses: Apr 11, 2023]. [3] Engineering Team at SignAll, "MediaPipe is Now Available for Developers," Google Developers Blog, -developers.googleblog.com/2021/04/si gnall-sdk-sign-language-interface-usingmediapipe-now-available.html, [Diakses 30- Juli-2023]. [4] S. Mekruksavanich, A. Jitpattanakul, dan G. Pau, "LSTM Networks Using Smartphone Data for Sensor-Based Human Activity Recognition in Smart Homes," Publikasi 2021 Feb 26, hal. 5-12. [5] S. Oluyede Jr., "STREAMLIT(Part-1): BUILDING A SIMPLE STREAMLIT APPLICATION FOR COMPUTER VISION," -juniorboyboy2.medium.com/streamlitpart-1-building-a-simple-streamlitapplication-for-computer-vision49f820a0938d. [Diakses: 30-Juli-2023]. [6] N. Landro, "Live Webcam with Streamlit," -medium.com/mlearning-ai/livewebcam-with-streamlit-f32bf68945a4. [Diakses: 30-Juli-2023]. [7] Sherstinsky, "Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) Network," Physica D: Nonlinear Phenomena, vol. 404, hal. 37, 2021
