Implementasi Model Deep Learning Untuk Deteksi Gerakan Tangan Pada Bahasa Isyarat Indonesia

Abstract

Abstrak — Bahasa isyarat merupakan sarana komunikasi utama bagi teman tuli. Namun, kurangnya pemahaman masyarakat terhadap bahasa ini sering menjadi hambatan dalam berinteraksi. Penelitian ini bertujuan mengembangkan sistem deteksi gerakan tangan pada Bahasa Isyarat Indonesia (SIBI) dengan memanfaatkan model deep learning berbasis Convolutional Neural Network (CNN). Sistem dirancang untuk mengenali 26 huruf alfabet, angka 0–9, serta lima kata dasar, yaitu “saya”, “kamu”, “dia”, “makan”, dan “tidur”. Implementasi sistem menggunakan bahasa pemrograman Python dengan framework TensorFlow, serta pustaka pendukung seperti OpenCV, MediaPipe, scikit-learn, seaborn, dan numpy. Dataset dikumpulkan mandiri menggunakan kamera laptop, disimpan dalam format .h5, dan diberi label dengan bantuan Roboflow. Perangkat keras yang digunakan berupa laptop dengan GPU serta webcam internal untuk proses pengambilan data dan pengujian. Hasil pengujian menunjukkan sistem mampu berjalan secara real-time dengan akurasi 100% saat diuji terpisah pada huruf, angka, maupun lima kata dasar. Pada pengujian gabungan, akurasi mencapai ±97%. Meski kadang terjadi kesalahan akibat kemiripan bentuk gerakan, sistem tetap stabil dan dapat digunakan untuk membantu penerjemahan bahasa isyarat, sehingga mempermudah komunikasi antara teman tuli dan masyarakat.Kata kunci— bahasa isyarat indonesia, convolutional neural network, mediapipe, tensorflow, real-time processing, aksesibilitas komunikasi