Rancang Bangun Sarung Tangan Pengenalan Bahasa Isyarat Kondisi Tubuh Berbasis Sistem Sensor dan Pembelajaran Mesin

Abstract

Penyandang disabilitas tunarungu atau tunawicara sering mengalami kesulitan dalam menyampaikan kondisi tubuh melalui bahasa isyarat kepada orang normal, sehingga menimbulkan hambatan komunikasi dan interaksi sosial. Untuk mengatasi masalah ini, dikembangkan sebuah sistem sarung tangan berbasis sensor dan machine learning yang mampu mengenali dan menerjemahkan bahasa isyarat terkait kondisi tubuh. Sistem ini menggunakan flex sensor untuk mendeteksi lekukan jari, mikrokontroler ESP32 beserta expansion board sebagai unit pemroses serta LCD 16x2 dengan modul IIC sebagai tampilan output. Data sensor diklasifikasikan ke dalam 8 kondisi tubuh seperti batuk, flu, diare, sakit leher, sakit lengan, sakit kaki, sakit kepala, dan pusing dan dapat ditampilkan secara real-time dengan waktu respon rerata 0.10 detik dalam bentuk teks. Desain sarung tangan dipilih untuk meningkatkan kenyamanan dan probabilitas. Hasil pengujian menunjukkan bahwa sistem mampu mengenali 8 kondisi tubuh dengan akurasi 86% dan waktu respons yang cepat. Kata kunci : Bahasa Isyarat, Flex Sensor, MPU6050, Machine Learning, Sarung Tangan