Rancang Bangun Sarung Tangan Pengenalan Bahasa Isyarat Kondisi Tubuh Berbasis Sistem Sensor dan Pembelajaran Mesin

Abstract

Penyandang disabilitas tunarungu atau
tunawicara sering mengalami kesulitan dalam menyampaikan
kondisi tubuh melalui bahasa isyarat kepada orang normal,
sehingga menimbulkan hambatan komunikasi dan interaksi
sosial. Untuk mengatasi masalah ini, dikembangkan sebuah
sistem sarung tangan berbasis sensor dan machine learning
yang mampu mengenali dan menerjemahkan bahasa isyarat
terkait kondisi tubuh. Sistem ini menggunakan flex sensor
untuk mendeteksi lekukan jari, mikrokontroler ESP32 beserta
expansion board sebagai unit pemroses serta LCD 16x2 dengan
modul IIC sebagai tampilan output. Data sensor diklasifikasikan
ke dalam 8 kondisi tubuh seperti batuk, flu, diare, sakit leher,
sakit lengan, sakit kaki, sakit kepala, dan pusing dan dapat
ditampilkan secara real-time dengan waktu respon rerata 0.10
detik dalam bentuk teks. Desain sarung tangan dipilih untuk
meningkatkan kenyamanan dan probabilitas. Hasil pengujian
menunjukkan bahwa sistem mampu mengenali 8 kondisi tubuh
dengan akurasi 86% dan waktu respons yang cepat.
Kata kunci : Bahasa Isyarat, Flex Sensor, MPU6050, Machine
Learning, Sarung Tangan