Rancang Bangun Sarung Tangan Pengenalan Bahasa Isyarat Kondisi Tubuh Berbasis Sistem Sensor dan Pembelajaran Mesin
Abstrak
Penyandang disabilitas tunarungu atau tunawicara sering mengalami kesulitan dalam menyampaikan kondisi tubuh melalui bahasa isyarat kepada orang normal, sehingga menimbulkan hambatan komunikasi dan interaksi sosial. Untuk mengatasi masalah ini, dikembangkan sebuah sistem sarung tangan berbasis sensor dan machine learning yang mampu mengenali dan menerjemahkan bahasa isyarat terkait kondisi tubuh. Sistem ini menggunakan flex sensor untuk mendeteksi lekukan jari, mikrokontroler ESP32 beserta expansion board sebagai unit pemroses serta LCD 16x2 dengan modul IIC sebagai tampilan output. Data sensor diklasifikasikan ke dalam 8 kondisi tubuh seperti batuk, flu, diare, sakit leher, sakit lengan, sakit kaki, sakit kepala, dan pusing dan dapat ditampilkan secara real-time dengan waktu respon rerata 0.10 detik dalam bentuk teks. Desain sarung tangan dipilih untuk meningkatkan kenyamanan dan probabilitas. Hasil pengujian menunjukkan bahwa sistem mampu mengenali 8 kondisi tubuh dengan akurasi 86% dan waktu respons yang cepat. Kata kunci : Bahasa Isyarat, Flex Sensor, MPU6050, Machine Learning, Sarung Tangan
Unduhan
Referensi
[1] N. Khamdi and M. Raja Adrafi, “Sarung Tangan Cerdas Sebagai Translator Bahasa Isyarat untuk Tuna Wicara,” J. Elektro Dan Mesin Terap., vol. 8, no. 2, pp. 113–122, Nov. 2022, doi: 10.35143/elementer.v8i2.5485.
[2] N. I. Pratiwi, I. Widaningrum, and D. Mustikasari, “Perancangan Sistem Deteksi Isyarat BISINDO Dengan Metode Adaptive Neuro-Fuzzy Inference System (ANFIS),” KomtekInfo, vol. 6, no. 1, pp. 50–61, May 2019, doi: 10.29165/komtekinfo.v6i1.232.
[3] W. Ahmad Priadiyatna, H. Hudiono, and A. Rasyid, “RANCANG BANGUN SARUNG TANGAN PINTAR PENERJEMAH BAHASA ISYARAT INDONESIA (BISINDO) BERBASIS IOT,” J. Jartel J. Jar. Telekomun., vol. 10, no. 4, pp. 213–219, Dec. 2020, doi: 10.33795/jartel.v10i4.21.
[4] R. A. Firmansyah and Y. A. Prabowo, “Rancang Bangun Flex Sensor Gloves untuk Penerjemah Bahasa Isyarat Menggunakan K-Nearest Neighbors,” Semin. Nas. Sains Dan Teknol. Terap. VII, 2019.
[5] D. Yahya, B. C. Putra, K. Anam, and M. Farkhan, “Alat Penerjemah Bahasa Isyarat Huruf Hijaiyah Menggunakan Sensor Fleksibel dan Mpu 6050 Berbasis Arduino,” BIOS J. Teknol. Inf. Dan Rekayasa Komput., vol. 5, no. 1, pp. 46–52, Dec. 2023, doi: 10.37148/bios.v5i1.92.
[6] S. T. Isma, “MENELITI BAHASA ISYARAT DALAM PERSPEKTIF VARIASI BAHASA,” Kongr. Bhs. Indones., pp. 1–14
[7] F. Dhilah, D. Kasoni, L. Ningsih, and M. Pardi, “Rancang Bangun Smart Gloves Untuk Penyandang Disabilitas Sensorik Rungu Wicara,” MULTINETICS, vol. 9, no. 1, pp. 61–70, Jul. 2023, doi: 10.32722/multinetics.v9i1.5779.
[8] G. Gumilar and H. H. Rachmat, “Sistem Pendeteksi Jatuh Wireless Berbasis Sensor Accelerometer,” TELKA - Telekomun. Elektron. Komputasi Dan Kontrol, vol. 4, no. 2, pp. 132–141, Nov. 2018, doi: 10.15575/telka.v4n2.132-141
[9] W. Patty, S. R. U. A. Sompie, D. J. Mamahit, and L. Gohao, “Rancang Bangun Alat Pemikat Ikan Menggunakan LED RGB Berbasis IoT,” J. Tek. Elektro Dan Komput., vol. 10, no. 3, p. 221, Dec. 2021, doi: 10.35793/jtek.10.3.2021.36826.
[10] H. Suryantoro and A. Budiyanto, “PROTOTYPE SISTEM MONITORING LEVEL AIR BERBASIS LABVIEW & ARDUINO SEBAGAI SARANA PENDUKUNG PRAKTIKUM INSTRUMENTASI SISTEM KENDALI,” Indones. J. Lab., vol. 1, no. 3, pp. 20–32, 2019.
[11] L. F. S. Scabini and O. M. Bruno, “Structure and Performance of Fully Connected Neural Networks: Emerging Complex Network Properties,” Jul. 29, 2021, arXiv: arXiv:2107.14062. doi: 10.48550/arXiv.2107.14062.
[12] J. Xu, Z. Li, B. Du, M. Zhang, and J. Liu, “Reluplex made more practical: Leaky ReLU,” IEEE, 2020, doi: 978-1-7281-8086-1.
[13] I. Hendapratama, I. W. Hamzah, and S. Astuti, “Rancang Bangun Aplikasi Penerjemah SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Algoritma Random Forest Classifier,” E-Proceeding Eng., vol. 8, no. 6, pp. 3850–3855, 2022.
[14] S. A. Kaffah and Y. Ramdhani, “Gesture Recognition untuk Deteksi Bahasa Isyarat BISINDO: Pendekatan Mediapipe dan Random Forest,” JOINTECS J. Inf. Technol. Comput. Sci., vol. 8, no. 3, p. 105, Sep. 2023, doi: 10.31328/jointecs.v8i3.4813.
