Pengenalan Gestur Tangan Statis Menggunakan Cnn Dengan Arsitektur Efficient-net B4

Abstract

Abstrak Komunikasi adalah suatu bentuk interaksi antara individu dengan individu lain, individu dengan kelompok, atau kelompok dengan kelompok. Komunikasi adalah suatu bentuk penyampaian isi pemikiran dari individu atau kelompok. Namun banyak sekali manusia berkebutuhan khusus yang kesulitan untuk berkomunikasi. Sering kali kita kesulitan untuk memahami orang-orang berkebutuhan khusus. Jika ada orang tunarungu, kita sulit untuk membuat mereka mengerti dengan apa yang kita bicarakan apalagi jika orang tunarungu tersebut tidak bisa menggunakan bahasa isyarat. Jika kita berkomunikasi dengan orang tuna wicara, orang tuna wicara tersebut kesulitan untuk membuat kita memahami apa yang mereka akan sampaikan, keadaan tersebut akan semakin sulit jika kita tidak bisa menggunakan bahasa isyarat. Oleh karena itu, pada tugas akhir ini dibangun sebuah sistem menggunakan metode CNN dengan arsitektur Efficient-Net B4 sebagai pengenalan bahasa isyarat dari gestur tangan. Sistem telah diuji pada dataset ASL Alphabets yang terdiri dari 87000 citra yang terbagi kedalam 29 kelas. Dataset dibagi sehingga didapat data training 70%, data validasi 15%, dan data testing 15%. Pengujian dengan skenario terbaik dilakukan dengan menggunakan Cyclical Learning Rate (CLR) yang membuat nilai learning rate pada saat proses training menjadi dinamis(berubah-ubah) pada rentang tertentu dan menggunakan input size yang lebih kecil yaitu 64x64x3 agar didapat kompleksitas yang lebih kecil. Hasil evaluasi dengan skenario terbaik meraih akurasi sebesar 99,81% untuk testing dan membutuhkan waktu 0,056 detik untuk mengenali gestur tangan.