Simulasi Penerjemah SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Tensorflow Dan Convolutional Neural Network (CNN)

Abstract

Abstrak—Bahasa Isyarat biasanya digunakan oleh penyandang disabilitas tunarungu untuk berkomunikasi dengan orang lain. Permasalahan yang sering terjadi dalam komunikasi menggunakan bahasa isyarat adalah ketika orang belum mengerti berkomunikasi dengan penyandang disabilitas tunarungu. Penelitian ini membuat simulasi penerjemah SIBI (Sistem Isyarat Bahasa Indonesia) secara realtime dan non realtime. Dataset (kumpulan gambar bahasa isyarat) total 1200 gambar untuk 6 kelas huruf (A, B, C, D, E, dan F). Kemudian dataset dipisahkan untuk pelatihan 90% dan evaluasi 10%. Sebelum pelatihan dengan model, dataset dianotasikan perkelasnya. Model pelatihan yang digunakan yaitu SSD MobileNet V2. Dataset dilatih dengan 3 skema yaitu 10.000 step untuk skema 1. 20.000 step untuk skema 2. 30.000 step untuk skema 3. Setelah dilatih model akan dievaluasi untuk membangun model predeksi deteksi. Terakhir membuat program deteksi secara realtime dan non realtime. Dalam penelitian ini hasil yang dicapai bahwa simulasi berkerja dengan baik. Rata-rata tingkat klasifikasi realtime 91% dan tingkat klasifikasi non realtime 60%. Berdasarkan hasil pelatihan dan evaluasi untuk semua skema menghasilkan rata-rata learning rate 0,068 iteration/steps, rata-rata total loss 0,32 , rata-rata loss localization 0,067, rata-rata loss classification 0,13, mAP 0,75, dan mAR 0,78. Berdasarkan hasil tersebut sudah cukup baik dalam menerjemahkan Bahasa isyarat. Kata kunci — SIBI, Deteksi Objek, Tuna Rungu, Tensorflow, SSD MobileNet V2, CNN