Perancangan Sistem Penerjemah Sign Language To Text Berbasis Image Processing

Abstract

Abstrak—Bahasa isyarat adalah bahasa yang digunakan untuk berkomunikasi dengan menggunakan gerakan tubuh dan/atau ekspresi wajah. Makna atau arti dari gerakan tubuh dalam bahasa isyarat juga telah disepakati agar dapat digunakan untuk bertukar informasi. Bahasa isyarat ini biasa digunakan oleh penyandang tunarungu dan tunawicara untuk saling bertukar informasi dengan masyarakat normal pada umumnya. Hal ini yang membuat masyarakat normal mengalami kesulitan untuk berkomunikasi karena tidak semua memahami arti dari bahasa isyarat tersebut. Sehingga, untuk mengatasi masalah tersebut dilakukan upaya perancangan sistem penerjemah agar dapat dimengerti oleh masyarakat umum. Pada proyek akhir ini, telah dirancang sistem penerjemah bahasa isyarat per karakter menggunakan metode Convolutional Neural Network dengan arsitektur VGG-19 berbasis image processing dengan menggunakan bahasa pemrograman phyton. Data berupa dataset gambar gerakan tangan dalam bahasa isyarat akan dikumpulkan dan digunakan sebagai acuan objek pengenalan untuk pendeteksian sistem penerjemah ini, yang selanjutnya akan diproses untuk menjalankan program penerjemah bahasa isyarat per karakter ini menjadi sebuah teks. Hasil dari proyek akhir ini menunjukkan bahwa sistem dapat menerjemahkan BISINDO per karakter dengan akurasi pengujian sebesar 100%.

Kata kunci — convolutional neural network, BISINDO, VGG-19.