Facial Expression Recognition Dengan Pemodelan Berbasis CNN Pada Wajah Bermasker

Abstract

Pandemi Covid-19 yang telah menyebabkan penggunaan masker wajah menjadi hal yang umum di masyarakat sebagai upaya untuk mencegah penyebaran virus. Namun, hal ini menimbulkan tantangan baru dalam pengenalan ekspresi wajah atau Facial Expression Recognition (FER). Facial Expression Recognition digunakan untuk memahami bagaimana manusia berperilaku, sehingga membantu dalam strategi pencegahan penyebaran virus dan menghilangkan halangan manusia untuk saling bersosialisasi walau dalam keterbatasan. Dalam hal keamanan, dapat dimanfaatkan untuk membedakan orang yang memiliki intensi buruk dibalik ekspresi yang tertutup masker. Kekurangan yang ada pada Facial Expression Recognition saat ini yaitu terbatasnya pendeteksian berbagai macam jenis ekspresi dikarenakan hilangnya informasi penting dari area mulut dan hidung yang tertutup masker. Penelitian ini bertujuan untuk menemukan model arsitektur Convolutional Neural Network (CNN) dengan akurasi dalam beberapa ekspresi seperti bahagia, marah, sedih, netral, dan terkejut. Penelitian ini mengevaluasi performa tiga model, yaitu ResNet50, Emotion Ensemble Model, dan VGG19. ResNet50 menunjukkan performa dengan akurasi 89.51%, Emotion Ensemble Model dengan akurasi 82.49%. Sementara itu VGG19 mencapai akurasi 72.44%. Kontribusi utama penelitian ini adalah pengembangan ensemble yang cukup akurat pada dataset dengan variasi tinggi, serta analisis terhadap keunggulan dan kelemahan setiap model. Membantu mengenal pemilihan arsitektur model yang tepat untuk pengenalan ekspresi berbasis citra pada kondisi terbatas.

Kata kunci— facial expression recognition, convolutional neural network, ResNet50, masker wajah, deep learning, Masked-Fer2013