Facial Expression Recognition Dengan Pemodelan Berbasis CNN Pada Wajah Bermasker

Abstract

Pandemi Covid-19 yang telah menyebabkan
penggunaan masker wajah menjadi hal yang umum di
masyarakat sebagai upaya untuk mencegah penyebaran virus.
Namun, hal ini menimbulkan tantangan baru dalam
pengenalan ekspresi wajah atau Facial Expression Recognition
(FER). Facial Expression Recognition digunakan untuk
memahami bagaimana manusia berperilaku, sehingga
membantu dalam strategi pencegahan penyebaran virus dan
menghilangkan halangan manusia untuk saling bersosialisasi
walau dalam keterbatasan. Dalam hal keamanan, dapat
dimanfaatkan untuk membedakan orang yang memiliki intensi
buruk dibalik ekspresi yang tertutup masker. Kekurangan yang
ada pada Facial Expression Recognition saat ini yaitu
terbatasnya pendeteksian berbagai macam jenis ekspresi
dikarenakan hilangnya informasi penting dari area mulut dan
hidung yang tertutup masker. Penelitian ini bertujuan untuk
menemukan model arsitektur Convolutional Neural Network
(CNN) dengan akurasi dalam beberapa ekspresi seperti
bahagia, marah, sedih, netral, dan terkejut. Penelitian ini
mengevaluasi performa tiga model, yaitu ResNet50, Emotion
Ensemble Model, dan VGG19. ResNet50 menunjukkan
performa dengan akurasi 89.51%, Emotion Ensemble Model
dengan akurasi 82.49%. Sementara itu VGG19 mencapai
akurasi 72.44%. Kontribusi utama penelitian ini adalah
pengembangan ensemble yang cukup akurat pada dataset
dengan variasi tinggi, serta analisis terhadap keunggulan dan
kelemahan setiap model. Membantu mengenal pemilihan
arsitektur model yang tepat untuk pengenalan ekspresi berbasis
citra pada kondisi terbatas.

Kata kunci— facial expression recognition, convolutional
neural network, ResNet50, masker wajah, deep learning,
Masked-Fer2013