Klasifikasi Ekspresi Wajah Manusia Secara Otomatis Sebagai Alat Bantu Ahli Psikologi (Pendeteksi Senang Dan Sedih)
Abstract
Ekspresi wajah merupakan salah satu bentuk komunikasi non-verbal yang mencerminkan kondisi emosional seseorang. Dalam bidang psikologi, analisis ekspresi wajah berperan penting untuk membantu psikolog memahami keadaan emosional pasien secara lebih objektif. Namun, proses pengamatan ekspresi wajah secara manual masih bergantung pada interpretasi subjektif pengamat, sehingga berpotensi menimbulkan perbedaan hasil evaluasi. Oleh karena itu, diperlukan sistem otomatis yang mampu membantu proses pengamatan ekspresi secara real-time. Penelitian ini bertujuan untuk mengembangkan sistem klasifikasi ekspresi wajah manusia secara otomatis sebagai alat bantu ahli psikologi dengan menggunakan metode YOLO
(You Only Look Once). Sistem yang dikembangkan mampu mendeteksi wajah sekaligus mengklasifikasikan tiga jenis ekspresi dasar, yaitu senang, sedih, dan datar, secara real-time. Dataset ekspresi wajah diolah menggunakan platform Roboflow dan dilatih pada model YOLO sehingga mampu menghasilkan prediksi ekspresi dalam bentuk bounding box, label kelas, serta nilai kepercayaan. Sistem dilengkapi dengan fitur pendukung berupa pencatatan riwayat ekspresi, pengambilan tangkapan layar otomatis saat terjadi perubahan ekspresi, tampilan statistic persentase ekspresi, serta pembuatan laporan hasil pengamatan dalam bentuk file PDF. Pengujian dilakukan pada mahasiswa dengan variasi jarak dan sudut pandang, serta melibatkan ahli psikolog sebagai validator profesional. Hasil pengujian menunjukkan bahwa sistem mampu mengenali ekspresi wajah dengan baik pada kondisi pencahayaan dan posisi wajah yang optimal, meskipun performa menurun pada jarak jauh, sudut miring, dan pencahayaan redup. Secara keseluruhan, sistem yang dikembangkan dapat memberikan informasi tambahan yang bersifat objektif bagi psikolog dalam proses observasi awal kondisi emosional pasien, sehingga dapat mendukung proses asesmen psikologi secara lebih efisien.
Kata kunci — ekspresi wajah, YOLO, klasifikasi emosi, senang, sedih, datar, psikologi.
References
P. Xu, S. Peng, Y. jia Luo, and G. Gong, “Facial expression recognition: A meta-analytic review of theoretical models and neuroimaging evidence,” 2021. doi: 10.1016/j.neubiorev.2021.05.023.
S. A. Pratiwi, A. Taqwa, and S. Soim, “ANALISIS DETEKSI OBJEK CITRA DIGITAL MENGGUNAKANALGORITMA YOLO DAN CNN DENGAN ARSITEKTUR REPVGG PADA SISTEM PENDETEKSIAN DAN PENGENALAN EKSPRESI WAJAH,” J. Ilm. Indones., vol. 7, no. 9, 2022.
D. Lambert, Buku Saku Bahasa Tubuh. Jakarta: Arcan, 1999.
R. Zhang and R. Ma, “Facial expression recognition method based on PSA—YOLO network,” Front. Neurorobot., vol. 16, 2023, doi: 10.3389/fnbot.2022.1057983.
H. Ma, S. Lei, T. Celik, and H.-C. Li, “FER-YOLO-Mamba: Facial Expression Detection and Classification Based on Selective State Space,” vol. X, no. X, pp. 1–12, 2024, [Online]. Available: http://arxiv.org/abs/2405.01828
H. Yao, X. Yang, D. Chen, Z. Wang, and Y. Tian, “Facial Expression Recognition Based on Fine-Tuned Channel–Spatial Attention Transformer,” Sensors, vol. 23, no. 15, 2023, doi: 10.3390/s23156799.
M. Ghourabi, F. Mourad-Chehade, and A. Chkeir, “Eye Recognition by YOLO for Inner Canthus Temperature Detection in the Elderly Using a Transfer Learning Approach,” Sensors, vol. 23, no. 4, 2023, doi: 10.3390/s23041851.
S. A. F. Manssor, S. Sun, and M. A. M. Elhassan, “Real-time human recognition at night via integrated face and gait recognition technologies,” Sensors, vol. 21, no. 13, 2021, doi: 10.3390/s21134323.
J. Zhao, S. Yan, and J. Feng, “Towards Age-Invariant Face Recognition,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 1, 2022, doi: 10.1109/TPAMI.2020.3011426.
M. R. Koujan, L. Alharbawee, G. Giannakakis, N. Pugeault, and A. Roussos, “Real-time Facial Expression Recognition ‘In the Wild’ by Disentangling 3D Expression from Identity,” in Proceedings - 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition, FG 2020, 2020. doi: 10.1109/FG47880.2020.00084.
E. R. Justitian, I. Y. Purbasari, and F. T. Anggraeny, “Perbandingan Akurasi Deteksi Kelelahan pada Pengendara Menggunakan YOLOv3-Tiny YOLOv4-Tiny,” J. Inform. dan Sist. Inf., vol. 3, no. 1, 2022, doi: 10.33005/jifosi.v3i1.440.
R. Risawandi and K. Olivia, “SISTEM PENDETEKSIAN DAN PENGENALAN EKSPRESI PADA WAJAH SECARA REAL-TIME MENGGUNAKAN FITUR HARALICK DAN FITUR HAAR,” J. Teknol. Terap. Sains 4.0, vol. 3, no. 1, 2022, doi: 10.29103/tts.v3i1.8584.
D. Adinda, B. Harijanto, and F. Rahutomo, “Implementasi Deep Learning Untuk Deteksi Ekspresi Emosi Pada Twitter,” in Seminar Informatika Aplikatif Polinema, 2020.
R. Yusuf and A. A. Huda, “Deteksi Emosi Wajah Menggunakan Metode Backpropagation,” J. Autom. Comput. Inf. Syst., vol. 3, no. 2, 2023, doi: 10.47134/jacis.v3i2.60.
E. Renaldo and W. Widhiarso, “Klasifikasi Ekspresi Wajah dengan Algoritma Support Vector Machine,” MDP Student Conf., vol. 2, no. 1, 2023, doi: 10.35957/mdp-sc.v2i1.4201.
B. C. L. Adiatma, E. Utami, and A. D. Hartanto, “PENGENALAN EKSPRESI WAJAH MENGGUNAKAN DEEP CONVOLUTIONAL NEURAL NETWORK,” EXPLORE, vol. 11, no. 2, 2021, doi: 10.35200/explore.v11i2.478.
E. Susanto, Malian, and T. Sutabri, “Implementasi Machine Learning Pengenalan Wajah Menggunakanan Metode Fisherface,” Jusikom J. Sist. Komput. Musi Rawas, vol. 8, no. 1, 2023.
M. Banerjee, R. Goyal, P. Gupta, and A. Tripathi, “Real-Time Face Recognition System with Enhanced Security Features using Deep Learning,” Int. J. Exp. Res. Rev., vol. 32, 2023, doi: 10.52756/IJERR.2023.V32.011.
M. Pudyel and M. Atay, “An Exploratory Study of Masked Face Recognition with Machine Learning Algorithms,” in Conference Proceedings - IEEE SOUTHEASTCON, 2023. doi: 10.1109/SoutheastCon51012.2023.10115205.
R. A. Asmara, M. Ridwan, G. B. P, and A. N. Handayani, “Pengembangan Sistem Face Recognition menggunakan Cloud Service, Raspberry Pi dan Convolutional Neural Network (CNN),” J. Inform. Polinema, vol. 9, no. 1, 2022, doi: 10.33795/jip.v9i1.1181.
A. Baihaqi, H. Firliansyah, R. Jaelani, and ..., “Systematic Literatur Review Mendeteksi Wajah Manusia Menggunakan Metode YOLO (You Only Look Once),” JRIIN J. Ris. Inform. dan Inov., vol. 01, no. 01, 2023.
