Otomasi Pembangkitan Respons Berbasis Emosi Menggunakan BERT dan Qwen 3 1.7B
Abstrak
Penelitian ini bertujuan mengembangkan sistem respons otomatis berbasis emosi untuk meningkatkan kualitas interaksi antara manusia dan komputer. Latar belakang pe-nelitian didasarkan pada fenomena bahwa respons otomatis generik sering gagal memahami dinamika emosi pengguna, serta keterbatasan Large Language Model (LLM) berparameter kecil dalam menangkap konteks emosi secara konsisten. Sis-tem yang dikembangkan menggunakan pendekatan Two-Stage Pipeline: tahap pertama mendeteksi keberadaan emosi (Netral vs Emosional), dan tahap kedua mengklasifikasikan emosi ke dalam 6 kategori dasar Ekman menggunakan model BERT yang telah di-fine-tune pada dataset GoEmotions. Model terbaik yang dihasilkan adalah Single Multi-Label BERT dengan fungsi aktivasi Sigmoid yang mencapai Macro F1-Score sebesar 0.6114. Respons otomatis kemudian dibangkitkan oleh model Qwen 3
1.7B melalui teknik prompt engineering yang mengintegrasikan hasil deteksi emosi. Evaluasi dilakukan melalui pengujian A/B yang melibatkan 28 partisipan. Hasil menunjukkan bahwa 51.9% pengguna lebih memilih respons berbasis emosi dibandingkan respons generik. Penelitian ini menyimpulkan bahwa integrasi deteksi emosi memiliki potensi untuk meningkatkan pengalaman pengguna dalam konteks spesifik.
Index Terms—Analisis Emosi, BERT, Qwen 3, Respons oto-matis, Personalisasi, A/B Testing.
Referensi
Simon Kemp. (2024) Digital 2024: Indonesia. [Online]. Available: https://datareportal.com/reports/digital-2024-indonesia
W. El Hefny, A. El Bolock, C. Herbert, and S. Abdennadher, “Towa-rds a generic framework for character-based chatbots,” in Highlights in Practical Applications of Agents, Multi-Agent Systems, and Trust-worthiness. The PAAMS Collection: International Workshops of PAAMS 2020, L’Aquila, Italy, October 7–9, 2020, Proceedings 18. Springer,
, pp. 95–107.
S. Ashtar, G. B. Yom-Tov, A. Rafaeli, and J. Wirtz, “Affect-as-information: Customer and employee affective displays as expeditious predictors of customer satisfaction,” Journal of Service Research, vol. 27, no. 4, pp. 525–542, 2024.
I.-A. Albu and S. Spˆınu, “Emotion detection from tweets using a bert and svm ensemble model,” arXiv preprint arXiv:2208.04547, 2022.
Z. Cheng, Z.-Q. Cheng, J.-Y. He, K. Wang, Y. Lin, Z. Lian, X. Peng, and A. Hauptmann, “Emotion-llama: Multimodal emotion recognition and reasoning with instruction tuning,” Advances in Neural Information Processing Systems, vol. 37, pp. 110 805–110 853, 2024.
D. Demszky, D. Movshovitz-Attias, J. Ko, A. Cowen, G. Nemade, and
S. Ravi, “Goemotions: A dataset of fine-grained emotions,” arXiv preprint arXiv:2005.00547, 2020.
