Analisis Sentimen Multimodal terhadap Opini Publik Mengenai Kesehatan Mental di Media Sosial X dengan Metode CNN BiLSTM dan Ekspansi fitur FastText
Abstrak
Dalam hal kesehatan masyarakat global, kesehatan mental menjadi perhatian penting. Salah satu situs media sosial yang paling populer, X telah berkembang menjadi forum bagi orang-orang untuk mendiskusikan masalah kesehatan mental dan berbagi cerita pribadi. Menganalisis sentimen dalam percakapan online ini penting untuk memahami persepsi publik dan memandu intervensi kesehatan mental. Penelitian ini mengusulkan model analisis sentimen menggunakan multimodal yang memanfaatkan data tekstual dan visual, dengan fitur teks yang diekstraksi melalui CNN-BiLSTM, TF IDF, dan FastText, dan fitur gambar menggunakan VGG-16. Klasifikasi sentimen dilakukan dengan menggunakan model Hybrid CNN-BiLSTM dengan mekanisme perhatian. Model ini menggunakan fusi tingkat menengah untuk mengintegrasikan fitur teks dan gambar, diikuti dengan tingkat keputusan untuk menggabungkan output dari model teks saja, gambar saja, dan multimodal. 24.742 pasangan tweetgambar dikumpulkan dari platform X dan dianotasi melalui sistem pemungutan suara mayoritas. Untuk membangun korpus kemiripan FastText, 63.512 data dari portal berita digital CNN (Cable News Network) dan X digabungkan. Dengan akurasi 87,92%, model multimodal mengungguli model teks saja sebesar 0,09% dan model gambar saja sebesar 25,10%. Hasil ini menunjukkan keefektifan data modalitas, ekstraksi fitur yang komprehensif, dan multimodal.
Keywords—Analisis Sentimen, FastText, Hybrid CNN-BiLSTM, TF-IDF, VGG-16
Referensi
A. Abdurrahim and D. H. F. Fudholi, “Mental Health Prediction Model on Social Media Data Using CNN-BiLSTM,” Kinetik: Game Technology, Information System, Computer Network, Computing, Electronics, and Control, vol. 4, no. 1, 2024, doi: 10.22219/kinetik.v9i1.1849.
Y. Cao, J. Dai, Z. Wang, Y. Zhang, X. Shen, and Y. Liu, “Systematic Review : Text Processing Algorithms in Machine Learning and Deep Learning for Mental Health Detection on Social Media,” pp. 1–48.
E. Lee, H. Kim, Y. Esener, and T. McCall, “Online Social Connections of Black American College Students Pre- and Peri-COVID-19 Pandemic: Network Science Approach (Preprint),” J Med Internet Res, vol. 26, 2023, doi: 10.2196/55531.
S. A. Sazan, M. H. Miraz, and A. B. M. Muntasir Rahman, “Enhancing Depressive Post Detection in Bangla: A Comparative Study of TF-IDF, BERT and FastText Embeddings,” Annals of Emerging Technologies in Computing, vol. 8, no. 3, pp. 34–49, 2024, doi: 10.33166/AETiC.2024.03.003.
Ö. Ezerceli and R. Dehkharghani, Mental disorder and suicidal ideation detection from social media using deep neural networks, vol. 7, no. 3. Springer Nature Singapore, 2024. doi: 10.1007/s42001-024-00307-1.
H. Elfaik and E. H. Nfaoui, “Leveraging feature-level fusion representations and attentional bidirectional RNN-CNN deep models for Arabic affect analysis on Twitter,” Journal of King Saud University - Computer and Information Sciences, vol. 35, no. 1, pp. 462–482, 2023, doi: 10.1016/j.jksuci.2022.12.015.
T. Ghosh, M. H. Al Banna, M. J. Al Nahian, M. N. Uddin, M. S. Kaiser, and M. Mahmud, “An attention-based hybrid architecture with explainability for depressive social media text detection in Bangla,” Expert Syst Appl, vol. 213, no. PC, p. 119007, 2023, doi: 10.1016/j.eswa.2022.119007.
N. H. Di Cara, V. Maggio, O. S. P. Davis, and C. M. A. Haworth, “Methodologies for Monitoring Mental Health on Twitter: Systematic Review,” 2023, JMIR Publications Inc. doi: 10.2196/42734.
S. W. Jannah, “Analisis Sentimen Multimodal Berbasis Aspek untuk Ulasan Wisatawan Menggunakan Metode Deep Learning,” Skripsi Sarjana, Institut Teknologi Sepuluh Nopember, Surabaya, Indonesia, 2025.[Online].Available:https://repository.its.ac.id/117461/
Febiana Anistya and Erwin Budi Setiawan, “Hate Speech Detection on Twitter in Indonesia with Feature Expansion Using GloVe,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 5, no. 6, pp. 1044 1051, Dec. 2021, doi: 10.29207/resti.v5i6.3521.
A. Zeyer, P. Doetsch, P. Voigtlaender, R. Schluter, and H. Ney, “A comprehensive study of deep bidirectional LSTM RNNS for acoustic modeling in speech recognition,” ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, pp. 2462–2466, 2017, doi: 10.1109/ICASSP.2017.7952599.
P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov, “Enriching Word Vectors with Subword Information,” Trans Assoc Comput Linguist, vol. 5, pp. 135–146, 2017, doi: 10.1162/tacl_a_00051.
Yue, W., Li, L. (2020). Sentiment analysis using Word2vec-CNN-BiLSTM classification. In 2020 Seventh International Conference on Social Networks Analysis, Management and Security (SNAMS), Paris, France, pp. 1-5. https://doi.org/10.1109/SNAMS52053.2020.9336549
Rhanoui, M., Mikram, M., Yousfi, S., Barzali, S. (2019). A CNN-BiLSTM model for document-level sentiment analysis. Machine Learning and Knowledge Extraction, 1(3): 832-847. https://doi.org/10.3390/make1030048
Toktarova, A., Syrlybay, D., Myrzakhmetova, B., Anuarbekova, G., Rakhimbayeva, G., Zhylanbaeva, B., Suieuova, N., Kerimbekov, M. (2023). Hate speech detection in social networks using machine learning and deep learning methods. International Journal of Advanced Computer Science and Applications, 14(5): 396-406. https://doi.org/10.14569/IJACSA.2023.0140542
M. A. S. Nasution and E. B. Setiawan, “Enhancing Cyberbullying Detection on Indonesian Twitter: Leveraging FastText for Feature Expansion and Hybrid Approach Applying CNN and BiLSTM,” Revue d’Intelligence Artificielle, vol. 37, no. 4, pp. 929–936, 2023, doi: 10.18280/ria.370413.
