Normalisasi Komentar Media Sosial Pasangan Calon Gubernur 2024 Dengan Statistical Machine Translation
Abstract
Abstrak — Tingginya aktivitas masyarakat dalam membahas pemilihan Gubernur melalui media sosial menghasilkan data komentar dalam jumlah besar, namun komentar tersebut sering menggunakan bahasa informal, bahasa sehari-hari, singkatan, serta bercampur dengan bahasa daerah dan dialek lokal yang sulit dipahami. Hal ini menghambat pemrosesan data komentar untuk keperluan analisis atau tujuan lainnya. Proses normalisasi manual membutuhkan waktu dan sumber daya yang sangat banyak, terutama jika data yang diolah berjumlah besar. Normalisasi secara manual juga rentan terhadap inkonsistensi dan kesalahan manusia. Jumlah data komentar di media sosial yang terus meningkat membuat normalisasi manual semakin tidak mungkin dan tidak efisien untuk dilakukan, sehingga diperlukan solusi otomatisasi. Sistem normalisasi teks otomatis dikembangkan menggunakan pendekatan Phrase-Based Statistical Machine Translation dengan memanfaatkan Moses. Dataset korpus paralel dibangun dari 31.889 pasangan kalimat informal-formal, sedangkan korpus monolingual terdiri dari 1.613.381 kalimat yang diambil dari Wikipedia. Model dievaluasi menggunakan metrik BLEU untuk mengukur kualitas hasil normalisasi. Model terbaik mencapai skor BLEU 82,16 pada data test dan 81,04 pada data validasi, berhasil mengenali berbagai pola bahasa informal seperti singkatan tidak baku, kata berulang dengan angka, dan bahasa gaul. Namun, sistem memiliki keterbatasan terhadap kemampuan penanganan Out-Of-Vocabulary.
Kata kunci— normalisasi teks, PBSMT, Moses, media sosial, gubernur
Downloads
References
[1] H. A. Wibowo et al., “Semi-Supervised Low-Resource Style Transfer of Indonesian Informal to Formal Language with Iterative Forward-Translation,” 2020 International Conference on Asian Language Processing, IALP 2020, pp. 310–315, 2020, doi: 10.1109/IALP51396.2020.9310459.
[2] K. C. Eleison, S. U. I. Hutahaean, S. C. Tampubolon, T. M. Panggabean, and I. Fitriyaningsih, “An empirical evaluation of phrase-based statistical machine translation for Indonesia slang-word translator,” Indonesian Journal of Electrical Engineering and Computer Science, vol. 25, no. 3, pp. 1803–1813, 2022, doi: 10.11591/ijeecs.v25.i3.pp1803-1813.
[3] A. Kurnia and E. Yulianti, “Statistical Machine Translation Approach for Lexical Normalization on Indonesian Text,” pp. 288–293, 2020.
[4] A. A. T. Hossain, F. A. Bhuiyan, and Md. A. Islam, “Creating an Efficient Parallel Corpus for Bangla-English Statistical Machine Translation,” EPRA International Journal of Multidisciplinary Research (IJMR)-Peer Reviewed Journal, no. 2, pp. 198–210, 2020, doi: 10.36713/epra2013.
[5] Z. Z. Linn, Y. K. Thu, and P. B. Patil, “Statistical machine translation between myanmar and myeik,” WCSE 2020: 2020 10th International Workshop on Computer Science and Engineering, vol. 4, no. April, pp. 547–556, 2020, doi: 10.18178/wcse.2020.02.007.
[6] M. Galley and C. D. Manning, “A simple and effective hierarchical phrase reordering model,” EMNLP 2008 - 2008 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference: A Meeting of SIGDAT, a Special Interest Group of the ACL, no. October, pp. 848–856, 2008, doi: 10.3115/1613715.1613824.
[7] Y. Liu, K. Wang, C. Zong, and K. Y. Su, “A unified framework and models for integrating translation memory into phrase-based statistical machine translation,” Comput Speech Lang, vol. 54, pp. 176–206, 2019, doi: 10.1016/j.csl.2018.09.006.
[8] P. Koehn et al., “Moses: Open source toolkit for statistical machine translation,” Proceedings of the Annual Meeting of the Association for Computational Linguistics, no. May 2014, pp. 177–180, 2007.
[9] C. P. Chai, “Comparison of text preprocessing methods,” Nat Lang Eng, vol. 29, no. 3, pp. 509–553, 2023, doi: 10.1017/S1351324922000213.
[10] G. E. Pibiri and R. Venturini, “Handling massive n-gram datasets efficiently,” ACM Trans Inf Syst, vol. 37, no. 2, 2019, doi: 10.1145/3302913.
[11] M. Zhang, “On Applying Natural Language Processing Technology to Optimize Accuracy of English Interactive Translation Platform,” Applied Mathematics and Nonlinear Sciences, vol. 9, no. 1, pp. 1–23, 2024, doi: 10.2478/amns-2024-1524.
[12] A. Araabi and V. Niculae, “How Effective is Byte Pair Encoding for Out-Of-Vocabulary Words in Neural Machine Translation,” 2022.
