Analisis Performansi Hate Comments pada Learning Rate 10-1- 10-3 dengan Dataset dari X
Abstract
Cyberbullying merupakan fenomena sosial yang se- makin meningkat seiring dengan meningkatnya penggunaan media sosial, dan seringkali menyebabkan dampak psikologis serta emosional yang merugikan, terutama melalui hate com- ments. Penelitian ini bertujuan untuk mengevaluasi kinerja model IndoBERT dan Cendol dalam mendeteksi komentar kebencian yang berhubungan dengan cyberbullying. Survei terhadap 328 partisipan menghasilkan 64 kata kunci terkait cyberbullying. Proses penelitian mencakup pengumpulan dataset yang berisi kata kunci tersebut, serta pengujian kedua model menggunakan metrik evaluasi seperti akurasi, presisi, recall, dan F1-Score. Hasil eksperimen menunjukkan bahwa model Cendol unggul dengan akurasi sebesar 90,5% pada konfigurasi batch size 15, epoch ke-4, dan learning rate 10-3, sementara IndoBERT hanya mencapai akurasi 36% pada konfigurasi batch size 5, epoch ke- 4, dan learning rate 10-3. Meskipun kedua model menunjukkan potensi dalam mendeteksi ujaran kebencian, model IndoBERT menunjukkan performa yang lebih rendah pada dataset yang digunakan, kemungkinan disebabkan oleh keterbatasan dalam menangani konteks lokal. Penelitian ini memberikan kontribusi signifikan dalam pengembangan teknologi deteksi ujaran keben- cian berbasis bahasa Indonesia, yang dapat diimplementasikan pada berbagai platform media sosial seperti X, Facebook, Insta- gram, dan TikTok untuk mengurangi dampak negatif dari hate comments.
Kata Kunci: Cyberbullying, Hate Comments, IndoBERT, Cen- dol, NLP.
References
Y. A. Cahyadi, “Kampanye pemilu 2024, ujaran keben- cian terhadap kelompok minoritas meningkat,” AJI In- donesia, Feb. 2024, Accessed: 2024-10-18. [Online]. Available: https://aji.or.id/informasi/kampanye- pemilu- 2024- ujaran- kebencian- terhadap- kelompok- minoritas- meningkat.
N. Muhamad, “Twitter, medsos dengan ujaran keben- cian terbanyak pada kampanye pemilu 2024,” Databoks Premium Lite, Feb. 2024, Accessed: 2024-10-18. [On- line]. Available: https : / / databoks . katadata . co . id / teknologi - telekomunikasi / statistik / 16c6c45ef50c346 / twitter - medsos - dengan - ujaran - kebencian - terbanyak - pada-kampanye-pemilu-2024.
P. Nabila and E. B. Setiawan, “Adam and adamw op- timization algorithm application on bert model for hate speech detection on twitter,” 2024 International Confer- ence on Data Science and Its Applications (ICoDSA),
pp. 346–351, 2024. [Online]. Available: https : / / api . semanticscholar.org/CorpusID:272432470.
A. Rahmawati, A. Alamsyah, and A. Romadhony, “Hoax news detection analysis using indobert deep learning methodology,” 2022 10th International Conference on Information and Communication Technology (ICoICT),
pp. 368–373, 2022. [Online]. Available: https : / / api . semanticscholar.org/CorpusID:253047025.
A. B. Y. A. Putra and Y. Sibaroni, “Disinformation detection on 2024 indonesia presidential election using indobert,” 2023 International Conference on Data Sci- ence and Its Applications (ICoDSA), pp. 350–355, 2023. [Online]. Available: https : / / api . semanticscholar . org / CorpusID:264293048.
L. R. Aini, E. Nurfadhilah, A. Jarin, A. Santosa, and M. T. Uliniansyah, “Enhancing sentiment analy- sis models through multi-technique data augmentation: A study with indobert,” 2023 International Conference on Computer, Control, Informatics and its Applications (IC3INA), pp. 137–142, 2023. [Online]. Available: https:
//api.semanticscholar.org/CorpusID:264294774.
H. Face, Cendol: Open instruction-tuned generative large language models for indonesian languages, Ac- cessed: 2024-12-09, 2024. [Online]. Available: https:// huggingface.co/indonlp/cendol.
L. Craig, What is fine-tuning in machine learning and ai? Accessed: 10-11-2024, Jul. 2024. [Online]. Available: https://www.techtarget.com/searchenterpriseai/definition/ fine-tuning.
A. R. Hanum, I. A. Zetha, S. C. Putri, et al., “Analisis kinerja algoritma klasifikasi teks bert dalam mendeteksi berita hoaks,” Jurnal Teknologi Informasi dan Ilmu Kom- puter, vol. 11, no. 3, pp. 537–546, 2024.