Peringkasan Artikel Berita Menggunakan Pendekatan Abstraktif Dengan Model Transformers
Abstrak
Abstrak— Membaca artikel berita merupakan kebiasan rutin bagi mayoritas orang, di mana biasanya digunakan sebagai bahan bacaan atau referensi untuk mendapatkan informasi terbaru yang sedang beredar. Salah satu bentuk atau cara mendapatkan informasi secara cepat dapat dipermudah dengan keberadaan ringkasan artikel berita. Peringkasan artikel berita juga dapat meminimalkan informasi yang berlebihan. Tujuan Tugas Akhir ini adalah menghasilkan ringkasan dengan kualitas yang lebih baik pada beberapa topik berita yang performansinya rendah karena keterbatasan data. Pendekatan peringkasan yang digunakan adalah metode abstraktif dengan memanfaatkan pre-trained model berbasis transformers. Pre-trained model yang digunakan adalah T5-small dan BART-BASE serta untuk meningkatkan performansi, diterapkan proses augmentasi data. Pengujian pada Tugas Akhir ini dilakukan pada dataset XLSum Multi News, yang berisi kategori government & politic, health, economic, infrastructure development, crime dan technology industry dengan crime dan economic mempunyai kualitas ringkasan paling rendah. Evaluasi terhadap hasil ringkasan dilakukan secara otomatis dengan metriks ROUGE dan penilaian secara subyektif dari responden. Hasil evaluasi menunjukkan bahwa dari skor ROUGE tidak terjadi peningkatan performansi, namun responden menyimpulkan bahwa dari sisi relevansi, koherensi, dan kesesuaian, ringkasan yang dihasilkan setelah dilakukan augmentasi data mempunyai kualitas yang lebih baik.
Kata Kunci — Berita, Artikel, Peringkasan, Abstraktif, Augmentasi Data, Transformers
Referensi
REFERENSI
El-Kassas, W.S., Salama, C.R., Rafea, A.A. and
Mohamed, H.K., 2021. Automatic text
summarization: A comprehensive survey. Expert
Systems with Applications, 165, p.113679.
Yasunaga, M., Kasai, J., Zhang, R., Fabbri, A.R., Li,
I., Friedman, D. and Radev, D.R., 2019, July.
Scisummnet: A large annotated corpus and contentimpact models for scientific paper summarization
with citation networks. In Proceedings of the AAAI
Conference on Artificial Intelligence (Vol. 33, No.
, pp. 7386-7393).
Janaki Raman, K. and Meenakshi, K., 2021.
Automatic text summarization of article (NEWS)
using lexical chains and wordnet4A review.
Artificial Intelligence Techniques for Advanced
Computing Applications, pp.271-282.
Badry, R.M., Eldin, A.S. and Elzanfally, D.S., 2013.
Text summarization within the latent semantic
analysis framework: Comparative study.
International Journal of Computer Applications,
(11), pp.40-45.
Rush, A.M., Chopra, S. and Weston, J., 2015. A
neural attention model for abstractive sentence
summarization. arXiv preprint arXiv:1509.00685.
Ahmad, T., Ahmed, S.U., Ahmad, N., Aziz, A. and
Mukul, L., 2020. News Article Summarization:
Analysis and Experiments on Basic Extractive
Algorithms. International Journal of Grid and
Distributed Computing, 13(2), pp.2366-2379.
Moratanch, N. and Chitrakala, S., 2016, March. A
survey on abstractive text summarization. In 2016
International Conference on Circuit, power and
computing technologies (ICCPCT) (pp. 1-7). IEEE.
Roy, S.G., Pinnaparaju, N., Jain, R., Gupta, M. and
Varma, V., 2021. Summaformers@ LaySumm 20,
LongSumm 20. arXiv preprint arXiv:2101.03553.
Garg, A., Adusumilli, S., Yenneti, S., Badal, T.,
Garg, D., Pandey, V., Nigam, A., Gupta, Y.K.,
Mittal, G. and Agarwal, R., 2021. NEWS article
summarization with pretrained transformer. In
International Advanced Computing Conference (pp.
-211). Springer, Singapore.
Khatri, C., Singh, G. and Parikh, N., 2018.
Abstractive and extractive text summarization using
document context vector and recurrent neural
networks. arXiv preprint arXiv:1807.08000.
Loem, M., Takase, S., Kaneko, M. and Okazaki, N.,
ExtraPhrase: Efficient Data Augmentation for
Abstractive Summarization. arXiv preprint
arXiv:2201.05313.
Wei, J. and Zou, K., 2019. Eda: Easy data
augmentation techniques for boosting performance
on text classification tasks. arXiv preprint
arXiv:1901.11196.
Pasunuru, R., Celikyilmaz, A., Galley, M., Xiong,
C., Zhang, Y., Bansal, M. and Gao, J., 2021, May.
Data augmentation for abstractive query-focused
multi-document summarization. In Proceedings of
the AAAI Conference on Artificial Intelligence
(Vol. 35, No. 15, pp. 13666-13674).
Hermann, K.M., Kocisky, T., Grefenstette, E.,
Espeholt, L., Kay, W., Suleyman, M. and Blunsom,
P., 2015. Teaching machines to read and
comprehend. Advances in neural information
processing systems, 28.
Kieuvongngam, V., Tan, B. and Niu, Y., 2020.
Automatic text summarization of covid-19 medical
research articles using bert and gpt-2. arXiv preprint
arXiv:2006.01997.
ROUGE, L.C., 2004, July. A package for automatic
evaluation of summaries. In Proceedings of
Workshop on Text Summarization of ACL, Spain
Hasan, T., Bhattacharjee, A., Islam, M.S., Samin,
K., Li, Y.F., Kang, Y.B., Rahman, M.S. and
Shahriyar, R., 2021. XL-sum: Large-scale
multilingual abstractive summarization for 44
languages. arXiv preprint arXiv:2106.13822.
Fabbri, A.R., Li, I., She, T., Li, S. and Radev, D.R.,
Multi-news: A large-scale multi-document
summarization dataset and abstractive hierarchical
model. arXiv preprint arXiv:1906.01749
