Implementasi Metode Bidirectional LSTM-CRF untuk Ekstraksi Entitas Organisasi pada Berita yang Terafiliasi Telkom University
Abstract
Abstrak- Dalam Natural Language Processing (NLP), Teknologi Named Entity Recognition (NER) merupakan salah satu bagian dari metode NLP dan banyak dipergunakan seperti ekstraksi informasi, pencarian informasi, terjemahan mesin dan sistem penjawab pertanyaan dan lain-lain, sehingga penelitian ini berfokus pada ekstraksi informasi. Named Entity Recognition (NER) memiliki tujuan utama mengidentifikasi nama entitas dengan makna khusus dalam teks, terutama nama pribadi, lokasi, organisasi, waktu dan entitas-entitas lainnya. Sumber data yang digunakan adalah teks berita berbahasa Indonesia yang dilabelin secara manual dengan menggunakan beberapa tag, yaitu nama pribadi, lokasi, organisasi dan waktu. Oleh karena itu, penelitian ini menggunakan metode Bidirectional LSTM-CRF. Bidirectional LSTM memanfaatkan pra-konteks(konteks sebelumnya) dan pasca-konteks(konteks sesudahnya) dengan memproses data dari dua arah yang kemudian diklasifikasikan menggunakan CRF. Pada penelitian ini, terdapat beberapa proses yang dilakukan, yaitu preprocessing(case folding, filtering, tokenization), labeling, word2vec, training, testing dan proses terakhir evaluasi. Hasil penelitian ini menunjukkan bahwa metode Bidirectional LSTM-CRF untuk sistem NER terhadap teks bahasa Indonesia memperoleh hasil f1-score untuk entitas organisasi sebesar 86%. Hasil ini didasarkan pada tiga skenario pengujian, yaitu mengatur word embedding dimensions, units dan batch sizes.
Kata kunci- named entity recognition, natural language processing, bidirectional LSTM-CRF
References
H. L. Chieu and H. T. Ng, “Named Entity Recognition: A Maximum Entropy Approach Using Global Information,” Proc. 19th Int. Conf. Comput. Linguist., pp. 1–7, 2002.
Q. Guo, S. Wang, and F. Wan, “Research on named entity recognition for information extraction,” Proc. - 2020 2nd Int. Conf. Artif. Intell. Adv. Manuf. AIAM 2020, pp. 121–124, 2020, doi: 10.1109/AIAM50918.2020.00030.
G. Lample, M. Ballesteros, S. Subramanian, K. Kawakami, and C. Dyer, “Neural architectures for named entity recognition,” 2016 Conf. North Am. Chapter Assoc. Comput. Linguist. Hum. Lang. Technol. NAACL HLT 2016 - Proc. Conf., no. July, pp. 260–270, 2016, doi: 10.18653/v1/n16-1030.
T. A. Le, M. Y. Arkhipov, and M. S. Burtsev, “Application of a hybrid Bi-LSTM-CRF Model to the task of Russian named entity recognition,” Commun. Comput. Inf. Sci., vol. 789, pp. 91–103, 2018, doi: 10.1007/978-3-319-71746-3_8.
T. Mikolov, K. Chen, G. Corrado, and J. Dean, “Efficient estimation of word representations in vector space,” 1st Int. Conf. Learn. Represent. ICLR 2013 - Work. Track Proc., pp. 1–12, 2013.
H. Chung and K. S. Shin, “Genetic algorithm-optimized long short-term memory network for stock market prediction,” Sustain., vol. 10, no. 10, 2018, doi: 10.3390/su10103765.
H. Fan, M. Jiang, L. Xu, H. Zhu, J. Cheng, and J. Jiang, “Comparison of long short term memory networks and the hydrological model in runoff simulation,” Water (Switzerland), vol. 12, no. 1, pp. 1–15, 2020, doi: 10.3390/w12010175.
Z. Zhao, W. Chen, X. Wu, P. C. Y. Chen, and J. Liu, “LSTM network: A deep learning approach for Short-term traffic forecast,” IET Intell. Transp. Syst., vol. 11, no. 2, pp. 68–75, 2017, doi: 10.1049/iet-its.2016.0208.
X. Ma and E. Hovy, “End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF,” 54th Annu. Meet. Assoc. Comput. Linguist. ACL 2016 - Long Pap., vol. 2, pp. 1064–1074, 2016, doi: 10.18653/v1/p16-1101.
M. Maimaiti, A. Wumaier, K. Abiderexiti, and T. Yibulayin, “Bidirectional long short-term memory network with a conditional random field layer for Uyghur part-of-speech tagging,” Inf., vol. 8, no. 4, 2017, doi: 10.3390/info8040157.
Z. Cui, R. Ke, Z. Pu, and Y. Wang, “Deep Bidirectional and Unidirectional LSTM Recurrent Neural Network for Network-wide Traffic Speed Prediction,” pp. 1–11, 2018, [Online]. Available: http://arxiv.org/abs/1801.02143
J. Lafferty, A. Mccallum, and F. Pereira, “Conditional Random Fields : Probabilistic Models for Segmenting and Labeling Sequence Data Abstract,” vol. 2001, no. June, pp. 282–289, 1999.
H. Permana, “Named Entity Recognition Menggunakan Metode Bidirectional Lstm-Crf Pada Teks Bahasa Indonesia,” Univ. Komput. Indones., no. 112, 2019.
Y. Luo, H. Zhao, and J. Zhan, “Named entity recognition only from word embeddings,” EMNLP 2020 - 2020 Conf. Empir. Methods Nat. Lang. Process. Proc. Conf., pp. 8995–9005, 2020, doi: 10.18653/v1/2020.emnlp-main.723.
R. Rifani, M. A. Bijaksana, and I. Asror, “Named Entity Recognition for an Indonesian Based Language Tweet using Multinomial Naive Bayes Classifier,” Indones. J. Comput., vol. 4, no. 2, pp. 119–126, 2019, doi: 10.21108/indojc.2019.4.2.330.
T. Yang et al., “Chinese Data Extraction and Named Entity Recognition,” 2020 5th IEEE Int. Conf. Big Data Anal. ICBDA 2020, vol. 85, no. 2, pp. 105–109, 2020, doi: 10.1109/ICBDA49040.2020.9101204.
J. Cheng and R. Greiner, “Comparing Bayesian Network Classifiers,” pp. 101–108, 2013, [Online]. Available: http://arxiv.org/abs/1301.6684
