Perbandingan Algoritma Sentencepiece Bpe Dan Unigram Pada Tokenisasi Artikel Bahasa Indonesia

Penulis

  • Triwidyastuti Jamaluddin Telkomuniversity
  • Moch Arif Bijaksana Telkomuniversity
  • Ibnu Asror Telkomuniversity

DOI:

https://doi.org/10.34818/eoe.v7i2.13126

Abstrak

Abstrak Tokenisasi merupakan sebuah konsep yang mencakup proses sederhana dimana urutan teks dipecah men- jadi bagian-bagian yang lebih kecil atau token dan kemudian dimasukkan sebagai input ke dalam model Natural language processing (NLP), atau proses model yang lebih kompleks seperti menerapkan penge- tahuan dunia Deep Learning (DL). Tokenisasi akan lebih rumit ketika berhadapan dengan kasus semua kata dikelompokkan menjadi satu token atau tanpa pemisah dan kesalahan dalam tipografi. Paper ini mengusulkan model unsupervised tokenization menggunakan subword unit tokenizer dan detokenizer rep- resentasi oleh neural network, implementasi algoritma Byte Pair Encoding (BPE) dan Unigram Language Model. Selain itu, mengeksploitasi sentencePiece, model segmentasi pada kalimat dapat dilatih tanpa spasi. Ekpsperimen menggunakan bahasa Indonesia menghasilkan akurasi 54.6% dan 87.0% untuk Byte Pair Encoding (BPE) dan Unigram Languange Model, masing-masing. Kata kunci: SentencePiece, Subword Tokenizer, Byte Pair Encoding (BPE), Unigram Language Model. Abstract Tokenization is a concept that includes a simple process where the sequence of the text is split up into sma- ller parts or tokens and then entered as input into the model of natural language processing (NLP), or more complex process models such as applying the world knowledge of Deep Learning (DL). Tokenization will be more complicated when dealing with cases where all words are grouped into a single token or without se- parators and errors in typography. This paper proposes a model unsupervised tokenization using subword tokenizer and detokenize representation by neural networks, implementation of algorithm Byte Pair Enco- ding (BPE) and Unigram Language Model. Moreover, exploiting sentencePiece, the segmentation model of sentences can be trained without spaces. Experiments using the Indonesian language resulted in 54.6% and 87.0% in accuracy for Byte Pair Encoding (BPE) and Unigram Language Model, respectively. Keywords: SentencePiece, Subword Tokenizer, Byte Pair Encoding (BPE), Unigram Language Model.

Unduhan

Data unduhan tidak tersedia.

Referensi

[1] N. Darheni. Dinamika perkembangan kosakata bahasa indonesia ditinjau dari aspek pemaknaan jurnal sosioteknologi edisi 23 tahun 10, agustus 2011 1117 dinamika perkembangan kosakata bahasa indonesia ditinjau dari aspek pemaknaan. Jurnal Sosioteknologi, 10(23):1117–1128, 2011.

[2] T. P. P. B. Indonesia. Pedoman umum ejaan bahasa indonesia. Jakarta: Badan Pengembangan dan Pembinaan Bahasa, 2016.

[3] Y.Kim. Convolutional neural networks for sentence classification. arXiv preprint arXiv:1408.5882, 2014. [4] T. Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. arXiv preprint arXiv:1804.10959,2018.

[5] T. Kudo and J. Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[6] L. Liu and K. Jia. Detecting spam in chinese microblogs-a study on sina weibo. In 2012 Eighth International Conference on Computational Intelligence and Security, pages 578–581. IEEE, 2012.

[7] A. A. Puspitasari. Klasifikasi Dokumen Tumbuhan Obat Menggunakan Metode Improved K-Nearest Neighbor. PhD thesis, Universitas Brawijaya,2017.

[8] R. Sennrich, B. Haddow, and A. Birch. Neural machine translation of rare words with subword units. arXiv preprint arXiv:1508.07909, 2015.

[9] F. Tala. The impact of stemming on information retrieval in bahasa indonesia. Proc. CLIN, the Netherlands, 2003, 2003.

[10] Y.Wang, M. Huang, X. Zhu, and L. Zhao. Attention-based lstm for aspect-level sentiment classification. In Proceedings of the 2016 conference on empirical methods in natural language processing, pages 606–615, 2016.

[11] X. Zhang, J. Zhao, and Y.LeCun. Character-level convolutional networks for text classification. In Advances in neural information processing systems, pages 649–657, 2015.

Diterbitkan

2020-08-01

Terbitan

Halaman

8323-8331

Bagian

Program Studi S1 Informatika

Cara Mengutip

Jamaluddin, T., Bijaksana, M. A., & Asror, I. (2020). Perbandingan Algoritma Sentencepiece Bpe Dan Unigram Pada Tokenisasi Artikel Bahasa Indonesia. eProceedings of Engineering, 7(2), 8323-8331. https://doi.org/10.34818/eoe.v7i2.13126