Analisis Dan Implementasi Identifikasi Parafrasa Tweet Menggunakan Algoritma Bleu, Meteor Dan Edit Distance

Abstract

Situs microblogging Twitter merupakan contoh nyata dimana sebuah berita yang memiliki informasi dapat ditulis ulang dengan informasi yang sama dan konsep berbeda. Dalam mengenali suatu bentuk parafrasa dapat dilakukan oleh evaluasi manusia, namun identifikasi parafrasa oleh manusia membutuhkan biaya yang besar dan waktu yang lebih lama, hal ini bisa menjadi masalah besar untuk developer. Automatic metric adalah sebuah mesin evaluasi otomatis yang menggunakan fitur-fitur yang dapat digunakan sebagai ekstraksi lingual sehingga menghasilkan nilai (score) yang dapat digunakan sebagai ukuran parafrasa dua buah kalimat yang dibandingkan. Pada penelitian ini digunakan tiga algoritma automatic metric yaitu BLEU, METEOR, Damerau-Levensthein Edit Distance yang menguji nilai parafrasa dari data Twitter yang sama. Selain itu dilakukan analisis terhadap performa algoritma dengan membandingkan nilai korelasi human judgement antara BLEU, METEOR, Damerau-Levensthein Edit Distance. Dari hasil simulasi yang dilakukan pada penelitian ini, diperoleh akurasi tertinggi dengan menggunakan metric METEOR dengan nilai akurasi 0,55 dan F1 sebesar 0,76. Kata kunci : Identifikasi parafrasa, BLEU, METEOR, Edit Distance