Klasifikasi Soal Sejarah Tingkat SMA Berdasarkan Level Kognitif Revised Bloom’s Taxonomy Menggunakan Metode Stochastic Gradient Descent
Abstract
Abstrak— Pendidikan di tingkat formal membutuhkan aspek pengujian untuk memastikan ilmu pengetahuan diserap oleh siswa. Uji kompetensi terdiri dari berbagai macam tipe soal, salah satunya yaitu pilihan ganda. Soal yang dihimpun oleh guru dalam platform e-learning membutuhkan pemilahan sehingga dapat mengukur tingkat intelektual siswa dan mencakup keterampilan berpikir. Evaluasi dalam pemilahan soal didapati banyaknya soal yang belum tersaring sesuai dengan capaian kompetensinya. Pada penelitian ini, proses penyaringan yang melibatkan algoritma Revised Bloom’s Taxonomy diimplementasikan secara otomatis dengan menggunakan metode machine learning yaitu Stochastic Gradient Descent (SGD) pada soal sejarah tingkat SMA. Dikarenakan terdapat imbalance pada dataset, penelitian ini akan membandingkan antara dataset yang menerapkan dan yang tidak menerapkan metode oversampling SMOTE. Hasil klasifikasi dari penelitian ini diperoleh melalui implementasi algoritma SGD dengan tools python. Pada dataset tanpa SMOTE, algoritma SGD memiliki skor rata-rata K-Fold yaitu 62%. Pada dataset dengan SMOTE, algoritma SGD memiliki skor rata-rata 93%. Adapun hasil akurasi dari confusion matrix menunjukkan algoritma SGD pada dataset tanpa SMOTE memiliki performa 62%, sedangkan algoritma SGD pada dataset dengan SMOTE mendapatkan performa 94%. Hasil yang diperoleh melalui proses K-Fold Cross Validation dan confusion matrix tersebut menunjukkan bahwa dataset dengan menggunakan oversampling memiliki hasil yang lebih baik dibanding dengan dataset tanpa menggunakan oversampling.
Kata kunci— klasifikasi pertanyaan, RBT, sejarah SMA, SGD, oversampling, SMOTE
References
Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., & Wittrock, M. C. (Eds.). (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s Taxonomy of Educational Objectives (Complete edition). New York,N.Y: Longman
Aninditya, A., Hasibuan, M. A., dan Sutoyo, E. (2019). Text mining approach using TF-IDF and naive bayes for classification of exam questions based on cognitive level of bloom’s taxonomy.
Proceedings - 2019 IEEE International Conference on Internet of Things and Intelligence System, IoTaIS 2019.
Anggreany, M. S. (2020, November 1). Confusion Matrix. Retrieved from BINA NUSANTARA School of Computer Science: https://socs.binus.ac.id/2020/11/01/confusion-matrix/
Bloom, B. S. (1956). Taxonomy of educational objectives. Vol. 1: Cognitive domain. New York: McKay, 20(24), 1.
Caelen, O. (2017). A Bayesian interpretation of the confusion matrix. Annals of Mathematics and Artificial Intelligence, 81(3), 429-450.
Chawla, N. V., Bowyer, K. W., Hall, L. O., & Kegelmeyer, W. P. (2002). SMOTE: synthetic minority over-sampling technique. Journal of artificial intelligence research, 16, 321-357.
Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911.
Fuadin, D. N. (2017). Deteksi Botnet Menggunakan Naive Bayes Classifier dengan SMOTE dan Metode BFS (Doctoral dissertation, Institut Teknologi Sepuluh Nopember).
García, S., Luengo, J., & Herrera, F. (2016). Tutorial on practical tips of the most influential data preprocessing algorithms in data mining. Knowledge-Based Systems, 98, 1-29.
Hearst, M. (2003). What is text mining. SIMS, UC Berkeley, 5.
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An introduction to statistical learning (Vol. 112, p. 18). New York: springer.
Kim, D., Seo, D., Cho, S., & Kang, P. (2019). Multi-co-training for document classification using various document representations: TF–IDF, LDA, and Doc2Vec. Information Sciences, 477, 15-29.
Krathwohl, D. R. (2002). A revision of Bloom's taxonomy: An overview. Theory into Practice, 41(4), 212–218.
Kusuma, S. F., Siahaan, D., dan Yuhana, U. L. (2016). Automatic Indonesia’s questions classification based on bloom’s taxonomy using Natural Language Processing a preliminary study. 2015 International Conference on Information Technology Systems and Innovation, ICITSI 2015 - Proceedings.
Metzler, D., & Croft, W. B. (2005). Analysis of statistical question classification for fact-based questions. Information Retrieval, 8(3), 481-504.
Mohammed, M., Omar, N. (2020). Question classification based on Bloom’s Taxonomy using enhanced TF-IDF. International Journal on Advanced Science, Engineering and Information Technology.
Najjichah, H., Syukur, A., & Subagyo, H. (2019). PENGARUH TEXT PREPROCESSING DAN KOMBINASINYA PADA PERINGKAS DOKUMEN OTOMATIS TEKS BERBAHASA INDONESIA. Jurnal Cyberku, 15(1), 1-11.
Nurcholif, D. M., Suartama, I. K., & Sukmana, A. I. W. I. Y. (2021). Belajar Sejarah Dengan E-Learning Berbasis Discovery Learning. Mimbar Ilmu, 26(3).
Pantiwati, Y., & Permana, F. H. (2017). Analisis butir soal oleh mahasiswa S1 pendidikan biologi universitas muhammadiyah malang (UMM) berdasarkan PISA dan taksonomi bloom revisi. Seminar Nasional Pendidikan Berkemajuan Dan Menggembirakan (The Progressive & Fun Education Seminar) Ke-2.
Piaget, J. (1980). Six psychological studies. Harvester Press.
Refaeilzadeh P., Tang L., Liu H. (2016) Cross-Validation. In: Liu L., Özsu M. (eds) Encyclopedia of Database Systems. Springer, New York, NY.
Robertson, S. (2004). Understanding inverse document frequency: on theoretical arguments for IDF. Journal of documentation.
Ruder, S. (2016). An overview of gradient descent optimization algorithms. arXiv preprint arXiv:1609.04747.
Sangodiah, A., Ahmad, R., dan Ahmad, W. F. W. (2014). A review in feature extraction approach in question classification using Support Vector Machine. Proceedings - 4th IEEE International Conference on Control System, Computing and Engineering, ICCSCE 2014, November, 536–541
Sidiq, A. B., & Kurniadi, D. (2021). Perancangan Sistem Informasi Ujian Online Berbasis Web pada SMK N 1 Solok. VoteTEKNIKA: Jurnal Vocational Teknik Elektronika dan Informatika, 9(2), 44-53.
Vijayarani, S., Ilamathi, M. J., & Nithya, M. (2015). Preprocessing techniques for text mining-an overview. International Journal of Computer Science & Communication Networks, 5(1), 7-16.
