This is an outdated version published on 2026-03-12. Read the most recent version.

Research Article Analisis Perbandingan Pengujian Respons Gemini AI dan Blackbox AI Menggunakan Metode Blackbox Testing

Authors

muh. avisenna kusumadan avisenna Telkom University
Kemas Muslim Lhaksmana Telkom University
Villy Satria Praditha Telkom University

Keywords:

AI System Testing Automated Testing Comparative Analysis Natural Language Processing Intelligent Systems

Abstract

Perkembangan Kecerdasaan buatan (AI) sangat pesat yang menimbulkan berbagai tantangan dalam hal pengujian perangkat lunak, sebab hasil kecerdasaan buatan(AI) harus dipastikan memiliki kualitas, akurasi dan keandalan atas hasil yang perintah yang diberikan khususnya pada aspek pemrograman dan perbaikan kode. Penelitian ini bertujuan untuk membandingkan antara Gemini AI dan Blackbox AI melalui metode pengujian Blackbox testing dan evaluasi pengguna menggunakan metode pendekatan Technology Acceptance Model (TAM). Pengujian yang dilakukan akan memastikan bahwa kedua AI memiliki keluaran terbaik untuk permasalahan pemrograman dan perbaikan kode. Pengujian dilakukan dengan lima skenario test case dengan pendekatan Software Testing Life Cycle (STLC) dan pengujian sendiri menggunakan Sonarqube sebagai alat bantu dalam analisis dan pengujian. Hasil pengujian Blackbox testing menunjukan bahwa Blackbox AI lebih cocok digunakan sebab Blackbox AI, Blackbox AI memiliki potensi lebih unggul karena maintainability yang lebih baik dan jumlah code smell yang lebih sedikit, sehingga memudahkan proses perawatan dan pengembangan berkelanjutan. akan tetapi jika kebutuhan pengguna berdasarkan efiensi dan keberhasilan menyelesaikan permasalah secara cepat tanpa memperlukan penjelasan mendalam, maka Gemini AI sangat cocok untuk digunakan.

References

G. Santoso, J. Setiawan, and A. Sulaiman, “Development of OpenAI API Based Chatbot to Improve User Interaction on the JBSantoso, G., Setiawan, J., & Sulaiman, A. (2023). Development of OpenAI API Based Chatbot to Improve User Interaction on the JBMS Website. G-Tech: Jurnal Teknologi Terapan, 7(4),” G-Tech J. Teknol. Terap., vol. 7, no. 4, pp. 1606–1615, Oct. 2023, doi: 10.33379/gtech.v7i4.3301.

B. Huda and A. Lia Hananto, “Penerapan Software Testing Life Cycle pada Pengujian Otomatisasi Platform Dzikra,” CSRID J., vol. 15, no. 1, pp. 1–11, 2023, [Online]. Available: https://www.doi.org/10.22303/csrid.15.1.2023.01-11

M. F. Ahmadi and S. R. C. Nursari, “Pengujian Kondisi Struktur Kontrol pada Website (Studi Kasus: Erigo Official),” J. Informatics Adv. Comput., vol. 3, no. 2, pp. 108–109, 2022.

M. Nurudin, W. Jayanti, R. D. Saputro, M. P. Saputra, and Y. Yulianti, “Pengujian Black Box pada Aplikasi Penjualan Berbasis Web Menggunakan Teknik Boundary Value Analysis,” J. Inform. Univ. Pamulang, vol. 4, no. 4, p. 143, 2019, doi: 10.32493/informatika.v4i4.3841.

M. Mintarsih, “Pengujian Blackbox dengan Teknik Transition pada Sistem Informasi Perpustakaan Berbasis Web Dengan Metode Waterfall Pada SMC Foundation,” J. Teknol. Dan Sist. Inf. Bisnis, vol. 5, no. 1, pp. 33–35, 2023, doi: 10.47233/jteksis.v5i1.727.

Nabil Fahlevi Abdi and S.R. Candra Nursari, “Pengujian Blackbox pada Website dengan Metode Robustness Testing (Studi Kasus: Eiger Adventure),” J. Informatics Adv. Comput., vol. 3, no. 2, pp. 93–96, 2022.

A. Maulana, A. Kurniawan, W. Keumala, V. R. Sukma, and A. Saifudin, “Pengujian Blackbox pada Aplikasi Penjualan Berbasis Web Menggunakan Metode Equivalents Partitions (Studi Kasus: PT Arap Store),” J. Teknol. Sist. Inf. dan Apl., vol. 3, no. 1, p. 50, 2020, doi: 10.32493/jtsi.v3i1.4307.

H. Sulistyanto, “Urgensi Pengujian Pada Kemajemukan Perangkat Lunak Dalam Multi Perspektif,” Komuniti J. Komun. dan Teknol. Inf., vol. 6, no. 1, pp. 65–74, 2017, [Online]. Available: https://journals.ums.ac.id/index.php/komuniti/article/view/2944

A. Pande, R. Patil, R. Mukkemwar, R. Panchal, and S. Bhoite, “Comprehensive Study of Google Gemini and Text Generating Models: Understanding Capabilities and Performance,” 15th Int. Conf. Adv. Comput. Control. Telecommun. Technol. ACT 2024, vol. 2, no. November, pp. 856–863, 2024.

I. Lasari and J. N. Utamajaya, “Evaluasi Efektivitas Blackbox . AI dalam Perkembangan Website Menggunakan Metode Systematic Literature Review,” vol. 3, no. April, pp. 47–56, 2025.

Y. Qianyi, “Systematic Evaluation of AI-Generated Python Code: A Comparative Study across Progressive Programming Tasks,” pp. 1–13, 2024.

I. R. Dhaifullah, M. Muttanifudin H, A. Ananda Salsabila, and M. Ainul Yaqin, “Survei Teknik Pengujian Software,” J. Autom. Comput. Inf. Syst., vol. 2, no. 1, pp. 31–38, 2022, doi: 10.47134/jacis.v2i1.42.

Y. Mad Cani and A. Ali Ridha, “Pengujian Blackbox Testing pada Sistem Pendukung Keputusan Penerima Beasiswa di SMK Tarbiyatul Ulum Karawang,” J. Ilm. Wahana Pendidik., vol. 9, no. 9, pp. 754–760, 2023, [Online]. Available: https://doi.org/10.5281/zenodo.8084698

A. Setiawan et al., “Blackbox Testing dengan Teknik State Transition Testing pada Inventori Alat-alat Medis,” J. Sains dan Teknol., vol. 2, no. 2, pp. 151–158, 2022, doi: 10.47233/jsit.v2i3.218.

D. Novita and F. Helena, “Analisis Kepuasan Pengguna Aplikasi Traveloka Menggunakan Metode Technology Acceptance Model (TAM) dan End-User Computing Satisfaction (EUCS),” J. Teknol. Sist. Inf., vol. 2, no. 1, pp. 22–37, 2021, doi: 10.35957/jtsi.v2i1.846.