Penerapan Algoritma Resedual Network 50 dan Convusional Block Attention Module untuk Deteksi Citra Deepfake
Abstrak
Deepfake merupakan teknologi berbasis kecerdasan buatan dengan teknologi deep learning yang mampu menciptakan atau memanipulasi wajah seseorang secara realistis. Dalam survey terbaru VIDA Where’s The Fraud – Protecting Indonesia Business from AI Generated Fraud, menemukan lonjakan 1540% pada kasus penipuan deepfake di wilayah APAC tahun 2022 hingga 2023, sementara di indonesia terdapat 1550% kasus penipuan. Peningkatan signifikan kasus deepfake ini menunjukkan tantangan baru dalam mendeteksi manipulasi visual menggunakan teknologi Artificial Intelligence (AI). Di samping manfaatnya penggunaan teknologi deep learning ini bisa menjadi ancaman serius dalam kasus penipuan dan pemerasan, diperlukan metode deteksi berbasis kecerdasan buatan untuk mendeteksi deepfake secara efektif dan efisien. Penelitian ini berfokus pada pengembangan dan penerapan metode deteksi deepfake berbasis Convolutional Neural Network (CNN) menggunakan arsitektur Residual Network 50 (ResNet50) yang dimodifikasi dengan Convusion Block Ateention Module (CBAM) untuk meningkatkan akurasi dalam mendeteksi pola-pola artefak yang muncul pada citra deepfake, sebagai kontribusi dalam upaya mitigasi penyalahgunaan teknologi deepfake yang semakin marak. Penelitian ini menggunakan dataset kaggle yang berjumlah 8000 dataset. Dataset yang akan digunakan untuk perbandingan keaslian data melalui tahapan normalisasi, pelatihan model, dan evaluasi performa dengan metrik akurasi yang terdiri dari gambar asli dan gambar yang sudah menggunakan deepfake yang dihasilkan melalui teknologi berbasis AI. Dalam studi terdahulu Penggunaan ResNet50 dalam kelasifikasi menunjukan hasil sebesar 78,87% sedangkan integrasi menggunakan attention mecanism pada ResNet50 dengan Long- Distance Attention Module mencapai akurasi hingga 94.30% dan AUC 98.70%. Hasil dari penelitian ini menunjukan penggunaan CBAM pada 8000 dataset menghasilkan metrix akurasi Accuracy 68.44%, Precision 72,26%, Recall 53,73%, dan F1- score 61,63%, dan dari hasil pengamatan pada 6000 dataset ditemukan Accuracy 75.27%, Precision 67,91%, Recall 95,80%, dan F1- score 79,43%. Dengan pendekatan ini di harapkan mampu menjadi solusi yang efektif untuk meningkatkan keamanan sistem berbasis biometrik, serta mencegah penyalahgunaan teknologi deepfake dalam berbagai sektor.
Kata kunci — Deepfake, Convolutional Neural Network, ResNet50, Convolutional Block Attention Module, Rectified Linear Unit, Sigmoid.
Referensi
Electronic References
● Journal
Nurdin, W., & Nugraha, F. (2025). Ancaman Deepfake dan Disinformasi Berbasis AI: Implikasi Terhadap Keamanan Siber dan Stabilitas Nasional Iindonesia. JIMR: Journal Of International Multidisciplinary Research. https://doi.org/10.62668/jimr.v4i01.1551
Borade, S., Jain, N., Patel, B., Kumar, V., Godhrawala, M., Kolaskar, S., Nagare, Y., Shah, P., & Shah, J. (n.d.). Advancements in Video Deepfake Detection: Integration of ResNet50, EfficientNetB7, and Efficient NetAutoAtt B4 Models. In Original Research Paper International Journal of Intelligent Systems and Applications in Engineering IJISAE (Vol. 2024, Issue 3). www.ijisae.org
Lu, W., Liu, L., Zhang, B., Luo, J., Zhao, X., Zhou, Y., & Huang, J. (2024). Detection of Deepfake Videos Using Long-Distance Attention.
????̂ = ????(???????? + ????) = 1 + ????−(????????+????)
(5)
IEEE Transactions on Neural Networks and Learning Systems, 35(7), 9366–9379.
Distribusi nilai aktual pada tahap ini menunjukkan rata-rata
1117, dengan maksimum mencapai 1.1209, dan output akhir probabilitas berada di rentang 0.059 – 0.9539. Nilai inilah yang menghasilkan akurasi latih = 83%, validasi = 77.1%, dan uji = 68.4% sesuai hasil pelatihan.https://doi.org/10.1109/TNNLS.2022.3233063
Jia, S., Li, X., & Lyu, S. (2022). Model
Attribution Of Face-Swap Deepfake Videos. Proceedings - International Conference on Image Processing, ICIP, 2356–2360. https://doi.org/10.1109/ICIP46576.2022.9897972
Ghizlane, H., Jamal, R., Mahraz, M. A., Ali, Y., & Hamid, T. (2022). Spam image detection based on convolutional block attention module. 2022 International Conference on Intelligent Systems and Computer Vision, ISCV 2022. https://doi.org/10.1109/ISCV54655.2022.9806065
Yesugade, K., & Jadhav, R. (2024). Implementation of Deep Learning Techniques for Deepfake Classification: A comparative study using ResNet-50 and VGG16. 2024 IEEE Pune Section International Conference, PuneCon 2024. https://doi.org/10.1109/PuneCon63413.2024.1089 4868
Jannu, O., Sekar, V., Padhy, T., & Padalkar, P. (2024). Comparative Analysis of Deepfake Detection Models. 2024 IEEE 9th International Conference for Convergence in Technology, I2CT 2024.
https://doi.org/10.1109/I2CT61223.2024.1054382 3
Ritter, P., Lucian, D., Anderies, & Chowanda,
A. (2023). Comparative Analysis and Evaluation of CNN Models for Deepfake Detection. 2023 4th International Conference on Artificial Intelligence and Data Sciences: Discovering Technological Advancement in Artificial Intelligence and Data Science, AiDAS 2023 - Proceedings, 250–255. https://doi.org/10.1109/AiDAS60501.2023.10284 611
Yee, L. K., Hamid, I. R. A., Chaiwen, C.,
Abdullah, Z., Kipli, K., & Foozy, C. F. M. (2024). Deepfake Image Detection Using ResNet50 Model. 1st International Conference on Cyber Security and Computing 2024, CyberComp 2024, 80–87. https://doi.org/10.1109/CyberComp60759.2024.10 913843
Woo, S., Park, J., Lee, J. Y., & Kweon, I. S. (2018). CBAM: Convolutional block attention module. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 11211 LNCS, 3–19. https://doi.org/10.1007/978-3-
-01234-2_1
Nafi’an, M. H. I., Bachtiar, F. A., & Setiawan,
B. D. (2023). Modified MobileNetV2 with Convolutional Block Attention Module for Facial Expression Recognition. IWAIIP 2023 - Conference Proceeding: International Workshop on Artificial Intelligence and Image Processing, 22–27.
https://doi.org/10.1109/IWAIIP58158.2023.10462 765
Mudegol, N. L., & Urunkar, A. (2025). Supervised Learning Techniques for Deepfake Detection: Integrating ResNet50 and LSTM. 2025 1st International Conference on AIML- Applications for Engineering and Technology, ICAET 2025.
https://doi.org/10.1109/ICAET63349.2025.109322 83
Sharma, J., Sharma, S., Kumar, V., Hussein,
H. S., & Alshazly, H. (2022). Deepfakes Classification of Faces Using Convolutional Neural Networks. Traitement Du Signal, 39(3), 1027–
https://doi.org/10.18280/ts.390330
Arini, A., Bahaweres, R. B., & al Haq, J. (2022). Quick Classification of Xception And Resnet-50 Models on Deepfake Video Using Local Binary Pattern. 2021 International Seminar on Machine Learning, Optimization, and Data Science, ISMODE 2021, 254–259.
https://doi.org/10.1109/ISMODE53584.2022.9742 852
Bommareddy, S., Samyal, T., & Dahiya, S. (2023). Implementation of a Deepfake Detection System using Convolutional Neural Networks and Adversarial Training. 2023 3rd International Conference on Intelligent Technologies, CONIT 2023.
https://doi.org/10.1109/CONIT59222.2023.10205 614
Xu, Z., Wen, X., Zhong, G., & Fang, Q. (2025). Public perception towards deepfake through topic modelling and sentiment analysis of social media data. Social Network Analysis and Mining, 15(1). https://doi.org/10.1007/s13278-
-01445-8
Dhahir, D. F., Kenda, N., & Dirgahayu, D. (2024). The Relationship of Digital Literacy, Exposure to AI-Generated Deepfake Videos, and the Ability to Identify Deepfakes in Generation X. Jurnal Pekommas, 9(2), 357–368. https://doi.org/10.56873/jpkm.v9i2.5873
● World Wide Web
“Deepfake Fraud in Indonesia Surges by 1550%: Here’s How VIDA Fights It,” VIDA Press Release, Oct. 28, 2024. [Online]. Available: https://vida.id/id/pressrelease/penipuan-deepfake- indonesia-melonjak-1550-begini-cara-vida- memeranginya. Accessed: Jul. 21, 2025.
