Pengimplementasian AI Body Language Decoder Menggunakan MediaPipe Dan Python pada Aplikasi Latihan Kognisi Berbahasa Indonesia

Abstrak

Penelitian ini memanfaatkan AI, Computer
Vision, dan Deep Learning dalam implementasi website terapi
kognitif berbahasa Indonesia. Saat ini belum terdapat website
terapi kognitif berbahasa Indonesia yang tersedia secara gratis
di internet. Selain itu, klasifikasi gerakan mulut masih
dilakukan secara manual. Proses klasifikasi gerakan mulut
secara manual yang akurat memerlukan bantuan dari terapis
profesional yang tentunya memerlukan biaya yang signifikan.
Dalam penelitian ini, digunakan MediaPipe, suatu
framework yang dikembangkan Google yang mampu
mendeteksi 468 titik landmarks di wajah manusia dan 33 titik
landmarks pada tubuh manusia untuk mengestimasi gerakan
pada frame video yang diamati. Untuk melakukan klasifikasi
gerakan tersebut, digunakan metode Random Forest Classifier
yang memiliki kemampuan untuk membaca dan
mengklasifikasikan masing-masing landmarks pada setiap
frame video.
Hasil pengujian menunjukkan bahwa penggunaan
MediaPipe dan Random Forest Classifier efektif untuk
mengklasifikasikan gerakan wajah dengan akurasi yang tinggi.
Akurasi yang didapatkan sebesar 100% dari jarak 60cm dan
sudut pandang 0°. Pengujian yang dilakukan pada pagi dan
malam hari menunjukkan akurasi yang tidak jauh berbeda.
Meskipun kondisi pencahayaan berbeda, hasil pengujian
menunjukkan bahwa intensitas cahaya tampaknya tidak
memiliki pengaruh signifikan terhadap proses pendeteksian
gerakan.

Kata kunci— AI, Computer Vision, MediaPipe, Random Forest Classifier, Terapi Kognitif, Akurasi