Pengimplementasian AI Body Language Decoder Menggunakan MediaPipe Dan Python pada Aplikasi Latihan Kognisi Berbahasa Indonesia
Abstrak
Penelitian ini memanfaatkan AI, Computer Vision, dan Deep Learning dalam implementasi website terapi kognitif berbahasa Indonesia. Saat ini belum terdapat website terapi kognitif berbahasa Indonesia yang tersedia secara gratis di internet. Selain itu, klasifikasi gerakan mulut masih dilakukan secara manual. Proses klasifikasi gerakan mulut secara manual yang akurat memerlukan bantuan dari terapis profesional yang tentunya memerlukan biaya yang signifikan. Dalam penelitian ini, digunakan MediaPipe, suatu framework yang dikembangkan Google yang mampu mendeteksi 468 titik landmarks di wajah manusia dan 33 titik landmarks pada tubuh manusia untuk mengestimasi gerakan pada frame video yang diamati. Untuk melakukan klasifikasi gerakan tersebut, digunakan metode Random Forest Classifier yang memiliki kemampuan untuk membaca dan mengklasifikasikan masing-masing landmarks pada setiap frame video. Hasil pengujian menunjukkan bahwa penggunaan MediaPipe dan Random Forest Classifier efektif untuk mengklasifikasikan gerakan wajah dengan akurasi yang tinggi. Akurasi yang didapatkan sebesar 100% dari jarak 60cm dan sudut pandang 0°. Pengujian yang dilakukan pada pagi dan malam hari menunjukkan akurasi yang tidak jauh berbeda. Meskipun kondisi pencahayaan berbeda, hasil pengujian menunjukkan bahwa intensitas cahaya tampaknya tidak memiliki pengaruh signifikan terhadap proses pendeteksian gerakan.
Kata kunci— AI, Computer Vision, MediaPipe, Random Forest Classifier, Terapi Kognitif, Akurasi
Referensi
E. Topol, "Digital medicine: empowering both patients and clinicians," The Lancet, vol. 388, pp. 740-741,
G. C. Fairburn and V. Patel, "The impact of digital technology on psychological treatments and their dissemination," Behaviour Research and Therapy, vol. 88, pp. 19-25, 2017.
C. Tang, Z. Wang, X. Sima, and L. Zhang, "Research on Artificial Intelligence Algorithm and Its Application in Games," 2020. [Online]. Available: doi:10.1109/aiam50918.2020.00085. [Accessed 17 November 2022].
M.-S. Wu, T.-H. Lan, C.-M. Chen, H.-C. Chiu, and T.-Y. Lan, "Socio-demographic and health- related factors associated with cognitive impairment in the elderly in Taiwan," Institute of Population Health Sciences, Taiwan, 11
January 2011. [Online]. Available: doi:10.1186/1471- 2458- -22. [Accessed 17 November 2022].
T. Loetscher and N. B. Lincoln, "Cognitive rehabilitation for attention deficits following stroke," Cochrane Database of Systematic Reviews, 2013. [Online]. Available: doi.org/10.1002/14651858.CD002842.pub2. [Accessed 17 November 2022].
C. Chung, A. Pollock, T. Campbell, B. Durward and S. Hagen, "Cognitive Rehabilitation for Executive
Dysfunction in Adults with Stroke or Other Adult
Nonprogressive Acquired Brain Damage," Stroke, vol. 44, no. 7, pp. 77-78, 2013.
R. D. Steele, A. Baird, D. McCall, and L. Haynes,
"Combining Teletherapy and On-line Language Exercises in the Treatment of Chronic Aphasia: An Outcome Study,"
International Journal of Telerehabilitation, 2015. [Online].
Available: doi.org/10.5195/ijt.2014.6157. [Accessed 17 November 2022].
L. Stocco and S. Valentin, "Can Digital Games Be a Way of Improving the Neuroplasticity in Stroke Damage? Can the Adult Brain Grow New Cells or Rewire Itself in
