Pengimplementasian AI Body Language Decoder Menggunakan MediaPipe Dan Python pada Aplikasi Latihan Kognisi Berbahasa Indonesia
Abstract
Penelitian ini memanfaatkan AI, Computer
Vision, dan Deep Learning dalam implementasi website terapi
kognitif berbahasa Indonesia. Saat ini belum terdapat website
terapi kognitif berbahasa Indonesia yang tersedia secara gratis
di internet. Selain itu, klasifikasi gerakan mulut masih
dilakukan secara manual. Proses klasifikasi gerakan mulut
secara manual yang akurat memerlukan bantuan dari terapis
profesional yang tentunya memerlukan biaya yang signifikan.
Dalam penelitian ini, digunakan MediaPipe, suatu
framework yang dikembangkan Google yang mampu
mendeteksi 468 titik landmarks di wajah manusia dan 33 titik
landmarks pada tubuh manusia untuk mengestimasi gerakan
pada frame video yang diamati. Untuk melakukan klasifikasi
gerakan tersebut, digunakan metode Random Forest Classifier
yang memiliki kemampuan untuk membaca dan
mengklasifikasikan masing-masing landmarks pada setiap
frame video.
Hasil pengujian menunjukkan bahwa penggunaan
MediaPipe dan Random Forest Classifier efektif untuk
mengklasifikasikan gerakan wajah dengan akurasi yang tinggi.
Akurasi yang didapatkan sebesar 100% dari jarak 60cm dan
sudut pandang 0°. Pengujian yang dilakukan pada pagi dan
malam hari menunjukkan akurasi yang tidak jauh berbeda.
Meskipun kondisi pencahayaan berbeda, hasil pengujian
menunjukkan bahwa intensitas cahaya tampaknya tidak
memiliki pengaruh signifikan terhadap proses pendeteksian
gerakan.
Kata kunci— AI, Computer Vision, MediaPipe, Random Forest Classifier, Terapi Kognitif, Akurasi
References
E. Topol, "Digital medicine: empowering both
patients and clinicians," The Lancet, vol. 388, pp. 740-741,
G. C. Fairburn and V. Patel, "The impact of digital
technology on psychological treatments and their
dissemination," Behaviour Research and Therapy, vol. 88,
pp. 19-25, 2017.
C. Tang, Z. Wang, X. Sima, and L. Zhang, "Research
on Artificial Intelligence Algorithm and Its Application in
Games," 2020. [Online]. Available:
doi:10.1109/aiam50918.2020.00085. [Accessed 17
November 2022].
M.-S. Wu, T.-H. Lan, C.-M. Chen, H.-C. Chiu, and
T.-Y. Lan, "Socio-demographic and health- related factors
associated with cognitive impairment in the elderly in
Taiwan," Institute of Population Health Sciences, Taiwan, 11
January 2011. [Online]. Available: doi:10.1186/1471- 2458-
-22. [Accessed 17 November 2022].
T. Loetscher and N. B. Lincoln, "Cognitive
rehabilitation for attention deficits following stroke,"
Cochrane Database of Systematic Reviews, 2013. [Online].
Available: doi.org/10.1002/14651858.CD002842.pub2.
[Accessed 17 November 2022].
C. Chung, A. Pollock, T. Campbell, B. Durward and
S. Hagen, "Cognitive Rehabilitation for Executive
Dysfunction in Adults with Stroke or Other Adult
Nonprogressive Acquired Brain Damage," Stroke, vol. 44,
no. 7, pp. 77-78, 2013.
R. D. Steele, A. Baird, D. McCall, and L. Haynes,
"Combining Teletherapy and On-line Language Exercises in
the Treatment of Chronic Aphasia: An Outcome Study,"
International Journal of Telerehabilitation, 2015. [Online].
Available: doi.org/10.5195/ijt.2014.6157. [Accessed 17
November 2022].
L. Stocco and S. Valentin, "Can Digital Games Be a
Way of Improving the Neuroplasticity in Stroke Damage?
Can the Adult Brain Grow New Cells or Rewire Itself in