Layar Proyeksi Hologram Interaktif Dengan Kinerja Hand Gesture Detection Dan Tracking Model Reinforcement Learning

Abstract

Teknologi hologram adalah bentuk topografi yang merekam gambar dalam visual 3 dimensi dan diproyeksikan pada permukaan 2 dimensi. Gambar hologram dapat digunakan untuk hiburan, pembelajaran dan lain – lain. Hologram sendiri juga bisa menjadi teknologi untuk penyampaian informasi. Human computer interaction (HCI) adalah ilmu yang mempelajari bagaimana manusia dan komputer dapat berinteraksi. Pada tugas akhir ini, dirancang layar proyeksi yang menampilkan gambar seolah-olah 3 dimensi yang bisa berinteraksi dengan gerakan tangan (hand gesture). Sistem ini bergerak secara real time untuk pengenalan dan deteksi gerakan tangan yang ditentukan pengguna yang diambil menggunakan kamera webcam. Di sistem ini digunakan SURF untuk mendapatkan fitur bag of visual words dari tangan pengguna. fitur itu nanti akan digunakan untuk memprediksi tangan pengguna. Sistem dapat meningkatkan keakuratannya selama waktu pengujian dengan menggunakan metode reinforcement learning yaitu disini pengguna memiliki kemampuan untuk memberikan umpan balik positif atau negatif untuk setiap prediksi sistem sebelumnya dan sistem akan memperbarui sendiri selama waktu pengujian untuk hasil prediksi yang lebih baik. Pada Tugas Akhir ini pengujian dilakukan dalam 3 tahap, 30 frames, 40 frames dan 50 frames serta dilakukan penerapan konfigurasi jarak tangan terhadap kamera. Berdasarkan percobaan yang dilakukan nilai akurasi yang didapat terus meningkat dalam tiap tahapnya. Didapatkan hasil terbaik untuk akurasi prediksi gesture tangan saat menggunakan data 50 frames sebesar 98.70%. Proses HCI pada hologram saat memasukkan gestur unik dari tangan pengguna bisa untuk membuka google, instagram, dan video di youtube

Kata Kunci: Hologram, Hand Gesture Detection, Webcam, 3D, Reinforcement Learning, HCI