Google Open-Sources Hand Tracking AI “MediaPipe” untuk Smartphone
Google memiliki sumber terbuka AI yang mampu mengenali bentuk tangan dan gerakan secara real-time awal minggu ini. Langkah ini oleh Google akan membantu banyak calon pengembang untuk menerapkan kemampuan pengenalan gerakan pada aplikasi mereka.
Raksasa perangkat lunak itu memamerkan fitur sebelumnya dalam konferensi Computer Vision and Pattern Recognition (CVPR) 2019 yang berlangsung pada bulan Juni. Kode sumber untuk AI sekarang tersedia di GitHub yang dapat Anda periksa dari sini. Anda juga dapat mengunduh APK arm64 di sini, dan versi dengan mode 3D di sini.
MediaPipe adalah kerangka kerja lintas-platform yang dapat diimplementasikan untuk membangun jaringan pipa untuk memproses data persepsi dari berbagai format (audio dan video). Ini dimungkinkan dengan menerapkan teknik pembelajaran mesin mengidentifikasi 21 titik kunci 3D dari tangan dari satu bingkai gambar.
"Kemampuan untuk memahami bentuk dan gerakan tangan dapat menjadi komponen penting dalam meningkatkan pengalaman pengguna di berbagai domain dan platform teknologi," membaca posting blog AI Google.
Google menggunakan tiga model AI di MediaPipe yang mereka sebut BlazePalm, model landmark tangan, dan pengenal isyarat. Model pendeteksi tangan (BlazePalm) bertanggung jawab untuk menganalisis bingkai dan mengembalikan kotak pembatas tangan yang berorientasi sedangkan model tengara tangan digunakan untuk mengembalikan titik kunci tangan 3D dari daerah gambar yang dipangkas dan pengenal isyarat digunakan untuk mengklasifikasikan konfigurasi jalur kunci yang sebelumnya dikomputasi menjadi sebuah mengatur gerakan.
Bagian paling keren dari AI pelacakan tangan ini adalah kemampuannya mengidentifikasi gerakan. Para peneliti mengatakan bahwa AI mampu mengenali tanda-tanda tangan yang umum seperti "Thumbs up", tinju tertutup, "OK", "Rock", dan "Spiderman". Cukup keren, bukan? Lihatlah GIF di bawah ini untuk menyaksikan AI beraksi.
"Kami percaya bahwa mempublikasikan teknologi ini dapat memberikan dorongan untuk ide-ide kreatif baru dan aplikasi oleh anggota komunitas penelitian dan pengembang pada umumnya.", menulis Valentin Bazarevsky dan Fan Zhang, Research Engineers di Google.
Tujuan masa depan para peneliti di Google AI adalah untuk meningkatkan fungsionalitas dan efisiensi AI. Ini mungkin termasuk dukungan tambahan untuk gerakan, pelacakan lebih cepat dan akurat, dan dukungan untuk gerakan dinamis.
