Sumber Terbuka Manual Google AI "MediaPipe" Tracking untuk Smartphone

Google memiliki AI open source yang mampu kenali bentuk tangan dan pergerakan real-time awal minggu ini. Langkah Google ini akan membantu banyak pengembang potensial menerapkan kemampuan pengenalan gerakan di aplikasi mereka.

Raksasa perangkat lunak ini menunjukkan fitur-fitur sebelumnya pada konferensi Computer Vision and Pattern Recognition (CVPR) 2019 yang berlangsung pada bulan Juni. Kode sumber AI sekarang tersedia di GitHub, yang dapat Anda periksa dari sini. Anda juga dapat mengunduh APK arm64 di sini, dan versi 3D di sini.

MediaPipe adalah kerangka kerja lintas platform yang dapat diimplementasikan untuk membangun jaringan pipa untuk memproses data persepsi dari berbagai format (audio dan video). Ini dimungkinkan dengan menerapkan teknik pembelajaran mesin. mengidentifikasi 21 poin 3D utama dari tangan lukisan.

"Kemampuan untuk memahami bentuk dan gerakan tangan dapat menjadi komponen penting dalam meningkatkan pengalaman pengguna di berbagai domain dan platform teknologi." Baca posting blog AI Google.

Google menggunakan tiga model AI di MediaPipe, yang mereka sebut BlazePalm, model referensi manual, dan pengenalan gerakan. Model deteksi tangan (BlazePalm) bertanggung jawab untuk menganalisis bingkai dan mengembalikan kotak pembatas yang menghadap tangan, sedangkan model referensi tangan digunakan untuk mengembalikan titik kunci 3D dari area gambar yang dipangkas dan Pengenalan gerakan digunakan untuk mengklasifikasikan pengaturan jalur kunci yang sebelumnya dihitung ke dalam perangkat gerakan.

Bagian paling keren dari pelacakan tangan AI ini adalah keahlian Anda mengidentifikasi gerakan. Para peneliti mengatakan bahwa AI dapat mengenali tanda tangan umum seperti "Thumbs up," tinju terkepal, "OK," "Rock" dan "Spiderman." Baiklah, benar? Lihatlah GIF di bawah ini untuk melihat AI beraksi.

"Kami percaya bahwa penerbitan teknologi ini dapat mendorong gagasan dan aplikasi kreatif baru dari anggota komunitas riset dan pengembang pada umumnya." Valentin Bazarevsky dan Fan Zhang, insinyur riset di Google, menulis.

Tujuan masa depan para peneliti Google AI adalah untuk meningkatkan fungsionalitas dan efisiensi AI. Ini dapat mencakup dukungan tambahan untuk gerakan, pelacakan lebih cepat dan lebih akurat, dan dukungan untuk gerakan dinamis.