Google AI Open Source Manual “MediaPipe” -spårning för smartphones

Google har en öppen källkod AI känna igen formen på handen och realtidsrörelser tidigare denna vecka. Detta Google-steg hjälper många potentiella utvecklare att implementera kapacitetsigenkänningsfunktioner i sina applikationer.

Denna mjukvaragigant visade de tidigare funktionerna vid konferensen Computer Vision and Pattern Recognition (CVPR) som ägde rum i juni. AI-källkoden är nu tillgänglig på GitHub, som du kan kontrollera härifrån. Du kan också ladda ner Arm64 APK här och 3D-versionen här.

MediaPipe är en plattformsram som kan implementeras för att bygga pipelines för att bearbeta uppfattningsdata från olika format (ljud och video). Detta möjliggörs genom att använda maskininlärningstekniker. identifiera 21 huvudsakliga 3D-punkter från händerna på målningen.

“Förmågan att förstå handformer och rörelser kan vara en viktig komponent för att förbättra användarupplevelsen på olika domäner och teknikplattformar.” Läs Google AI-blogginlägget.

Google använder tre AI-modeller i MediaPipe, som de kallar BlazePalm, en manuell referensmodell och gestigenkänning. Handdetekteringsmodellen (BlazePalm) ansvarar för att analysera ramen och returnera avgränsningsrutan som vetter mot handen, medan handreferensmodellen används för att returnera 3D-nyckelpunkter från det beskurna bildområdet och gestigenkänning används för att klassificera nyckelvägsinställningar som tidigare beräknats i rörelsesenheten .

Den coolaste delen av AI-handspårning är din expertis identifiera rörelser. Forskare säger att AI kan känna igen vanliga signaturer som “tummen upp,” knuten näve, “OK”, “Rock” och “Spiderman.” Okej, eller hur? Titta på GIF nedan för att se AI i aktion.

“Vi tror att publicering av denna teknik kan uppmuntra till nya idéer och kreativa applikationer från medlemmar av forskarsamhället och utvecklare i allmänhet.” Valentin Bazarevsky och Fan Zhang, forskningsingenjörer på Google, skriver.

Det framtida målet för Google AI-forskare är att förbättra AI-funktionaliteten och effektiviteten. Detta kan inkludera extra stöd för rörelser, snabbare och mer exakt spårning och stöd för dynamiska rörelser.