Earbud unik ini dapat melacak ekspresi wajah Anda

Meskipun ada banyak headphone aneh dan earbud TWS yang beredar di pasaran, saya yakin tidak ada yang dapat melacak ekspresi wajah Anda. Maksud saya mereka dibuat untuk pengguna untuk mendengarkan AC/DC atau System of a Down, bukan untuk memantau otot pipi, bukan? Nah, itu bukan persepsi para peneliti di Cornell University, New York, yang telah mengembangkan sepasang headphone untuk melacak ekspresi wajah secara real time.

Dijuluki C-Face, headphone over-the-ear unik ini, yang dikembangkan oleh peneliti Cornell, duduk di masing-masing telinga Anda dan Lacak kontur pipi Anda untuk menentukan ekspresi wajah Anda. Ekspresi ini direfleksikan oleh model avatar yang hidup di dalam lingkungan virtual reality.

“Perangkat ini lebih sederhana, tidak terlalu mencolok, dan lebih mampu daripada teknologi on-ear yang ada untuk melacak ekspresi wajah.” Cheng Zhang, Asisten Profesor Ilmu Informasi dan penulis utama makalah ini, akan memberikan presentasi di Simposium Perangkat Lunak dan Teknologi Antarmuka Pengguna Masyarakat Komputer, mulai 20 Oktober.

Bagaimana itu bekerja?

Sekarang, C-Face dilengkapi dua kamera RGB kecil yang terpasang di masing-masing earcupnya. Berkat dua kamera ini, perangkat dapat merekam perubahan kontur wajah pada saat gerakan otot wajah.

“Temuan yang paling menarik adalah kontur wajah yang informatif tentang ekspresi wajah. Saat kita membuat ekspresi wajah, otot wajah kita meregang dan berkontraksi. Mereka mendorong dan menarik kulit dan mempengaruhi ketegangan otot-otot wajah di dekatnya. Efek ini menyebabkan kontur pipi (contour) berubah dari sudut pandang telinga,” para peneliti menulis.

Jadi, setelah perangkat merekam perubahan pada otot wajah, Gambar direkonstruksi menggunakan pembelajaran mendalam dan model visi komputer. Dan ketika gambar diperoleh dalam 2D, para peneliti menggunakan model AI, khusus dalam klasifikasi gambar, deteksi, dan pengambilan, untuk merekonstruksi ekspresi kontur.

Anda dapat melihat video demo resmi dari headset pelacak wajah “C-Face” tepat di bawah.

Kemungkinan aplikasi

Sekarang, menurut para peneliti, ekspresi wajah, yang ditentukan oleh 42 fitur berbeda, dapat diubah menjadi emotikon yang berbeda, termasuk wajah alami, ciuman, dan wajah marah. Selain itu, teknologi ini juga dapat mengaktifkan “perintah suara senyap” yang dapat membantu pengguna mengontrol pemutar musik hanya dengan ekspresi wajah.

Selain itu, karena perangkat bekerja dengan mendeteksi gerakan otot wajah, ia dapat terus melacak ekspresi bahkan saat pengguna mengenakan topeng.