Dessa unika öronsnäckor kan spåra dina ansiktsuttryck

Även om det finns många konstiga hörlurar och TWS-öronsnäckor som flyter runt på marknaden, slår jag vad om att ingen av dem kan spåra ditt ansiktsuttryck. Jag menar att de är gjorda för att användaren ska lyssna på AC/DC eller System of a Down, inte för att övervaka kindmusklerna, eller hur? Nåväl, det är inte uppfattningen av forskare vid Cornell University, New York, som har utvecklat ett par hörlurar för att spåra ansiktsuttryck i realtid.

Dessa unika over-the-ear-hörlurar, utvecklade av Cornell-forskare, som kallas C-Face, sitter på vart och ett av dina öron och Spåra konturerna av dina kinder för att bestämma ditt ansiktsuttryck. Dessa uttryck reflekteras av en modellerad avatar som lever inuti den virtuella verklighetsmiljön.

“Enheten är enklare, mindre påträngande och mer kapabel än någon befintlig on-ear-teknik för att spåra ansiktsuttryck.” Cheng Zhang, biträdande professor i informationsvetenskap och huvudförfattare till artikeln, kommer att presentera vid Computer Society’s User Interface Software and Technology Symposium, som börjar den 20 oktober.

Hur det fungerar?

Nu är C-Face utrustad två små RGB-kameror fästa på var och en av dess öronkåpor. Tack vare dessa två kameror kan enheten registrera förändringar av ansiktskonturer vid tidpunkten för ansiktsmuskelrörelser.

“Det mest intressanta fyndet var att ansiktskonturer var informativa om ansiktsuttryck. När vi gör ett ansiktsuttryck sträcker och drar vi ihop sig våra ansiktsmuskler. De trycker och drar i huden och påverkar spänningen i närliggande ansiktsmuskler. Denna effekt gör att kindernas kontur (kontur) förändras ur örats synvinkel.” skrev forskarna.

Så efter att enheten har registrerat förändringarna i ansiktsmusklerna, Bilden är rekonstruerad med hjälp av djupinlärning och datorseende modeller. Och när bilderna erhölls i 2D, använde forskarna en AI-modell, specialiserad på bildklassificering, upptäckt och hämtning, för att rekonstruera konturuttryck.

Du kan kolla in den officiella demovideon av “C-Face”-headsetet för ansiktsspårning precis nedan.

Möjliga tillämpningar

Nu, enligt forskarna, ansiktsuttryck, definierade av 42 distinkta drag, kan omvandlas till olika uttryckssymboler, inklusive naturliga ansikten, kyssar och arga ansikten. Dessutom kan denna teknik också möjliggöra “tysta röstkommandon” som kan hjälpa användare att styra musikspelaren med enbart ansiktsuttryck.

Dessutom, eftersom enheten fungerar genom att detektera ansiktsmuskelrörelser, kan den fortsätta att spåra uttryck även när användaren bär en mask.