Mặc dù có rất nhiều tai nghe kỳ lạ và tai nghe nhét tai TWS trôi nổi trên thị trường, tôi cá rằng không có loại nào trong số đó có thể theo dõi biểu hiện trên khuôn mặt của bạn. Ý tôi là chúng được tạo ra để người dùng nghe AC / DC hoặc System of a Down, không phải để theo dõi cơ má, phải không? Chà, đó không phải là nhận thức của các nhà nghiên cứu tại Đại học Cornell, New York, những người đã phát triển một cặp tai nghe để theo dõi nét mặt trong thời gian thực.
Được mệnh danh là C-Face, tai nghe over-the-ear độc đáo này do các nhà nghiên cứu của Cornell phát triển, nằm trên mỗi tai của bạn và theo dõi các đường nét trên má của bạn để xác định biểu hiện trên khuôn mặt của bạn. Những biểu hiện này được phản chiếu bởi một hình đại diện theo mô hình sống bên trong môi trường thực tế ảo.
“Thiết bị này đơn giản hơn, ít gây khó chịu hơn và có nhiều khả năng hơn bất kỳ công nghệ đeo trên tai nào hiện có để theo dõi các biểu hiện trên khuôn mặt” Cheng Zhang, Trợ lý Giáo sư Khoa học Thông tin và là tác giả chính của bài báo, sẽ được trình bày tại Hội nghị chuyên đề về Công nghệ và Phần mềm Giao diện Người dùng của Hiệp hội Máy tính Máy tính, bắt đầu từ ngày 20 tháng 10.
Làm thế nào nó hoạt động?
Giờ đây, C-Face được trang bị hai camera RGB nhỏ được gắn vào mỗi chụp tai của nó. Nhờ hai camera này, thiết bị có thể ghi lại sự thay đổi của các đường nét trên khuôn mặt tại thời điểm các cử động của cơ mặt.
“Phát hiện thú vị nhất là các đường nét trên khuôn mặt có nhiều thông tin về các biểu hiện trên khuôn mặt. Khi chúng ta thực hiện một biểu cảm trên khuôn mặt, các cơ mặt của chúng ta sẽ căng ra và co lại. Chúng đẩy và kéo da và ảnh hưởng đến độ căng của các cơ mặt gần đó. Hiệu ứng này làm cho đường viền của má (đường viền) thay đổi theo quan điểm của tai, ” các nhà nghiên cứu đã viết.
Vì vậy, sau khi thiết bị ghi lại những thay đổi trên cơ mặt, hình ảnh được xây dựng lại bằng cách sử dụng mô hình học sâu và thị giác máy tính. Và khi các hình ảnh thu được ở dạng 2D, các nhà nghiên cứu đã triển khai một mô hình AI, chuyên phân loại, phát hiện, truy xuất hình ảnh, để tái tạo lại các biểu thức đường viền.
Bạn có thể xem video demo chính thức của tai nghe theo dõi khuôn mặt “C-Face” ngay bên dưới.
Ứng dụng khả thi
Giờ đây, theo các nhà nghiên cứu, các biểu hiện trên khuôn mặt, được xác định bởi 42 điểm đặc trưng riêng biệt, có thể được biến thành các biểu tượng cảm xúc khác nhau, bao gồm khuôn mặt tự nhiên, nụ hôn và khuôn mặt giận dữ. Hơn nữa, công nghệ này cũng có thể kích hoạt “lệnh giọng nói im lặng” có thể giúp người dùng điều khiển trình phát nhạc chỉ bằng nét mặt.
Ngoài ra, vì thiết bị hoạt động bằng cách phát hiện các chuyển động cơ của khuôn mặt, nên nó có thể tiếp tục theo dõi các biểu cảm ngay cả khi người dùng đang đeo khẩu trang.
