Nhờ các chip A-series mới nhất với các nơ-ron thần kinh tích hợp, Apple đã có thể áp dụng nhiều kỹ thuật học máy tiên tiến thực sự thông minh để chụp ảnh tính toán, cho phép iPhone tạo ra kết quả chụp ảnh với chất lượng lớn hơn nhiều so với tổng phần cứng máy ảnh. Các tính năng như chế độ ban đêm mới và Deep Fusion là những ví dụ tốt nhất về điều này, nhưng nó thực sự bắt đầu với chế độ chân dung được giới thiệu vào đầu năm 2016 với iPhone 7 Cộng và tiếp tục chiếu sáng chân dung vào năm sau.
Không cần nói rằng, Apple đã có thể thực hiện một số điều tuyệt vời với ảnh của bạn và bây giờ có vẻ như công ty đã sẵn sàng giải quyết thách thức tương tự là ghi âm bằng cách học máy để tạo bước âm thanh 3D để theo kịp 4K tuyệt vời Video như iPhone đã có thể quay.
Một ứng dụng bằng sáng chế mới xuất hiện từ Patently Apple mô tả một phương pháp mới gọi là "Ghi âm thiên vị không gian để ghi video hai bên" cho phép Apple để lấy âm thanh được ghi từ nhiều micrô trên iPhone và sau đó chạy nó thông qua các thuật toán AI tiên tiến sẽ tái tạo cảnh âm thanh chính xác, để bạn cảm thấy rằng bạn thực sự ở đó và đắm chìm trong trải nghiệm được ghi lại.
Ghi âm hai tai
Để rõ ràng, bản thân công nghệ này không phải là mới – ghi âm hai tai đã xuất hiện trong một vài thập kỷ, nhưng thường sử dụng micrô kép ("bi" trong "hai tai") để bắt chước tai người thường ở đâu. Trong cấu hình này, mỗi micrô thu được những khác biệt nhỏ về âm thanh, giống như tai của bạn sẽ làm trong thế giới thực và sau đó chúng được trộn lẫn để tạo ra hình ảnh âm thanh trung thực hơn. Một số hệ thống ghi âm hai tai thậm chí đã đi xa đến mức thực sự sử dụng các mô hình vật lý của tai người để phản ánh cách âm thanh thực sự đi vào và thông qua các kênh âm thanh để có mức độ chân thực cao hơn.
Vì vậy, điều đặc biệt thú vị về cách tiếp cận của Apple không phải là nó có kế hoạch cung cấp chức năng ghi âm hai tai – được sắp xếp micrô phù hợp mà bất cứ ai cũng có thể làm được – mà là tìm cách để thực hiện điều đó thông qua việc học máy đa micrô theo cách sắp xếp hạn chế hơn.
Trong thực tế, theo bằng sáng chế, Apple gợi ý rằng không chỉ âm thanh sẽ được phân tích từ nhiều micrô, mà các cảnh quay video được lấy từ máy ảnh ống kính kép cũng sẽ được sử dụng để tạo ra một mô hình tính toán của môi trường. Nói cách khác, Công cụ thần kinh có thể phân tích ánh sáng và bản đồ độ sâu để xác định kích thước của căn phòng và sự gần gũi của nó với các vật thể thường phản xạ âm thanh theo một số cách.
Ghi âm thanh 3D
Thật dễ dàng để tưởng tượng điều này đang được sử dụng trong các ứng dụng thực tế Augmented, đặc biệt là để hỗ trợ cho các tai nghe AR sắp ra mắt của Apple, Apple Trên thực tế, bằng sáng chế tiết lộ rằng bản ghi âm thanh 3D đầy đủ đã được xử lý cho các mục đích AR, sử dụng kết xuất không gian thông qua một phương pháp gọi là Chức năng truyền liên quan đến đầu (HRTF). Nhưng phương pháp này được thiết kế để sửa đổi tín hiệu để cho phép loại định vị không gian thường được sử dụng trong các trò chơi VR – về cơ bản là tính năng cho phép bạn nghe âm thanh từ các góc khác nhau.
Mặc dù ghi âm thanh 3D đầy đủ là tốt cho các ứng dụng VR, nhưng nó thực sự gây mất tập trung khi bạn chỉ nhìn vào các bản ghi video truyền thống khi nó trở nên vô cùng chân thực. Bản ghi hai tai, mô phỏng theo cách mà tai bạn thường nghe thấy âm thanh, dường như là điểm ngọt ngào giữa bản ghi âm lập thể truyền thống và cực kỳ của âm thanh 3D hoàn toàn theo vị trí.
Nếu điều này nghe có vẻ như một dự án đầy tham vọng, đó là bởi vì nó là. Rõ ràng có nhiều biến số cho điều đó Apple để xem xét ở đây sẽ vượt xa những gì iPhone có thể chụp và các thuật toán cần thiết để tạo ra âm trường 3D sẽ có độ phức tạp ngang với một số hệ thống nhận dạng giọng nói tinh vi nhất. Trong mọi trường hợp, Kỹ sư AppleMachine đã làm việc với một số phép thuật khá tuyệt vời với máy ảnh iPhone, vì vậy đây không phải là vấn đề không thể vượt qua bằng mọi cách.
Tất nhiên, như với tất cả các bằng sáng chế mà chúng ta thấy từ Apple, chỉ sự tồn tại của một ứng dụng bằng sáng chế cho một ý tưởng không có nghĩa là chúng ta sẽ thấy nó trong một sản phẩm thực sự, nhưng nó cung cấp một số hiểu biết thú vị về một số điều mà Apple suy nghĩ về nó, và nó dường như phù hợp với nhiều tham vọng hiện tại của công ty.
