ClearGrasp, một thuật toán học tập mới đã được phát triển bởi các nhà nghiên cứu tại Google Synt tổng hợp AI và Đại học Columbia, sẽ giúp robot tương tác với các vật thể trong suốt. Thuật toán sử dụng hình ảnh RGB-D để tạo lại thông tin không gian 3D của đối tượng được đề cập.
Robot sử dụng các camera RGB-D để vẽ một bức tranh 3D chính xác về môi trường mà nó đang ở. Tuy nhiên, chắc chắn có những hạn chế đối với môi trường xung quanh được tạo ra bởi các camera đó; ví dụ, nó không hoạt động hiệu quả đối với các vật thể trong suốt như thủy tinh.
Để tạo lại thông tin không gian 3D cho các vật thể trong suốt đã chứng tỏ rằng đó là một nhiệm vụ bất chính cho các nhà nghiên cứu. Có rất ít dữ liệu có sẵn cho các bề mặt trong suốt và hầu hết các dữ liệu đều bỏ qua các bề mặt trong suốt. Để khắc phục vấn đề này, các nhà nghiên cứu đã tạo ra một bộ dữ liệu đối tượng trong suốt quy mô lớn, chứa 50.000 kết xuất thực tế của các bề mặt đối tượng khác nhau.
Thuật toán ClearGrasp sử dụng 3 mạng lưới thần kinh để xác định chính xác các đối tượng trong suốt. Một trong các mạng ước tính vectơ bình thường bề mặt, một trong số chúng tính toán cạnh của tắc và một mạng khác tính toán độ trong suốt của đối tượng. Mặt nạ của đối tượng được sử dụng để loại trừ pixel của các đối tượng không trong suốt nhằm lấp đầy độ sâu chính xác.
Mô-đun tối ưu hóa toàn cầu có thể dự đoán các vectơ bình thường của các bề mặt khác từ các bề mặt có độ sâu đã biết để tái cấu trúc hình dạng của vật thể và phân biệt giữa hai vật thể.
Tuy nhiên, thuật toán không thể phát hiện chính xác các vectơ bình thường của các bề mặt cơ bản khác, do giới hạn của tập dữ liệu tổng hợp. Để giải quyết vấn đề này, các nhà nghiên cứu đã đưa ra bộ dữ liệu Matterport3D và ScanNet.
Tuy nhiên, tất cả các rủi ro này sang một bên, ClearGrasp là thuật toán duy nhất có sẵn có thể tái tạo độ sâu của các vật thể trong suốt, tăng tỷ lệ thành công trong việc nắm bắt các vật thể trong suốt bằng cánh tay robot từ 12% đến 74%.
