OpenAI đã công bố phát hành POINT-E. Với công cụ đó, bạn có thể tạo các đám mây điểm 3D trực tiếp từ lời nhắc văn bản và chỉ với một GPU.
Nhà phát triển OpenAI (một công ty khởi nghiệp về AI của Elon Musk) nổi tiếng với trình tạo chuyển văn bản thành hình ảnh phổ biến DALL-E. ĐIỂM-E do đó xoay quanh việc tạo hình ảnh với lời nhắc bằng văn bản. Trong khi các hệ thống khác, chẳng hạn như DreamFusion của Google, thường cần vài giờ (và GPU) để tạo hình ảnh thì với POINT-E, việc này có thể được thực hiện chỉ trong vài phút. Và một GPU là đủ.
Trong những năm gần đây, sự phổ biến của hệ thống chuyển văn bản thành hình ảnh đã bùng nổ. Đừng chỉ nghĩ đến DALL-E mà còn cả Craiyon hay DeepAI và gần đây là Lensa. POINT-E đưa công nghệ đó vào mô hình 3D. “POINT-E khác với các hệ thống khác ở chỗ nó có thể sử dụng một kho dữ liệu rất lớn (các liên kết văn bản và hình ảnh) để chạy các dấu nhắc lệnh đa dạng và phức tạp. Đồng thời, mô hình chuyển đổi hình ảnh thành 3D của chúng tôi đã được đào tạo trên một tập dữ liệu nhỏ hơn về các cặp đôi hình ảnh và 3D,” viết Alex Nicholngười đứng đầu nhóm nghiên cứu tại OpenAI.
POINT-E hoạt động nhanh như chớp
“Để tạo đối tượng 3D từ lời nhắc văn bản, trước tiên chúng tôi lấy mẫu hình ảnh bằng mô hình chuyển văn bản thành hình ảnh. Sau đó, chúng tôi lấy mẫu đối tượng 3D bằng cách sử dụng hình ảnh trước đó. Nichol cho biết hai bước này chỉ mất vài giây mỗi bước nên không cần phải tối ưu hóa tốn kém. Kết quả ban đầu là khó khăn 1Đám mây 0,024 điểm từ hình ảnh đầu tiên. Sau đó nó được cải tiến thành một phiên bản của 40,096 điểm. “Trong thực tế, chúng tôi giả định rằng hình ảnh chứa thông tin liên quan đến văn bản. Do đó, chúng tôi không quy định rõ ràng các ‘đám mây điểm’ trên văn bản”, nhóm nghiên cứu cho biết thêm.
Các mô hình POINT-E của OpenAI được cho là đã được đào tạo trên hàng triệu mô hình 3D, tất cả đều được đưa vào định dạng chuẩn hóa. Phương pháp của chúng tôi thực sự hoạt động kém hơn một chút so với các kỹ thuật hiện đại, nhưng nó tạo ra các mẫu trong một khoảng thời gian ngắn.
OpenAI đã cung cấp mã nguồn mở của dự án tại Githubđể bạn có thể tự mình bắt đầu.
