Phóng to một hình ảnh bị mờ hoặc bị pixel và nhìn rõ? Sứ mệnh không phải là không thể theo Google

Một chương trình có khả năngngười nâng cấp xếp tầng một hình ảnh và làm cho nó đi từ độ phân giải 64 x 64 pixel thành 1 024x 1 024.

Trong một bài báo có tiêu đề Tạo hình ảnh có độ trung thực cao bằng mô hình khuếch tánJonathan Ho, kỹ sư phần mềm và thành viên của Nhóm Brain của Google, nêu chi tiết về công nghệ củanâng cấp thác do công ty phát triển. Nó có thể thực hiện chia tỷ lệ x16 của hình ảnh độ nét thấp: do đó nó có thể chuyển đổi hình ảnh 64 x 64 pixel thành một trong những 1 024x 1 024 điểm ảnh. Không có gì mới trong đó vào lúc này; ngoại trừ kết quả, như bạn có thể thấy trên hình ảnh, rõ ràng là vượt trội so với hầu hết các phương pháp hiện tại.

SR3, hoặc Siêu phân giải thông qua tinh chỉnh lặp lại

Chương trình siêu phân giải hình ảnh mới này được Nhóm Brain đặt tên là “SR3″ cho ” Siêu phân giải thông qua tinh chỉnh lặp lại ».

Tóm lại, SR3 hoạt động siêu phân giải bằng cách “ một quá trình biến đổi ngẫu nhiên được thực hiện lặp đi lặp lại bởi một mô hình U-Net “. Nhưng hãy yên tâm, mọi thứ có thể được giải thích đơn giản hơn.

Phương pháp SR3 thực sự bao gồm việc áp dụng, ban đầu, nhiễu Gaussian cho một hình ảnh có độ nét thấp. Giai đoạn này cho phép chương trình “ánh xạ” chủ đề của nó. Sau đó, nó đi theo hướng ngược lại: nó áp dụng các công nghệ giảm nhiễu kỹ thuật số để tái tạo lại hình ảnh không bị nhiễu với độ nét cao hơn hình ảnh gốc.

Jonathan Ho giải thích nguyên tắc như sau: «SR3 […] lấy hình ảnh có độ phân giải thấp làm đầu vào và tạo ra hình ảnh có độ phân giải cao tương ứng từ nhiễu tinh khiết. Người mẫu được đào tạo về quy trình làm hỏng hình ảnh, trong đó nhiễu dần dần được thêm vào hình ảnh có độ phân giải cao cho đến khi chỉ còn lại nhiễu. Sau đó, nó học cách đảo ngược quá trình này, bắt đầu từ tiếng ồn thuần túy và dần dần loại bỏ tiếng ồn ”.

Tỷ lệ nhầm lẫn gần 50% cho các khuôn mặt

Theo Google, công nghệ này cung cấp “Kết quả xuất sắc trong nhiệm vụ siêu phân giải cho hình ảnh tự nhiên” theo thang x4 và x8. Công ty báo cáo tỷ lệ nhầm lẫn gần 50% đối với ảnh khuôn mặt tăng từ độ phân giải 16 x 16 lên 128 x 128 và 40% đối với ảnh tự nhiên (từ 64 x 64 lên 256 x 256) khó cải thiện hơn; Tỷ lệ vẫn còn trong cả hai trường hợp cao hơn nhiều so với tỷ lệ thu được bằng phương pháp PULSE và FSRGAN chẳng hạn.

Kết quả đã rất ấn tượng, nhưng Google không chỉ sử dụng SR3 để cải tiến các bức ảnh cũ. Thật vậy, công ty cũng sử dụng công nghệ này để tạo ra các hình ảnh có định nghĩa ngày càng cao thông qua Mô hình khuếch tán theo tầng (CDM), “ một mô hình khuếch tán có điều kiện dựa trên lớp được đào tạo dựa trên dữ liệu ImageNet để tạo ra hình ảnh tự nhiên có độ phân giải cao ”.

Nguồn : Google