Model AI baru Google mengubah gambar beresolusi rendah menjadi gambar berkualitas tinggi

Saat para peneliti mendorong batas mereka untuk mengembangkan teknologi kecerdasan buatan (AI) canggih, kami telah melihat sejumlah alat dan sistem AI untuk meningkatkan teknologi pencitraan. Kami telah melihat alat AI untuk langsung menghapus latar belakang dari gambar dan menghilangkan blur foto. Sekarang, Google telah mengembangkan dua alat berbasis AI berdasarkan model difusi yang dapat mengubah foto beresolusi rendah menjadi gambar berkualitas tinggi.

Dijuluki Resolusi Super melalui Refining Iterative Refinement (SR3) dan Cascading Diffusion Modeling (CDM), kedua teknologi baru tersebut baru-baru ini dikembangkan oleh Tim Riset Google. Raksasa Mountain View baru-baru ini menerbitkan posting blog mendalam di forum AI-nya, yang merinci kedua teknologi tersebut. Ini mirip dengan algoritma AI sebelumnya yang kami lihat dikembangkan oleh para peneliti di Universitas Duke Carolina Utara awal tahun ini.

Sekarang, dimulai dengan model SR3, pada dasarnya adalah model difusi resolusi super yang dapat mengkonversi gambar resolusi rendah ke gambar resolusi tinggi dari noise murni. Dibutuhkan gambar beresolusi rendah sebagai input dan menggunakan proses penurunan kualitas gambar, menggunakan proses terlatih ini, untuk secara bertahap meningkatkan noise ke dalam gambar hingga hanya noise murni yang tersisa. Kemudian membalikkan proses dan mulai menghilangkan noise untuk mencapai gambar target dengan gambar input resolusi rendah sebagai referensi.

Perusahaan mengatakan bahwa dengan pelatihan skala besar model SR3, ia mampu mencapai hasil benchmark yang kuat dalam tugas resolusi super untuk wajah dan gambar alami. Model bisa mengonversi gambar input 64 x 64 menjadi 1024 x 1024 . gambar. Untuk mendemonstrasikan prosesnya, Google membagikan video pendek yang menampilkan model SR3 beraksi, yang dapat Anda tonton langsung di bawah.

Sekarang sampai pada model AI kedua, Cascaded Diffusion Model (CDM) adalah model difusi kondisional berlapis yang telah dilatih pada data ImageNet. Hal ini memungkinkan model untuk menghasilkan gambar alami beresolusi tinggi dengan menggabungkan beberapa model generik pada beberapa resolusi spasial.

Dalam proses ini, Model CDM menggunakan model difusi untuk menghasilkan data pada resolusi rendah, diikuti oleh urutan model difusi resolusi super SR3. Ini secara bertahap meningkatkan resolusi gambar resolusi rendah ke resolusi tertinggi. Anda dapat melihat GIF terlampir di bawah ini untuk lebih memahami proses pembuatan gambar.

Selain dua model yang dijelaskan di atas, peneliti di Google AI juga mengembangkan teknik augmentasi data baru disebut pengkondisian penguatan. Selanjutnya meningkatkan kualitas sampel hasil CDM dengan menggunakan Gaussian noise dan Gaussian blur. Selain itu, ini mencegah setiap model resolusi super untuk mencocokkan input harmonik resolusi rendahnya. Ini menghasilkan kualitas sampel resolusi tinggi yang lebih baik untuk CDM.

Jadi dengan model peningkatan gambar berbasis AI di atas, Google mengatakan mereka telah mendorong batas model difusi ke ujung tombak pada resolusi ultra-tinggi dan benchmark generasi ImageNet yang dikondisikan. Para peneliti selanjutnya akan menguji keterbatasan model-model ini untuk menemukan masalah pemodelan yang lebih umum di masa depan.