Bagaimana cara kerja pencarian gambar terbalik?

Catatan: Dalam topik berikutnya yang akan Anda baca, Anda akan mempelajari tentang: Bagaimana cara kerja pencarian gambar terbalik?

Gambar rata-rata Anda mungkin bernilai kurang dari seribu kata – hanya ada begitu banyak yang dapat Anda pelajari dari selfie. Namun terkadang Anda hanya perlu mengetahui dari mana sebuah gambar berasal, tidak peduli berapa banyak kata yang berharga.

Untuk itu, ada mesin pencari gambar terbalik yang didukung oleh Google, TinEye, Bing, Yandex, Pixsy, dan banyak lagi. Karena dia tidak memberikan sepatah kata pun dalam lamarannya, bagaimana mereka tahu apa yang harus dicari? Dan, yang terpenting, bagaimana mereka menemukannya? Cara kerja setiap mesin pencari gambar terbalik berbeda, dan mereka menyembunyikan algoritmenya, tetapi ide dasarnya ada di sana dan tidak sulit untuk dipahami.

Sidik jari

Gambar sebenarnya mungkin lebih unik daripada sidik jari manusia, karena kemungkinan kedua gambar berisi susunan piksel yang benar sangat kecil, sementara kemungkinan tabrakan sidik jari adalah sekitar 64 miliar, satu peluang yang relatif bagus. Tapi bagaimana Anda sidik jari gambar? Langkah-langkahnya bervariasi menurut algoritme, tetapi kebanyakan mengikuti rumus dasar yang sama.

Pertama, Anda perlu mengukur fitur gambar, yang dapat mencakup warna, tekstur, gradien, bentuk, hubungan antara berbagai bagian gambar, dan bahkan hal-hal seperti transformasi Fourier (metode membagi gambar menjadi dinding dada dan cosinus).

Katakanlah kita sedang mencari gambar berikutnya dan kita membutuhkan sidik jari.

Untuk melakukannya, antara lain, kita dapat menggunakan histogram warna gambar, transformasi Fourier, dan peta tekstur, yang masing-masing dapat Anda lihat di bawah.

Jika gambar diubah ukurannya, diburamkan, diputar, atau dimanipulasi, ada sejumlah algoritme yang menggunakan fungsi di atas dan lainnya untuk mencoba menemukan hasilnya.

Enkripsi, simpan, dan cari

Setiap fungsi gambar sidik jari dapat dikodekan sebagai urutan huruf dan angka, yang mudah disimpan dan diindeks dalam database. Kombinasi apa pun dari fitur yang diekstrak dan disimpan akan menjadi input mesin pencari gambar terbalik untuk gambar tersebut. Basis data TinEye, misalnya, berisi sekitar 39,6 miliar gambar yang diindeks pada Februari 2020, yang berarti mereka menjalankan algoritme pada banyak gambar dan menyimpan semua sidik jari tangan itu untuk membandingkan gambar yang dicari.

Bagian utama kedua dari algoritme adalah menemukan gambar yang serupa. Saat Anda mengunggah gambar, gambar tersebut melewati algoritme sidik jari mesin pencari gambar terbalik. Mesin pencari akan mencoba menemukan entri dengan sidik jari terdekat, yang disebut “jarak gambar”. Menentukan faktor mana yang perlu dibandingkan dan diberi bobot juga tergantung pada masing-masing mesin pencari, tetapi terutama bertujuan untuk menemukan jarak total citra sedekat mungkin dengan nol.

Bagaimana dengan pembelajaran mesin/AI?

Berkat teknik sidik jari/pengindeksan yang dijelaskan di atas, pencarian gambar terbalik cukup bagus bahkan sebelum menerapkan AI. Karena AI sangat bagus dalam pemrosesan gambar, banyak mesin pencari utama menggunakan jaringan saraf convolutional (CNN) untuk membantu mengekstraksi dan menandai fitur. Google, misalnya, dapat menggunakan CNN dalam pencarian gambar terbalik, memungkinkan Anda menghasilkan kata kunci gambar potensial dan menghasilkan gambar dan hasil web yang relevan, seperti yang telah dilakukan di Foto Google untuk sementara waktu.

Ini membutuhkan pencarian gambar terbalik, langkah ekstraksi fitur sederhana, dan jarak gambar. Jaringan saraf convolutional pada dasarnya menjalankan gambar melalui berbagai filter yang memetakan berbagai jenis fitur, lalu mencoba mengklasifikasikannya berdasarkan pelatihan sebelumnya. Itu penyederhanaan yang berlebihan, tentu saja, tetapi cukup untuk mengatakan bahwa CNN membuat pencarian gambar jauh lebih akurat dan berguna dan berpotensi dapat dilakukan bersamaan dengan metode sidik jari visi komputer yang lebih lama. .

Apa mesin pencari gambar terbalik terbaik?

Algoritme yang berbeda berarti mesin pencari gambar yang bagus untuk berbagai hal, meskipun semuanya pada akhirnya bertujuan untuk tujuan yang sama: menemukan kecocokan untuk gambar yang Anda unggah. Misalnya, Gambar Google memiliki tingkat keberhasilan yang cukup bagus, tetapi menghasilkan banyak “tebakan yang lebih baik”, memberi Anda banyak foto yang mirip tetapi berbeda. Sangat bagus jika Anda mencari mood atau genre umum, tetapi TinEye lebih fokus untuk menemukan gambar yang identik, bahkan jika gambar tersebut sangat diedit, dan bahkan dapat mengidentifikasi gambar. sedikit lebih baik. jika Anda membutuhkan pencocokan yang tepat

Mesin pencari Yandex Rusia juga terkenal karena memiliki mesin pencari gambar yang hebat, meskipun dapat diperkirakan akan cenderung bekerja paling baik pada tema-tema Rusia. Alat seperti Pixsy dan ImageRaider fokus untuk mengidentifikasi kasus penggunaan yang tidak sah, sehingga mereka cenderung menyertakan lebih banyak fitur seperti peringatan dan berfokus pada pemantauan perpustakaan foto pengguna.

Karena algoritme berubah setiap saat dan sering kali terkunci, menguji beberapa mesin berbeda jika tidak ada yang mengembalikan hasil yang Anda inginkan.

Kredit gambar: Uap dari jalanan Kota New York, Ikon Database DB

Apakah artikel ini berguna? Jika tidak