Pemprosesan Imej Kuantimetrik: 5 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:11

(Gambar di atas menggambarkan perbandingan kaedah pemprosesan gambar yang ada dengan pemprosesan gambar kuantimetrik. Perhatikan hasil yang diperbaiki. Gambar kanan atas menunjukkan artifak pelik yang berasal dari anggapan yang salah bahawa gambar mengukur sesuatu seperti cahaya. Gambar kanan bawah menunjukkan hasil yang lebih baik dengan melakukan perkara yang sama. secara kuantimetrik.)

Dalam Instructable ini anda akan belajar bagaimana meningkatkan prestasi sistem pengimejan atau penginderaan penglihatan yang ada dengan menggunakan konsep yang sangat sederhana: Penginderaan gambar kuantitatif

Pemprosesan gambar kuantitatif bertambah baik dengan salah satu perkara berikut:

• Pemprosesan gambar yang ada seperti gambar deblurring;
• Pembelajaran mesin, penglihatan komputer, dan pengecaman corak;
• Pengecam wajah yang boleh pakai (lihat https://wearcam.org/vmp.pdf), penglihatan berasaskan AI dan HI, dll.

Idea asasnya adalah memproses dan mengolah gambar secara kuantitatif, seperti berikut:

1. Luaskan julat dinamik gambar atau gambar;
2. Memproses gambar atau gambar seperti biasa;
3. Memampatkan julat dinamik gambar atau gambar (iaitu buat asal langkah 1).

Dalam Instructables sebelumnya, saya mengajar beberapa aspek penginderaan HDR (High Dynamic Range) dan penginderaan kuantimetrik, mis. lineariti, superposisi, dll.

Sekarang mari kita gunakan pengetahuan ini.

Ikuti proses sedia ada yang ingin anda gunakan. Contoh yang akan saya tunjukkan adalah penghapusan gambar, tetapi anda juga boleh menggunakannya untuk apa sahaja.

Langkah 1: Luaskan Julat Dinamik Imej atau Imej Anda

(Angka yang diadaptasi dari "Intelligent Image Processing", John Wiley and Sons Interscience Series, Steve Mann, November 2001)

Langkah pertama adalah memperluas julat dinamik gambar input.

Sebaik-baiknya anda harus terlebih dahulu menentukan fungsi tindak balas kamera, f, dan kemudian menerapkan tindak balas terbalik, f terbalik, pada gambar.

Kamera biasa adalah pemampatan julat dinamik, jadi kami biasanya ingin menerapkan fungsi yang luas.

Sekiranya anda tidak mengetahui fungsi tindak balas, mulailah dengan mencuba sesuatu yang mudah seperti memuatkan gambar ke dalam array gambar, menghantar pemboleh ubah ke jenis data seperti (float) atau (double), dan menaikkan setiap nilai piksel ke eksponen, seperti, misalnya, kuasa dua setiap nilai piksel.

Rasional:

Mengapa kita melakukan ini?

Jawapannya ialah kebanyakan kamera memampatkan jarak dinamiknya. Sebab mereka melakukan ini adalah kerana kebanyakan media paparan memperluas jangkauan dinamik. Ini secara tidak sengaja: jumlah cahaya yang dipancarkan oleh paparan televisyen tiub sinar katod kira-kira sama dengan voltan yang dinaikkan ke eksponen 2.22 sehingga apabila input voltan video kira-kira separuh jalan, jumlah cahaya yang dipancarkan jauh lebih banyak kurang dari separuh.

Media fotografi juga luas-dinamik. Contohnya, kad kelabu "neutral" fotografi memancarkan 18% cahaya kejadian (bukan 50% cahaya kejadian). Cahaya yang banyak ini (18%) dianggap berada di tengah-tengah tindak balas. Oleh itu, seperti yang anda lihat, jika kita melihat grafik output sebagai fungsi input, media paparan berperilaku seolah-olah mereka adalah paparan linear yang ideal yang mengandungi pengembang jarak dinamik sebelum tindak balas linear yang ideal.

Pada gambar teratas, di atas, anda dapat melihat paparan kotak dengan garis putus-putus, dan ia sama dengan mempunyai pengembang sebelum paparan linier yang ideal.

Oleh kerana paparan sememangnya luas, kamera perlu dirancang agar dapat memampatkan supaya gambar kelihatan baik pada paparan yang ada.

Pada zaman dahulu ketika terdapat ribuan paparan penerima televisyen dan hanya satu atau dua stesen penyiaran (contohnya hanya satu atau dua kamera televisyen), adalah cara yang lebih mudah untuk meletakkan nonlinier kompresi ke dalam kamera daripada mengingat semua televisyen dan letakkan satu di setiap penerima televisyen.

Secara tidak sengaja ini juga membantu mengurangkan bunyi. Dalam audio kami menyebutnya "Dolby" ("companding") dan memberikan hak paten untuknya. Dalam video ia berlaku secara tidak sengaja. Stockham mencadangkan agar kita mengambil logaritma gambar sebelum memprosesnya, dan kemudian mengambil antilog. Apa yang dia tidak sedar ialah kebanyakan kamera dan paparan sudah melakukan ini secara kebetulan. Sebagai gantinya, apa yang saya cadangkan ialah kita melakukan kebalikan dari cadangan Stockham. (Lihat "Pemprosesan Imej Pintar", John Wiley and Sons Interscience Series, halaman 109-111.)

Pada gambar bawah, anda melihat pemprosesan gambar anti-homomorfik (kuantimetrik) yang dicadangkan, di mana kami telah menambahkan langkah pengembangan dan pemampatan julat dinamik.

Langkah 2: Memproses Imej, atau Melakukan Penglihatan Komputer, Pembelajaran Mesin, atau Sejenisnya

Langkah kedua, setelah pengembangan julat dinamik, adalah memproses gambar.

Dalam kes saya, saya hanya melakukan dekonvolusi gambar, dengan fungsi kabur, iaitu gambar kabur, seperti yang biasa diketahui dalam seni sebelumnya.

Terdapat dua kategori penginderaan gambar kuantimetrik yang luas:

• Membantu orang melihat;
• Membantu mesin melihat.

Sekiranya kita berusaha menolong orang melihat (yang merupakan contoh yang saya tunjukkan di sini), kita belum selesai: kita perlu mengembalikan hasil yang diproses kembali ke ruang gambar.

Sekiranya kami membantu mesin melihat (mis. Pengecaman wajah), kami sudah selesai (tidak perlu pergi ke langkah 3).

Langkah 3: Tekan semula Julat Dinamik Hasil

Semasa kami bekerja dalam julat dinamik yang diperluas, kami dikatakan berada di "ruang lampu" (ruang gambar kuantimetrik).

Pada akhir Langkah 2, kita berada di ruang lampu, dan kita perlu kembali ke ruang gambar.

Jadi langkah 3 ini adalah mengenai kembali ke ruang gambar.

Untuk melakukan langkah 3, cukup tekan julat dinamik keluaran Langkah 2.

Sekiranya anda mengetahui fungsi tindak balas kamera, cukup gunakannya, untuk mendapatkan hasilnya, f (p (q)).

Sekiranya anda tidak mengetahui fungsi tindak balas kamera, gunakan tekaan yang baik.

Jika anda mengkuadatkan piksel gambar pada langkah 1, sekarang adalah saatnya untuk mengambil akar kuadrat setiap piksel gambar untuk kembali ke tekaan anda mengenai ruang gambar.

Langkah 4: Anda Mungkin Ingin Mencuba Variasi Lain

Deblurring adalah salah satu daripada banyak contoh yang mungkin. Pertimbangkan, sebagai contoh, gabungan pelbagai pendedahan.

Ambil dua gambar seperti dua yang saya ada di atas. Satu diambil pada waktu siang, dan yang lain pada waktu malam.

Gabungkan mereka untuk membuat gambar seperti senja.

Sekiranya anda mengira rata-rata, ia kelihatan seperti sampah. Cuba ini sendiri!

Tetapi jika anda mula-mula mengembangkan julat dinamik setiap gambar, kemudian menambahkannya, dan kemudian memampatkan julat dinamik jumlahnya, ia kelihatan hebat.

Bandingkan pemprosesan gambar (menambahkan gambar) dengan pemprosesan gambar kuantimetrik (pengembangan, penambahan, dan kemudian pemampatan).

Anda boleh memuat turun kod saya dan lebih banyak bahan contoh dari sini:

Langkah 5: Melangkah Lebih Lanjut: Sekarang Cubalah Dengan Komposit Imej HDR

(Gambar di atas: Helmet pengelasan HDR menggunakan pemprosesan gambar kuantimetrik untuk tindanan realiti tambahan. Lihat Slashgear 2012 12 September.)

Ringkasnya:

tangkap gambar, dan terapkan langkah berikut:

1. kembangkan julat dinamik gambar;
2. memproses gambar;
3. memampatkan julat dinamik hasilnya.

Dan jika anda mahukan hasil yang lebih baik, cubalah yang berikut:

menangkap sebilangan besar gambar yang terdedah berbeza;

1. luaskan julat dinamik ke ruang lampu, seperti Instructable sebelumnya pada HDR saya;
2. memproses gambar kuantitatif yang dihasilkan, q, di ruang lampu;
3. memampatkan julat dinamik melalui pemetaan ton.

Bersenang-senang dan klik "Saya berjaya" dan hantarkan hasil anda, dan saya dengan senang hati akan memberi komen atau memberikan bantuan yang membina.