Menggunakan Fotogrametri untuk Membuat Model: 9 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:08

Siapakah saya?

Saya Samuel Conklin dan saya pelajar tahun kedua di E. L. Sekolah Menengah Meyers. Saya telah bereksperimen dengan fotogrametri selama beberapa bulan terakhir dan saya berharap dapat membantu anda sekiranya anda memilih untuk mencipta semula produk ini. Saya berminat untuk melihat bagaimana orang lain dapat menggunakan teknologi baru dan sentiasa berkembang ini.

Apakah Realiti Maya dan SteamVR?

Realiti Maya adalah bentuk ekspresi dan pengalaman artistik yang baru. Ini masih merupakan barisan teknologi baru kerana banyak syarikat dan orang berusaha untuk meningkatkan medium. Anda melakukan keburukan yang sangat baik sekiranya anda tidak pernah mencuba VR, kerana ia benar-benar merangkumi penglihatan dan suara penggunanya. Salah satu platform utama untuk Virtual Reality ialah Valve's SteamVR. SteamVR membolehkan pengguna berkongsi persekitaran dengan bebas dan mengatur satu sama lain tanpa sebarang kos. Ia kebanyakannya bersumber terbuka dan membolehkan berjumlah headset. Ini termasuk, tetapi tidak terbatas pada siri HTC Vive, Oculus Rift, Oculus Quest, Valve Index, Windows Mixed Reality, dll. SteamVR adalah platform yang kami gunakan untuk membuat persekitaran kami.

Apa itu Photogrammetry dan bagaimana ia boleh digunakan?

Fotogrametri adalah proses mengambil gambar atau video dan mengubah gambar menjadi model 3D. Contoh penggunaan teknologi ini yang paling terkenal ialah Google Earth. Google menggunakan gambar satelit dan pemandangan jalan untuk membina semula landskap dan bangunan. Melihat Google Earth, jelas bahawa mereka mempunyai sedikit gambar untuk dikerjakan, jadi beberapa bangunan akan kelihatan tidak sesuai. Apabila digunakan dengan betul, fotogrametri adalah kaedah yang sangat meyakinkan untuk membuat model 3D. Projek ini menggunakan teknologi ini untuk memelihara mercu tanda bersejarah. Hakisan dan terdedah kepada unsur-unsur bermaksud bahawa mercu tanda bersejarah akhirnya akan rosak dan orang akan melupakannya. Dengan menggunakan fotogrametri, kami dapat menyimpan segala-galanya secara digital, sehingga generasi akan datang dapat mengalami dan menghargai struktur ini. Ini juga bermaksud bahawa lebih banyak orang di seluruh dunia dapat mengalami budaya lain tanpa kos atau risiko perjalanan.

Apakah bekalan yang saya perlukan?

Untuk projek ini, saya menggunakan Reality Capture, SteamVR, dan Krita. Terdapat program Autodesk, Agisoft, dan Zephyr yang dapat digunakan sebagai ganti Reality Capture jika anda tidak mempunyai GPU Nvidia yang diperlukan untuk menjalankannya. Photoshop atau program penyuntingan foto lain boleh digunakan sebagai ganti Krita, tetapi kerana ia boleh digunakan secara percuma dan umum, saya memilih untuk menggunakannya untuk projek ini. Anda juga memerlukan alat dengar Desktop VR yang boleh dipasang terus ke komputer anda. Akhirnya, kamera berkualiti tinggi diperlukan. Kamera mudah alih memang pantas, tetapi saya menggunakan Nikon D7000 kerana Reality Capture secara automatik dapat mengesan bukaan kamera, yang membawa kepada model yang lebih berkualiti.

Langkah 1: Mengambil Foto

Ini adalah bahagian terpenting dalam projek ini kerana anda perlu memperbaikinya dalam satu tangkapan. Sekiranya tidak, anda perlu kembali ke lokasi dan mengambil semula semuanya.

Pertama, anda perlu mencari lokasi dan struktur yang sesuai. Strukturnya mestilah besar dan mudah dikenali. Ini bermaksud perisian fotogrametri dapat mengesan perbezaan antara struktur dan latar belakang.

Biasanya, mengambil gambar pada hari yang mendung adalah kaedah terbaik. Ini kerana hari yang cerah mempunyai kemungkinan untuk terlalu banyak mengekspos beberapa gambar dan membatalkan gambar yang lain. Ia juga boleh membuat bayangan yang tidak diingini. Model dengan bayangan sedikit atau tidak akan menjadikan pencahayaan lebih mudah di bahagian pengembangan tahap. Selain itu, perisian memerlukan keseimbangan warna agar tetap sama dengan setiap foto, kerana menggunakan warna untuk mengira ukuran objek. Namun, mengambil gambar pada hari yang mendung akan meningkatkan kualiti struktur. Awan di langit akan bertindak sebagai penyebar semula jadi untuk kamera. Ia akan menyebarkan cahaya dengan lebih sekata dan bermaksud model akan menjadi tepat semasa proses rendering.

Nasihat terakhir adalah mengambil gambar sebanyak mungkin. Sebilangan besar program akan memilih dan memilih foto mana yang akan digunakan untuk produk akhir. Dengan mengambil lebih banyak gambar, semuanya akan lebih tepat dan memberi ruang kepada program untuk bernafas. Saya mempunyai sekitar 150-300 gambar untuk setiap model.

Langkah 2: Bermula dengan Perisian Fotogrametri

Sekarang, kita akan mengimport foto ke dalam perisian. Perhatikan bahawa Reality Capture memerlukan kad grafik Nvidia. Anda tidak boleh melewati bahagian Align Images tanpanya.

Sekiranya anda mempunyai folder dengan semua gambar yang ingin anda gunakan, pilih pilihan Folder di sudut kiri atas. Ini akan membawa anda ke Pengurus Fail dan anda boleh memilih folder. Input akan membolehkan anda memilih foto individu dengan Pengurus Fail.

Seterusnya, kita akan memulakan proses membina model. Di bahagian atas skrin, di bawah Aliran Kerja, terdapat bahagian Proses. Kami mahu menekan butang Mula yang lebih besar. Ini akan mula menyelaraskan gambar. Foto keempat menunjukkan secara ringkas apa yang berlaku semasa proses ini. Ia akan mengenali mata kiri rusa dan membandingkan jaraknya dengan foto lain. Ia akan terus membandingkan foto yang berbeza sehingga dapat melalui semua kemungkinan kombinasi. Langkah ini selesai jika anda dapat melihat titik-titik kecil yang menyerupai struktur.

Langkah 3: Kira dan Permudahkan

Langkah seterusnya adalah mengira model. Untuk melakukan ini, kita klik pada Kira Model di bahagian Proses. Ini akan secara langsung menerjemahkan apa sahaja yang terdapat dalam foto ke dalam bentuk 3D. Hasilnya hampir sama dengan model yang kita mahukan, tetapi terdapat tiga masalah dengan versi model ini. Pertama, terdapat lubang pada model yang tidak terdapat dalam struktur kehidupan sebenar. Kedua, permukaannya terlalu bergelombang. Oleh kerana program ini menghitung pengiraannya, program ini akan menjadikan permukaan licin tidak rata. Ketiga, terlalu banyak segi tiga. Setiap model dalam Reality Capture dibuat dengan segitiga kecil. Setiap segitiga mewakili permukaan kecil model. Kami mahukan segitiga sekecil mungkin untuk mengoptimumkan model. Sekiranya terdapat terlalu banyak segitiga, ia boleh menyebabkan beberapa masalah prestasi.

Masalah-masalah ini dapat diselesaikan dengan alat Permudahkan. Semua model akan mempunyai 3, 000, 000 segitiga setelah peringkat Kira Model, dan kita boleh memilih untuk menjadikan angka itu lebih tinggi atau lebih rendah. Untuk semua model seperti yang terdapat dalam projek ini, saya menurunkan kiraan segitiga menjadi 1, 000, 000. Hasilnya dapat dilihat pada gambar kedua, di mana semua permukaan bergelombang lebih halus dan terdapat lubang yang lebih sedikit. Selain itu, dengan segitiga yang lebih sedikit untuk dirender, prestasi akan lebih baik ketika kita memasuki VR.

Langkah 4: Warna dan Tekstur

Kini model akan memerlukan warna dan tekstur untuk menjadikannya lebih nyata dalam kehidupan. Kedua-dua bahagian ini serupa dalam apa yang mereka capai tetapi berbeza dalam cara kerjanya. Menggunakan Warna, yang terdapat di bahagian Proses, program akan diwarnai dalam model. Alat ini akan mengambil gambar yang digunakan untuk membuat model dan membungkus gambar anda di pelbagai permukaan model anda. Tekstur, sebaliknya, akan berwarna pada bahagian model yang dipermudahkan. Melihat gambar pertama, jelas terlihat bagaimana program membungkus gambar di sekitar model, tetapi pada gambar kedua setelah proses Tekstur, sisi tajam gambar kini dilicinkan.

Langkah 5: Mengeksport dan SteamVR

Dalam Reality Capture, kami akan memindahkan model ke SteamVR. Di bahagian atas skrin, di bawah Eksport, pilih Mesh, yang terletak di sebelah bahagian Proses. Anda harus melihat pop timbul ini yang membolehkan anda mengubah tetapan dan parameter model. Sebaiknya tetapkan semua tetapan ke lalai, kecuali menukar format tekstur JPEG. Program ini sekarang akan mengeksport fail dalam format OBJ, yang merupakan file mesh, dan JPEG, yang merupakan file tekstur untuk model tersebut. Untuk tujuan rujukan, JPEG akan kelihatan seperti gambar kedua dalam langkah ini.

Sekarang, kita perlu mengimport model kita ke SteamVR. Pertama, buka SteamVR, kemudian arahkan ke Buat / Ubah Suatu Lingkungan, yang berada di bawah tab Bengkel. Alat Bengkel SteamVR kini akan dibuka. Pilih Buat Addon Kosong dan klik pada Launch Tools.

Penyemak Imbas Aset kini akan dibuka dengan pelbagai bahan dan model yang sudah disertakan. Di kiri atas, terdapat ikon dengan simbol Hammer. Ini adalah editor SteamVR Hammer terbina dalam, yang memberi anda keupayaan untuk membuat peta. Peta adalah persekitaran yang akan dihuni oleh pengguna VR semasa permainan.

Langkah 6: Membuat Peta SteamVR Anda

Dengan editor Hammer dibuka di SteamVR, kita sekarang dapat membuat kubus. Kami ingin membuat sebuah kubus untuk mula membina persekitaran. Program ini membolehkan anda menukar ukuran kubus sebelum dilekatkan di tempatnya. Buat masa ini, hanya permukaan luar kubus yang kelihatan. Dengan menekan CTRL + F permukaan akan terbalik dan akan mengubah kubus menjadi bilik. Selain itu, anda perlu menambahkan objek yang disebut info_player_start, yang akan memberitahu Hammer di mana untuk menelurkan pengguna semasa memuatkan program.

Untuk menjadikan ruangan lebih realistik, kita juga perlu menambahkan tekstur. Kami dapat menambahkan beberapa gambar tersuai melalui Editor Bahan. Ini adalah ikon bulat di sebelah kanan butang Hammer pada Penyemak Imbas Aset. Memilih Editor Bahan akan membawa anda ke tetingkap baru yang membolehkan anda mengimport gambar yang akan dijadikan tekstur. Anda boleh menggunakan gambar anda sendiri atau mendapatkan gambar dari laman web tekstur stok seperti textures.com. Klik Butang Fail di bawah Pilihan Warna untuk memilih gambar yang ingin anda gunakan. Setelah memilih gambar anda, pastikan anda menyimpannya dengan menekan ikon Floppy Disk di kiri atas tetingkap Editor Bahan. Sekarang, tutup Penyunting Bahan dan kembali ke Penyemak Imbas Aset. Di sini, cari fail tekstur yang ingin anda gunakan dan kemudian klik dan seret ke dalam Hammer Editor. Di tetingkap ini, anda boleh mengaplikasikan tekstur anda pada pelbagai bentuk kubus.

Kita juga perlu menambahkan pencahayaan ke bilik. Untuk melakukan ini, kami meletakkan light_omni atau light_spot di peta kami, yang terdapat di Bahagian Entiti di sebelah kiri paparan peta. Light_omni akan menyinari cahaya ke semua arah sementara light_spot menyinari cahaya ke satu arah tertentu. Untuk projek ini, saya menggunakan sekurang-kurangnya dua titik cahaya untuk setiap objek dan satu cahaya_omni untuk membantu menerangi ruangan.

Langkah 7: Menambah Objek Kami ke Peta

Sekarang, sudah tiba masanya untuk mula memindahkan objek ke peta kami. Di Penyemak Imbas Aset, di sebelah kanan ikon Penyunting Bahan adalah Editor Model yang menyerupai ikon humanoid. Setelah membuka Model Editor, anda akan mendapat pilihan untuk menyemak imbas atau membuat VDML baru, yang merupakan versi Hammer Editor dari fail OBJ. Pilih pilihan untuk membuat VDML baru dan ia memerlukan anda membuat folder. Folder ini akan menyimpan fail VDML. Pastikan ia berada di folder Add On dan tekan terus.

Ini akan membawa anda ke layar dengan model anda, yang mempunyai tekstur putih. Untuk menambahkan tekstur untuk model ini, pilih Bahan dari bar alat di sebelah kiri. Ini akan membawa anda ke Editor Bahan dan anda boleh memilih JPEG dari eksport Tangkapan Realiti. Pastikan menyimpan tekstur dan model dengan mengklik ikon Floppy Disk. Kembali ke Hammer Editor.

Di Hammer, anda boleh menyeret dan melepaskan model dari Penyemak Imbas Aset ke peta. Modelnya kemungkinan kecil dan anda perlu mengubah saiznya. Dengan menekan T pada papan kekunci anda, anda boleh mengubah kedudukannya di peta. Menekan E akan mengubah bahagian model sementara R akan memutarkannya.

Langkah 8: Membuat Label Objek

Label Objek yang dilihat di sebelah setiap mercu tanda memberikan konteks dan sejarah untuk meningkatkan pengalaman pengguna. Untuk Label Objek saya, saya hanya mengambil gambar plak maklumat di setiap lokasi untuk merakam maklumat penting yang ingin saya gunakan dengan mudah di kemudian hari. Saya kemudian menggunakan Krita, program perisian penyuntingan foto percuma, untuk membuat Label Objek termasuk gambar dan teks tambahan.

Untuk bahagian Miner Park dan Anchor, tidak ada masalah untuk menambahkan label sebagai tekstur. Cukup tambahkannya ke Penyemak Imbas Aset anda melalui Penyunting Bahan dan tambahkan gambar ke blok yang boleh dibuat di Editor Hammer. Masalah timbul ketika saya membuat papan untuk seberang bilik. Semua teks dan gambar itu mundur dan tidak ada cara yang jelas untuk membalikkan tekstur dalam editor. Untuk memperbaikinya, saya kembali ke Krita dan membalikkan papan untuk rusa dan beruang dan syukurlah ini menyelesaikan masalah.

Di samping itu, saya menambahkan pelbagai gambar Wilkes-Barre, kerana saya ingin membuat bilik yang mempunyai nuansa dan suasana sebuah muzium butik.

Langkah 9: Kesimpulannya

Kesimpulannya, kedua-dua Realiti Maya dan Fotogrametri mempunyai kekuatan untuk meningkatkan banyak industri, termasuk tetapi tidak terhad kepada sukan, harta tanah dan forensik. Hari ini, saya menggunakan fotogrametri untuk menyimpan beberapa bahagian kecil namun penting dalam sejarah tempatan kampung halaman saya. VR dan Photogrammetry keduanya masih merupakan teknologi eksperimen yang kadang-kadang boleh mencabar anda. Walaupun terdapat beberapa kekurangan, jumlah penggunaan inovatif untuk kedua-dua proses itu menarik dan tidak terbatas. Saya mengucapkan terima kasih kerana membaca mengenai projek ini dan saya harap ini memberi inspirasi kepada anda untuk mencuba sesuatu yang baru dengan Realiti Maya.

Pautan muat turun untuk projek boleh didapati di sini.