Drone Autonomi Dengan Kamera Inframerah untuk Membantu Responden Pertama: 7 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:09

Menurut laporan Pertubuhan Kesihatan Sedunia, setiap tahun bencana alam membunuh sekitar 90, 000 orang dan mempengaruhi hampir 160 juta orang di seluruh dunia. Bencana alam termasuk gempa bumi, tsunami, letusan gunung berapi, tanah runtuh, taufan, banjir, kebakaran, gelombang panas dan kemarau. Masa adalah hakikat kerana peluang untuk bertahan hidup semakin berkurang dengan setiap minit yang berlalu. Responden pertama boleh menghadapi masalah dalam mencari mangsa yang terselamat di rumah yang rosak dan membahayakan nyawa mereka ketika mencarinya. Memiliki sistem yang dapat mencari orang dari jauh akan meningkatkan kecepatan di mana responden pertama dapat mengusir mereka dari bangunan. Setelah meneliti sistem lain, saya mendapati bahawa beberapa syarikat telah membuat robot yang berbasis darat atau telah membuat drone yang dapat mengesan orang tetapi hanya berfungsi di luar bangunan. Kombinasi kamera kedalaman bersama dengan kamera inframerah khas dapat memungkinkan pengesanan tepat di dalam ruangan dan pengesanan perubahan suhu yang mewakili kebakaran, orang, dan haiwan. Dengan menerapkan sensor dengan algoritma khusus pada kenderaan udara tanpa pemandu (UAV), adalah mungkin untuk memeriksa rumah secara automatik dan mengenal pasti lokasi orang dan haiwan untuk menyelamatkannya secepat mungkin.

Tolong pilih saya dalam peraduan Optik!

Langkah 1: Keperluan Reka Bentuk

Setelah meneliti teknologi yang ada, saya membincangkan kemungkinan penyelesaian dengan pakar penglihatan mesin dan responden pertama untuk mencari kaedah terbaik untuk mengesan mangsa yang selamat di kawasan berbahaya. Maklumat di bawah menyenaraikan ciri terpenting yang diperlukan dan elemen reka bentuk untuk sistem.

• Pemprosesan Penglihatan - Sistem perlu memberikan kelajuan pemprosesan yang cepat untuk pertukaran maklumat antara sensor dan respons Artificial Intelligence (AI). Sebagai contoh, sistem perlu dapat mengesan dinding dan rintangan untuk menghindarinya di samping mencari orang yang berada dalam bahaya.
• Autonomous - Sistem perlu dapat berfungsi tanpa input daripada pengguna atau pengendali. Kakitangan yang mempunyai pengalaman minimum dengan teknologi UAV harus dapat menekan satu atau beberapa butang agar sistem mula mengimbas sendiri.
• Julat - Julat adalah jarak antara sistem dan semua objek lain yang berdekatan. Sistem ini mesti dapat mengesan lorong dan pintu masuk dari jarak sekurang-kurangnya 5 meter. Julat minimum yang ideal ialah 0.25 m sehingga objek yang dekat dapat dikesan. Semakin besar julat pengesanan, semakin pendek masa pengesanan bagi mangsa yang selamat.
• Ketepatan Navigasi dan Pengesanan - Sistem seharusnya dapat menemukan semua pintu masuk dengan tepat dan tidak memukul objek sambil juga mengesan kemunculan objek secara tiba-tiba. Sistem perlu dapat mencari perbezaan antara manusia dan benda bukan hidup melalui pelbagai sensor.
• Tempoh Operasi - Sistem ini boleh bertahan selama 10 minit atau lebih lama bergantung pada berapa banyak ruangan yang diperlukan untuk mengimbas.
• Kelajuan - Ia dapat mengimbas seluruh bangunan dalam masa kurang dari 10 minit.

Langkah 2: Pemilihan Peralatan: Kaedah Mobiliti

Quadcopter dipilih daripada mobil kawalan jauh kerana walaupun quadcopter rapuh, lebih mudah dikendalikan dan berubah tinggi untuk mengelakkan halangan. Quadcopter dapat menahan semua sensor dan menstabilkannya sehingga lebih tepat semasa bergerak ke ruangan yang berbeza. Baling-baling terbuat dari serat karbon yang tahan panas. Sensor langsung menjauh dari dinding untuk mengelakkan kemalangan.

• Kenderaan Darat Kawalan Jauh

  • Kelebihan - Boleh bergerak dengan cepat tanpa jatuh dan tidak dipengaruhi oleh suhu
  • Kontra - Kenderaan akan meletakkan sensor rendah ke tanah yang meliputi lebih sedikit kawasan pada satu masa dan dapat disekat oleh halangan

• Quadcopter

  • Kelebihan - Mengangkat sensor ke udara untuk mendapatkan 360 pemandangan sekeliling
  • Kekurangan - Sekiranya ia jatuh ke dinding, ia boleh jatuh dan tidak pulih

Langkah 3: Pemilihan Peralatan: Pengawal mikro

Dua syarat utama untuk mikrokontroler adalah ukuran kecil untuk mengurangkan muatan pada quadcopter dan kecepatan memproses input maklumat dengan cepat. Kombinasi Rock64 dan DJI Naza adalah gabungan mikrokontroler yang sempurna kerana Rock64 mempunyai kekuatan pemprosesan yang mencukupi untuk mengesan orang dengan cepat dan menjaga quadcopter daripada tidak terkena tembok dan halangan. DJI Naza memujinya dengan baik dengan melakukan semua penstabilan dan kawalan motor yang tidak dapat dilakukan oleh Rock64. Pengawal mikro berkomunikasi melalui port bersiri dan membenarkan kawalan pengguna jika perlu. Raspberry Pi pasti menjadi alternatif yang baik tetapi kerana Rock64 mempunyai pemproses yang lebih baik dan sambungan yang lebih baik ke sensor yang disenaraikan di jadual seterusnya, Pi tidak dipilih. Intel Edison dan Pixhawk tidak dipilih kerana kurangnya sokongan dan sambungan.

• Pai raspberi

  • Kelebihan - Boleh mengesan dinding dan objek tetap
  • Kekurangan - Berjuang untuk mengikuti data dari semua sensor sehingga tidak dapat melihat pintu masuk dengan cukup cepat. Tidak dapat mengeluarkan isyarat motor dan tidak mempunyai sensor penstabil untuk quadcopter

• Rock64

  • Kelebihan - Mampu mengesan dinding dan pintu masuk dengan sedikit kependaman.
  • Kekurangan - Juga dapat memandu sistem di seluruh rumah tanpa mengalami apa-apa menggunakan semua sensor. Tidak dapat menghantar isyarat dengan cepat untuk mengawal kelajuan motor dan tidak mempunyai sensor penstabil untuk quadcopter

• Intel Edison

  • Kelebihan - Mampu mengesan dinding dan pintu masuk dengan sedikit ketinggalan
  • Kekurangan - Teknologi lama, banyak sensor memerlukan perpustakaan baru yang sangat memakan masa untuk dibuat
• DJI Naza
  • Kelebihan - Mempunyai giroskop, akselerometer, dan magnetometer bersepadu, untuk membolehkan quadcopter stabil di udara dengan penyesuaian mikro terhadap kelajuan motor
  • Kekurangan - Tidak dapat melakukan apa-apa pemprosesan penglihatan

• Pixhawk

  • Kelebihan - Kompak dan serasi dengan sensor yang digunakan dalam projek dengan menggunakan Output Tujuan Umum (GPIO)
  • Kekurangan - Tidak dapat melakukan apa-apa proses penglihatan

Langkah 4: Pemilihan Peralatan: Sensor

Gabungan beberapa sensor digunakan untuk mendapatkan semua maklumat yang diperlukan untuk mencari orang di kawasan berbahaya. Dua sensor utama yang dipilih termasuk kamera inframerah stereo di samping SOund Navigation And Ranging (SONAR). Setelah menjalani beberapa ujian, saya telah memutuskan untuk menggunakan kamera Realsense D435 kerana ia kecil dan dapat mengesan jarak sejauh 20 meter dengan tepat. Ia berjalan pada 90 bingkai sesaat yang memungkinkan banyak pengukuran diambil sebelum membuat keputusan tentang di mana objek berada dan arah mana yang akan diarahkan oleh quadcopter. Sensor SONAR diletakkan di bahagian atas dan bawah sistem untuk membolehkan quadcopter mengetahui seberapa tinggi atau rendah yang dibenarkan untuk pergi sebelum bersentuhan dengan permukaan. Terdapat juga satu yang menghadap ke depan untuk membolehkan sistem mengesan objek seperti kaca yang tidak dapat dikesan oleh sensor kamera inframerah stereo. Orang dan haiwan dikesan menggunakan algoritma pengenalan gerakan dan objek. Kamera FLIR akan dilaksanakan untuk membantu kamera inframerah stereo mengesan apa yang hidup dan apa yang tidak untuk meningkatkan kecekapan pengimbasan dalam keadaan buruk.

• Kinect V1

  • Kelebihan - Boleh mengesan objek 3D dengan mudah sejauh 6 meter
  • Kekurangan -Mempunyai hanya 1 sensor inframerah dan terlalu berat untuk quadcopter

• Realsense D435

  • Kelebihan - Mempunyai 2 kamera inframerah dan kamera Merah, Hijau, Biru, Kedalaman (RGB-D) untuk pengesanan objek 3D berketepatan tinggi sejauh 25 meter. Luasnya 6 cm memungkinkan untuk muat dengan mudah di quadcopter
  • Kekurangan - Boleh memanaskan badan dan mungkin memerlukan kipas penyejuk

• LIDAR

  • Kelebihan - Rasuk yang dapat mengesan lokasi sejauh 40 meter dari sudut pandangannya
  • Kekurangan - Panas di persekitaran boleh mempengaruhi ketepatan pengukuran

• SONAR

  • Kelebihan - Rasuk yang dapat menjejaki sejauh 15 m tetapi dapat mengesan objek lutsinar seperti kaca dan akrilik
  • Kekurangan - Hanya titik dalam satu pandangan tetapi dapat digerakkan oleh quadcopter untuk mengimbas kawasan

• Ultrasonik

  • Kelebihan - Mempunyai jarak hingga 3 m dan sangat murah
  • Kekurangan - Hanya titik dalam satu pandangan dan dapat berada jauh dari jarak jauh dengan mudah

• Kamera FLIR

  • Kelebihan - Mampu mengambil gambar mendalam melalui asap tanpa gangguan dan dapat mengesan orang yang hidup melalui tanda panas
  • Kekurangan - Sekiranya ada yang mengganggu sensor, pengiraan jarak dapat dikira dengan tidak betul

• Sensor PIR

  • Kelebihan - Mampu mengesan perubahan suhu
  • Kekurangan - Tidak dapat menentukan lokasi perbezaan suhu

Langkah 5: Pemilihan Peralatan: Perisian

Saya menggunakan Realsense SDK di samping Robot Operating System (ROS) untuk membuat penyatuan yang lancar antara semua sensor dengan mikrokontroler. SDK menyediakan aliran data titik titik yang stabil yang sangat sesuai untuk mengesan semua objek dan sempadan quadcopter. ROS membantu saya menghantar semua data sensor ke program yang saya buat yang menerapkan Artificial Intelligence. AI terdiri daripada algoritma pengesanan objek dan algoritma pengesanan gerakan yang membolehkan quadcopter mencari pergerakan di persekitarannya. Pengawal menggunakan Pulse Width Modulation (PWM) untuk mengawal kedudukan quadcopter.

• Freenect

  • Kelebihan - Mempunyai tahap akses yang lebih rendah untuk mengawal segalanya
  • Kekurangan - Hanya menyokong Kinect V1

• SDK Realsense

  • Kelebihan - Dapat membuat data titik titik dengan mudah dari aliran maklumat dari Realsense Camera
  • Kekurangan - Hanya menyokong kamera Realsense D435

• Pemacu FLIR Linux

  • Kelebihan - Boleh mengambil aliran data dari kamera FLIR
  • Kekurangan - Dokumentasi sangat terhad

• Sistem Operasi Robot (ROS)

  • Kelebihan - Sistem operasi sesuai untuk memprogram fungsi kamera
  • Kekurangan - Perlu dipasang pada kad SD pantas untuk pengumpulan data yang cekap

Langkah 6: Pembangunan Sistem

"Mata" peranti ini adalah sensor inframerah stereo Realsense D435 yang merupakan sensor luar rak terutama digunakan untuk aplikasi robot seperti pemetaan 3D (Gambar 1). Apabila sensor ini dipasang pada quadcopter, kamera inframerah dapat memandu dan membiarkan quadcopter bergerak secara autonomi. Data yang dihasilkan oleh kamera disebut cloud point yang terdiri dari serangkaian titik di ruang yang memiliki informasi tentang posisi objek tertentu dalam penglihatan kamera. Awan titik ini dapat ditukar menjadi peta kedalaman yang menunjukkan warna dengan kedalaman yang berbeza (Gambar 2). Merah lebih jauh, sementara biru lebih dekat meter.

Untuk memastikan sistem ini lancar, digunakan sistem operasi sumber terbuka yang disebut ROS, yang biasanya digunakan pada robot. Ini memungkinkan untuk melakukan kawalan peranti tahap rendah, dan untuk mengakses semua sensor dan menyusun data yang akan digunakan oleh program lain. ROS akan berkomunikasi dengan Realsense SDK yang membolehkan menghidupkan dan mematikan kamera yang berbeza untuk mengesan sejauh mana objek berada dari sistem. Hubungan antara keduanya membolehkan saya mengakses aliran data dari kamera yang membuat awan titik. Maklumat titik titik dapat menentukan di mana batas dan objek berada dalam jarak 30 meter dan ketepatan 2cm. Sensor lain seperti sensor SONAR dan sensor tertanam dalam pengawal DJI Naza memungkinkan untuk meletakkan quadcopter yang lebih tepat. Perisian saya menggunakan algoritma AI untuk mengakses awan titik dan melalui penyetempatan, membuat peta seluruh ruang di sekitar peranti. Setelah sistem dilancarkan dan mula mengimbas, ia akan melalui lorong-lorong dan mencari pintu masuk ke bilik lain di mana ia kemudian dapat menyapu ruangan yang khusus mencari orang. Sistem mengulangi proses ini sehingga semua bilik telah diimbas. Pada masa ini, quadcopter dapat terbang selama sekitar 10 minit yang cukup untuk melakukan sapuan penuh tetapi dapat diperbaiki dengan susunan bateri yang berbeza. Responden pertama akan mendapat pemberitahuan apabila orang dilihat sehingga mereka dapat menumpukan usaha mereka pada bangunan terpilih.

Langkah 7: Perbincangan dan Kesimpulan

Setelah menjalani banyak percubaan, saya telah membuat prototaip yang dapat memenuhi syarat yang disenaraikan dalam Jadual 1. Dengan menggunakan kamera inframerah stereo Realsense D435 dengan Realsense SDK, peta kedalaman resolusi tinggi dari depan quadcopter telah dibuat. Pada mulanya saya menghadapi beberapa masalah dengan kamera inframerah yang tidak dapat mengesan objek tertentu seperti kaca. Dengan menambahkan sensor SONAR, saya dapat mengatasi masalah ini. Kombinasi Rock64 dan DJI Naza berjaya kerana sistem dapat menstabilkan quadcopter sambil dapat mengesan objek dan dinding melalui algoritma penglihatan komputer yang dibuat khas menggunakan OpenCV. Walaupun sistem saat ini berfungsi dan memenuhi syarat, ia dapat memanfaatkan beberapa prototaip masa depan.

Sistem ini dapat diperbaiki dengan menggunakan kamera berkualiti tinggi untuk dapat mengesan orang dengan lebih tepat. Beberapa kamera FLIR yang lebih mahal mempunyai keupayaan untuk mengesan tanda tangan panas yang dapat memungkinkan pengesanan yang lebih tepat. Sistem ini juga dapat berfungsi di berbagai lingkungan seperti ruangan yang berdebu dan dipenuhi asap. Dengan teknologi baru, dan tahan api, sistem ini dapat dikirim ke rumah-rumah yang terbakar dan dengan cepat mengesan di mana orang-orang berada sehingga responden pertama dapat menyelamatkan orang-orang yang terselamat dari bahaya.

Terima kasih untuk membaca! Jangan lupa untuk memilih saya dalam peraduan Optik!