Menggunakan Penglihatan Sonar, Lidar, dan Komputer pada Mikrokontroler untuk Membantu Orang-orang yang Gangguan Penglihatan: 16 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:09

Saya ingin mencipta ‘tongkat’ pintar yang dapat membantu orang yang mengalami masalah penglihatan lebih daripada penyelesaian yang ada. Tongkat akan dapat memberitahu pengguna objek di depan atau di sisi dengan membuat bunyi di fon kepala jenis bunyi sekeliling. Tongkat itu juga akan mempunyai kamera kecil dan LIDAR (Light Detection and Ranging) sehingga dapat mengenali objek dan orang di dalam bilik dan memberitahu pengguna dengan menggunakan fon kepala. Atas sebab keselamatan, fon kepala tidak akan menyekat semua kebisingan kerana akan ada mikrofon yang dapat menyaring semua bunyi yang tidak diperlukan dan membuat hon kereta dan orang bercakap. Terakhir sistem akan mempunyai GPS sehingga dapat memberi petunjuk dan menunjukkan kepada pengguna ke mana harus pergi.

Tolong pilih saya dalam pertandingan Mikrokontroler dan Kecergasan Luaran!

Langkah 1: Gambaran keseluruhan Projek

Menurut World Access for the Blind, pergerakan fizikal adalah salah satu cabaran terbesar bagi orang buta. Perjalanan atau berjalan-jalan di jalan yang sesak mungkin sangat sukar. Secara tradisinya, satu-satunya penyelesaian adalah menggunakan "tongkat putih" yang biasa digunakan yang terutama digunakan untuk mengimbas persekitaran dengan memukul rintangan di dekat pengguna. Penyelesaian yang lebih baik adalah alat yang dapat menggantikan pembantu penglihatan dengan memberikan maklumat mengenai lokasi rintangan sehingga orang buta dapat keluar di persekitaran yang tidak diketahui dan merasa selamat. Semasa projek ini, dibangunkan sebuah peranti kecil yang dikendalikan dengan bateri yang memenuhi kriteria ini. Peranti dapat mengesan ukuran dan lokasi objek dengan menggunakan sensor yang mengukur kedudukan objek dalam hubungannya dengan pengguna, menyampaikan maklumat tersebut ke mikrokontroler, dan kemudian mengubahnya menjadi audio untuk memberikan informasi kepada pengguna. Peranti ini dibina menggunakan LIDAR komersial (Light Detection and Ranging), SONAR (Sound Navigation and Ranging), dan teknologi penglihatan komputer yang dihubungkan dengan mikrokontroler dan diprogramkan untuk memberikan output maklumat yang dapat didengar dengan menggunakan earbud atau fon kepala. Teknologi pengesanan disisipkan dalam "tongkat putih" untuk menunjukkan kepada orang lain keadaan pengguna dan memberikan keselamatan tambahan.

Langkah 2: Kajian Latar Belakang

Pada tahun 2017, Pertubuhan Kesihatan Sedunia melaporkan bahawa terdapat 285 juta orang yang cacat penglihatan di seluruh dunia di mana 39 juta orang benar-benar buta. Sebilangan besar orang tidak memikirkan masalah yang dihadapi oleh orang yang cacat penglihatan setiap hari. Menurut World Access for the Blind, pergerakan fizikal adalah salah satu cabaran terbesar bagi orang buta. Perjalanan atau berjalan-jalan di jalan yang sesak mungkin sangat sukar. Oleh kerana itu, banyak orang yang cacat penglihatan lebih gemar membawa rakan atau ahli keluarga yang kelihatan untuk menavigasi persekitaran baru. Secara tradisinya, satu-satunya penyelesaian adalah menggunakan "tongkat putih" yang biasa digunakan yang terutama digunakan untuk mengimbas persekitaran dengan memukul rintangan di dekat pengguna. Penyelesaian yang lebih baik adalah alat yang dapat menggantikan pembantu penglihatan dengan memberikan maklumat mengenai lokasi rintangan sehingga orang buta dapat keluar di persekitaran yang tidak diketahui dan merasa selamat. NavCog, kolaborasi antara IBM dan Carnegie Mellon University, telah berusaha untuk menyelesaikan masalah dengan membuat sistem yang menggunakan suar Bluetooth dan telefon pintar untuk membantu membimbing. Walau bagaimanapun, penyelesaiannya tidak membebankan dan terbukti sangat mahal untuk pelaksanaan skala besar. Penyelesaian saya mengatasi ini dengan menghapuskan keperluan peranti luaran dan menggunakan suara untuk membimbing pengguna sepanjang hari (Gambar 3). Kelebihan menggunakan teknologi ini dalam "tongkat putih" adalah bahawa ia memberi isyarat kepada seluruh dunia mengenai keadaan pengguna yang menyebabkan perubahan tingkah laku orang di sekitarnya.

Langkah 3: Keperluan Reka Bentuk

Setelah meneliti teknologi yang ada, saya membincangkan kemungkinan penyelesaian dengan profesional penglihatan mengenai pendekatan terbaik untuk membantu mereka yang cacat penglihatan menavigasi persekitaran mereka. Jadual di bawah menyenaraikan ciri terpenting yang diperlukan agar seseorang beralih ke peranti saya.

Ciri - Penerangan:

• Pengiraan - Sistem perlu menyediakan proses yang pantas untuk pertukaran maklumat antara pengguna dan sensor. Sebagai contoh, sistem perlu dapat memberitahu pengguna tentang halangan di hadapan yang jaraknya sekurang-kurangnya 2m.
• Liputan - Sistem perlu menyediakan perkhidmatannya di dalam dan di luar rumah untuk meningkatkan kualiti kehidupan orang cacat penglihatan.
• Waktu - Sistem harus berfungsi dengan baik pada waktu siang seperti pada waktu malam.
• Range - Julat adalah jarak antara pengguna dan objek yang akan dikesan oleh sistem. Julat minimum yang ideal ialah 0.5 m, sedangkan jarak maksimum harus lebih dari 5 m. Jarak lebih jauh akan lebih baik tetapi lebih mencabar untuk dikira.
• Jenis Objek - Sistem harus mengesan kemunculan objek secara tiba-tiba. Sistem harus dapat mengetahui perbezaan antara objek bergerak dan objek statik.

Langkah 4: Reka Bentuk Kejuruteraan dan Pemilihan Peralatan

Setelah melihat banyak komponen yang berbeza, saya memutuskan bahagian yang dipilih dari pelbagai kategori di bawah.

Harga bahagian terpilih:

• Zungle Panther: $ 149.99
• LiDAR Lite V3: $ 149.99
• LV-MaxSonar-EZ1: $ 29.95
• Sensor Ultrasonik - HC-SR04: $ 3,95
• Raspberry Pi 3: $ 39.95
• Arduino: $ 24.95
• Kinect: $ 32.44
• Floureon 11.1v 3s 1500mAh: $ 19.99
• LM2596HV: $ 9.64

Langkah 5: Pemilihan Peralatan: Kaedah Interaksi

Saya memutuskan untuk menggunakan kawalan suara sebagai kaedah untuk berinteraksi dengan peranti kerana mempunyai banyak butang pada tongkat boleh menjadi masalah bagi orang yang cacat penglihatan, terutama jika beberapa fungsi memerlukan kombinasi butang. Dengan kawalan suara, pengguna dapat menggunakan perintah yang telah ditetapkan untuk berkomunikasi dengan tongkat yang mengurangkan kemungkinan kesalahan.

Peranti: Kelebihan --- Kekurangan:

• Butang: Tidak ada kesalahan perintah semasa butang kanan ditekan --- Mungkin sukar untuk memastikan butang yang betul ditekan
• Kawalan suara: Mudah kerana pengguna dapat menggunakan perintah yang telah ditetapkan --- Pengucapan yang tidak betul dapat menyebabkan kesalahan

Langkah 6: Pemilihan Peralatan: Pengawal mikro

Peranti ini menggunakan Raspberry Pi kerana harganya yang rendah dan daya pemprosesan yang mencukupi untuk mengira peta kedalaman. Intel Joule akan menjadi pilihan yang disukai tetapi harganya akan menggandakan kos sistem yang tidak sesuai untuk peranti ini yang dikembangkan untuk memberikan pilihan kos yang lebih rendah untuk pengguna. Arduino digunakan dalam sistem kerana dapat dengan mudah mendapatkan maklumat dari sensor. BeagleBone dan Intel Edison tidak digunakan kerana nisbah harga dan prestasi rendah yang buruk untuk sistem kos rendah ini.

Pengawal mikro: Kelebihan --- Kekurangan:

• Raspberry Pi: Mempunyai daya pemprosesan yang cukup untuk mencari halangan dan telah menyatukan WiFi / Bluetooth --- Tidak banyak pilihan untuk menerima data dari sensor
• Arduino: Menerima data dari sensor kecil dengan mudah. iaitu. LIDAR, Ultrasonik, SONAR, dll --- Tidak cukup daya pemprosesan untuk mencari halangan
• Intel Edison: Dapat memproses halangan dengan cepat dengan pemproses yang pantas --- Memerlukan pemaju tambahan untuk berfungsi untuk sistem
• Intel Joule: Mempunyai dua kali ganda kelajuan pemprosesan mana-mana mikrokontroler di pasaran pengguna sehingga kini --- Kos yang sangat tinggi untuk sistem ini dan sukar untuk berinteraksi dengan GPIO untuk interaksi sensor
• BeagleBone Black: Ringkas dan serasi dengan sensor yang digunakan dalam projek dengan menggunakan Output Tujuan Umum (GPIO) --- Tidak cukup daya pemprosesan untuk mencari objek dengan berkesan

Langkah 7: Pemilihan Peralatan: Sensor

Gabungan beberapa sensor digunakan untuk mendapatkan ketepatan lokasi yang tinggi. Kinect adalah sensor utama kerana jumlah kawasan yang dapat mengimbas halangan dalam satu masa. LIDAR yang bermaksud LIght Detection and Ranging, adalah kaedah penginderaan jauh yang menggunakan cahaya dalam bentuk laser berdenyut untuk mengukur jarak dari tempat sensor menuju objek dengan cepat; sensor itu digunakan kerana dapat mengesan jarak sejauh 40 meter (m) dan kerana dapat mengimbas pada pelbagai sudut, ia dapat mengesan apakah ada langkah yang naik atau turun. Sensor SOund Navigation And Ranging (SONAR) dan Ultrasonik digunakan sebagai penjejakan sandaran sekiranya Kinect kehilangan tiang atau bongkahan di tanah yang akan membahayakan pengguna. Sensor Kebebasan 9 Darjah digunakan untuk mengesan arah apa yang dihadapi pengguna sehingga peranti dapat menyimpan maklumat untuk mendapatkan ketepatan yang lebih tinggi pada waktu berikutnya orang itu berjalan di tempat yang sama.

Sensor: Kelebihan --- Kekurangan:

• Kinect V1: Dapat mengesan objek 3D dengan --- Hanya satu kamera untuk mengesan persekitaran
• Kinect V2: Mempunyai 3 kamera inframerah dan kamera Merah, Hijau, Biru, Kedalaman (RGB-D) untuk pengesanan objek 3D berketepatan tinggi --- Boleh memanaskan dan mungkin memerlukan kipas penyejuk, dan lebih besar daripada sensor lain
• LIDAR: Rasuk yang dapat mengesan lokasi sejauh 40 m --- Perlu diposisikan ke arah objek dan hanya dapat melihat ke arah itu
• SONAR: Rasuk yang dapat melintasi jarak 5 m tetapi dalam jarak jauh --- Objek kecil seperti bulu dapat memicu sensor
• Ultrasonik: Mempunyai jarak hingga 3 m dan sangat murah --- Jarak kadang-kadang tidak tepat
• 9 Darjah Sensor Kebebasan: Baik untuk mengarahkan orientasi dan kelajuan pengguna --- Sekiranya ada yang mengganggu sensor, pengiraan jarak dapat dikira dengan tidak betul

Langkah 8: Pemilihan Peralatan: Perisian

Perisian yang dipilih untuk beberapa prototaip pertama yang dibina dengan sensor Kinect V1 adalah Freenect tetapi tidak begitu tepat. Ketika beralih ke Kinect V2 dan Freenect2, hasil pelacakan meningkat dengan ketara kerana pelacakan yang lebih baik kerana V2 memiliki kamera HD dan 3 kamera inframerah berbanding kamera tunggal pada Kinect V1. Semasa saya menggunakan OpenNi2 dengan Kinect V1, fungsinya terhad dan saya tidak dapat mengawal beberapa fungsi peranti.

Perisian: Kelebihan --- Kekurangan:

• Freenect: Mempunyai tahap kawalan yang lebih rendah untuk mengawal segalanya --- Hanya menyokong Kinect V1
• OpenNi2: Dapat membuat data titik titik dengan mudah dari aliran maklumat dari Kinect --- Hanya menyokong Kinect V1 dan tidak mempunyai sokongan untuk kawalan tahap rendah
• Freenect2: Mempunyai tahap kawalan yang lebih rendah untuk bar sensor --- Hanya berfungsi untuk Kinect V2
• ROS: Sistem operasi yang sesuai untuk pengaturcaraan fungsi kamera --- Perlu dipasang pada kad SD pantas supaya perisian berfungsi

Langkah 9: Pemilihan Peralatan: Bahagian Lain

Baterai Lithium Ion dipilih kerana ringan, mempunyai kapasiti daya tinggi, dan boleh dicas semula. Varian 18650 bateri ion lithium mempunyai bentuk silinder dan sangat sesuai dengan prototaip tebu. Tongkat prototaip pertama diperbuat daripada paip PVC kerana berongga dan mengurangkan berat tebu.

Langkah 10: Pembangunan Sistem: Membuat Bahagian Perkakasan 1

Mula-mula kita mesti membongkar Kinect untuk menjadikannya lebih ringan dan boleh dipasang di dalam tongkat. Saya mulakan dengan mengeluarkan semua selongsong luar dari Kinect kerana plastik yang digunakan beratnya BANYAK. Kemudian saya terpaksa memotong kabel supaya pangkalnya dapat dilepaskan. Saya mengambil wayar dari penyambung yang ditunjukkan dalam gambar dan menyoldernya ke kabel usb dengan wayar isyarat dan dua sambungan lain adalah untuk kuasa input 12V. Oleh kerana saya mahukan kipas di dalam tongkat berjalan dengan kekuatan penuh untuk menyejukkan semua komponen lain, saya memotong penyambung dari kipas dari Kinect dan memasang kabel 5V dari Raspberry Pi. Saya juga membuat penyesuai kecil untuk wayar LiDAR sehingga dapat menyambung terus ke Raspberry Pi tanpa sistem lain di antaranya.

Saya secara tidak sengaja memateri wayar putih ke yang hitam sehingga tidak melihat gambar untuk gambar rajah pendawaian

Langkah 11: Pembangunan Sistem: Membuat Perkakasan Bahagian 2

Saya membuat bahagian pengatur untuk memberi kuasa kepada semua peranti yang memerlukan 5V seperti Raspberry Pi. Saya menyetel pengatur dengan meletakkan meter pada output dan menyesuaikan perintang sehingga pengatur akan memberikan 5.05V. Saya meletakkannya sedikit lebih tinggi daripada 5V kerana lama-kelamaan, voltan bateri turun dan sedikit mempengaruhi voltan keluaran. Saya juga membuat penyesuai yang membolehkan saya menghidupkan sehingga 5 peranti yang memerlukan 12V dari bateri.

Langkah 12: Pembangunan Sistem: Memprogram Sistem Bahagian 1

Salah satu bahagian yang paling mencabar dari sistem ini adalah pengaturcaraan. Ketika saya pertama kali mendapat Kinect untuk bermain-main dengannya, saya memasang program bernama RTAB Map yang mengambil aliran data dari Kinect dan mengubahnya menjadi titik titik. Dengan titik titik, ia membuat gambar 3D yang dapat diputar sehingga melihat kedalaman di mana semua objek berada. Setelah bermain dengannya sebentar dan menyesuaikan semua tetapan, saya memutuskan untuk memasang beberapa perisian pada Raspberry Pi untuk membolehkan saya melihat aliran data dari Kinect. Dua gambar terakhir di atas menunjukkan apa yang dapat dihasilkan oleh Raspberry Pi sekitar 15-20 bingkai sesaat.