IoT: Kawal HoloLens Menggunakan Kening Anda (EMG): 5 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:09

Projek ini merupakan sebahagian daripada projek NASA SUITS University of Colorado Boulder yang dibentangkan dan diuji di NASA JSC pada bulan April 2019. Untuk projek tahun itu, saya adalah peneraju pembangunan perkakasan dan ini adalah salah satu sumbangan saya. Baca lebih lanjut mengenai cabaran NASA SUITS di sini.

Dengan projek ini, saya ingin membenarkan sesiapa sahaja (dalam hal ini EVA Astronauts) untuk berinteraksi dengan Heads-Up-Display (HUD) yang digunakan di Microsoft HoloLens tanpa menggunakan isyarat tangan atau input suara. Saya berjaya mencapai matlamat ini dari sudut aksesibilitas, saya ingin mengembangkan periferal / wearable yang akan membolehkan angkasawan EVA berinteraksi dengan paparan mereka tanpa menduduki komunikasi dengan kawalan darat, dan kerana sarung tangan isyarat sarung tangan mereka yang sangat bertekanan tidak masuk akal. Walaupun ini adalah domain yang agak tidak saya kenali, saya juga dapat melihat periferal ini berguna untuk mereka yang kurang upaya, yang membolehkan mereka menggunakan HoloLens atau peranti AR / VR lain dan melupakan input antara muka yang tidak termasuk atau menakutkan.

Walaupun senarai item untuk projek ini adalah pengecualian (HoloLens sangat mahal!), Periferal dapat digunakan dengan Peranti AR / VR lain.

Sekiranya anda mempunyai sebarang pertanyaan, ingin mengikuti karya saya, atau hanya menyampaikan idea, sila lakukan di Twitter saya: @ 4Eyes6Senses.

Bekalan

Microsoft HoloLens (atau peranti AR / VR lain)

Foton Zarah

Sensor Otot MyoWare - Sensor MyoWare boleh diganti dengan papan pemecah EMG yang lain. Sekiranya anda tidak pasti EMG, saya cadangkan anda membaca lebih lanjut mengenainya di sini

Pad Sensor Bioperubatan

Perpaduan (Percuma)

Beberapa Pengalaman Membuat Projek dalam Perpaduan

Kawat

Langkah 1: Menghubungkan MyoWare Dengan Partikel Photon

Menyambungkan Partikel Photon ke papan MyoWare agak mudah. Untuk langkah ini, anda perlu menyelesaikan hubungan antara Particle Photon dan MyoWare board. Pastikan anda mempunyai sambungan yang kuat sehingga kabel tidak pecah semasa memakai peranti. Untuk mengelakkan kerosakan, saya cadangkan untuk memasang kabel sebelum memasangkannya ke Photon.

- Pateri wayar ke port "+" papan MyoWare, kemudian pasangkan hujung kabel yang lain ke dalam pin "3v3" Photon.

- Pateri wayar ke port "-" papan MyoWare, kemudian pasangkan hujung kabel yang lain ke dalam pin "GND" Photon.

- Pateri wayar ke port "SIG" papan MyoWare, kemudian pasangkan hujung kabel yang lain ke dalam pin "A0" Photon.

Langkah 2: Memuat naik Kod ke Foton Zarah

Menggunakan IDE Partikel Photon, Muat naik fail.ino. Letakkan papan MyoWare pada kumpulan otot dan periksa nilainya untuk memastikan peranti anda berfungsi. Apabila melihat kod anda akan melihat bahawa ada pemboleh ubah "ambang" yang telah ditetapkan, pemboleh ubah ini adalah nilai minimum yang dibaca oleh MyoWare dari otot saya ketika saya menaikkan alis saya sepenuhnya. Saya juga menetapkan pemboleh ubah ke "600" kerana ia membolehkan saya melakukan perbualan biasa semasa memakai MyoWare tanpa membuat positif palsu (pemicu tidak sengaja), anda mungkin ingin bermain-main dengan nilai sehingga anda menemui ambang yang diinginkan untuk kegunaan anda.

Langkah 3: Penempatan MyoWare

Untuk projek NASA SUITS kami, saya memilih untuk meletakkan MyoWare Board di atas kening. Saya terinspirasi untuk menempatkan MyoWare di sana setelah melihat projek "'Sup Brows" yang dilakukan oleh Adafruit. Selepas beberapa ujian, menjadi jelas bahawa alis adalah lokasi yang bagus untuk projek khusus ini. Ini adalah lokasi yang bagus kerana sensor tidak akan dipengaruhi oleh pergerakan otot yang berterusan melalui lengan, kaki, dan batang tubuh yang dilakukan angkasawan EVA semasa berjalan kaki angkasa.

Langkah 4: Menghubungkan MyoWare Dengan Unity

Sekarang tiba masanya untuk langkah terakhir, mari sambungkan MyoWare dengan Unity! Termasuk dalam Instructable ini adalah skrip yang perlu anda masukkan ke dalam projek Unity anda. Tetapi pertama, anda perlu mengubah beberapa perkara dalam kod tersebut. Pertama, anda perlu menambahkan pemalam Objek JSON Objek ke dalam projek anda. Seterusnya, anda perlu menambahkan id peranti anda dan token akses ke baris 19: particleURI = "https://api.particle.io/v1/devices/[Sisipkan id peranti anda] / Next? Access_token = [Masukkan token akses]". Anda boleh mendapatkan id peranti anda dari Particle IDE, berikut gambar 2, klik pada tab peranti anda (kotak merah) dan cari di bawah nama peranti anda untuk mencari id anda (kotak biru). Seterusnya, untuk mencari token akses anda, klik pada tab tetapan di IDE.

Langkah 5: Selesai

Setelah menyelesaikan projek Unity anda, anda akan mempunyai HoloLens yang dikendalikan oleh EMG!

Sekiranya anda mempunyai pertanyaan mendalam, ingin belajar tentang pembesaran manusia, ingin mengikuti karya saya, atau hanya menyampaikan idea, sila lakukan di Twitter saya:

@ 4Eyes6Sense

Sekiranya anda berminat untuk bekerjasama dengan pasukan kami untuk cabaran NASA SUITS 2019-2020, sila e-mel kepada saya di:

Terima kasih khas untuk model dalam gambar pertama, Darren, yang juga menguji reka bentuk di NASA. Terima kasih yang tidak terhingga kepada rakan pengaturcaraan saya untuk projek AJ, yang membuat banyak kemungkinan ini.