Pengecam Gerak Tangan: 5 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:08

Gambaran keseluruhan

Dalam projek ini, kami akan membuat sarung tangan yang dapat mengenali beberapa pergerakan tangan asas, menggunakan MicroBit, dan beberapa sensor. Kami akan menggunakan keupayaan Bluetooth pada MicroBit, bersama dengan Aplikasi Android dan Pelayan Web untuk melatih model pembelajaran mesin untuk mengenal pasti pergerakan tangan.

Bermula

Sebilangan besar usaha yang terlibat dalam projek ini adalah dari sisi perisian, dan semua kod yang diperlukan untuk menjalankan projek ini terdapat di GitHub. Pangkalan kod melibatkan 3 komponen, iaitu kod untuk menghasilkan fail HEX untuk MicroBit, pangkalan data Aplikasi Android yang banyak didasarkan pada aplikasi MicroBit Blue dari MicroBit Foundation, dengan pengubahsuaian yang dibuat untuk kes penggunaan khusus ini, dan pelayan web dengan kod untuk melatih model berasaskan Tensorflow untuk mengenal pasti pergerakan tangan.

Kami akan melihat bagaimana membina sarung tangan dan menghubungkannya dengan Aplikasi dan Pelayan Web seterusnya.

Bekalan

• 1 Microbit BBC
• 1 Pemegang Bateri dengan 2 bateri AAA
• 1 Sarung Tangan
• Satu set wayar pelompat, klip buaya
• Sensor lentur
• Sensor daya
• Velcro
• Pita elektrik
• Telefon Android
• PC / Komputer riba

Langkah 1: Langkah 1: Menyiapkan MicroBit dan Bateri

• Mulakan dengan memasang pemegang bateri ke sepotong velcro seperti yang ditunjukkan pada gambar pertama. Gunakan pita elektrik untuk memasang pemegang bateri dengan kuat pada tali velcro.
• Seterusnya buat gelung dengan pita elektrik sehingga melekit di kedua sisi, dan pasangkannya di atas pek bateri.
• Pasang MicroBit ke gelung pita untuk melekatkan MicroBit dengan kuat ke Pemegang Bateri seperti yang ditunjukkan pada gambar kedua.

Langkah 2: Hook Up Sensor

• Ikuti rajah litar yang ditunjukkan dalam gambar untuk menyambungkan sensor lentur anda ke Pin 1 MicroBit, dan paksa sensor ke Pin 0 dari MicroBit.
• Kunci sensor pada Sarung Tangan menggunakan pita elektrik seperti yang ditunjukkan dalam gambar.

Langkah 3: Menyiapkan Perkakasan

• Gunakan hujung tali velcro untuk membentuk gelung dan luncurkan gelung di atas jari sarung tangan, seperti yang ditunjukkan dalam gambar.
• Anda boleh menggunakan ikatan wayar untuk mengikat wayar pada sarung tangan untuk mengelakkannya bergerak terlalu banyak.

Pada bahagian seterusnya kita akan melihat bagaimana cara mengatur perisian.

Langkah 4: Persediaan Perisian

Memasangkan telefon anda ke MicroBit anda

1. Untuk memasangkan telefon anda, pastikan terlebih dahulu bluetooth hidup di telefon anda.
2. Nyalakan MicroBit anda, dan tekan dan tahan kedua-dua butang A dan B. Pada masa yang sama tekan dan lepaskan butang set semula sambil masih menahan butang A dan B. Microbit kini harus memasuki mod berpasangan.
3. Di telefon anda, cari MicroBit anda di bawah senarai peranti bluetooth di mana anda biasanya menambahkan peranti Bluetooth baru, dan mulailah memasangkannya. Pada MicroBit anda, anda akan melihat anak panah yang menunjuk ke butang A. Apabila anda menekan ini, MicroBit akan memaparkan rangkaian nombor yang merupakan Pairing Code yang mesti anda masukkan di telefon anda. Sebaik sahaja anda memasukkan kod pada telefon anda dan memilih pasangan, tanda centang harus dipaparkan di MicroBit.
4. Tekan butang reset pada MicroBit anda.

Menyiapkan perisian

Ikuti panduan ReadMe di setiap sub folder di GitHub Repository untuk menyiapkan projek Aplikasi Android di Android Studio, membina dan memancarkan fail HEX ke MicroBit anda, dan jalankan pelayan web untuk menjalankan Model Pembelajaran Mesin.

Langkah 5: Penggunaan

Pelayan Web

Buka terminal di direktori projek Pelayan Web dan jalankan `python server.py` untuk memulakan pelayan setelah mengikuti arahan dalam ReadMe untuk memasang pergantungan

Aplikasi Android

1. Bangun dan buat APK untuk Aplikasi Android dari Android Studio. Jalankan aplikasi setelah memasangkan telefon anda dengan MicroBit (lihat langkah sebelumnya).
2. Di halaman pecutan, anda dapat menetapkan url pelayan web menggunakan menu tetapan di sudut kanan atas. Pastikan anda mengubahnya ke IP Pelayan Web anda.
3. Tunggu sehingga bacaan pecutan mulai dihuni dari MicroBit. Anda akan melihat bacaan berubah dengan frekuensi yang berbeza. Untuk menukar frekuensi tekan B pada MicroBit. Sebaik-baiknya anda boleh menggunakan nilai frekuensi 10 (yang mana sampel bacaan setiap 10ms)
4. Setelah bacaan diisi, beri nama isyarat anda menggunakan Kotak Teks berlabel 'Gerakan:', dan tekan butang rakam. Sebaik sahaja anda menekan butang rakam, buat gerakan tangan anda berulang kali sehingga butang diaktifkan kembali.
5. Ulangi langkah 3 untuk merakam pelbagai isyarat.
6. Tekan butang kereta api untuk memulakan latihan model di pelayan. Setelah latihan selesai (kira-kira 15 saat), anda boleh terus membuat ramalan.
7. Tekan butang ramalan dan buat pergerakan / gerak isyarat anda. Aplikasi ini akan cuba memadankannya dengan salah satu pergerakan yang dilatih dengan sebaik mungkin.