Sarung Tangan Menukar Teks Ucapan / Teks: 5 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:08

Idea / dorongan untuk melaksanakan projek ini adalah untuk membantu orang yang mengalami kesukaran untuk berkomunikasi menggunakan ucapan dan berkomunikasi menggunakan isyarat tangan atau lebih dikenali sebagai bahasa isyarat Amerika (ASL). Projek ini dapat menjadi langkah untuk memberi orang-orang ini peluang untuk bekerja dengan orang lain, yang tidak dapat memahami bahasa isyarat, dalam lingkungan kolaboratif. Juga, projek ini akan membolehkan mereka memberikan pidato awam tanpa menggunakan penterjemah manusia yang sebenarnya. Sebagai permulaan, saya hanya berusaha mengesan beberapa gerak isyarat yang lebih mudah seperti huruf A, B, I, dan lain-lain dan juga memberikan isyarat tertentu pada kata / ucapan umum seperti 'Hello', 'Selamat Pagi', dll.

Langkah 1: Pemasangan Litar

Langkah 2: Perincian Projek

Projek ini merangkumi sarung tangan yang dapat dipakai dengan 4 sensor fleksibel yang tersangkut / tertanam ke dalam sarung tangan - masing-masing untuk jari kelingking, jari telunjuk, dan ibu jari. Sensor Flex tidak digunakan untuk jari Jari kerana keterbatasan pada ketersediaan Pin Input Analog pada Arduino Uno R3 dan secara umum kerana kurangnya pergerakan bebas yang ditunjukkan oleh jari dalam bahasa isyarat. Accelerometer MMA8452Q juga digunakan yang tersangkut di bahagian belakang telapak tangan untuk mengukur orientasi tangan. Input dari sensor ini dianalisis dan digunakan untuk merasakan gerak isyarat. Setelah isyarat dirasakan, watak / mesej yang sesuai disimpan ke dalam pemboleh ubah. Karakter dan mesej ini terus digabungkan hingga isyarat tertentu yang ditentukan yang menunjukkan penyelesaian ayat. Setelah isyarat khas itu dikesan, rentetan ayat yang disimpan dihantar ke Raspberry Pi melalui kabel USB oleh Arduino. Raspberry Pi kemudian mengirimkan rentetan yang diterima ke Amazon Cloud Service bernama Polly untuk menukar ayat yang diterima dalam format teks ke format ucapan dan kemudian mengalirkan ucapan yang diterima pada Pembesar suara yang disambungkan ke Raspberry Pi melalui kabel AUX.

Projek ini hanyalah Bukti konsep dan dengan peralatan dan perancangan yang lebih baik dan dikalibrasi dengan lebih baik untuk mengesan banyak gerak isyarat dan pergerakan tangan yang lain. Pada masa ini, hanya fungsi terhad yang diprogramkan ke dalam projek ini seperti untuk pengesanan isyarat asas dan output teks ke pertuturan.

Langkah 3: Kod

Langkah 4: Langkah

1. Sambungkan sensor fleksibel dan akselerometer MMA8452Q ke Arduino mengikut rajah litar yang disediakan.

2. Buangkan program Final_Project.ino (terdapat dalam fail Arduino_code.zip) ke Arduino.

3. Sambungkan Arduino ke Raspberry Pi dengan kabel USB. (Jenis kabel A / B).

4. Nyalakan Raspberry Pi, salin fail Raspberry_pi_code.zip ke dalam Raspberry Pi, dan ekstrak. Sambungkan pembesar suara ke Raspberry Pi.

5. Salin kelayakan akaun AWS anda iaitu aws_access_key_id, aws_secret_access_key dan aws_session_token ke dalam fail ~ /.aws / kelayakan. Langkah ini diperlukan untuk berkomunikasi dengan awan AWS dan menggunakan perkhidmatan AWS.

6. Jalankan program seria_test.py yang terdapat di dalam folder yang diekstrak pada langkah 4.

7. Sekarang buat gerak isyarat untuk membentuk ayat dan kemudian lakukan gerakan khas (Jauhkan jari dan telapak tangan anda lurus dan sejajar dengan telapak tangan menghadap ke arah anda, dan kemudian putar pergelangan tangan sehingga putar ke bawah sehingga sekarang telapak tangan anda menghadap ke arah anda dan hujung jari anda menunjuk ke bawah ke arah kaki anda.) untuk menandakan penyelesaian ayat.

8. Terus periksa terminal untuk maklumat berguna.

9. Dan dengar ucapan yang ditukar disiarkan pada pembesar suara.

Langkah 5: Rujukan

1.

2.

3.

4.