Jurulatih Bahasa Inggeris Peribadi - Pembantu Suara AI: 15 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:09

Projek ini akan membantu pelajar yang sedang bersiap untuk menghadapi sebarang ujian linguistik, di mana mereka dapat dilatih dengan berinteraksi dengan Snips AI.

Langkah 1: Cerita

Mengapa Kami Membinanya?

Dari pengalaman peribadi saya, saya telah melihat banyak orang membuat persiapan untuk menghadapi pelbagai ujian linguistik seperti GRE, TOEFL, IELTS. Mereka memerlukan seseorang untuk menolong mereka dalam menghafal dan memahami kata-kata itu. Umumnya, ketika seseorang bersiap untuk menghadapi peperiksaan seperti itu, mereka memerlukan seseorang untuk memeriksa dan membetulkannya jika mereka melakukan kesalahan. Dengan penyelesaian ini, kita dapat mengurangkan tenaga kerja dengan menggunakan pembantu suara.

Langkah 2: Pembuatan Perkakasan

Pertama sekali, saya ingin mengucapkan terima kasih kepada SNIPS dan SEEED kerana menyokong projek ini dengan Kit Pembangunan Interaksi Suara Snips (Kit Asas) yang luar biasa, saya benar-benar merasa bermaklumat menggunakan papan ini dan dapat mencapai beberapa projek kompleks yang disatukan dalam PCB.

Anda boleh membeli Kit Pangkalan Interaksi Suara Snips dengan harga $ 115 dan Kit Satelit Interaksi Suara Snips dengan harga $ 85

Langkah 3: Bermula dengan SNIPS

Sebelum memulakan, mari tinjau perkara yang anda perlukan.

• Raspberry Pi 3B / B + (Disyorkan) atau Pi 2 Model B (Disokong).
• Kabel mikro-USB & penyesuai kuasa Mikro-USB untuk Raspberry Pi.
• Kad Micro SD (Minimum 8 GB) - Sistem operasi diperlukan untuk memulakan. Anda boleh memuat turun Raspbian Stretch dan menggunakan panduan untuk Mac OS, Linux, dan Windows Di laman web Raspberry Pi.
• Papan Kekunci & Tetikus USB, dan Monitor HDMI luaran - kami juga mengesyorkan agar papan kekunci dan tetikus USB serta monitor HDMI berguna.
• Sambungan internet (Ethernet atau WiFi)

Kit Asas Interaksi Suara Snips

Kit Pengembangan Interaksi Suara Snips memberi kuasa kepada pengguna untuk memulakan pengembangan antara muka suara mereka dan dengan mudah mengintegrasikan Platform Suara AI Snips dengan perkakasan. Snip dijalankan pada peranti, yang bermaksud semua arahan dan data suara anda diproses secara tempatan dan bukannya dihantar ke cloud. Pemprosesan pada peranti ini menghasilkan pembantu suara luar talian yang selamat sepenuhnya dan menyimpan data peribadi anda secara peribadi, sebagaimana mestinya.

Kit Pangkalan Interaksi Suara membolehkan anda menjalankan keseluruhan Platform Suara AI Snips. Dikuasakan oleh Raspberry Pi 3 Model B + dan ReSpeaker 2-Mics Pi HAT, ia mampu bertindak sebagai pembesar suara pintar di rumah anda. Bersama dengan alat ini terdapat pembesar suara, Grove - Sensor Suhu & Kelembapan (SHT31), Grove - Relay, dan papan pegangan untuk menggantungnya di dinding atau membuat dudukan yang bagus.

Tetapi itu bukan semua! Kit Satelit Interaksi Suara akan meluaskan stesen pangkalan anda untuk menjangkau setiap bilik rumah anda dan membolehkan anda berinteraksi dengan perkakasan berdasarkan tempat anda mengeluarkan arahan!

Kit ini mengandungi papan Raspberry Pi3 B +, ReSpeaker 2-Mics Pi HAT, Grove - Relay, Grove - Sensor Suhu & Kelembapan (SHT31), Speaker 6 Ohm 2W, Kad MicroSD, Penyesuai kuasa dengan penyambung Mikro USB, Kabel Grove x 2, Pangkalan Akrilik panel.

Langkah Pemasangan: (Kandungan dari SNIPS) Gambar berikut adalah gambaran keseluruhan bahagian pemasangan.

Di sini bahagian pemasangan dipasang pada panel asas.

Kemudian, semua bahagian elektronik dipasang di papan.

Selepas itu pasangkan penutup Pelindung Akrilik di atas Grove -Relay.

2 bahagian ini digunakan untuk menjadikan Kit menjadi meja.

Akhirnya, anda bersedia bermain dengan Snips.

Kit menyediakan dua cara penempatan. Ia boleh diletakkan di permukaan mendatar seperti penyangga atau boleh digantung di dinding menggunakan wayar atau benang. Berhati-hati dengan Relay semasa kit dihidupkan kerana voltan kerja akan tinggi.

CATATAN: Kami juga mempunyai Kit Satelit Interaksi Suara Snips yang memiliki Raspberry Pi sifar menggantikan Raspberry Pi 3B +

Langkah 4: Berinteraksi Dengan Snips AI (Projek Asas)

• Hidupkan kit dengan penyesuai kuasa lalai dalam kit atau gunakan penyesuai DC 5V-2A dengan penyambung USB Mikro.
• Langkah seterusnya ialah memasang pembantu Snips ke Raspberry Pi. Untuk menjimatkan masa persediaan anda, kad MicroSD di dalam kit telah dimuatkan dengan gambar sistem berfungsi penuh, yang bermaksud pembantu Snips bersedia untuk kata-kata pencetus anda.
• Kami sangat menyarankan anda untuk mempelajari panduan pemasangan langkah demi langkah dengan melayari: https://docs.snips.ai/getting-started/quick-start… dan pelajari alat sam dalam baris arahan.
• Cetuskan pembantu dengan mengatakan "Hey-snips", dan ikuti perintah:

Anda boleh mendapatkan video contoh yang telah dipasang sebelumnya dalam kit asas Interaksi Suara Snips di bawah.

Langkah 5: Berinteraksi dengan Snips AI (Project AI)

Jadi ini adalah bagaimana ia berfungsi. Pertama, kami menggunakan kata panas untuk memulakan pengecaman Snips. Ia memahami ayat menggunakan Snips NLU dan menentukan maksud. Seterusnya menggunakan maksud, ekstrak slot masing-masing. Dengan kod tindakan, kami memprogram respons AI dengan slot masing-masing.

Langkah 6: Membuat Aplikasi dan Niat

• Buat Pembantu. Dalam kes saya, saya telah membuat pembantu dengan nama JARVIS dan dengan kata cepat JARVIS.
• Buat Aplikasi Custom atau untuk pemula, gunakan Aplikasi dari perpustakaan.
• Saya telah membuat Aplikasi dengan nama Words
• Buat Niat dan mulakan latihan AI. Ini memainkan peranan utama dalam menjadikan AI anda kuat. Latih dengan semua input yang mungkin.
• Buat slot untuk mengenal pasti perkataan. Letakkan slot pada frasa ayat yang diharapkan. Sebagai contoh saya, kata ganti nama adalah nama slot dan diserlahkan dengan warna biru.
• Setelah selesai, ASR tersuai anda akan siap. Cuba dengan input. Kami boleh mendapatkan jawapan di sebelah kanan anda, di bawah pembantu. Ini memberi anda pengekstrakan nilai mentah, nama niat, dan slot.
• Tentukan slot dengan lebih banyak contoh seperti yang diberikan di bawah
• Akhirnya, Gunakan pembantu anda untuk mengalami AI yang diperibadikan.

Langkah 7: Bakar Raspbian ke Kad SD

Raspbian adalah sebaran pilihan Linux yang dijalankan pada Raspberry Pi. Dalam panduan ini, kami akan menggunakan versi Lite, tetapi versi Desktop (yang dilengkapi dengan persekitaran grafik) juga dapat digunakan.

• Muat turun Etcher dan pasangkannya.
• Sambungkan pembaca kad SD dengan kad SD di dalamnya.
• Buka Etcher dan pilih dari cakera keras fail Raspberry Pi.img atau.zip yang ingin anda tulis ke kad SD
• Pilih kad SD yang ingin anda tuliskan gambar anda.
• Semak pilihan anda dan klik 'Flash!' untuk mula menulis data ke kad SD

Sambungkan peranti ke rangkaian anda

• Aktifkan akses SSH dengan menambahkan ssh fail kosong, sekali lagi diletakkan di akar kelantangan but pada kad SD anda.
• Masukkan kad SD ke dalam Raspberry Pi. Ia akan boot dalam masa kira-kira 20 saat. Anda kini harus mempunyai akses SSH ke Raspberry Pi anda. Secara lalai, nama hosnya akan menjadi raspberrypi.local. Di komputer anda, buka tetingkap terminal dan taipkan yang berikut:

ssh [email protected]

Kata laluan lalai adalah raspberry

Langkah 8: Pasang Platform Snips

Sekiranya anda belum melakukannya, pasang Sam Interface Line Interface pada komputer anda. Buka tetingkap terminal, dan masukkan:

sudo npm install -g snips-samor npm install -g snips-sam // Windows

Cari Raspberry Pi anda di rangkaian dengan menjalankan:

peranti sam

Seterusnya, buat sambungan ke peranti. Anda akan diminta untuk nama pengguna dan kata laluan peranti (lalai masing-masing adalah pi dan raspberry):

sam sambung

Kami kini bersedia untuk memasang platform Snips pada Raspberry Pi. Masukkan arahan:

sam init

Langkah 9: Konfigurasikan Perkakasan

Sam memberikan beberapa arahan untuk mengatur dan mengkonfigurasi komponen perkakasan dengan mudah. Di bahagian ini, kami akan menyediakan pembesar suara dan mikrofon. Bergantung pada persediaan anda, beberapa konfigurasi khusus perlu dilakukan.

sam persediaan audio

Uji pembesar suara

Untuk memeriksa pembesar suara berfungsi, jalankan

penceramah ujian sam

Sekiranya semuanya berfungsi dengan baik, anda mesti mendengar suara pembesar suara dengan beberapa perkataan. Konfigurasikan mikrofon Anda boleh memastikan mikrofon anda berfungsi:

mikrofon ujian sam

Dengan andaian anda mempunyai pembesar suara, jika anda dapat mendengar dengan jelas apa yang baru saja anda katakan, anda boleh meneruskan tanpa konfigurasi mikrofon lebih lanjut.

Setelah anda berpuas hati bahawa persediaan perkakasan anda berfungsi, anda sudah bersedia untuk melangkah ke langkah seterusnya, di mana anda akan menggunakan pembantu pertama anda.

Langkah 10: Mengimport Model AI Dari Konsol

Setelah anda membuat pembantu anda dari langkah sebelumnya, log masuk ke konsol dari tetingkap terminal dengan menjalankan:

log masuk sam

Anda akan diminta memasukkan kelayakan Snips Console anda.

Seterusnya, pasang pembantu:

sam pasang pembantu

Sekiranya anda telah membuat beberapa pembantu di Konsol, anda akan diminta untuk memilih mana yang hendak dipasang dari senarai.

Langkah 11: Penangan & Kod Tindakan

Agar Raspberry Pi bertindak balas, kita perlu menulis beberapa kod pengendali. Ini adalah kod yang dijalankan ketika peristiwa tertentu terjadi di platform Snips, seperti ketika niat telah terdeteksi.

Anda mempunyai pelbagai kaedah untuk membuat Handler bergantung pada fungsinya.

Buat folder di komputer di mana anda mahu menyimpan kod pengendali anda. Dari tetingkap terminal, ubah ke direktori itu, dan masukkan:

npm init

Ini akan membuat fail bernama package.json yang mengandungi keterangan, pergantungan projek anda dan banyak lagi. Seterusnya, tambahkan kebergantungan pakej mqtt:

npm pasang mqtt --simpan

Sekarang, buat fail bernama index.js, dan tampal kod berikut, ganti pemboleh ubah nama host dengan nama host Raspberry Pi anda (jika berbeza dari raspberrypi lalai):

var mqtt = memerlukan ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (nama host); client.on ('connect', function () {console.log ("[Snips Log] Disambungkan ke broker MQTT" + nama host); client.subscribe ('hermes / #');}); client.on ('message', function (topic, message) {if (topic === "hermes / asr / startListening") {onListeningStateChanged (true);} lain jika (topic === "hermes / asr / stopListening") {onListeningStateChanged (false);} lain jika (topic.match (/ hermes / / hotword / /.+ / / found / g)! == null) {onHotwordDetected ()} lain jika (topic.match (/ hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (mesej));}}); fungsi onIntentDetected (intent) {console.log ("[Snips Log] Niat dikesan:" + JSON.stringify (intent)); } fungsi onHotwordDetected () {console.log ("[Snips Log] Hotword dikesan"); } fungsi onListeningStateChanged (mendengar) {console.log ("[Snips Log]" + (listen? "Start": "Stop") + "listen"); }

Jalankan kod ini menggunakan Node:

node index.js

Anda akan melihat mesej sambungan yang berjaya ke broker Snips MQTT. Seperti sebelumnya, lakukan interaksi suara dengan Raspberry Pi anda:

Hey Snips, bagaimana cuaca di Chennai

Anda akan melihat log diperbaharui:

[Snips Log] Disambungkan ke broker MQTT mqtt: //raspberrypi.local

[Log Snips] Kata Panas dikesan [Snips Log] Mula mendengar [Snips Log] Berhenti mendengar [Snips Log] Maksud dikesan: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" bagaimana cuaca di chennai "," intent ": {" intentName ":" searchWeatherForecast "," probability ": 0.73845243}," slot ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entiti ":" lokaliti ", "slotName": "ramalan_lokasi"}]}

Langkah 12: Penyelesaian masalah

Padamkan pembantu sebelumnya jika ada

$ sudo rm -rf / usr / share / snips / pembantu /

Untuk Menukar direktori ke Pembantu

cd / var / lib / snips / kemahiran /

Untuk mengklon kandungan repo ke tempatan

klon git

Untuk menjalankan skrip setup.sh

./setup.sh

Aktifkan persekitaran maya

sumber venv / bin / aktifkan

Jalankan kod tindakan

./action-.py

Untuk memberi kebenaran kepada Skrip Python

chmod + x action-.py

Langkah 13: Penutup

• Saya telah menggunakan kandang dinilai IP untuk projek ini
• Pertama, saya membuat lubang yang diperlukan untuk memasang litar & slot untuk Kabel kuasa dan kabel HDMI.
• Kemudian saya meletakkan semua Raspberry Pi di dalam kandang dan menyekatnya dengan kuat.
• Saya membuat bukaan kecil untuk Speaker dan Mikrofon dan menutupnya menggunakan kepingan kecil dari akrilik.
• Sambungkan pembesar suara ke topi ReSpeaker dengan kuat.
• Akhirnya, semua skru dipasang dengan kuat dan kabel kuasa dimasukkan melalui slot.
• Ini adalah bagaimana AI kelihatan akhirnya: D

Langkah 14: Mengendalikan AI

Anda boleh mendapatkan data yang dipantau menggunakan Snips-watch

Sekarang waktu tayangan. Saya mula membuat dengan ucapan ringkas AI. Lihatlah Berfungsi.

Trainer AI telah diprogramkan untuk kata-kata terhad. Ini dapat dilanjutkan dengan sedikit pengubahsuaian. Ini membantu Pelajar menghafal makna lebih cepat daripada kaedah tradisional.

Perhatian Jenis: Projek ini dilatih untuk lebih kurang 25 patah perkataan. Ini dapat dikembangkan lebih jauh dengan membuat perubahan kecil dalam kode tindakan.

Anda boleh mendapatkan skrip Aksi di Repositori Github saya.

Repo Projek untuk Ucapan AI -

Repo Projek untuk Pelatih AI -

Pautan ke Aplikasi saya:

Keseluruhan penyediaan berharga kira-kira $ 115 yang boleh dibeli dari SNIPS dan penyelesaian ini sangat murah dan berkesan jika dibandingkan dengan kaedah tradisional. Lebih kurang 100, 000 ujian telah diambil di India dan produk ini akan menjadi makanan tambahan terbaik untuk pengambil GRE.

Beri jempol jika itu benar-benar membantu anda dan ikuti saluran saya untuk projek menarik.:) Kongsi video ini jika anda suka. Senang anda melanggan: https://console.snips.ai/store/en/skill_xBKlxnE5K… Terima kasih kerana membaca!