AI With Grove Zero and Codecraft (Scratch 3.0): 5 Langkah (dengan Gambar)

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:08

Dalam artikel ini kita akan membangun tiga projek yang menggunakan fungsi AI Codecraft, lingkungan pemrograman grafik berdasarkan Scratch 3.0. Codecraft dibangunkan dan dikekalkan oleh pendidikan TinkerGen dan bebas digunakan.

AI dan subsetnya, pembelajaran mesin, telah menjadi bahagian penting dalam kehidupan kita dalam 10 tahun terakhir. Kurikulum sekolah di banyak negara merangkumi pengetahuan AI dan pembelajaran mesin, tetapi sukar bagi seorang guru untuk membuat bahan pelajaran untuk mengajar topik ini tanpa alat yang betul. Menggunakan perpustakaan pembelajaran mesin, bahkan yang paling mesra pengguna, seperti Keras, untuk membina aplikasi yang dapat berinteraksi dengan pelajar, boleh menjadi tugas yang memakan masa dan menakutkan. Di sinilah Codecraft dapat membantu - ia mempunyai sekumpulan aplikasi mesin pembelajaran yang kaya yang dapat digunakan oleh guru untuk menjelaskan dan menunjukkan konsep yang berkaitan dengan kecerdasan buatan. Mari lihat mereka!

Langkah 1: Gambaran Keseluruhan Sambungan AI

Buka editor dalam talian Codecraft di

Klik pada mod Stage dan kemudian untuk Tambah Butang Sambungan di bahagian bawah tab navigasi blok.

Anda akan melihat terdapat tiga Sambungan AI yang tersedia:

- Perkhidmatan Kognitif --- model pembelajaran mesin untuk memproses suapan dan suara video langsung

- Mesin yang Dapat Diajar --- dapat digunakan untuk melatih model klasifikasi dengan gambar yang diambil dengan kamera anda

- Terjemahkan --- menggunakan pembelajaran mesin untuk terjemahan

Dalam artikel ini kita akan memfokuskan pada Perkhidmatan Kognitif dan menggunakan fungsi ini untuk mengawal perkakasan Grove Zero. Komunikasi tanpa wayar antara komputer dan Grove Zero masih berjalan dan saya akan mengemas kini artikel sebaik sahaja ia tersedia. Buat masa ini kami akan menggunakan sambungan berwayar untuk menyampaikan mesej antara modul Grove Zero dan komputer.

Langkah 2: Main Space Invaders Dengan Hidung Anda

Untuk tugas pertama kita hanya akan menggunakan mod pentas tanpa perkakasan. Codecraft mempunyai banyak contoh untuk memulai dengan pengaturcaraan - salah satu contohnya adalah memprogram permainan klasik Space Invaders dalam mod Codecraft Stage. Kami akan memperluas contoh ini dan menambahkan kemampuan untuk mengawal pejuang dalam permainan dengan hidung anda menggunakan perkhidmatan Kognitif.

Klik pada butang Contoh. Contoh Open SpaceInvaders. Kita hanya perlu menukar bahagian yang berkaitan dengan pergerakan. Untuk itu kita akan mendapat kedudukan x hidung di wajah yang dikesan dalam suapan video langsung, simpan dalam pos berubah-ubah. Kemudian jika nilai pos lebih besar dari 50, kita menggerakkan pesawat tempur ke kanan, jika kurang dari -50, maka kita memindahkan pejuang ke kiri. Inilah dia. Cubalah! Sekiranya anda merasakan kecepatan pergerakan pejuang terlalu cepat, anda boleh menukar blok x dengan… blok menjadi bilangan yang lebih kecil.

Selanjutnya kita akan memperluas fungsi ini untuk mengawal kereta Grove Zero dan menjadikannya bergerak ke hadapan / belakang / kiri / kanan.

Langkah 3: Kawal Kereta Grove Zero Dengan Codecraft AI

Mari mulakan dengan menulis kod dalam mod pentas - ini adalah bahagian, yang bertanggungjawab untuk menganalisis suapan video dan mengeluarkan perintah ke Grove Zero.

1) Kami melaksanakan kod pada tangkapan skrin pertama sehingga butang ruang ditekan. Selepas itu kami menghantar arahan berhenti.

2) Ulangi bahagian dalam hingga blok, kita periksa x-pos dan y-pos hidung wajah yang dikesan dan simpan ke pemboleh ubah yang sesuai.

3) Sekiranya nilai mutlak x-pos kurang dari 21 (artinya antara -20 dan 20, jadi berhampiran pusat gambar), maka kami terus memeriksa y-pos untuk menentukan sama ada kereta harus maju atau mundur

4) Jika tidak, kami memeriksa sama ada kereta harus pergi ke kiri atau kanan

Sekarang mari kita beralih ke tab Peranti dan tulis kod pendek untuk kereta Grove Zero. Kami akan menggunakan Ketika saya menerima blok, yang bertanggungjawab untuk menerima arahan siaran dalaman. Tidak perlu dikelirukan dengan Bila radio menerima, yang digunakan untuk komunikasi Bluetooth. Rujuk tangkapan skrin untuk perinciannya, kodnya agak mudah.

Sambungkan kereta Grove Zero anda ke komputer dan tekan butang Connect di Codecraft. Beralih ke mod debugging dalam talian - yang akan membolehkan Grove Mainboard menerima arahan siaran melalui wayar. Kemudian pergi ke mod pentas dan tekan bendera. Kereta mesti bergerak sekarang, cuba kendalikan dengan hidung anda:)

Langkah 4: Ikuti Garisan Dengan Kawalan Suara

Terdapat peta dalam kit kereta Grove Zero, yang pada asalnya untuk bermain permainan mini Collect the Coins. Kita dapat menggunakan semula untuk menggunakan pengecaman suara di Codecraft untuk memberi arahan kepada kereta dengan cara untuk menghidupkan persimpangan jalan.

Bahagian mod pentas di sini kurang rumit daripada contoh sebelumnya. Apa yang kami buat ialah:

1) Setelah menerima pesanan siaran select_direction, kenali fragmen ucapan dan simpan dalam pemboleh ubah hasil.

2) Terus mengenali sehingga hasilnya TIDAK diketahui.

3) Bandingkan hasil dengan dua rentetan - "kiri" dan "kanan". Siarkan mesej yang sesuai ke kereta Grove Zero.

Kod yang terdapat di dalam kereta Grove Zero agak rumit kali ini, tetapi pada dasarnya ia mengikuti logik ini:

1) Semasa memulakan, siarkan mesej ke hadapan

2) Setelah menerima pesanan ke hadapan, mulailah mengikuti talian. Sekiranya talian hilang, hentikan motor dan siarkan

pilih_darah. Di sini kod dalam mod Pentas mula dilaksanakan.

3) Sekiranya mesej kiri diterima mula membelok ke kiri dan kemudian kembali ke mod berikut.

Sekiranya mesej yang diterima mula berpusing ke kanan dan kemudian beralih kembali ke mod berikut.

Langkah 5: Di Sebalik Tabir

Model rangkaian saraf yang digunakan dalam aplikasi di atas semuanya dijalankan secara lokal di penyemak imbas anda, yang mempunyai beberapa kelebihan yang berbeza dibandingkan dengan mengirim data ke cloud untuk diproses: latensi yang lebih kecil dan privasi yang lebih baik. Sejumlah rangkaian saraf digunakan dalam perkhidmatan Kognitif - Klasifikasi Bunyi untuk arahan pertuturan (, Pengesanan Landmark Wajah, Pengecaman Ekspresi Wajah dan perkiraan Umur.

Dalam artikel ini, kami meneroka fungsi asas salah satu sambungan Codecraft AI - Perkhidmatan kognitif. Terdapat banyak cara yang boleh anda gunakan berdasarkan contoh-contoh ini untuk menjadikan aplikasi yang lebih menyeronokkan dan menarik!

Sekiranya anda memutuskan untuk mencubanya, baik dengan Grove Zero atau hanya menggunakan mod Stage, ikuti komen di bawah. Untuk maklumat lebih lanjut mengenai siri Grove Zero, Codecraft dan perkakasan lain untuk pembuat dan pendidik STEM, lawati laman web kami, TinkerGen telah membuat kempen Kickstarter untuk MARK (Make A Robot Kit), sebuah kit robot untuk mengajar pengkodan, robotik, AI!