Memvisualisasikan Data Dari Magicbit dalam AWS: 5 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:07

Data yang dikumpulkan dari sensor yang dihubungkan ke Magicbit akan diterbitkan ke teras AWS IOT melalui MQTT untuk dilihat secara grafik dalam masa nyata. Kami menggunakan magicbit sebagai papan pengembangan dalam projek ini yang berdasarkan ESP32. Oleh itu, papan pengembangan ESP32 boleh digunakan dalam projek ini.

Bekalan:

Magicbit

Langkah 1: Cerita

Projek ini adalah untuk menghubungkan peranti Magicbit anda ke AWS Cloud melalui MQTT. Data yang dihantar melalui MQTT dianalisis dan dilihat dalam awan menggunakan perkhidmatan AWS. Oleh itu, mari kita mulakan

Mula-mula anda harus pergi ke AWS Console dan log masuk. Untuk tujuan pembelajaran, anda boleh menggunakan pilihan peringkat percuma yang ditawarkan oleh AWS. Cukup untuk projek ini.

Untuk mempermudah saya akan membahagikan projek ini kepada dua bahagian.

Ini akan menjadi peringkat pertama projek kami. Pada akhir peringkat pertama data akan disimpan dalam baldi S3.

Perkhidmatan AWS yang akan digunakan pada bahagian pertama,

• Kinesis Firehose
• Gam AWS
• AWS S3

Mula-mula menavigasi ke perkhidmatan AWS Kinesis.

Pilih Kinesis Data Firehose seperti gambar di bawah dan klik Buat

Kemudian anda akan diarahkan ke Langkah 1 untuk membuat perkhidmatan Firehose. Masukkan nama aliran penghantaran dan pilih Put Langsung atau Sumber Lain. Klik Seterusnya.

Pada tetingkap Langkah 2 biarkan semuanya sebagai lalai dan klik seterusnya. Setelah membuat Perkhidmatan Lem AWS, kami akan kembali mengedit langkah ini.

Pada Langkah 3 pilih baldi S3 jika anda pernah membuatnya. Jika tidak, klik buat dan buat baldi. Di bahagian awalan S3 gunakan dest / dan di awalan kesalahan masukkan ralat /. Anda boleh memasukkan sebarang nama untuk dua perkara di atas. Tetapi untuk kemudahan kita akan meneruskan nama yang sama. Pastikan anda membuat folder bernama dest di dalam baldi yang anda pilih. Klik Seterusnya.

Pada Langkah 4 pilih ukuran penyangga minimum dan selang penyangga untuk pemindahan data masa nyata. Di bahagian Kebenaran pilih Buat atau kemas kini peranan IAMKinesisFirehoseServiceRole. Pastikan semuanya lalai. Klik seterusnya.

Di bahagian seterusnya, tinjauan mengenai perubahan yang anda buat akan ditunjukkan. Klik OK. Maka anda akan mempunyai Kinesis Firehose yang berfungsi.

Sekiranya anda berjaya membuat perkhidmatan Firehose, anda akan memperoleh sesuatu seperti ini.

Langkah 2: Menguji Firehose dan S3 Bucket

Untuk menguji bahawa firehose dan baldi S3 berfungsi dengan betul, pilih teras IOT di konsol. Anda akan diarahkan ke halaman seperti ini. Pilih Peraturan dan buat peraturan.

Apakah peraturan AWS IOT?

Ini digunakan untuk meneruskan data yang diterima dari MQTT ke layanan tertentu. Dalam contoh ini, kami akan meneruskan ke Kinesis Firehose.

Pilih nama untuk Peraturan. Tinggalkan Pernyataan Peraturan dan Pertanyaan sebagaimana adanya. Ini memberitahu kita bahawa apa sahaja yang diterbitkan ke topik iot / topik akan dihantar ke Firefox kinesis melalui peraturan ini.

Di bawah bahagian Tetapkan satu atau lebih tindakan klik tambah tindakan. Pilih Hantar mesej ke Amazon Kinesis Firehose Stream. Pilih konfigurasi. Kemudian pilih nama aliran api yang dibuat sebelumnya. Kemudian klik Buat Peranan dan buat peranan. Kini anda berjaya mencipta peranan dalam AWS.

Sebarang mesej yang anda terbitkan akan dihantar melalui Kinesis Firehose ke baldi S3.

Perlu diingat Firehose mengirimkan data ketika buffernya diisi atau ketika selang buffer tercapai. Selang penyangga minimum ialah 60 saat.

Sekarang kita boleh beralih ke bahagian kedua projek. Ini akan menjadi rajah aliran data kami.

Langkah 3: Mengkonfigurasi Gam AWS

Mengapa kita memerlukan gam AWS dan AWS Athena?

Data yang disimpan dalam baldi S3 tidak dapat langsung digunakan sebagai input ke AWS Quicksight. Mula-mula kita perlu menyusun data dalam bentuk jadual. Untuk ini kami menggunakan dua perkhidmatan di atas.

Pergi ke AWS Glue. Pilih Crawler pada bar alat sisi. Kemudian pilih Tambah Crawler.

Pada langkah pertama masukkan nama untuk crawler anda. Klik seterusnya. Pada langkah seterusnya biarkan sebagai lalai. Pada langkah ketiga masukkan jalan ke baldi S3 pilihan anda. Biarkan tetingkap seterusnya sebagai lalai. Di tetingkap kelima masukkan sebarang peranan IAM. Pada langkah seterusnya memilih kekerapan menjalankan perkhidmatan.

Dianjurkan untuk memilih custom di kotak drop down dan memilih waktu minimum.

Pada langkah seterusnya klik Tambah Pangkalan Data dan kemudian seterusnya. Klik Selesai.

Sekarang kita harus menggabungkan Kinesis Firehose dengan Lem AWS yang kita buat.

Pergi ke AWS Kinesis firehose yang kami buat dan klik edit.

Tatal ke bawah ke bahagian Tukar Format Rekod dan pilih Diaktifkan.

Pilih format output sebagai Apache Parquet. Untuk selebihnya, isikan butiran pangkalan data Glue yang anda buat. Jadual harus dibuat dalam pangkalan data dan nama harus ditambahkan ke bahagian ini. Klik Simpan.

Langkah 4: Mengkonfigurasi AWS Athena

Pilih pangkalan data dan jadual data yang anda buat. Di bahagian pertanyaan kod ini harus ditambah.

nama meja harus diganti dengan nama sebenar jadual Lem yang anda buat.

Klik Jalankan Pertanyaan. Sekiranya berfungsi, data yang disimpan dalam baldi AWS S3 harus dipaparkan sebagai jadual data.

Sekarang kami bersedia untuk memvisualisasikan data yang kami dapat.

Langkah 5: Mengkonfigurasi QuickSight

Navigasi ke AWS Quicksight

Klik Analisis Baru di sudut kanan atas dan kemudian klik Set Data Baru.

Pilih Athena dari senarai. Masukkan sebarang nama sumber Data pada kad pop timbul.

Pilih pangkalan data Lem dari kotak drop-down dan jadual yang berkaitan. Ini akan mengarahkan anda ke halaman ini.

Seret dan lepas bidang apa pun dari senarai medan dan pilih jenis visual apa pun.

Kini anda dapat memvisualisasikan sebarang data yang dihantar dari MagicBit Anda Menggunakan perkhidmatan AWS !!!

Ingatlah untuk membenarkan akses untuk melihat cepat untuk baldi S3 masing-masing untuk memvisualisasikan data di dalamnya.