Pawagam Biofeedback: 7 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:11

Pengarang Projek

Jessica Ann

Kerjasama

• Gregory Hough
• Salud Lopez
• Pedro Peira

Mengenai

Sistem rakaman video eksperimental yang menghubungkan otak peserta ke fungsi kamera melalui Neurosky Mindwave EEG Reader Headset. Sistem Biofeedback Cinema berfungsi sebagai pengganti sinematografer tradisional, sebaliknya memberikan agensi komposisi kepada peserta sendiri melalui antara muka BRAIN to CAMERA khusus. Projek ini dikembangkan dengan kerjasama peserta bengkel Gregory Hough, Salud Lopez, dan Pedro Peira. Anda boleh membaca hasil bengkel di:

Konfigurasi Prototaip

Sistem Biofeedback Cinema sesuai dengan banyak aplikasi yang berpotensi. Untuk instruksional ini, kami telah menyiapkan demo sistem yang melihat tahap fokus / perhatian peserta (satu bilangan bulat) dan menerjemahkannya ke kedudukan kamera (melalui pan dan kecondongan) dan fokus kamera (secara dalaman melalui OpenCV). Ini semua dimungkinkan oleh sambungan bluetooth antara Neurosky EEG Reader Headset dan Raspberry Pi.

Raspberry Pi adalah komputer kecil yang dilengkapi dengan kamera web dan skrip (tersedia di bawah) yang menghubungkan aktiviti otak peserta ke tetapan kamera dan kedudukan kamera. Kedudukan kamera dinamik dimungkinkan melalui mikrokontroler Arduino yang menerima isyarat dari Raspberry Pi. Kami menantikan pengembangan lebih lanjut kerana kami bertujuan untuk memasukkan parameter gelombang otak tambahan (frekuensi yang berkaitan dengan kerlipan mata, dll) dan fungsi kamera (iaitu warna, ketepuan, kecerahan, dll).

Berikut adalah arahan untuk membina sistem Biofeedback Cinema anda sendiri.

Selamat bereksperimen

Langkah 1: Bekalan

Semua yang anda perlukan untuk membina prototaip Biofeedback Cinema anda sendiri disenaraikan di bawah.

1. Alat dengar EEG Bergerak Neurosky Mindwave

2. Raspberry Pi B + (b + lebih baik, lebih banyak port USB, tetapi Model B juga baik jika anda mempunyai hab USB).

   1. Penyesuai Kuasa Raspberry Pi atau Pek Bateri
   2. Wifi Dongle -atau- Sambungan Ethernet (hanya diperlukan semasa persediaan)
   3. Bluetooth Dongle melihat wiki untuk dongle yang serasi
   4. Kad SD (sekurang-kurangnya 8GB) dengan NOOBS.

3. Arduino Sebarang papan baik-baik saja, menggunakan Uno dalam Instructable ini. Perhatikan juga, anda hanya boleh menggunakan I / O pada Pi.

   1. Penyesuai Kuasa Arduino atau Pek Bateri
   2. Kabel USB A-B
4. Kamera Web USB
5. Kit Pan-Tilt Mini

6. Monitor dengan Input HDMI Atau gunakan VNC untuk mengawal jauh pi dari komputer anda [tutorial di sini]

   Kabel HDMI

7. Papan Kekunci & Tetikus USB mengesyorkan papan kekunci dan tetikus bluetooth untuk meminimumkan port USB yang digunakan.

Langkah 2: Sediakan Raspberry Pi

1. Persediaan Perkakasan

Sambungkan papan kekunci, tetikus, dongle bluetooth, dongle wifi (atau ethernet), kamera web, monitor melalui kabel HDMI, dan kuasa ke Raspberry Pi anda

2. Persediaan Sistem Operasi

• Aktifkan dan hidupkan Pi anda. Pasang OS Rasbpian, arahan di sini:
• Sekiranya boot dan Raspian dipasang dengan betul, anda akan melihat desktop rumah [Gambar di atas].

Petunjuk:

• Sekiranya nisbah aspek desktop mati, mulakan semula Raspberry Pi anda. Sekiranya masih mati, lihat di sini untuk mengemas kini nisbah aspek secara manual.
• Sekiranya anda membuka penyunting teks dan watak khas papan kekunci anda tidak sesuai, lihat di sini untuk mengemas kini konfigurasi papan kekunci anda.
• Uji sambungan internet anda (anda memerlukannya untuk memasang perpustakaan semasa persediaan). Cari di sini untuk mendapatkan bantuan dalam penyediaan wifi.

Langkah 3: Sambungkan Alat dengar Neurosky

1. Konfigurasi Bluetooth

Sebelum Pi dapat menyambung ke Neurosky, kita perlu menyiapkan bluetooth:

Buka desktop "LXTerminal" (disebut sebagai Terminal dari sini). Jalankan arahan ini untuk menyelesaikan dan mengemas kini kekurangan:

$ sudo apt-get kemas kini

Pasang bluetooth dengan arahan ini:

$ sudo apt-get pasang bluetooth

Pasang utiliti bluetooth desktop-toolbar yang berguna:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Reboot Pi dari Terminal:

but semula $ sudo

2. Uji Sambungan Bluetooth

• Hidupkan alat dengar Neurosky
• Dari Terminal mengimbas peranti:

imbasan hcitool

Alat dengar Mindwave harus disenaraikan, perhatikan alamat MAC alat dengar [gambar di atas]

3. Pasang Perpustakaan Neurosky

Sekarang kita sudah siap untuk memasang perpustakaan Neurosky Python dan mula mengambil aliran datanya dengan skrip ujian perpustakaan:

Dari Terminal pasang utiliti github:

sudo apt-get install git-core

Repositori klon github dengan perpustakaan Neurosky Python:

sudo git clone

Kita perlu mengemas kini fail MindwaveMobileRawReader.py dengan alamat MAC alat dengar anda. FYI: Nama fail peka huruf besar kecil

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Kemas kini alamat MAC yang tertera dalam fail. Ctrl-X untuk menyelesaikan, Y untuk menyimpan, Masukkan untuk keluar.
• Pasangkan Neurosky dan Pi dan benarkan ciri sambung automatik, jika diminta menggunakan PIN "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device dipercayai XX: XX: XX: XX: XX: XX ya

Pasang pustaka Bluetooth Python:

sudo apt-get install python-bluez

Jalankan skrip ujian perpustakaan untuk memastikan Pi dapat melihat pratonton aliran data. Anda harus melihat aliran data [gambar di atas]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Langkah 4: Sambungkan USB Webcam W / Open CV

1. Pasang OpenCV

Dari Terminal:

$ sudo apt-get install libopencv-dev python-opencv

Setelah selesai, teruskan:

$ sudo apt-get -f pasang

Untuk ukuran yang baik:

$ sudo apt-get install libopencv-dev python-opencv

Uji pemasangan dengan cuba mengimport perpustakaan:

$ ular sawa

> import cv2

2. Uji OpenCV di Python dengan Webcam USB

• Buka desktop "IDLE" (jangan buka IDLE3!)
• Dari menu Fail pilih New Window. Salin skrip Cv-Blur-Test kami ke tetingkap baru dan simpan. Skrip tersedia di sini:
• Dari menu Run Pilih Run Module (atau Tekan F5). Mungkin perlu beberapa saat untuk memulai, tetapi anda akan melihat bingkai kecil muncul dengan suapan kamera web langsung anda, dan video tersebut mungkin kabur. Tahniah, OpenCV dipasang dan berjaya dengan kamera web anda [Gambar di atas].

Langkah 5: Sambungkan Arduino

1. Muat turun Arduino IDE

Dari Terminal:

sudo apt-get install arduino

2. Sambungkan Arduino & Load Sketch

• Pasang arduino ke Pi dengan kabel USB A-B.
• Dari menu permulaan desktop, pergi ke Elektronik dan buka Arduino IDE. Salin sketsa arduino-serial-pi kami ke IDE [Pautan di bawah]. Ini adalah lakaran yang sangat asas yang akan menggerakkan motor servo berdasarkan input yang datang melalui siri ini. Kami akan menghantar data melalui siri berdasarkan output gelombang otak, menggunakan lakaran Python pada langkah terakhir ketika kami mengumpulkan semuanya.

Sketsa Arduino-serial-pi dalam talian di sini:

Di Arduino IDE, pergi ke menu Tools, pilih Serial Port dan pilih port Arduino yang disenaraikan, mungkin seperti / dev / ttyACM0. Buat catatan pelabuhan

3. Lumpuhkan Konsol Bersiri

Muat turun dan jalankan skrip untuk mematikan konsol bersiri supaya sambungan bersiri usb dapat berjalan lancar:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode-setup.tar.gz

$ cd alamode-persediaan

$ sudo./setup

but semula $ sudo

FYI:

Sekiranya anda menggunakan B + mungkin ada cukup I / O untuk menyokong servo, (lihat di sini untuk menyiapkan dan menggunakan GPIO). Walau bagaimanapun, saya berminat untuk menambahkan komponen tambahan untuk percubaan otak-ke-elektronik di masa hadapan. Jadi, menyiapkan prototaip awal dengan arduino memastikan banyak kemungkinan elektronik yang hebat.

Langkah 6: Menggabungkan Semuanya

1. Skrip Python akhir

Sebelum kita dapat menambahkan skrip python terakhir ke folder "python-mindwave-mobile", kita perlu mengubah kebenaran folder. Dari Terminal:

$ chmod a = rwx / rumah / pi / python-mindwave-mobile

• Buka IDLE dan jalankan skrip Python terakhir kami, tersedia dalam talian di sini: https://github.com/PrivateHQ/biofeedback-cinema/ Pastikan ia terletak di folder mudah alih python-mindwave. FYI: Anda perlu mengemas kini skrip Python kami dengan alamat port Arduino sebenar anda.
• Apabila anda menjalankan skrip ini tiga perkara yang seharusnya anda lakukan: 1) Tingkat perhatian anda akan tercantum di Shell Python, 2) Bingkai kecil muncul yang menunjukkan suapan langsung kamera web dengan kabur berubah berdasarkan tingkat perhatian, 3) motor (s) bergerak ketika tahap perhatian sedang disampaikan ke arduino melalui siri [Video di atas].

Langkah 7: Penambahbaikan & Pembangunan

Raspberry Pi mempunyai daya pemprosesan yang terhad, dan berjuang untuk menjalankan fungsi OpenCV dengan lancar. Ini adalah sesuatu yang akan terus saya kembangkan dan perbaiki. Selain itu, saya merancang untuk memasukkan parameter gelombang otak tambahan (frekuensi yang berkaitan dengan kerlipan mata, dan lain-lain) dan fungsi kamera (iaitu warna, ketepuan, kecerahan, dll) dalam lelaran masa depan.