Stand Muzik Multimodal: 9 Langkah (dengan Gambar)

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:12

Multimodal Music Stand (MMMS) adalah kaedah baru untuk mengawal sintesis dan kesan audio semasa memainkan alat tradisional (saks, seruling, biola, namakannya), dan menawarkan beberapa kemungkinan tambahan untuk teknik lanjutan yang dapat digunakan semasa bermain ! Sudah ada laman web mengenai projek kumpulan kami di UC Santa Barbara di mana kami mengembangkan MMMS, jadi daripada mengulanginya di sini, saya akan menyiarkan pautan - lihat! Laman Web Muzik Multimodal Klip pendek MMMS yang sedang beraksi adalah di sini, tetapi ada video yang lebih baik di laman web di atas … Multimodal merujuk kepada kemampuan penginderaan input dalam lebih dari satu modaliti (input audio, input video, dan input berdasarkan sensor). Input audio dan video cukup mudah, melibatkan mikrofon biasa dan kamera web yang disambungkan ke komputer anda, tetapi input sensor sedikit lebih rumit, oleh itu ini boleh diarahkan… Kami menggunakan CREATE USB Interface, litar sederhana yang saya kembangkan untuk kelas Saya mengajar di UCSB, bersama dengan kit ThereminVision II untuk bidang E (juga dikenali sebagai penginderaan kapasitif) seperti yang ditunjukkan di sini: CREATE USB InterfaceThereminVisionII kitJika anda tidak tahu apa itu Theremin, buat diri anda nikmat dan cari Youtube, anda menang Jangan kecewa! MMMS pada dasarnya setara dengan 2 Theremins, kerana ia mempunyai 4 antena pengesan medan E, selain input audio / video tentu saja. Sekiranya anda berminat untuk memperluas teknik prestasi anda dengan instrumen anda dengan berinteraksi dengan komputer, tetapi tidak mahu menggunakan tapak kaki yang sederhana, membina diri anda sebagai Multimodal Music Stand dan mula berlatih dengannya!

Langkah 1: Mengenai CREATE USB Interface

CREATE USB Interface (CUI) adalah litar yang dapat diprogramkan berdasarkan PIC sederhana yang boleh dibina sepenuhnya DIY, atau anda boleh mendapatkannya dari saya secara langsung dengan harga $ 50 (+ 5 untuk penghantaran), dan anda tidak perlu untuk membeli programmer PIC kerana saya meletakkan bootloader di atasnya untuk anda… lihat laman web untuk perinciannya, atau hanya hantarkan e-mel kepada saya untuk memintanya: BUAT laman web Antara Muka USB CUI boleh berfungsi sebagai banyak perkara yang berbeza, dan sekarang telah digunakan dalam ratusan projek menarik di seluruh dunia … beberapa contoh dari pelajar di UC Santa Barbara terdapat dalam kertas persidangan ini (PDF). CUI dapat diprogram ulang melalui kabel USB menggunakan bootloader, itulah sebabnya ia sangat mudah disesuaikan - cukup ubah firmware dan ia adalah sesuatu yang lain. Sebagai contoh, mudah untuk menjadikan CUI menjadi antara muka sensor tanpa wayar menggunakan salah satu modul Bluetooth dari keseronokan percikan - jika ada yang berminat untuk melakukan ini, hantarkan catatan di komen meminta arahan lain. CUI mempunyai 13 saluran input analog 10-bit dan 16 pin input / output tujuan umum. Firmware lalai yang dihantar dengan papan CUI v1.0 menghantar semuanya sebagai input ke komputer hos, dan berfungsi dengan baik dengan persekitaran pembuatan seni interaktif seperti Max / MSP / Jitter, Pd / Gem, SuperCollider, Chuck, dll. Saya menggunakan salah satu papan CUI v1.0 untuk membina Muzik Multimodal dalam arahan ini. Kami menggunakan Max / MSP / Jitter sebagai persekitaran, tetapi dengan segala cara jangan ragu untuk menyesuaikannya dengan Pd atau perisian pilihan anda. Saya peminat sumber terbuka (CUI itu sendiri adalah sumber terbuka), dan sangat membantu jika kita semua berdiri di atas bahu masing-masing dan memperbaiki perkara yang kita buat!

Langkah 2: Mengenai ThereminVision II Kit

ThereminVision II tersedia dalam bentuk kit ($ 50) dan pra-binaan ($ 80) dari laman vendor, RobotLand, dan juga sumber terbuka - manual ThereminVision II (PDF) merangkumi diagram litar. Untuk MMMS, saya membeli kit dan kemudian memutuskan untuk menggunakannya dengan yang telah dibina kali ini (ini adalah MMMS kedua yang saya bina). Sebagai tambahan, sekiranya anda tertanya-tanya mengapa saya tidak menawarkan bentuk kit dari CREATE USB Interface, kerana bootloader CUI harus diprogramkan dengan programmer PIC konvensional sebelum firmware baru dapat dihantar melalui USB - jika tidak, saya pasti akan menawarkan kit, walaupun ia melibatkan pematerian permukaan mount … Jadi kembali ke ThereminVision II - jika anda membelinya dalam bentuk faktor kit, ikuti arahan (hebat!) dalam pdf: Manual ThereminVision II Terdapat banyak rajah pendawaian yang bagus yang perlu anda lakukan - satu-satunya perkara yang tidak ditunjukkan adalah sambungan ke CREATE USB Interface, jadi saya akan menghantar foto yang saya ambil pada beberapa langkah seterusnya … oh, dan saya mendapat antena untuk ThereminVision (tidak termasuk) dari All Electronics.

Langkah 3: Menyiapkan Muzik

Jadikan Muzik Multimodal anda daripada tempat muzik yang bagus seperti "konduktor" yang ditunjukkan di sini atau gunakan apa sahaja yang anda miliki - lebih baik lagi, buat sendiri!

Tidak kira apa pendirian yang anda gunakan, ia memerlukan pemasangan terpencil untuk empat antena di sudut-sudut pendirian. Mulakan dengan menggerudi lubang di sudut - perkakasan pemasangan yang saya pasangkan bekerja dengan bit gerudi 1/4 , kemungkinan anda akan berbeza. Cubalah untuk menjaga bahagian depan permukaan sebisa mungkin untuk mengelakkan gangguan pada muzik lembaran.

Langkah 4: Menyambungkan Modul Sensor ThereminVision

Menyambungkan modul "sensor" ThereminVision (555 litar pemasa) ke modul "pemproses" ThereminVision juga dibincangkan dengan lebih terperinci dalam manual ThereminVision II, tetapi berikut adalah beberapa gambar proses …

Langkah 5: Menyambungkan ThereminVision ke CREATE USB Interface

Seperti yang kita lihat pada langkah terakhir, terdapat 4 wayar yang menghubungkan setiap modul sensor ke modul pemproses ThereminVision. Terdapat juga 6 wayar yang menghubungkan modul pemproses ThereminVision ke CREATE USB Interface - mereka adalah Power, Ground, Sensor Output, Sensor Select A, Sensor Select B, dan Sensor Stop.

Oleh kerana ThereminVision II akan mendapat kuasa dari CREATE USB Interface (yang seterusnya mendapat kuasanya dari USB), saya memutuskan untuk menyambungkan kuasa untuk setiap modul sensor ThereminVision terus ke CREATE USB Interface - ini menjadikannya sedikit kurang sarang burung pada pendawaian kerana sudah banyak wayar masuk ke papan pemproses TherminVision. Sambungkan "+" pada ThereminVision ke "5V" pada CUI Connect "-" pada ThereminVision ke "GND" pada CUI Connect "4" (bahagi dengan 4 output) pada ThereminVision ke "D7" pada CUI Connect "SEL B" pada ThereminVision ke "D5" pada CUI sambungkan "SEL A" pada ThereminVision ke "D4" pada CUI Connect "S" pada ThereminVision ke "D6" pada CUI

Langkah 6: Melekapkan Segalanya ke Diri

Oleh itu, elektronik sudah selesai, sekarang hanya memasangnya - terdapat banyak kaedah untuk melakukan ini, dan anda mungkin mahu meletakkan elektronik anda di dalam kotak pelindung, dan lain-lain….

Berikut adalah beberapa gambar dari beberapa kaedah pemasangan yang paling mudah.

Langkah 7: Memuat Boot Firmware untuk ThereminVision Ke CUI

ThereminVision menghantar isyarat masa untuk sensornya dan bukannya output analog (atau mana-mana protokol digital standard seperti I2C atau SPI). Oleh itu, beberapa firmware khusus untuk mengukur masa isyarat ini diperlukan … Versi pertama firmware Multimodal Music Stand ada dalam fail zip di bawah, kedua-dua kod sumber dan fail hex yang disusun disertakan (bersama dengan patch ujian untuk Max / MSP / Jitter): Firmware CUI-ThereminVideo screenshot di bawah menunjukkan program OS X Boot Down oleh Craig Schimmel - utiliti pemuatan but Macintosh untuk CUI. Sekiranya anda menggunakan windows, perkara paling mudah adalah menggunakan alat Microchip sendiri, PDFSUSB.exe yang boleh dimuat turun dari laman web mereka, atau disertakan dalam kod contoh ini untuk CREATE USB Interface. Untuk meletakkan CUI dalam "mod bootloader", tahan butang program dan tekan butang reset (atau pasangkan kabel USB sambil menahan butang program ke bawah). LED status CUI akan berkedip secara berterusan menunjukkan bahawa ia berada dalam mod pemuat but. Sekarang anda boleh menggunakan Boot Down untuk menghantar fail CUIEfieldBootDown.hex ke CREATE USB Interface. Sekiranya anda ingin menukar firmware untuk CREATE USB Interface kembali ke yang asal, ada di sini, dan ada contoh firmware lain untuk CUI di sini juga.

Langkah 8: Menguji Stand Muzik Multimodal di Max / MSP / Jitter

Buka contoh tampalan di Max / MSP / Jitter (demo 30 hari boleh dimuat turun dari www.cycling74.com, dan versi "runtime" juga tersedia yang tidak membenarkan menyimpan patch), atau ikuti konvensi di patch Max dan buat patch anda sendiri dalam PureData (Pd)… Jitter digunakan untuk memaparkan kedudukan 3D input isyarat, di mana paksi-z (ke arah dan jauh dari dudukan) dipetakan ke intensiti keseluruhan keempat-empat antena - tidak terlalu saintifik, tetapi berjaya! Data dari sensor individu juga dikirim sebagai OSC ke 127.0.0.1 (localhost) untuk digunakan oleh aplikasi lain jika diperlukan. Objek berguna di Max / MSP / Jitter untuk menyaring lonjakan dari data sensor (disebabkan oleh gangguan elektrik) adalah "lebih lancar" Tristan Jehan, yang boleh dimuat turun di sini: objek max yang lebih lancar Laman web Tristan juga mempunyai sekumpulan luaran MSP untuk Max yang kami gunakan untuk bahagian analisis audio input Multimodal Music Stand - ia merangkumi nada ~, kelantangan ~, kecerahan ~, kebisingan ~, dan objek semua-dalam-satu penganalisis ~. Sebaik sahaja anda mempunyai data yang masuk ke Max, anda perlu menyesuaikan kepekaan sensor ThereminVision secara individu dengan pemutar skru kecil. Lakukan ini dengan memperluas antena sepanjang jalan, kemudian putar trimpot biru berlawanan arah jarum jam sehingga masuk ke mod "penginderaan terbalik" - kemudian putar kembali mengikut arah jam sehingga anda kembali dalam jarak penginderaan normal. Penyesuaian kecil (menetap kepekaan, seperti menala gitar) dapat dilakukan dengan mengubah panjang antena, jadi anda tidak perlu membawa pemutar skru kecil untuk bersembang dengan anda.

Langkah 9: Menggunakan Persembahan Muzik Multimodal dalam Prestasi! (dan Memperluasnya)

Jangan lupa, teknik persembahan baru yang membolehkan Multimodal Music Stand memerlukan latihan, dan pengembangan pemetaan dan idea baru untuk perkara yang ingin anda kendalikan dengannya! Juga, jika anda ingin memperluas MMMS anda untuk memasukkan jenis sensor lain, mungkin menggunakan 13 input analog pada CUI sebagai tambahan kepada sensor ThereminVision pada versi firmware MMMS yang akan datang, jadi dengan beberapa sensor sederhana (slider / tombol / kaki / kaki) atau jenis sensor lain (IR / ultrasound / dll), ini dapat digunakan bersama dengan input audio dan video ke komputer. Pada masa ini firmware menggunakan protokol "serial-over-USB" tetapi akhirnya rencananya adalah untuk beralih ke protokol "HID" (Human Input Device) yang biasanya digunakan oleh CREATE USB Interface. Jangan ragu untuk menyumbang kepada usaha … Terdapat projek sumber terbuka serupa untuk penginderaan E-medan (juga dikenali sebagai penginderaan kapasitif) yang menggunakan topologi litar yang sama (berdasarkan reka bentuk ThereminVision) yang disebut CapToolKit - ia menggunakan "adik lelaki" "dari PIC18F4550, PIC18F2550 yang tidak mempunyai banyak input analog (10 bukannya 13). Firmware untuk CapToolKit akan sedikit berbeza kerana mereka tidak menggunakan papan pemproses ThereminVision. Kami menggunakan kamera firewire sederhana (gaya kamera web) yang dipasang di bahagian atas dudukan muzik untuk pengiktirafan optik gerak fizikal dan pengesanan pandangan - Sekiranya anda berminat dalam aspek penglihatan komputer atau analisis audio dan sintesis penyelidikan kumpulan kami, sila lihat makalah di laman web Multimodal Music Stand. Dan sila hantarkan pengalaman anda jika anda membina Multimodal Music Stand… Kami sekarang mempunyai dua dari mereka di UCSB seperti yang ditunjukkan dalam foto di bawah - akan lebih baik apabila terdapat lebih banyak komposisi, persembahan, dan pemuzik yang menggunakannya di luar sana! Dr. JoAnn Kuchera-Morin menulis komposisi pertama yang melibatkan MMMS, yang dilakonkan oleh pemain flut Jill Felber di Eastman School of Music pada bulan Mac 2007.