音樂機器人(鋼琴)

h4587323

大家好~小弟目前做的碩論內容為音樂機器人
要整合學長姐的"樂譜辨識"與"聽音模仿"
在電腦上得到音樂資訊後輸出給機器手彈奏
目前訂購了線性螺桿為了達到左右橫移的效果
也做了兩隻5根手指頭的機器手
要裝置在線性螺桿上面
以達到彈奏的效果

目前是希望即時看譜演奏(利用 webcam 辨識紙本樂譜)
然後利用音訊處理分辨使用者彈奏的音高，讓機器手重複動作(模仿模式)

那最近老師希望有更不一樣的performance可以呈現
例如教學模式、利用影像模擬彈奏鋼琴等等....
不知道各位大大有沒有一些想法可以建議我的! 謝謝!

mzw2008

這隻手好面熟, 連馬達也很面熟...機構也是很面熟
哈哈

WEBCAM 看樂譜...那就要盡量快一點處理出來
所以需要比較好一點的電腦來做
但webcam 最好買好一點的, 每秒frame數和解析比較好(因為鍵譜有些線太細)

每隻手指還要做出快中慢三種動作...這樣才有基本的按鍵細緻度
你的控制板的T參數可輕易調整
當然願意花錢買高級馬達, 要做出柔順的彈琴動作就不難了

教學模式, 建議最容易就是用一片電極板, 貼到整個鋼琴鍵面, 每個鍵都有一個對應的接觸電極
這樣可輕易利用arduino MEGA之類的來讀取到底按到哪個按鍵
記錄下來, 機器手只是照著播而已

當然若老師又要抱怨這個, 那就變成在人的手指裝扭力計+webcam 辨識手的位置, 可以有最好效果
但他一定嫌錢沒那麼好賺(扭力計比較貴)
所以可以辛苦的實作每個手指裝上改裝的可變電阻, 也可以有類似的效果

但... 其中你講的影像模擬鋼琴? 這是在講什麼? 可否更詳細的描述一下呢?

h4587323

回復 2# mzw2008

哈哈我都忘記我有在這邊發文不太習慣ˊˋ
鯨魚大你當然眼熟阿
因為我是跟你買的而且你又幫忙我很多XDD


你的想法我可以考慮看看!
另外影像模擬鋼琴，給你看影片比較快
1.   http://www.youtube.com/watch?v=kf3G-DXqt6Y
2.   http://www.youtube.com/watch?v=4STUGl-YHDc
   
簡單來說就是希望可以用 kinect 與我的機器手結合這樣!
做起來的難度我也不清楚，不知道你有麼建議呢???

mzw2008

那還得感謝你有耐心聽我慢慢解釋清楚啊

kinect 的應用...
應該說..."想要如何結合"
kinect 要學會不是那麼難
難在IDEA... 微軟的團隊就說過囉: kinect 是無所不能的, 唯一的限制只在想像力喔^^