創澤機器人
CHUANGZE ROBOT
當前位置: 首頁> 新聞資訊> 機器人知識> 基於網格圖特征的琵琶指法自動識別

基於網格圖特征的琵琶指法自動識別

來源: CAAI認知係統與信息處理專委會編輯: 創澤時間:2020/6/12 主題: 其他[ 加盟]

在人工智能方法飛速發展的今天,對樂器的演奏指法的自動分析在樂曲的檢索、鑒賞引導、演奏輔助學習等方麵均具有重要意義。琵琶作為一種中國傳統樂器,對其進行自動分析的已有工作大多集中於對琵琶聲音的算法合成方麵的探討[1-3],而在指法自動識別、分類方麵涉及很少。在我們的工作中,提出了對琵琶不同指法所產生的聲音具有明顯區分度的網格圖特征,用於對幾種典型的琵琶演奏指法進行基於機器學習的自動識別。

2. 常用的琵琶演奏指法簡介

琵琶演奏出的聲音大多為包含豐富諧波的樂音類聲音,也有部分特殊指法能夠發出不體現明顯諧波特性的噪音類聲音。我們選取了4種樂音類演奏指法和3種噪音類演奏指法進行分析和自動識別。

4種樂音類指法為彈、輪指、泛音和掃弦。彈為琵琶演奏的最基本指法,即用右手食指撥弦。輪以右手食指為第1、中指第2、無名指第3、小指第4,依次向左前方彈出,而後大指為第5由反向挑進,得5聲稱1輪。泛音是左手虛按住1根弦同時右手彈該弦,音量大,且音質清脆明亮。掃弦為用右手食指依次快速彈4弦。

3種噪音類指法為絞弦、擊板和摘。絞弦是中指將1弦推進去至右側1根或幾根弦下方,食指將右側1根或幾根弦身向左拉出壓在左側的1根推弦上,並用食指按住絞在一起的兩根琴弦,取出中指,然後輪雙弦。擊板是用右手擊打麵板。摘是用右手拇指指肉觸弦,中指彈奏。

我們以聲譜圖為基礎,針對以上幾種琵琶演奏指法提取了3種不同類型的網格圖用於對琵琶指法的自動識別。

3. 以聲頻圖為基礎的琵琶音色網格圖

我們使用的琵琶演奏聲音樣本來源於中國音樂學院構建的中國音樂數據庫———CCMusic[4]。這個數據庫的琵琶素材部分包含專業演奏者用多種琵琶演奏指法錄製的聲音樣本,各指法一般錄製兩遍。

聲譜圖作為同時體現聲音信號的時域、頻域特征的綜合的可視化表達方式,能夠保留聲音信號中的大多數信息,因此能夠將數字圖像處理方法引入到音頻信號分析中。聲譜圖相似度可被用於音樂檢索或音樂風格分析;而將聲譜圖作為圖像,通過對其2維頻譜的分析,可以對語音和音樂信號進行識別;多分辨率的聲譜圖也被用於伴奏音樂與歌唱人聲的分離等[5-9]。我們使用聲譜圖作為基本信息來源,並在此基礎上擴展為3種對不同指法的區分度更明顯的網格圖,從中提取特征進行指法的自動識別。琵琶聲音樣本分析與特征提取的流程圖如圖1所示。






利用時序信息提升遮擋行人檢測準確度

Tube Feature Aggregation Network(TFAN)新方法,即利用時序信息來輔助當前幀的遮擋行人檢測,目前該方法已在 Caltech 和 NightOwls 兩個數據集取得了業界領先的準確率

京東姚霆:推理能力,正是多模態技術未來亟需突破的瓶頸

姚霆指出,當前的多模態技術還是屬於狹隘的單任務學習,整個訓練和測試的過程都是在封閉和靜態的環境下進行,這就和真實世界中開放動態的應用場景存在一定的差異性

看高清視頻,如何做到不卡頓

優酷智能檔突破“傳統自適應碼率算法”的局限,解決視頻觀看體驗中高清和流暢的矛盾

基於真實環境數據集的機器人操作仿真基準測試

通過使用仿真和量化指標,使基準測試能夠通用於許多操作領域,但又足夠具體,能夠提供係統的有關信息

億級視頻內容如何實時更新

基於內容圖譜結構化特征與索引更新平台,在結構化方麵打破傳統的數倉建模方式,以知識化、業務化、服務化為視角進行數據平台化建設,來沉澱內容、行為、關係圖譜,目前在優酷搜索、票票、大麥等場景開始進行應用

深度解析大規模參數語言模型Megatron-BERT

NVIDIA解決方案架構師王閃閃講解了BERT模型原理及其成就,NVIDIA開發的Megatron-BERT

自然語言處理技術五大技術進展和四大應用與產品

自然語言處理技術的應用和研究領域發生了許多有意義的標誌性事件,技術進展方麵主要體現在預訓練語言模型、跨語言 NLP/無監督機器翻譯、知識圖譜發展 + 對話技術融合、智能人機交互、平台廠商整合AI產品線

自然語言處理技術發展趨勢進一步推動人工智能從感知智能向認知智能的演進

下一個十年,智能人機交互、多模態融合、結合領域需求的 NLP 解決方案建設、知識圖譜結合落地場景等將會有突破性變化

中國移動室內定位白皮書

中國移動聯合產業合作夥伴發布《室內定位白皮書》,對室內定位產業發展現狀及麵臨的挑戰,深入分析了垂直行業的室內定位需求,並詳細闡述了實現室內定位的技術原理, 及室內定位評測體係

傳感器麵臨時代新機遇,未來發展將呈現哪些趨勢

機器人、無人機、自動駕駛汽車等加快落地,智慧城市深入建設,更是為傳感器產業帶來了難以估量的龐大機遇

仿人操作機器人Cosero配備7自由度機械臂裝有Kinect相機實現對目標環境的3D感知

Cosero是德國波恩大學的Sven Behnke團隊根據家庭環境中的日常操作任務而研製的一款仿人操作機器人基於深度學習方法的目標姿態估計和RGB-D SLAM等感知測量

移動式操作機器人平台Personal Robot 2可模擬開門、打台球和畫畫

機器人的學習分為三個部分的軌跡預測包括示教者的手部運動軌跡、示教者的身體移動軌跡以及被操作物體的運動軌跡
資料獲取
機器人知識
==最新資訊==
ChatGPT:又一個“人形機器人”主題
ChatGPT快速流行,重構 AI 商業
中國機器視覺產業方麵的政策
中國機器視覺產業聚焦於中國東部沿海地區(
從CHAT-GPT到生成式AI:人工智能
工信部等十七部門印發《機器人+應用行動實
全球人工智能企業市值/估值 TOP20
必威主頁第十一期上
諧波減速器和RV減速器比較
機器人減速器:諧波減速器和RV減速器
人形機器人技術難點 高精尖技術的綜合
機器人大規模商用麵臨的痛點有四個方麵
青島市機器人產業概況:機器人企業多布局在
六大機器人產業集群的特點
機械臂-高度非線性強耦合的複雜係統
==機器人推薦==
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人開發平台

機器人開發平台


機器人招商Disinfection Robot機器人公司機器人應用智能醫療物聯網機器人排名機器人企業機器人政策教育機器人迎賓機器人機器人開發獨角獸消毒機器人品牌消毒機器人合理用藥地圖
版權所有 必威主頁中國運營中心:北京 清華科技園九號樓5層 中國生產中心:山東日照太原路71號
銷售1: 4006-935-088銷售2: 4006-937-088客服電話: 4008-128-728

Baidu
map