語音分離相關介紹

2022-06-27 15:00:16 字數 1344 閱讀 2519

起源:來自「雞尾酒會效應」,人類可以將注意力放在特定的所感興趣的訊息上,可以摒棄環境中的雜訊等的干擾。

定義:指通過運用一定的方法從接受到的混合語音頻號中計算出個體訊號的訊號處理技術,它大致可以分成兩個方向:第一,在語音頻號中進行多個聲源之間的分離;第二,在語音頻號中進行單一聲源與雜訊等干擾的分離。

1 基於獨立成分分析方法(ica,independent component analysis)

其是目前應用最廣泛的單麥克語音分離的方法,通過尋找多維陣列中的統計獨立和非高斯成分來實現對語音頻號的分離。在國外的發展速度較快。

2 基於計算聽覺場景分析方法(casa,computational auditory scene analysis)

該方法的基礎理論是獨佔分配準則和閉包連續準則,其中,獨佔分配準則指的是,在某一時刻,人類聽覺方法的諸多感官要素只能對唯一的聲音流起作用;閉包連續準則指的是,對於短時進入聽覺感官要素的非連續語音資訊,人腦可以合理組織,從而恢復出完整的語音資訊。該方法也是國外發展時間較長。

基於casa的語音分離方法憑藉著無需提前假定和限制聲源訊號的統計特性、混合方式和通道個數的種種優勢,正在迅速成為語音頻號處理領域的熱門方法。

3 基於空間濾波方法(sf,spatial filtering)

該方法指的是通過麥克風陣列對聲源訊號進行採集,再利用波束形成和濾波演算法對混合訊號進行處理的語音分離方法。

與單麥克的獨立成分分析相比,麥克風陣列有更好的拓撲結構,所以陣列有更好的空間解析度,可以更好的獲取目標的時域、頻域和空域等資訊。常用的陣列語音分離方法有:

•延遲-求和(ds,delay-sum)

該方法首先計算每個聲源到麥克風陣列的每個陣元的距離和到達參考點(也是其中乙個陣元)的距離差,然後根據差值計算相應的時延,並對各路語音頻號進行延遲補償。最後利用各聲源的固定權值對同步後的各路訊號進行乘積累加,便可將各聲源的訊號分離開來。但由於是固定權重,所以不能對雜訊起到最大限度的抑制作用。

•麥克風陣列自適應語音分離方法

該方法定期根據接收訊號的協方差矩陣進行波束形成演算法的權向量更新,這樣波束主瓣就能進行實時調整,而且方向始終對準聲源訊號,同時「零點」指向干擾雜訊。該方法是目前應用最為廣泛的語音分離方法。

•後置維納濾波麥克風陣列語音分離方法

該方法就是在每個麥克風陣列的陣元後加乙個設定的有限衝激響應濾波器,這個濾波器組的復加權係數由各路混合訊號的延遲補償和幅度加權值共同決定,所以這種方法具有自適應性,即它的復加權係數有自適應性,最後,將所有的加權復係數進行累加便可以得到輸出訊號,這種方法計算量最大,但是是時域直接處理的辦法,即輸出訊號各段相位一致。

語音轉寫平台 非實時語音分割

1.question1 非實時音訊切割出許多空白音訊 len audio 0 analysis audiosegment.length 14533 audiosegment.get arrays from samples.length 116267 根據audiosegment.arrays長度切割...

置換性不變訓練(PIT)單通道語音分離(SS)入門

核心工作 提出一種通過最小化分離誤差解決標籤排列問題的排列不變訓練技術。基於類的方法 1.通過 所屬目標類的源來進行網路優化,通常用於每個時頻塊 2.只能用於語音與背景雜訊或 的分離,因為語音具有與雜訊 非常不同的特徵 很難與其他技術結合。針對標籤模糊問題解決核心 參考fig.1 1.pit 2.基...

呼叫中心語音分析系統的作用

現在,呼叫中心管理越來越多地轉向語音分析,以便為管理人員提供更深入地了解在通話過程中所發生的一切。通過語音分析系統,完善了客戶服務呼叫中心服務質量管理 運營分析 滿意度分析 市場營銷效果分析以及自定義分析等應用功能。語音分析系統不但實現了通話內容的實時轉寫 實時分析,為人工坐席提供即時的話術支援,還...