前言：這兩年隨著vr、ir概念的火爆，三維聲場重建也成了向使用者提供高逼真度浸入式體驗的關鍵技術點之一。前兩年研究過一段時間三維聲場重建，大部分看過的*****的總結都陸陸續續遺失了，所以趁手邊還剩一點、腦子裡還剩一點，趕緊寫下來吧，以免完全遺失了。這部分基於對一篇博士**的學習，鏈結在此：
三維聲場重建，也稱為三維音訊、虛擬3d音訊、雙耳音訊等，主要是根據人耳對聲音頻號的感知特性，使用訊號處理的方法對到達兩耳的聲音頻號進行模擬，以重建複雜的空間聲場。說的通俗點，把耳朵以外的世界看作乙個系統（系統衝擊響應為h(n)），那麼任意乙個聲音源x(n)，在耳膜處接收到的訊號為x(n)和h(n)的卷積，也即聲音源經過耳朵外系統的濾波輸出，三維聲場重建就是把兩個耳朵接收到的聲音盡可能準確地模擬出來，就能讓人耳有聽到三維音訊的感覺了。
人耳對立體聲的感知也可以看作是對聲源的定位，目前的理論大多基於該模型：聲源傳入左右兩耳，會形成時間差（itd）和強度差（ild），另外，聲音頻號在耳外系統中傳播時會形成音質的衰落（注：這個衰落不評價音質的優劣，僅指差異），人耳就是根據這些特徵形成了定位能力。所以說，按照這個模型，如果人耳只有乙個在工作的華，理論上就喪失了聲音定位能力（類似於人眼的定位能力）。基於這一模型，人們用乙個傳遞函式來描述耳外系統的特徵，即頭像關傳遞函式（hrtf），如下：
從這個公式能看出點什麼嗎？（1）兩個耳朵各自對應乙個hrtf；（2）兩個耳朵的hrtf看起來不一定相關。另外，hrtf還有乙個特點，沒法從這組公式直觀地看出，那就是每個人的hrtf都不盡相同。這就引出了三維聲場重建領域的兩大研究方向，一大方向是通過事先測量，測出空間有限個點的hrtf資料庫，然後拼命地用這個庫盡可能地推算出整個空間的hrtf，另一大方向則是利用場的理論拼命地算出整個空間的hrtf。前者理論和實現都相對容易，但是無法保證對每個人都有效，會出現甲聽著挺逼真、乙則覺得完全不著道；後者雖然理論上能保證對任意聽者的有效性，但是理論複雜、計算代價高、準確度也有待提公升。而工業界怎麼做呢，工業界大多採用人工頭（或雙耳麥克風），直接錄出兩個聲道（當然了，不一定必需傳輸兩個聲道的資料），價效比當然能高一些，這個方向也已經有些公司做出了效果不錯的產品，不過不幸的是，山寨打法的苗頭已現，就看誰先佔住市場了。
附上3個學術界研究時常用的三個資料庫：
第一部分先到這裡吧，改天再繼續。
三維幾何基礎（3D？）
二維幾何我們多少有了一點了解，今天又是周天，於是又開始知識普及了。二維幾何中的很多操作也都適合三維幾何，比如點 向量 點，向量 向量 向量，等等 struct node node operator const node a,const node b node operator const node ...
Artec獨立三維（3D）掃瞄軟體
1 通過掃瞄物體本身的幾何特徵，在掃瞄過程中對每一3d幀進行實時擬合。2 在掃瞄過程中同時利用紋理 和幾何特徵進行跟蹤。融合可以稍後再進行。3d 三維軟體artec studio9.1可以建立豐富多彩的3d模型的紋理對映。紋理可以與模型一起以png或jpeg檔案格式匯出。3d 三維軟體artec s...
3D 三維資料獲取的運動恢復
研究生課程系列文章參見索引 在信科的那些課 三維資料配準 registration 將在不同的視點採集到的三維資料記錄到同乙個物體基準座標系中。運動恢復 motion recovery 通過對資料 影象 序列的分析求解感測器的運動過程。運動是生物視覺與機器視覺重要的感知功能。運動控制是腦高度發達的機...