Audio 開發參考資料

本篇整理開發Audio應用時的一些參考資料。

Digital Audio 原理

• 音頻採樣

数码音频系统是通过将声波波形转换成一连串的二进制数据来再现原始声音的，实现这个步骤使用的设备是模/数转换器（A/D）它以每秒上万次的速率对声波进行采样，每一次采样都记录下了原始模拟声波在某一时刻的状态，称之为样本。将一串的样本连接起来，就可以描述一段声波了，把每一秒钟所采样的数目称为采样频率或采率，单位为HZ（赫兹）。

• 分貝

貝（dB）是十分之一貝爾（B）：1B = 10dB。1貝爾的兩個功率量的比值是10:1，1貝爾的兩個場量的比值是。功率之比是10，則其分貝數湊巧也是10。功率之比是2，則約為3分貝，更精確地說是10^3/10或1.9953，與2相比較有0.24%的誤差。類似地，3分貝意味著電壓之比約是或1.414。6分貝對應功率增加了4倍，電壓增加了2倍。6分貝的功率之比確切值是10^6/10或3.9811，與4的誤差為0.5%.

TinyALSA

• Android Tinyalsa

tinyalsa是Google在Android 4.0之後推的基於alsa內核的用戶層音頻接口。在Android 4.0之前還一直是使用這alsa-lib接口。

• PCM data flow之二：Frames and Periods

1 frame of a Stereo 48khz 16bit PCM stream is 4 bytes.
1 frame of a 5.1 48khz 16bit PCM stream is 12 bytes.

ALSA

• ALSA Programming HOWTO
• Linux ALSA声卡驱动之一：ALSA架构简介
• ALSA编程细节分析
• ALSA（一）
• XRUN_Debug
• Low latency howto

Audio Sample

• 如何下載 Google 翻譯（Google小姐）的聲音檔？
• 找不到好音效？試試看免費的Soundsnap音效庫吧！數萬種音效隨你抓！

Echo Cancellation

• https://zh.wikipedia.org/wiki/回音消除
• 回音消除之一理論篇

• 解密回声消除技术之一(理论篇)
• 解密回声消除技术之二(應用篇)
fe = farend
ne = nearend = echo + speech
echo=F(fe)
算出函數 F, 就可以算出 echo, 然後從 ne 消除 echo 得到原始的 speech


• 自適應濾波器
• http://www.ti.com/lit/an/spra063/spra063.pdf

Source Code Example

• https://opensource.apple.com/source/tcl/tcl-20/tcl_ext/snack/snack/generic/g711.c
• https://stackoverflow.com/questions/39587839/libswresample-swr-convert-not-producing-enough-samples
• Increase/Decrease audio volume using FFmpeg

• Read Wave File

• https://github.com/brglng/libwav/blob/master/src/wave.c

• TBD

其他

• Far Field Pickup 硬體小整理
• 远场（far-field）语音识别的主流技术有哪些？
• 13 of the Best FREE Audio Editors in 2018
• 台大課程，數位語音處理概論

iOS -- 錄音功能實作

近日針對 iOS 設備的錄音功能做一研究，整理如下：

一、聲音來源

錄音時，其聲音來源可能有以下兩處，

• 麥克風

• 正在播放的音頻資料（可能來自本地端的檔案，或是遠端的音頻資料）

可以分別選擇不同來源進行錄音，也可以將兩種聲音進行 mix

iOS -- 播放聲音的 API

在 iOS 設備上有許多播放聲音的方法，那麼應該選擇什麼樣的方式呢？
以下根據個人的經驗，分析不同情景下適用的處理方式。

iOS 可以使用數種方法播放聲音，根據用法的難易度，由簡單到困難列舉如下：

• System Sound Service
• AVAudioPlayer
• AVPlayer
• Audio Queue Service
• OpenAL
• Audio Unit

下圖為 Audio Framework，可由此得知不同方法之間的階層關係

ONVIF -- Multicast 問題分析經驗談

在進行 ONVIF Device Test Tool v12.12 的測試過程中，當測試 ONVIF 的 startMulticast 命令時，送出 Audio 時總是無法通過測試工具的檢驗，後來釐清是因為 profile s中規定 audio需要設定為 PCM-ulaw 的關係，但因此也學習了許多與 multicast 有關的知識。

以下將以 startMulticast 為例，整理幾個分析 multicast 的小技巧。

預備知識

StartMulticast 命令所做的事情，就是根據某個已經設定好的 profile，啟動 multicast streaming，可能同時包含 video 與 audio。原文摘錄如下：

This command starts multicast streaming using a specified media profile of an NVT. Streaming continues until StopMulticastStreaming is called for the same Profile. The streaming shall continue after a reboot of the NVT until a StopMulticastStreaming request is received. The multicast address, port and TTL are configured in the VideoEncoderConfiguration, AudioEncoderConfiguration and MetadataConfiguration respectively. An NVT that supports video, audio or metadata multicast streaming shall support the starting of a multicast stream through the StartMulticastStreaming command. 

FFMPEG -- AAC 轉換為 WAV

最近撰寫程式，使用 ffmpeg 將 AAC檔案 轉為 WAV檔案，在實作過程中發現轉換後的聲音品質很差。
主要是因為ffmpeg解開AAC之後的格式與預期不同，因此需要做 resample 的動作。

造成問題原因：
ffmpeg 會將 AAC 解成 AV_SAMPLE_FMT_FLTP 格式 (32bits per sample)
但是製作 PCM 時所需要用的是 AV_SAMPLE_FMT_S16 格式 (16bits per sample)，因此需要進行轉換

ONVIF -- audio channel

許多 IPCAM 都支援了將聲音由 NVR 傳至IPCAM 的功能，ONVIF 組織針對此功能定義了一套標準作法，稱為 audio backchannel，首先會利用 AudioOutputConfiguration 內的 Send-Primacy 設定 audio in/out 方向，接著再使用 RTSP ，利用其擴充功能 "Require" 來傳送接收 audio stream。


根據 ONVIF 規範，我們將其分成兩部分來討論