本文作者溫正棋為極限元智能科技 CTO 、中國科學院自動化研究所副研究員，畢業於中國科學院自動化研究所，先後在日本和歌山大學和美國喬治亞理工學院進行交流學習，在國際會議和期刊上發表論文十餘篇，獲得多項關於語音及音頻領域的專利。其「具有個性化自適應能力的高性能語音處理技術及應用」獲得北京科學技術獎。在語音的合成、識別、說話人識別等領域都有著多年深入研究經驗，並結合深度學習技術開發了多款語音應用產品。

為了提高客戶滿意度、完善客戶服務，同時對客服人員工作的考評，很多企業會對此採用質檢的方式來保證其服務質量。以服務行業為例，呼叫中心是一個促進企業營銷、市場開拓並為客戶提供良好的交互服務系統，其位置相當重要。傳統的質檢方法需要質檢人員通過人工測聽的方式進行抽檢；人工抽檢方法工作量大且效率低，難以有效評價客服人員的服務質量。

隨著人工智慧技術的發展，語音和自然語音處理技術不斷取得突破，採用智能化的方法對電話語音中的內容進行深層次的分析，可以有效的節約人力成本並提高工作效率。語音質檢方案主要涉及語音關鍵詞檢索、音頻對比、情感識別等核心技術。

1 語音關鍵詞檢索

1.1 語音識別聲學模型

隨著深度學習的興起，深層神經網路也應用到了語音識別中的聲學建模，通過深層神經網路模型替換 GMM-HMM 模型里的 GMM 模型，HMM 模型中的狀態轉移矩陣部分不變。DNN 通過在輸入端進行擴幀，從而能夠利用上下文信息，同時這種模型具有較強的非線性建模能力，但 DNN 的擴幀是有限的，所以它能夠利用的上下文信息是有限的。針對這一問題提出了基於 RNN 的聲學模型，RNN 能夠更充分的利用歷史信息進行聲學模型建模。但是在 RNN 訓練過程中會存在梯度消失和梯度膨脹的問題，梯度膨脹可以在訓練過程中加一些約束條件解決，當梯度超過一定值以後設定一個固定值；針對梯度消失問題，比較有效的解決方法是將裡面的 RNN 單元變成長短時記憶模型 LSTM，這種模型的缺點是會增加計算複雜度，這也是在構建聲學模型時需要考慮的問題。CNN 是另一種比較主流的聲學模型，這種模型中包含的參數較少，谷歌、微軟、IBM 等企業均嘗試使用非常深的 CNN 模型，其識別性能超過其它深層神經網路。

CTC 是一個訓練準則，在傳統的基於深度學習的聲學模型輸出中，每個 phone 可能包含十幾楨甚至更多楨，因為它並不是一個尖峰，但是通過 CTC 訓練會把它變成一個尖峰；CTC 可以將每一幀變成一個 blank 幀或者對應的建模單元（音素、音節等），而每個建模單元只需要對應幾幀就可以了。在解碼的時候可以降低對 black 楨的搜索寬度，這樣可以顯著的增加解碼速度。減少解碼幀有兩種方法，一種是通過跳幀的方法，另一種在解碼過程中動態調整 beam 值，特別是遇到空白楨的時候把並 beam 值減少。

1.2 基於語音識別的關鍵詞檢索

基於語音識別的關鍵詞檢索是將語音識別的結果構建成一個索引網路，然後把關鍵詞從索引網路中找出來。從圖 1 中可以看到，首先將語音數據進行識別處理，從裡面提取索引構建索引網路，進行關鍵詞檢索的時候，我們會把關鍵詞表在網路中進行搜索，找到概率最高的，輸出其關鍵詞匹配結果。

圖1. 基於語音識別的關鍵詞檢索

構建檢索網路是語音關鍵詞檢索的重要環節。如圖 2 所示，在第一個時間段內（w1、w3、w6、w7），這句話被識別成了四個不同的詞，語音識別只能給出一條路徑，但在語音關鍵詞檢索網路中可以從四個結果中進行篩選。

圖 2 構建檢索網路示意圖

確定關鍵詞檢索網路後，接下來進行的是關鍵詞檢索。關鍵詞檢索可以基於音節信息，首先將用戶設定的關鍵詞文本解析成音節序列，再從檢索網路中找出匹配結果，相比直接對文本結果進行檢索，這種方法的容錯性更強，而且關鍵詞檢索中的聲學模型可以是基於 CTC 的模型，因此，計算量更小，執行效率更高，更適用於語音質檢這種海量數據檢索的應用場景。

2 音頻對比

音頻比對是指從音頻信號提取特徵，通過特徵進行比對的方法進行有害信息檢索的方法。該方法的核心在於提取的特徵值需要滿足一定的要求，比如抗噪性、轉換不變性、魯棒性、快速性等特點，主要是為了滿足同一音頻能夠在不同聲道下進行準確檢索。傳統的 MFCC、FBANK 等聲學特徵已經不能滿足音頻比對任務的需求。圖 3 是一個基於頻譜最大值來建模的音頻比對方法。在完成最大值點完成建模後，需要進行特徵的構建。而特徵構建是通過最大值點之間的距離來建模，例如兩個最大值點的距離、位置信息作為一個固定的特徵來完成音頻特徵信息的構建。有了上述音頻特徵之後，就可以對兩個不同音頻進行檢索，最大相似度的地方就是相似點，這種技術最適用於文本內容無關的錄音片段的檢索。

圖 3. 基於頻譜最大值建模的音頻比對方法

3 情感識別

語音是人類交際的最重要的工具之一。人們在進行自然口語對話時，不僅傳遞聲音，更重要的是傳遞說話人的情感狀態、態度、意圖等。一般的情感語音識別系統框圖如圖 4 所示。根據情感模型的不同，情感語音識別主要分為離散情感識別和連續情感語音識別。

圖 4. 語音情感識別典型系統框圖

離散情感識別是一個典型的模式分類問題，各種傳統的分類器均被廣泛應用於語音情感識別系統。例如隱馬爾科夫模型、高斯混合模型、支持向量機，人工神經網路等。維度情感識別一般被建模為回歸預測問題。在機器學習演算法層面，根據是否考慮序列上下文信息可將現有方法分為靜態機器學習演算法和動態機器學習演算法。在靜態機器學習演算法中，AdaBoost、高斯混合模型、人工神經網路、支持向量回歸等廣泛應用於維度情感識別中序列單元的回歸問題。鑒於維度情感的序列標註情況，序列上下文信息有助於提高情感識別性能，因而更多的工作集中於動態機器學習演算法。隨著深度學習技術的發展，基於 LSTM-RNN 的系統便被更加廣泛的應用於維度情感識別領域。

情感識別解決方案通過分析不同情感狀態和語音聲學參數的關聯關係，抽取出魯棒聲學特徵參數，綜合考慮不同人對同一段語音的情感感知結果，建立語音情感識別模型。為了提高語音情感識別的魯棒性，採用非線性建模方法建立情感語音分析模型，有效的解決了雜訊環境下情感語音分析問題。針對情感識別中的時序建模問題，採用一種基於特徵層建模和決策層建模相結合的多尺度時序建模方法。在特徵層實現短粒度的時序建模。在決策層實現更長粒度的時序建模，並與特徵層的時序建模實現相互補充。通過上述改進，有效的提高了語音情感識別的準確率，可以對通話者的情感狀態進行動態的捕獲和跟蹤。

極限元智能科技在智能語音、計算機視覺、自然語言處理、大數據分析等技術領域有多年技術積累，推出了一些系列雲端和終端的跨平台 AI 技術解決方案，產品和服務廣泛應用在教育、安全、交通、泛娛樂等多個行業。其中，成熟的音頻檢測技術落地場景更是涉及到反電信詐騙、公安技偵、互聯網音視頻有害信息檢測、呼叫中心錄音質檢等多個方面。

推薦閱讀：

相关文章