在論文《基於序列到序列模型的直接語音到語音翻譯》(Direct speech-to-speech translation with a sequence-to-sequence model）中，谷歌的研究人員提出一種基於單個注意力序列到序列模型的直接語音到語音翻譯的新實驗系統，該系統不依賴於中間文本表示。

這個系統被稱為 Translatotron，避免了將任務劃分為獨立的階段，比級聯繫統更有優勢，包括推理速度快、自然地避免了識別和翻譯之間的複合錯誤，能夠在翻譯後保留原說話者的聲音，以及能夠更好地處理不需要翻譯的單詞 (如名稱和專有名詞)。

Translatotron：不依賴中間文本，直接翻譯語音

語音翻譯端到端模型的出現始於 2016 年，當時研究人員證明瞭使用單個序列到序列模型進行語音到文本翻譯的可行性。2017 年，我們證明瞭這種端到端模型可以超越級聯模型 (cascade models)。

最近有許多工作進一步改進了端到端語音到文本翻譯模型的方法，包括同樣來自谷歌的利用弱監督數據的工作 (https://arxiv.org/abs/1811.02050)。

Translatotron 更進一步，證明瞭單個序列到序列模型可以直接將一種語言的語音翻譯成另一種語言的語音，而不需要像級聯繫統那樣依賴於任何一種語言的中間文本表示。

Translatotron 基於一個 sequence-to-sequence 網路，它將源聲譜圖 (spectrograms) 作為輸入，生成目標語言翻譯內容的聲譜圖。

此外，Translatotron 還使用了另外兩個單獨訓練的組件：一個神經聲音編碼器 (neural vocoder)，可以將輸出聲譜圖轉換為時域波形；另外，還可以選擇使用一個 speaker encoder，用於在合成翻譯語音時保持源 speaker 的語音特徵。

在訓練過程中，序列到序列模型使用一個多任務目標預測源和目標轉錄文本，同時生成目標聲譜圖。然而，推理過程中不需要使用轉錄文本或其他中間文本表示。

性能

谷歌通過測量 BLEU 分數來驗證 Translatotron 的翻譯質量。該分數是通過語音識別系統轉錄的文本計算的。雖然結果落後於傳統的級聯繫統，但已經證明瞭端到端直接語音到語音轉換的可行性。

對比 Translatotron 到基線級聯方法的直接語音到語音翻譯輸出，在這種情況下，兩個系統都提供合適的翻譯並使用相同的規範語音很自然的說話。

保持聲音特徵

通過結合揚聲器編碼器網路，Translatotron 還能夠在翻譯的語音中，保留原始說話者的聲音特徵，這使得翻譯的語音聽起來更自然，不那麼刺耳。

此功能利用了之前針對 TTS 的演講者驗證和演講者調整的 Google 研究。揚聲器編碼器在演講者驗證任務上進行預訓練，學習從簡短的示例話語對揚聲器特性進行編碼。在該編碼上調節頻譜圖解碼器，即使內容是在不同的語言中，也可以合成具有類似揚聲器特性的語音。

谷歌提供了諸多使用示例，如下面的例子，Translatotron 將西班牙語對話轉換為英語，下面的音頻分別是西班牙語輸入、真人參考翻譯，以及 Translatotron 的翻譯。

點擊鏈接聽更多語言：

https://google-research.github.io/lingvo-lab/translatotron/#conversational?

google-research.github.io

在這個例子中，Translatotron 提供比基線級聯模型更準確的平移，同時能夠保留原始說話者的聲音特徵。保留原始說話者聲音的 Translatotron 輸出訓練的數據，少於使用規範聲音的數據，因此它們產生的翻譯略有不同。

結論

谷歌聲稱，Translatotron 是第一個可以直接將一種語言的語音，翻譯成另一種語言的語音的端到端模型。它還能夠在翻譯的語音中保留源說話者的聲音。谷歌希望這項工作可以作為未來端到端語音轉語音翻譯系統研究的起點。

參考鏈接：

http://ai.googleblog.com/2019/05/introducing-translatotron-end-to-end.html?

ai.googleblog.com

更多聲音樣本：

Speech-to-speech translation?

google-research.github.io

論文地址：

Direct speech-to-speech translation with a sequence-to-sequence model?

arxiv.org

---

新智元 · AI_era

每日推送 AI 領域前沿學術解讀、AI 產業最新資訊

戳右上角【+ 關注】↗↗

喜歡請分享、點贊吧

推薦閱讀：