Facebook發(fā)表最新的語音辨識技術Wav2vec-U，這是Wav2vec非監(jiān)督式版本，可以讓研究人員不需要將語音轉錄成文字資料，就可以訓練模型的方法，Wav2vec-U的效能已經(jīng)可媲美幾年前，使用1,000小時轉錄語音資料訓練的監(jiān)督式模型。

　　無論是回答問題還是執(zhí)行請求，語音辨識技術已經(jīng)被廣泛地應用在各種情境，但現(xiàn)今的語音辨識系統(tǒng)，僅對少數(shù)語言友善，研究人員解釋，這是因為需要大量的轉錄音頻，才能夠訓練出高品質的語音辨識系統(tǒng)，但是每種語言、方言或是說話方式并無法輕易的取得這樣的資料。

　　因此Facebook開發(fā)了Wav2vec-U，這是一種不需要轉錄資料的語音辨識系統(tǒng)方法，F(xiàn)acebook已經(jīng)在Swahili和Tatar等語言測試該模型，由於這些語言缺乏大量帶有標簽的訓練資料，因此一直沒有高品質的語音辨識模型。

　　Wav2vec-U能純粹從錄制的語音音頻和未配對的文字中學習，過程不需要進行任何轉錄的工作，與過去的自動語音辨識系統(tǒng)相比，F(xiàn)acebook采用了一種新方法，能夠從未標記的音頻中學習語音結構，結合Wav2vec-U和k-平均演算法，就能將語音分割出各個對應的語音單元，像是把CAT這個詞分割成/K/、/AE/和/T/。

　　為了要學習辨識語音中的單詞，研究人員訓練了由生成網(wǎng)絡（Generator）和判別網(wǎng)絡（Discriminator）組成的生成對抗網(wǎng)絡（GAN），其生成網(wǎng)絡使用嵌入在自我監(jiān)督表示中的每個音頻片段，并預測和語言中聲音相對符的音位（Phoneme），目的是要試圖欺騙判別網(wǎng)絡來進行訓練，判別網(wǎng)絡會評估預測的音位序列是否逼真。最初生成網(wǎng)絡產(chǎn)生的結果很差，但是經(jīng)過判別網(wǎng)絡的回饋，生成網(wǎng)絡產(chǎn)生的結果會更加準確。

　　研究人員提到，判別網(wǎng)絡本身也是一個神經(jīng)網(wǎng)絡，透過將生成網(wǎng)絡的輸出當做輸入，以及來自各種音元化的真實文本，能訓練判別網(wǎng)絡學會區(qū)分由生成網(wǎng)絡產(chǎn)生的輸出和真實文本。

　　研究人員將Wav2vec-U與其他模型比較，以評估Wav2vec-U的效能，在TIMIT基準測試中，與最佳的非監(jiān)督式方法相比，Wav2vec-U錯誤率降低57％，而在更大型的Librispeech基準測試中，Wav2vec-U與基準中歷年最佳效能的監(jiān)督式模型相比（下圖），Wav2vec-U在沒有任何轉錄資料訓練下，和2019年使用960小時轉錄資料訓練的模型效能不相上下。

　　TIMIT和Librispeech都是用來評估英文系統(tǒng)的基準測試，但英文由於有大量的標簽資料集，已經(jīng)存在極佳的語音辨識技術，而非監(jiān)督式語音辨識，將對於缺乏標簽資料的語言，產(chǎn)生極大的影響。因此研究人員也開始在Swahili、Tatar和Kyrgyz等標簽資源匱乏的語言中，研究使用Wav2vec-U。

　　Facebook提到，Wav2vec-U是他們在語音辨識、自我監(jiān)督學習和非監(jiān)督式機器翻譯上多年的成果，讓模型僅透過觀察就可以習得解決任務的能力，這項成果將使得語音技術為更多人所用。