(相關(guān)資料圖)

近日，2023年國際頂級語音會議ASRU（IEEE Automatic Speech Recognition and Understanding，自動語音識別與理解）的多通道多方會議轉(zhuǎn)錄挑戰(zhàn)賽（M2MeT2.0）圓滿結(jié)束，喜馬拉雅珠峰實驗室取得了卓越成績，榮獲冠軍殊榮。

ASRU研討會是IEEE語音和語言處理技術(shù)委員會（SLTC）的旗艦技術(shù)活動，每兩年舉辦一次，匯集了來自學(xué)術(shù)界和工業(yè)界的頂級專家和研究人員，共同探討廣泛的語音識別與理解問題。本次M2MeT2.0挑戰(zhàn)賽是ASRU 2023年的重要賽事，旨在解決離線會議室中語音重疊的轉(zhuǎn)錄難題。會議場景作為典型的多人自由交談的"雞尾酒會場景"一直是語音識別領(lǐng)域的難點和關(guān)注焦點，對于開發(fā)會議場景的語音人工智能和探索相關(guān)問題的工業(yè)級解決方案具有重要意義。

值得一提的是，喜馬拉雅并非首次參加ASRU的M2MeT挑戰(zhàn)賽。在首屆M2MeT挑戰(zhàn)賽中，喜馬拉雅與中國科學(xué)技術(shù)大學(xué)合作，在說話人日志賽道中榮獲第三名，并且取得了僅有4.05%的日志錯誤率。首屆挑戰(zhàn)賽的評估指標是字符錯誤率（CER），只轉(zhuǎn)錄音頻對應(yīng)的文本，不考慮說話人標簽。基于首屆的成功，M2MeT2.0挑戰(zhàn)賽將著重于說話人相關(guān)的評估，推動多說話人語音識別系統(tǒng)的實用化，并設(shè)立了限定數(shù)據(jù)和不限定數(shù)據(jù)兩個子賽道。

為了應(yīng)對這一挑戰(zhàn)，喜馬拉雅珠峰實驗室從語音識別基礎(chǔ)框架出發(fā)，展開了混疊語音檢測技術(shù)和說話人日志技術(shù)等方面的技術(shù)探索。在本次M2MeT2.0挑戰(zhàn)賽中，喜馬拉雅在限定數(shù)據(jù)集和開放數(shù)據(jù)集兩個子賽道上均取得了第一名的出色成績。

今年的M2MeT2.0挑戰(zhàn)賽數(shù)據(jù)集包含了真實、多場景、多模態(tài)的大規(guī)模數(shù)據(jù)，涵蓋了不同規(guī)模和布局的多種會議室，模擬了各種家具、不同主題的例會以及各種室內(nèi)噪音。其中包括人聲、電視聲、風(fēng)扇空調(diào)聲、鍵盤聲、開門/關(guān)門聲、氣泡聲等重疊交錯的聲音，為比賽增添了挑戰(zhàn)性。通過使用麥克風(fēng)陣列記錄遠場音頻和耳機麥克風(fēng)記錄近場音頻，確保了對應(yīng)說話人的語音準確轉(zhuǎn)錄。這一數(shù)據(jù)集對于多說話人語音識別和語音重疊問題的研究具有重要的學(xué)術(shù)意義，并為尋找工業(yè)級解決方案提供了真實且多樣化的數(shù)據(jù)資源。

M2MeT2.0挑戰(zhàn)賽數(shù)據(jù)集中所有說話人的母語均為漢語，喜馬拉雅通過產(chǎn)學(xué)研相結(jié)合的方式積極參與其中，致力于為中國本土語音識別技術(shù)的發(fā)展作出貢獻。在M2MeT2.0挑戰(zhàn)賽中，喜馬拉雅展示了出色的說話人和語音識別技術(shù)(ASR)展現(xiàn)出了卓越的性能，其珠峰實驗室團隊通過自研的說話人識別、語音增強和語音識別等模塊的優(yōu)化和經(jīng)驗，在語音重疊和多說話人環(huán)境下取得了顯著突破。借助深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)模型的結(jié)合，喜馬拉雅珠峰實驗室能夠準確識別和分離多個說話人的語音，并實時轉(zhuǎn)錄。

喜馬拉雅相關(guān)技術(shù)不僅在ASRU 2023年M2MeT2.0挑戰(zhàn)賽中得到驗證，還已應(yīng)用賦能于喜馬拉雅AIGC內(nèi)容生產(chǎn)中。目前，喜馬拉雅自動語音識別（ASR）技術(shù)已廣泛應(yīng)用到了喜馬拉雅App的AI文稿功能，對喜馬拉雅平臺中無文稿的聲音內(nèi)容進行語音轉(zhuǎn)寫，并輸出相應(yīng)的文字，從而便于聽眾更好地理解聲音內(nèi)容。同時，對于已有原始文稿的聲音內(nèi)容，喜馬拉雅的AI文稿功能通過超長音頻與文本的對齊技術(shù)，將聲音與文稿進行時間戳對軌，實現(xiàn)聲音播放與相應(yīng)文字的同步高亮，讓用戶能夠更便捷地享受邊聽邊看的內(nèi)容消費體驗。

除了ASR技術(shù)，喜馬拉雅的TTS(語音合成)技術(shù)也處于行業(yè)前列，并已經(jīng)廣泛被運用于評書、新聞、小說等多種內(nèi)容的制作中，喜馬拉雅通過將自主設(shè)計單獨的韻律提取模塊融入到HiTTS 技術(shù)框架，完美復(fù)現(xiàn)了單田芳的“聲音”。據(jù)悉，喜馬拉雅已用單田芳的AI合成音上線了超過100多張專輯，總播放量超過1億。

多年來，喜馬拉雅一直在AI語音技術(shù)領(lǐng)域進行深入研究，其珠峰實驗室長期專注于語音合成、情感分析、語音識別等領(lǐng)域的研究和創(chuàng)新。通過參與ASRU 2023年M2MeT2.0挑戰(zhàn)賽并獲得冠軍，喜馬拉雅進一步鞏固了在語音技術(shù)領(lǐng)域的領(lǐng)先地位，并展示了在解決復(fù)雜語音場景下的出色能力。

作為備受用戶喜愛的在線音頻平臺，喜馬拉雅一直秉持著以科技賦能文化的理念，不斷將技術(shù)與創(chuàng)作者、用戶相結(jié)合，提升內(nèi)容生產(chǎn)效率并提供卓越的內(nèi)容體驗。喜馬拉雅也將持續(xù)通過科技賦能和產(chǎn)學(xué)研相結(jié)合的方式，將先進而智能的語音技術(shù)與聲音相結(jié)合，為用戶提供卓越的語音技術(shù)產(chǎn)品和服務(wù)。

關(guān)鍵詞