運用到了哪些語音處理技術

㈠ 語音識別技術的應用有哪些

就是 VoiceUI
在Key UI的邊上加上一個VoiceUI。

VUI模塊 貝

㈡ 語音識別技術的應用情況

語音識別是將語音精準識別為文字，可適用於手機語音輸入、智能語音交互、語音指令、語音搜索等短語音交互場景。
語音識別應用場景有下面幾個方面

1、語音輸入
擺脫生僻字和拼音障礙，使用語音即時輸入。略帶口音的普通話、粵語四川話方言、英文，均可有效識別，並可根據句意自動糾錯、自動斷句添加標點，讓輸入更快捷，溝通交流更順暢。

2、 語音搜索
搜索內容直接以語音的方式輸入，應用於網頁搜索、車載搜索、手機搜索等各種搜索場景，解放雙手讓搜索更加高效，適用於視頻網站、智能硬體、手機廠商等多個行業 。
3、 語音指令
無需手動操作，可以通過語音直接對設備或者軟體發布指令，控制操作，適用於智能硬體、車載系統、機器人、手機APP、游戲等多個領域 。

4、 社交聊天
社交聊天時直接用語音輸入的方式轉成文字，讓輸入更加便捷；或者在收到語租旅音消息不適合播放時可以轉為文字進行查看，滿足更多的聊天場景 。
5、 游戲娛樂猜型橋
游戲中聊天必不可少，雙手無法打字，語音輸入可以將語音聊天轉為文字，讓用戶在操作的同時也可直觀看到聊天內容，多穗猛樣化滿足用戶聊天需求。

㈢ 誰能告知智‌能語音處理的關鍵技術有哪些

移動雲智能語音喊漏交互，基於語音識別、語音合成、自然鄭悔爛語言理解等技術，賦予企業產品智能人機交互能力，具體包含語音聽寫⌄語音轉寫、實時語音轉寫、在線語音合成、聲紋識別、語義理解、機器翻譯、離線語音聽寫、離線語音合成、語音喚醒、離線命令詞識別共11款能力產品。包括7個在線能力、4個離線能力。幫助實現「能聽、會說、懂你」的智能語音交互體驗，適用於智能客服、質檢、外呼、會議紀要、實時字幕等多個企業應用場景。
了解移動雲智能語音更多詳情，歡迎注冊登錄移動雲官網→前或https://gwyydc.cmecloud.cn:8106/t/UBCs

㈣ 語音處理技術有哪些

大的茄拿方面基本上可以分為語音識別、語音合成、語音增強等。其中語音識別又包含說話人識顫塌搭別、關衫核鍵詞識別、語種識別等。具體的你可以借本相關的書看一看，上面一般都講的挺好。

㈤ 語音合成技術

一，  語音合成技術原理

語音合成（test to speech）,簡稱TTS。將文字轉化為語音的一種技術，類似於人類的嘴巴，通過不同的音色說出想表達的內容。

在語音合成技術中，主要分為 語言分析部分 和 聲學系統部分 ，也稱為 前端部分 和 後端部分， 語言分析部分主要是根據輸入的文字信息進行分析，生成對應的語言學規格書，想好該怎麼讀；聲學系統部分主要是根據語音分析部分提供的語音學規格書，生成對應的音頻，實現發聲的功能。

1. 語言分析部分

語言分析部分的流程圖具體如下，可以簡單的描述出語言分析部分主要的工作。

文本結構與語種判斷： 當需要合成的文本輸入後，先要判斷是什麼語種，例如中文，英文，藏語，維語等，再根據對應語種的語法規則，把整段文字切分為單個的句子，並將切分好的句子傳到後面的處理模塊。

文本標准化： 在輸入需要合成的文本中，有阿拉伯數字或字母，需要轉化為文字。根據設置好的規則，使合成文本標舉滲准化。例如， 「請問您是尾號為8967的機主嗎？「8967」為阿拉伯數字，需要轉化為漢字「八九六七」，這樣便於進行文字標音等後續的工作；再唯扮如，對於數字的讀法，剛才的「8967「為什麼沒有轉化為」八千九百六十七「呢？因為在文本標准化的規則中，設定了」尾號為+數字「的格式規則，這種情況下數字按照這種方式播報。這就是文本標准化中設置的規則。

文本轉音素： 在漢語的語音合成中，基本上是以拼音對文字標注的，所以我們需要把文字轉化為相對應的拼音，但是有些字是多音字，怎麼區分當前是哪個讀音，就需要通過分詞，詞性句法分析，判斷當前是哪個讀音，並且是幾聲的音調。

例如，「南京市長 江大橋」為「」或者「南京市 長江大橋」「」。

句讀韻律預測： 人類在語言表達的時候總是附帶著語氣與感情，TTS合成的音頻是為了模模擬實的人聲，所以需要對文本進行韻律預測，什麼地方需要停頓，停頓多久，哪個字或者詞語需要重讀，哪個詞需要輕讀等，實現聲音的高低曲折，抑揚頓挫。

2 ．聲學系統部分

聲學系統部分目前主要有三種技術實現方式，分別為：波形拼接，參數合成以及端到端的語音合成技術。

1)   波形拼接語音合成

通過前期錄制大量的音頻，盡可能全的覆蓋所有的音節音素，基於統計規則的大語料庫拼接成對應的文本音頻，所以波形拼接技術通過已有庫中的音節進行拼接，實現語音合成的功能。一般此技術需要大量的錄音，錄音量越大，效果越好，一般做的好的音庫，錄音量在50小時以上。

優點：音質好，情感真實。

缺點：需要的錄音量大，覆蓋要求高，字間協同過渡生硬，不平滑，不是很自然。

2)  參數語音合成技指答灶術

參數合成技術主要是通過數學方法對已有錄音進行頻譜特性參數建模，構建文本序列映射到語音特徵的映射關系，生成參數合成器。所以當輸入一個文本時，先將文本序列映射出對應的音頻特徵，再通過聲學模型（聲碼器）將音頻特徵轉化為我們聽得懂的聲音。

優點：錄音量小，可多個音色共同訓練，字間協同過渡平滑，自然等。

缺點：音質沒有波形拼接的好，機械感強，有雜音等。

3)  端到端語音合成技術

端到端語音合成技術是目前比較火的技術，通過神經網路學習的方法，實現直接輸入文本或者注音字元

，中間為黑盒部分，然後輸出合成音頻，對復雜的語言分析部分得到了極大的簡化。所以端到端的語音合成技術，大大降低了對語言學知識的要求，且可以實現多種語言的語音合成，不再受語言學知識的限制。通過端到端合成的音頻，效果得到的進一步的優化，聲音更加貼近真人。

優點：對語言學知識要求降低，合成的音頻擬人化程度更高，效果好，錄音量小。

缺點：性能大大降低，合成的音頻不能人為調優。

以上主要是對語音合成技術原理的簡單介紹，也是目前語音合成主流應用的技術。當前的技術也再迭代更新，像端到端技術目前比較火的wavenet，Tacotron，Tacotron2以及deepvoice3等技術，感興趣的朋友可以自己了解學習。

二，  技術邊界

目前語音合成技術落地是比較成熟的，比如前面說到的各種播報場景，讀小說，讀新聞以及現在比較火的人機交互。但是目前的TTS還是存在著一些解決不掉的問題。

1. 擬人化

其實當前的TTS擬人化程度已經很高了，但是行業內的人一般都能聽出來是否是合成的音頻，因為合成音的整體韻律還是比真人要差很多，真人的聲音是帶有氣息感和情感的，TTS合成的音頻聲音很逼近真人，但是在整體的韻律方面會顯得很平穩，不會隨著文本內容有大的起伏變化，單個字詞可能還會有機械感。

2. 情緒化

真人在說話的時候，可以察覺到當前情緒狀態，在語言表達時，通過聲音就可以知道這個人是否開心，或者沮喪，也會結合表達的內容傳達具體的情緒狀態。單個TTS音庫是做不到，例如在讀小說的時候，小說中會有很多的場景，不同的情緒，但是用TTS合成的音頻，整體感情和情緒是比較平穩的，沒有很大的起伏。目前優化的方式有兩種，一是加上背景音樂，不同的場景用不同的背景音樂，淡化合成音的感情情緒，讓背景音烘托氛圍。二是製作多種情緒下的合成音庫，可以在不同的場景調用不同的音庫來合成音頻。

3. 定製化

當前我們聽到語音合成廠商合成的音頻時，整體效果還是不錯的，很多客戶會有定製化的需求，例如用自己企業職員的聲音製作一個音庫，想要達到和語音合成廠商一樣的效果，這個是比較難的，目前語音合成廠商的錄音員基本上都是專業的播音員，不是任何一個人就可以滿足製作音庫的標准，如果技術可以達到每一個人的聲音都可以到達85%以上的還原，這將應用於更多的場景中。

三， 效果指標和技術指標

隨著語音合成技術的發展，語音合成（TTS）已經應用於生活中的各個場景，實現了語音合成技術的應用落地。例如，在高鐵，機場的語音播報工作，醫院的叫號業務，以及現在比較火熱的語音交互產品。語音合成的各種應用說明它不僅僅是一項技術，更是一款產品，作為產品，可以用哪些指標來衡量這款產品呢？

下面將介紹兩種衡量TTS產品的指標，效果指標和性能指標。

1.  效果指標

1)  MOS 值

  目前關於TTS合成效果的評判標准，行業內一致認可的是mos值測試 ，找一些業內專家，對合成的音頻效果進行打分，分值在1-5分之間，通過平均得到最後的分數，這就是mos值測試。 很顯然這是一個主觀的評分，沒有具體的評分標准，這和個人對音色的喜好，對合成音頻內容場景的掌握情況，以及對語音合成的了解程度是強相關的，所以算是仁者見仁，智者見智的測試方式。

由於TTS合成效果的評判主觀性，導致在一些項目的驗收中，不能明確出具體的驗收標准，例如在定製音庫的項目中，客戶想做一個獨有的定製音庫，最後驗收肯定是客戶對合成音頻效果滿意，則成功驗收，這是一個很主觀的標准，怎麼樣才算滿意呢？對於TTS廠商而言，這是不公平的。所以需要找一些可以量化的標准使得項目可以更好的驗收，雙方也不會因為合成效果出分歧。這里推薦一條驗收標准，可以將語音合成效果量化， 分別對原始錄音和合成音頻進行盲測打分（mos值測試） ， 合成音頻的mos值能達到原始錄音的85% （數值可以根據項目情況來定） 以上 ， 就可驗收 ，這樣就可以把驗收標准確定下來，且進行了量化。當然打分團隊可以是客戶和TTS廠商的人，也可以請第三方的人來打分，確保公平。

雖然mos值是一個比較主觀的測試方式，但也有一些可評判的標准。例如在合成的音頻中，多音字的讀法，當前場景下數字的播報方式，英語的播報方式，以及在韻律方面，詞語是否連在一起播報，應該重讀的地方是否有重讀，停頓的地方是否合理，音色是否符合應用於當前的這個場景，都可以在打分的時候做為得分失分的依據。

分享一個簡單的評分標准，可作為參考依據。

2)  ABX 測評

  合成效果對比性測試，選擇相同的文本以及相同場景下的音色，用不同的TTS系統合成來對比哪個的合成效果較好，也是人為的主觀判斷，但是具有一定的對比性，哪一個TTS更適合當前的場景，以及合成的效果更好。

2. 性能指標

1) 實時率

在語音合成中，合成方式分為 非流式合成 和 流失合成 ， 非流失合成指的是一次性傳入文本，一次性返回合成的文本音頻；流式合成指的是文本傳輸給TTS時，TTS會分段傳回合成的音頻， 這樣可以減少語音合成的等待時間，在播報的同時也在合成，不用等到整段音頻合成完再進行播報，所以對於語音合成時間的一個指標就是實時率。實時率等於文字合成所需時長除以文字合成的音頻總時長，下面是實時率的計算公式：

為什麼講實時率會說到非流失合成和流式合成，因為在流式合成場景中，開始合成的時候也就已經開始播報了，音頻合成完成也就播報完成了，不會產生等待的過程，這種過程主要用於語音交互的場景，智能機器人收到語音信號之後，馬上就可以給予答復，不會讓用戶等太久。所以為了確保用戶的最佳體驗， 要求「文字合成所需時長」≤「文字合成出的音頻時長」，也就是實時率要小於等於1 。

2) 首包響應時間

在流式合成中，分段合成的音頻會傳輸給客戶端或者播放系統，在合成首段音頻時，也會耗費時間，這個耗時稱為「首包響應時間」。為什麼會統計這個時間呢，因為在語音交互中，根據項目經驗以及人的容忍程度，當用戶說完話時，在1200ms之內，機器人就要開始播報回復，這樣就不會感覺有空白時間或者停頓點，如果時間超過1200ms，明顯感覺會有一個等待的時間，用戶體驗不佳，性子急的用戶可能就終止了聊天。1200ms的時間不只是TTS語音合成的首包時間，還有ASR（語音識別）和NLU（自然語言理解）所消耗的時間，所以TTS首包響應時間要控制在500ms以內，確保給ASR，NLU留有更多的時間。

3) 並發數

人工智慧的發展主要有三個方面，分別為演算法，算力，數據，其實講的性能指標相當於是算力的部分，目前承載算力的伺服器有CPU伺服器和GPU伺服器。前面說到實時率的指標是要小於等於1，那如果實時率遠小於1，是不是會對伺服器造成浪費呢，因為只要實時率小於等於1，就可以滿足用戶的需求，讓用戶體驗良好。 所以上面說的實時率是針對CPU伺服器單核單線程時，或者GPU單卡單線程時， 那實時率的公式可以為：

為了資源的最大利用化，我們只需確保實時率接近1，或者等於1就行，沒必要遠小於1，所以當在單核單線程實時率遠小於1時，則可以實現一核二線，一核三線的線程數，使得實時率為1，這個一核「二線」，「三線」，這個「幾線」說的就是幾 並發數 ，准確說是 單核並發數。 那這個並發數怎計算呢，舉個例子，如果單核單線程的並發數是0.1，則一核10線程的並發就是1，也是滿足需求的，就可以按照這個並發數給客戶提供。所以並發數的計算公式如下：

所以當用戶需要200線程的語音合成並發數使，按0.1的實時率，一核十線，只需要20核的cpu伺服器，則可以跟客戶要求24核的cpu伺服器即可滿足客戶的需求，也為客戶節省了成本。

再說一下這個線程和並發的概念，線程，並發算是同一個概念，例如200線並發，指的是需要同時支持200線的語音合成，200線是同時合成音頻的，合成內容可以相同也可以不同。

4)  合成100個字需要多少時間（1s能合成多少個字）

有些客戶對於實時率，響應時間這些概念是比較模糊的，他會問你們的 TTS合成100個字需要多少時間 或者 1s能合成多少個字 ，所以這個時候為了方便和客戶溝通，我們需要知道合成100個字TTS消耗的時間。這個數據是可以大概算出來的，當然也可以直接讓測試測出一百字消耗的時間。這里主要講一下計算的方法。

按照正常的播報速度，1秒可以播報4個字左右，我們就按照四個字計算，100個字的音頻，音頻時長大概就是25s（100除以4），假如實時率為0.1，再根據當前的實時率計算公式，算出合成時間為2.5s，也可以計算出1s合成的字數（100/2.5）為40個字。

簡單介紹了語音合成產品會涉及到的一些參數指標，還有一些測試時需要了解的指標數據，例如cpu佔用，內存佔用，DPS（單位時間合成的音頻總時長）,TPS（單位時間合成的音頻任務數）以及TP99，感興趣的朋友可以查詢研究一下，這些數據也主要用於項目poc的測試中，或者TTS產品整體的測試中，可以算是對於TTS產品的一個整體的了解。

四，  語音合成廠商

   有很多廠商擁有語音合成技術，有互聯網大廠，也有一些只專注於人工智慧的企業。

科大訊飛 科大訊飛的語音合成技術在全球范圍內也是數一數二的，合成的音頻效果自然度高，訊飛官網掛接的音庫是最多的，且涉及很多的場景，以及很多的外語音庫。

阿里巴巴 在阿里雲官網的音庫，有幾個音庫的合成效果非常棒，例如艾夏，合成的音頻播報時感覺帶有氣息感，擬人化程度相當高。

網路 網路的語音合成技術還是很強的，但是官網給的合成音庫較少，具體不太好評判。

靈伴科技 這家公司在語音合成領域是不在忽略的。靈伴的音庫合成音效果也是非常的棒，有一個東北大叔的音庫，主要是偏東北話，整體的韻律，停頓，重讀等掌握的很好，很到位。

標貝科技 標貝科技和靈伴科技一樣，是語音合成領域不可小覷的兩個企業，是因為他們TTS合成的音頻效果擬人化程度很高，每個場景的風格也很逼真。

捷通華聲 捷通華聲是一家老牌的人工智慧企業，合成的音頻效果整體還是不錯的，且支持多種語種的音庫。

還有些企業沒有一一列出來，是因為上面這些企業是在平時項目中，或者TTS技術落地應用上比較多的企業。

五， 小結

目前的語音合成已經應用於各種場景，是較成熟可落地的產品，對於合成音的要求，當前的技術已經可以做很好了，滿足了市場上絕大部分需求，語音合成技術主要是合成類似於人聲的音頻，其實當前的技術已完全滿足。目前的問題在於不同場景的具體需求的實現，例如不同的數字讀法，如何智能的判斷當前場景應該是哪種播報方式，以及什麼樣的語氣和情緒更適合當下的場景，多音字如何更好地區分，確保合成的音頻盡可能的不出錯。當然錯誤有時候是不可避免的，但是如何在容錯范圍之內，或者讀錯之後是否有很好的自學機制，下次播報時就可以讀對，具有自我糾錯的能力，這些可能是當前產品化時遇到的更多更實際的問題，在產品整體設計的時候，這些是需要考慮的主要問題。

後續會講述在實際場景中主要遇到的問題以及解決的方案。

㈥ 這些智能語音交互技術你全吃透了嗎

這些智能語音交互技術你全吃透了嗎？

簡單剖析智能語音交互技術

機器學習和自然語言處理技術的進步為語音與人工智慧的交互提供了可能。人們可以通過對話獲得信息，並與機器互動，而機器將不再只存在於科幻小說中。語音交互是未來的發展方向。智能揚聲器是語音交互著陸的第一代產品。

以市面上面流行的智能電話機器人為例，他的AI模塊主要包含了4部分自動語音識別（Automatic Speech Recognition, ASR），自然語言理解（Natural Language Understanding, NLU）

，自然語言生成（Natural Language Generation, NLG），文字轉語音（Text to Speech, TTS）

。

以歐能智能機器人中的語音交互流程圖為例子，來看看Ai智能機器人對話技術的主要路徑：

在上圖我們可以看到，用戶使用的時候是與設備進行交互完成的，並且主要是採用語音的處理方式。

要想完整完整的完成語音交互，必須要弄懂流程，這是一款 電話機器人好不好用 的關鍵，一次成功的語音交互流程，主要涉及以下4個階段，且環環相扣。

意圖

表示用戶在使用應用時所做的動作(譬如：問一個問題或發送一條指令)，這些意圖代表了應用的核心功能。如果應用成功地識別了用戶意圖，則需要在完成業務動作後，將結果反饋給用戶。

識別意圖—語義解析

對語音識別結果進行分析理解，簡單來說就是將用戶語音輸入映射到機器指令。它可能定義了一組包含指定的單詞或短語的語法結構，用戶通過說出滿足這種結構的沖祥祥語句，來調用意圖。

處理意圖—雲端交互

調用意圖的結構化請求，向伺服器請求處理後做出反饋響應。 通俗來講該流程主要處理用戶的請求，解決用戶問題的答案。

語言合成模塊 – 組織語言

根據解析模塊得到的內部表示，在對話管理機制的作用下生成自然語言句子。 同時將生成模塊生成的句子轉換成語音輸出。（把回答的機器語言再轉換成 口語語言）

整個流程雖然看起來較為簡單，但是中間的自然語言處理的關鍵技術是必須要掌握的。

詞法分析

詞彙分析包含形態和詞彙。一般來說，形態素主要反映在單詞的前綴和後綴的分析上，詞彙反映在整個詞彙體系的控制上。在中文全文檢索系統中，在中文信息、即中文自動單詞分割技術的單詞分割中，詞彙分析主要出現。利用該技術，能夠正確解析用戶輸入信息的特性，完成正確的搜索過程。是中文全文檢索技散搏術的重要發展方向。

句法分析

句法分析是對用戶輸入的自然語言進行詞彙短語的分析，目的是識別句子的句法結構，實現自動句法分析過程。其基本方法有線圖分析法、短語結構分析、完全句法分析、局部句法分析、依存句法分析等。

語義分析

語義分析是基於自然語言語義信息的一種分析方法，其不僅僅是詞法分析和句法分析這樣語法水平上的分析，而是涉及到了單詞、片語、句子、段落所包含的意義。其目的是從句子的語義結構表示言語的結構。中文語義分析方法是基於語義網路的一種分析方法。語義網路則是一種結構化的，靈活、明確、簡潔的表達方式。

語用分析

語用分析相對於語義分析又增加了對上下文、宴則語言背景、環境等的分析，從文章的結構中提取到意象、人際關系等的附加信息，是一種更高級的語言學分析。它將語句中的內容與現實生活的細節相關聯，從而形成動態的表意結構。

語境分析

語境分析主要是指對原查詢語篇以外的大量「空隙」進行分析從而更為正確地解釋所要查詢語言的技術。這些「空隙」包括一般的知識，特定領域的知識以及查詢用戶的需要等。它將自然語言與客觀的物理世界和主觀的心理世界聯系起來，補充完善了詞法、語義、語用分析的不足。

 智能電話機器人對話目前存在的問題

在人與機器的會話過程中，用戶必然會犯表達錯誤，導致用戶語言機械理解的偏離。此時，錯誤修正機構對於機器來說非常重要。如果這個機制不能利用，用戶顯然需要花費很長時間來說明他們的意圖，並且對應的用戶經驗非常壞吧。另一方面，能夠很好地認識語音，但是不能理解對話的目的，有理解意義的偏頗。因此，語音對話中應解決的問題是模糊消除和未知語言現象的處理。

智能語音助手背後的生態服務

一個好的智能電話機器人要想落地開花，它不僅僅是簡單的語音識別那麼簡單，還有集成服務，一整套的中文生態、內容、服務等配套設施，是一種涵蓋很多基礎能力的生態系統。

未來基於語音交互的語義技能，必須要能夠達到幾萬、幾十萬甚至上百萬種的時候，才能促使語音交互時代操作系統真正走向成熟，未來語音交互產品的形態和樣式也將越來越豐富。

㈦ 自然語言處理技術的應用

自然語言處理技術的應用介紹如下：

1、機器翻譯

每個人都知道什麼是翻譯：將信息從一種語言翻譯成另一種語言。當機器完成相虧悄同的操作時，要處理的是如何「機器」翻譯。機器翻譯背後的想法很簡單：開發計算機演算法以允許自動翻譯而無需任何人工干預。最著名的應用程序可能是Google Translate。

Google翻譯基於SMT-統計機器翻譯。這不是單字逐字替換的工作。Google翻譯會搜集盡可能多的文本，然後對數據進行處理來找到合適的翻譯。這和人類很相似，當還是孩子的時候，從給詞語賦予意思含義，到對這些詞語的進行組合抽象和推斷。

但並非所有閃光的都是金子，考慮到人類語言固有的模糊性和靈活性，機器翻譯頗具挑戰性。人類在認知過程中會對語言進行解釋或理解，並在許多層面上進行翻譯，而機器處理的只是數據、語言形式和結構，現在還不能做到深度理解語言含義。

總而言之，這項技術孫空猛已被用來替代其則橋他輸入方式，例如以任何的鍵入，單擊或選擇文本。如今，語音識別已成為眾多產品中的一個熱門話題，例如語音助手（Cortana，Google Assistant，Siri等）。

㈧ 語音處理技術流程是什麼

語音信號處理是研究用數字信號處理技術對語音信號進行處理的一門新興學科。語音信號處理的應用極為廣泛，其中的主要技術包括語音編碼、語音合成、語音識別和語音增強等。本文選取語音識別作為重點討論課題。 語音識別就是讓計算機雹頃老聽懂人的話，並做出正確的反應。目前主流的語音識別技術是基於統計模式識別的基本理論。 本文首先源升對語音信號處理進行了概述，其中包括各種處理技術、發展及應用。接下來主要介紹了語音識別方面的知識。根據語音識別系統的基本構成模型，介紹了預處理、端點檢測到模板匹配各個部分所涉及到的語音數字信號處理原理和方法。重點研究了孤立詞乎嘩識別系統的原理、構成及各部分的實現演算法。