运用到了哪些语音处理技术

㈠ 语音识别技术的应用有哪些

就是 VoiceUI
在Key UI的边上加上一个VoiceUI。

VUI模块 贝

㈡ 语音识别技术的应用情况

语音识别是将语音精准识别为文字，可适用于手机语音输入、智能语音交互、语音指令、语音搜索等短语音交互场景。
语音识别应用场景有下面几个方面

1、语音输入
摆脱生僻字和拼音障碍，使用语音即时输入。略带口音的普通话、粤语四川话方言、英文，均可有效识别，并可根据句意自动纠错、自动断句添加标点，让输入更快捷，沟通交流更顺畅。

2、 语音搜索
搜索内容直接以语音的方式输入，应用于网页搜索、车载搜索、手机搜索等各种搜索场景，解放双手让搜索更加高效，适用于视频网站、智能硬件、手机厂商等多个行业 。
3、 语音指令
无需手动操作，可以通过语音直接对设备或者软件发布指令，控制操作，适用于智能硬件、车载系统、机器人、手机APP、游戏等多个领域 。

4、 社交聊天
社交聊天时直接用语音输入的方式转成文字，让输入更加便捷；或者在收到语租旅音消息不适合播放时可以转为文字进行查看，满足更多的聊天场景 。
5、 游戏娱乐猜型桥
游戏中聊天必不可少，双手无法打字，语音输入可以将语音聊天转为文字，让用户在操作的同时也可直观看到聊天内容，多穗猛样化满足用户聊天需求。

㈢ 谁能告知智‌能语音处理的关键技术有哪些

移动云智能语音喊漏交互，基于语音识别、语音合成、自然郑悔烂语言理解等技术，赋予企业产品智能人机交互能力，具体包含语音听写⌄语音转写、实时语音转写、在线语音合成、声纹识别、语义理解、机器翻译、离线语音听写、离线语音合成、语音唤醒、离线命令词识别共11款能力产品。包括7个在线能力、4个离线能力。帮助实现“能听、会说、懂你”的智能语音交互体验，适用于智能客服、质检、外呼、会议纪要、实时字幕等多个企业应用场景。
了解移动云智能语音更多详情，欢迎注册登录移动云官网→前或https://gwyydc.cmecloud.cn:8106/t/UBCs

㈣ 语音处理技术有哪些

大的茄拿方面基本上可以分为语音识别、语音合成、语音增强等。其中语音识别又包含说话人识颤塌搭别、关衫核键词识别、语种识别等。具体的你可以借本相关的书看一看，上面一般都讲的挺好。

㈤ 语音合成技术

一，  语音合成技术原理

语音合成（test to speech）,简称TTS。将文字转化为语音的一种技术，类似于人类的嘴巴，通过不同的音色说出想表达的内容。

在语音合成技术中，主要分为 语言分析部分 和 声学系统部分 ，也称为 前端部分 和 后端部分， 语言分析部分主要是根据输入的文字信息进行分析，生成对应的语言学规格书，想好该怎么读；声学系统部分主要是根据语音分析部分提供的语音学规格书，生成对应的音频，实现发声的功能。

1. 语言分析部分

语言分析部分的流程图具体如下，可以简单的描述出语言分析部分主要的工作。

文本结构与语种判断： 当需要合成的文本输入后，先要判断是什么语种，例如中文，英文，藏语，维语等，再根据对应语种的语法规则，把整段文字切分为单个的句子，并将切分好的句子传到后面的处理模块。

文本标准化： 在输入需要合成的文本中，有阿拉伯数字或字母，需要转化为文字。根据设置好的规则，使合成文本标举渗准化。例如， “请问您是尾号为8967的机主吗？“8967”为阿拉伯数字，需要转化为汉字“八九六七”，这样便于进行文字标音等后续的工作；再唯扮如，对于数字的读法，刚才的“8967“为什么没有转化为”八千九百六十七“呢？因为在文本标准化的规则中，设定了”尾号为+数字“的格式规则，这种情况下数字按照这种方式播报。这就是文本标准化中设置的规则。

文本转音素： 在汉语的语音合成中，基本上是以拼音对文字标注的，所以我们需要把文字转化为相对应的拼音，但是有些字是多音字，怎么区分当前是哪个读音，就需要通过分词，词性句法分析，判断当前是哪个读音，并且是几声的音调。

例如，“南京市长 江大桥”为“”或者“南京市 长江大桥”“”。

句读韵律预测： 人类在语言表达的时候总是附带着语气与感情，TTS合成的音频是为了模仿真实的人声，所以需要对文本进行韵律预测，什么地方需要停顿，停顿多久，哪个字或者词语需要重读，哪个词需要轻读等，实现声音的高低曲折，抑扬顿挫。

2 ．声学系统部分

声学系统部分目前主要有三种技术实现方式，分别为：波形拼接，参数合成以及端到端的语音合成技术。

1)   波形拼接语音合成

通过前期录制大量的音频，尽可能全的覆盖所有的音节音素，基于统计规则的大语料库拼接成对应的文本音频，所以波形拼接技术通过已有库中的音节进行拼接，实现语音合成的功能。一般此技术需要大量的录音，录音量越大，效果越好，一般做的好的音库，录音量在50小时以上。

优点：音质好，情感真实。

缺点：需要的录音量大，覆盖要求高，字间协同过渡生硬，不平滑，不是很自然。

2)  参数语音合成技指答灶术

参数合成技术主要是通过数学方法对已有录音进行频谱特性参数建模，构建文本序列映射到语音特征的映射关系，生成参数合成器。所以当输入一个文本时，先将文本序列映射出对应的音频特征，再通过声学模型（声码器）将音频特征转化为我们听得懂的声音。

优点：录音量小，可多个音色共同训练，字间协同过渡平滑，自然等。

缺点：音质没有波形拼接的好，机械感强，有杂音等。

3)  端到端语音合成技术

端到端语音合成技术是目前比较火的技术，通过神经网络学习的方法，实现直接输入文本或者注音字符

，中间为黑盒部分，然后输出合成音频，对复杂的语言分析部分得到了极大的简化。所以端到端的语音合成技术，大大降低了对语言学知识的要求，且可以实现多种语言的语音合成，不再受语言学知识的限制。通过端到端合成的音频，效果得到的进一步的优化，声音更加贴近真人。

优点：对语言学知识要求降低，合成的音频拟人化程度更高，效果好，录音量小。

缺点：性能大大降低，合成的音频不能人为调优。

以上主要是对语音合成技术原理的简单介绍，也是目前语音合成主流应用的技术。当前的技术也再迭代更新，像端到端技术目前比较火的wavenet，Tacotron，Tacotron2以及deepvoice3等技术，感兴趣的朋友可以自己了解学习。

二，  技术边界

目前语音合成技术落地是比较成熟的，比如前面说到的各种播报场景，读小说，读新闻以及现在比较火的人机交互。但是目前的TTS还是存在着一些解决不掉的问题。

1. 拟人化

其实当前的TTS拟人化程度已经很高了，但是行业内的人一般都能听出来是否是合成的音频，因为合成音的整体韵律还是比真人要差很多，真人的声音是带有气息感和情感的，TTS合成的音频声音很逼近真人，但是在整体的韵律方面会显得很平稳，不会随着文本内容有大的起伏变化，单个字词可能还会有机械感。

2. 情绪化

真人在说话的时候，可以察觉到当前情绪状态，在语言表达时，通过声音就可以知道这个人是否开心，或者沮丧，也会结合表达的内容传达具体的情绪状态。单个TTS音库是做不到，例如在读小说的时候，小说中会有很多的场景，不同的情绪，但是用TTS合成的音频，整体感情和情绪是比较平稳的，没有很大的起伏。目前优化的方式有两种，一是加上背景音乐，不同的场景用不同的背景音乐，淡化合成音的感情情绪，让背景音烘托氛围。二是制作多种情绪下的合成音库，可以在不同的场景调用不同的音库来合成音频。

3. 定制化

当前我们听到语音合成厂商合成的音频时，整体效果还是不错的，很多客户会有定制化的需求，例如用自己企业职员的声音制作一个音库，想要达到和语音合成厂商一样的效果，这个是比较难的，目前语音合成厂商的录音员基本上都是专业的播音员，不是任何一个人就可以满足制作音库的标准，如果技术可以达到每一个人的声音都可以到达85%以上的还原，这将应用于更多的场景中。

三， 效果指标和技术指标

随着语音合成技术的发展，语音合成（TTS）已经应用于生活中的各个场景，实现了语音合成技术的应用落地。例如，在高铁，机场的语音播报工作，医院的叫号业务，以及现在比较火热的语音交互产品。语音合成的各种应用说明它不仅仅是一项技术，更是一款产品，作为产品，可以用哪些指标来衡量这款产品呢？

下面将介绍两种衡量TTS产品的指标，效果指标和性能指标。

1.  效果指标

1)  MOS 值

  目前关于TTS合成效果的评判标准，行业内一致认可的是mos值测试 ，找一些业内专家，对合成的音频效果进行打分，分值在1-5分之间，通过平均得到最后的分数，这就是mos值测试。 很显然这是一个主观的评分，没有具体的评分标准，这和个人对音色的喜好，对合成音频内容场景的掌握情况，以及对语音合成的了解程度是强相关的，所以算是仁者见仁，智者见智的测试方式。

由于TTS合成效果的评判主观性，导致在一些项目的验收中，不能明确出具体的验收标准，例如在定制音库的项目中，客户想做一个独有的定制音库，最后验收肯定是客户对合成音频效果满意，则成功验收，这是一个很主观的标准，怎么样才算满意呢？对于TTS厂商而言，这是不公平的。所以需要找一些可以量化的标准使得项目可以更好的验收，双方也不会因为合成效果出分歧。这里推荐一条验收标准，可以将语音合成效果量化， 分别对原始录音和合成音频进行盲测打分（mos值测试） ， 合成音频的mos值能达到原始录音的85% （数值可以根据项目情况来定） 以上 ， 就可验收 ，这样就可以把验收标准确定下来，且进行了量化。当然打分团队可以是客户和TTS厂商的人，也可以请第三方的人来打分，确保公平。

虽然mos值是一个比较主观的测试方式，但也有一些可评判的标准。例如在合成的音频中，多音字的读法，当前场景下数字的播报方式，英语的播报方式，以及在韵律方面，词语是否连在一起播报，应该重读的地方是否有重读，停顿的地方是否合理，音色是否符合应用于当前的这个场景，都可以在打分的时候做为得分失分的依据。

分享一个简单的评分标准，可作为参考依据。

2)  ABX 测评

  合成效果对比性测试，选择相同的文本以及相同场景下的音色，用不同的TTS系统合成来对比哪个的合成效果较好，也是人为的主观判断，但是具有一定的对比性，哪一个TTS更适合当前的场景，以及合成的效果更好。

2. 性能指标

1) 实时率

在语音合成中，合成方式分为 非流式合成 和 流失合成 ， 非流失合成指的是一次性传入文本，一次性返回合成的文本音频；流式合成指的是文本传输给TTS时，TTS会分段传回合成的音频， 这样可以减少语音合成的等待时间，在播报的同时也在合成，不用等到整段音频合成完再进行播报，所以对于语音合成时间的一个指标就是实时率。实时率等于文字合成所需时长除以文字合成的音频总时长，下面是实时率的计算公式：

为什么讲实时率会说到非流失合成和流式合成，因为在流式合成场景中，开始合成的时候也就已经开始播报了，音频合成完成也就播报完成了，不会产生等待的过程，这种过程主要用于语音交互的场景，智能机器人收到语音信号之后，马上就可以给予答复，不会让用户等太久。所以为了确保用户的最佳体验， 要求“文字合成所需时长”≤“文字合成出的音频时长”，也就是实时率要小于等于1 。

2) 首包响应时间

在流式合成中，分段合成的音频会传输给客户端或者播放系统，在合成首段音频时，也会耗费时间，这个耗时称为“首包响应时间”。为什么会统计这个时间呢，因为在语音交互中，根据项目经验以及人的容忍程度，当用户说完话时，在1200ms之内，机器人就要开始播报回复，这样就不会感觉有空白时间或者停顿点，如果时间超过1200ms，明显感觉会有一个等待的时间，用户体验不佳，性子急的用户可能就终止了聊天。1200ms的时间不只是TTS语音合成的首包时间，还有ASR（语音识别）和NLU（自然语言理解）所消耗的时间，所以TTS首包响应时间要控制在500ms以内，确保给ASR，NLU留有更多的时间。

3) 并发数

人工智能的发展主要有三个方面，分别为算法，算力，数据，其实讲的性能指标相当于是算力的部分，目前承载算力的服务器有CPU服务器和GPU服务器。前面说到实时率的指标是要小于等于1，那如果实时率远小于1，是不是会对服务器造成浪费呢，因为只要实时率小于等于1，就可以满足用户的需求，让用户体验良好。 所以上面说的实时率是针对CPU服务器单核单线程时，或者GPU单卡单线程时， 那实时率的公式可以为：

为了资源的最大利用化，我们只需确保实时率接近1，或者等于1就行，没必要远小于1，所以当在单核单线程实时率远小于1时，则可以实现一核二线，一核三线的线程数，使得实时率为1，这个一核“二线”，“三线”，这个“几线”说的就是几 并发数 ，准确说是 单核并发数。 那这个并发数怎计算呢，举个例子，如果单核单线程的并发数是0.1，则一核10线程的并发就是1，也是满足需求的，就可以按照这个并发数给客户提供。所以并发数的计算公式如下：

所以当用户需要200线程的语音合成并发数使，按0.1的实时率，一核十线，只需要20核的cpu服务器，则可以跟客户要求24核的cpu服务器即可满足客户的需求，也为客户节省了成本。

再说一下这个线程和并发的概念，线程，并发算是同一个概念，例如200线并发，指的是需要同时支持200线的语音合成，200线是同时合成音频的，合成内容可以相同也可以不同。

4)  合成100个字需要多少时间（1s能合成多少个字）

有些客户对于实时率，响应时间这些概念是比较模糊的，他会问你们的 TTS合成100个字需要多少时间 或者 1s能合成多少个字 ，所以这个时候为了方便和客户沟通，我们需要知道合成100个字TTS消耗的时间。这个数据是可以大概算出来的，当然也可以直接让测试测出一百字消耗的时间。这里主要讲一下计算的方法。

按照正常的播报速度，1秒可以播报4个字左右，我们就按照四个字计算，100个字的音频，音频时长大概就是25s（100除以4），假如实时率为0.1，再根据当前的实时率计算公式，算出合成时间为2.5s，也可以计算出1s合成的字数（100/2.5）为40个字。

简单介绍了语音合成产品会涉及到的一些参数指标，还有一些测试时需要了解的指标数据，例如cpu占用，内存占用，DPS（单位时间合成的音频总时长）,TPS（单位时间合成的音频任务数）以及TP99，感兴趣的朋友可以查询研究一下，这些数据也主要用于项目poc的测试中，或者TTS产品整体的测试中，可以算是对于TTS产品的一个整体的了解。

四，  语音合成厂商

   有很多厂商拥有语音合成技术，有互联网大厂，也有一些只专注于人工智能的企业。

科大讯飞 科大讯飞的语音合成技术在全球范围内也是数一数二的，合成的音频效果自然度高，讯飞官网挂接的音库是最多的，且涉及很多的场景，以及很多的外语音库。

阿里巴巴 在阿里云官网的音库，有几个音库的合成效果非常棒，例如艾夏，合成的音频播报时感觉带有气息感，拟人化程度相当高。

网络 网络的语音合成技术还是很强的，但是官网给的合成音库较少，具体不太好评判。

灵伴科技 这家公司在语音合成领域是不在忽略的。灵伴的音库合成音效果也是非常的棒，有一个东北大叔的音库，主要是偏东北话，整体的韵律，停顿，重读等掌握的很好，很到位。

标贝科技 标贝科技和灵伴科技一样，是语音合成领域不可小觑的两个企业，是因为他们TTS合成的音频效果拟人化程度很高，每个场景的风格也很逼真。

捷通华声 捷通华声是一家老牌的人工智能企业，合成的音频效果整体还是不错的，且支持多种语种的音库。

还有些企业没有一一列出来，是因为上面这些企业是在平时项目中，或者TTS技术落地应用上比较多的企业。

五， 小结

目前的语音合成已经应用于各种场景，是较成熟可落地的产品，对于合成音的要求，当前的技术已经可以做很好了，满足了市场上绝大部分需求，语音合成技术主要是合成类似于人声的音频，其实当前的技术已完全满足。目前的问题在于不同场景的具体需求的实现，例如不同的数字读法，如何智能的判断当前场景应该是哪种播报方式，以及什么样的语气和情绪更适合当下的场景，多音字如何更好地区分，确保合成的音频尽可能的不出错。当然错误有时候是不可避免的，但是如何在容错范围之内，或者读错之后是否有很好的自学机制，下次播报时就可以读对，具有自我纠错的能力，这些可能是当前产品化时遇到的更多更实际的问题，在产品整体设计的时候，这些是需要考虑的主要问题。

后续会讲述在实际场景中主要遇到的问题以及解决的方案。

㈥ 这些智能语音交互技术你全吃透了吗

这些智能语音交互技术你全吃透了吗？

简单剖析智能语音交互技术

机器学习和自然语言处理技术的进步为语音与人工智能的交互提供了可能。人们可以通过对话获得信息，并与机器互动，而机器将不再只存在于科幻小说中。语音交互是未来的发展方向。智能扬声器是语音交互着陆的第一代产品。

以市面上面流行的智能电话机器人为例，他的AI模块主要包含了4部分自动语音识别（Automatic Speech Recognition, ASR），自然语言理解（Natural Language Understanding, NLU）

，自然语言生成（Natural Language Generation, NLG），文字转语音（Text to Speech, TTS）

。

以欧能智能机器人中的语音交互流程图为例子，来看看Ai智能机器人对话技术的主要路径：

在上图我们可以看到，用户使用的时候是与设备进行交互完成的，并且主要是采用语音的处理方式。

要想完整完整的完成语音交互，必须要弄懂流程，这是一款 电话机器人好不好用 的关键，一次成功的语音交互流程，主要涉及以下4个阶段，且环环相扣。

意图

表示用户在使用应用时所做的动作(譬如：问一个问题或发送一条指令)，这些意图代表了应用的核心功能。如果应用成功地识别了用户意图，则需要在完成业务动作后，将结果反馈给用户。

识别意图—语义解析

对语音识别结果进行分析理解，简单来说就是将用户语音输入映射到机器指令。它可能定义了一组包含指定的单词或短语的语法结构，用户通过说出满足这种结构的冲祥祥语句，来调用意图。

处理意图—云端交互

调用意图的结构化请求，向服务器请求处理后做出反馈响应。 通俗来讲该流程主要处理用户的请求，解决用户问题的答案。

语言合成模块 – 组织语言

根据解析模块得到的内部表示，在对话管理机制的作用下生成自然语言句子。 同时将生成模块生成的句子转换成语音输出。（把回答的机器语言再转换成 口语语言）

整个流程虽然看起来较为简单，但是中间的自然语言处理的关键技术是必须要掌握的。

词法分析

词汇分析包含形态和词汇。一般来说，形态素主要反映在单词的前缀和后缀的分析上，词汇反映在整个词汇体系的控制上。在中文全文检索系统中，在中文信息、即中文自动单词分割技术的单词分割中，词汇分析主要出现。利用该技术，能够正确解析用户输入信息的特性，完成正确的搜索过程。是中文全文检索技散搏术的重要发展方向。

句法分析

句法分析是对用户输入的自然语言进行词汇短语的分析，目的是识别句子的句法结构，实现自动句法分析过程。其基本方法有线图分析法、短语结构分析、完全句法分析、局部句法分析、依存句法分析等。

语义分析

语义分析是基于自然语言语义信息的一种分析方法，其不仅仅是词法分析和句法分析这样语法水平上的分析，而是涉及到了单词、词组、句子、段落所包含的意义。其目的是从句子的语义结构表示言语的结构。中文语义分析方法是基于语义网络的一种分析方法。语义网络则是一种结构化的，灵活、明确、简洁的表达方式。

语用分析

语用分析相对于语义分析又增加了对上下文、宴则语言背景、环境等的分析，从文章的结构中提取到意象、人际关系等的附加信息，是一种更高级的语言学分析。它将语句中的内容与现实生活的细节相关联，从而形成动态的表意结构。

语境分析

语境分析主要是指对原查询语篇以外的大量“空隙”进行分析从而更为正确地解释所要查询语言的技术。这些“空隙”包括一般的知识，特定领域的知识以及查询用户的需要等。它将自然语言与客观的物理世界和主观的心理世界联系起来，补充完善了词法、语义、语用分析的不足。

 智能电话机器人对话目前存在的问题

在人与机器的会话过程中，用户必然会犯表达错误，导致用户语言机械理解的偏离。此时，错误修正机构对于机器来说非常重要。如果这个机制不能利用，用户显然需要花费很长时间来说明他们的意图，并且对应的用户经验非常坏吧。另一方面，能够很好地认识语音，但是不能理解对话的目的，有理解意义的偏颇。因此，语音对话中应解决的问题是模糊消除和未知语言现象的处理。

智能语音助手背后的生态服务

一个好的智能电话机器人要想落地开花，它不仅仅是简单的语音识别那么简单，还有集成服务，一整套的中文生态、内容、服务等配套设施，是一种涵盖很多基础能力的生态系统。

未来基于语音交互的语义技能，必须要能够达到几万、几十万甚至上百万种的时候，才能促使语音交互时代操作系统真正走向成熟，未来语音交互产品的形态和样式也将越来越丰富。

㈦ 自然语言处理技术的应用

自然语言处理技术的应用介绍如下：

1、机器翻译

每个人都知道什么是翻译：将信息从一种语言翻译成另一种语言。当机器完成相亏悄同的操作时，要处理的是如何“机器”翻译。机器翻译背后的想法很简单：开发计算机算法以允许自动翻译而无需任何人工干预。最着名的应用程序可能是Google Translate。

Google翻译基于SMT-统计机器翻译。这不是单字逐字替换的工作。Google翻译会搜集尽可能多的文本，然后对数据进行处理来找到合适的翻译。这和人类很相似，当还是孩子的时候，从给词语赋予意思含义，到对这些词语的进行组合抽象和推断。

但并非所有闪光的都是金子，考虑到人类语言固有的模糊性和灵活性，机器翻译颇具挑战性。人类在认知过程中会对语言进行解释或理解，并在许多层面上进行翻译，而机器处理的只是数据、语言形式和结构，现在还不能做到深度理解语言含义。

总而言之，这项技术孙空猛已被用来替代其则桥他输入方式，例如以任何的键入，单击或选择文本。如今，语音识别已成为众多产品中的一个热门话题，例如语音助手（Cortana，Google Assistant，Siri等）。

㈧ 语音处理技术流程是什么

语音信号处理是研究用数字信号处理技术对语音信号进行处理的一门新兴学科。语音信号处理的应用极为广泛，其中的主要技术包括语音编码、语音合成、语音识别和语音增强等。本文选取语音识别作为重点讨论课题。 语音识别就是让计算机雹顷老听懂人的话，并做出正确的反应。目前主流的语音识别技术是基于统计模式识别的基本理论。 本文首先源升对语音信号处理进行了概述，其中包括各种处理技术、发展及应用。接下来主要介绍了语音识别方面的知识。根据语音识别系统的基本构成模型，介绍了预处理、端点检测到模板匹配各个部分所涉及到的语音数字信号处理原理和方法。重点研究了孤立词乎哗识别系统的原理、构成及各部分的实现算法。