某中心科学家应用深度神经网络于定制技能
在今天举行的某现场活动中，某中心的科学家宣布，现在正利用深度神经网络来改善客户使用智能语音助能的体验。深度神经网络由数千甚至数百万个密集连接的处理节点组成，其设计灵感松散地来源于大脑神经元。DNN通过在海量训练数据中寻找模式来学习执行任务。
"我们正在采用深度神经网络来改善对单个单词和句子的自然语言理解，"负责人在活动上表示，"我们已经开始将这项技术应用于定制技能，并对早期结果感到兴奋。"
负责人表示，预计采用这项基于DNN新技术的技能，其准确率平均将提升15%。该机构计划在今年晚些时候，将DNN的应用范围扩大到在美国、英国、印度和德国的400个符合条件的技能。
此前，智能语音技能完全由最大熵和条件随机场模型驱动，这些模型通过确定话语的意图并标注其槽位来执行自然语言理解。这些模型的输入特征是话语的n-gram以及其他一些特征，如话语长度和每个标记的相对位置。这些模型基于输入信号的线性组合进行预测，这使得它们轻量、易于训练且在推理过程中速度快。
相比之下，深度神经网络模型能更好地识别自然语言。DNN与无监督预训练相结合，已在多个自然语言处理领域实现了最先进的性能。
词嵌入是DNN模型的核心组件，它将每个词标记表示为300维向量空间中的一个点，使得含义相似的词聚集在一起。为了开发有效的词嵌入，研究人员利用了由BERT普及的无监督掩码语言建模预训练技术以及多个训练语料库。
"借助预训练的词嵌入，DNN可以将'给我买个苹果'泛化到'为我订购一个橙子'，因为苹果/橙子和购买/订购在底层的嵌入空间中具有相似的表示，"领导该项目科学工作的科学家解释道，"这种机制是一种迁移学习形式，为DNN带来了关键优势，因为模型不再仅仅从开发人员提供的对话示例中学习。"
然而，存储词嵌入对内存的消耗极大。为了使DNN能够实际应用于超过10万个技能，科学家们将大型的共享通用嵌入存储与小型、本地的技能特定嵌入存储相结合。
最后，多个非线性隐藏层使得DNN能够学习输入信号与目标输出之间更复杂的关联。得益于这些综合优势，深度神经网络模型的表现超越了最大熵-条件随机场模型。
致谢：整个智能语音科学和自然语言理解团队使这里强调的创新成为可能。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
