原始混合文本未开启角色分离喂您好请问是李克钦先生吗是的你好我这边是银行客服中心韩美妹您最近申请的信用卡已经审批通过了哦好的太好了额度是多少呢额度是五万元使用有什么限制吗没有特别限制正常消费就可以谢谢那我什么时候能收到卡呢预计三天内寄出好的麻烦您了不客气祝您生活愉快分角色分离后的效果 分角色转写结果 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 喂您好请问是李克钦先生吗 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 是的你好。 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 我这边是银行客服中心韩美妹您最近申请的信用卡已经审批通过了哦。 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 好的太好了额度是多少呢 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 额度是五万元。 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 使用有什么限制吗 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 没有特别限制正常消费就可以。 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 谢谢那我什么时候能收到卡呢 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 预计三天内寄出。 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 好的麻烦您了。 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 不客气祝您生活愉快。一、背景介绍在语音转写场景中多人对话的转写结果往往是混在一起的无法区分哪句话是哪个人说的。讯飞语音识别服务提供了声纹角色分离功能通过预先注册说话人的声纹特征可以在转写时自动识别并区分不同说话人的对话内容。本文将结合Java代码实践详细介绍如何注册声纹创建说话人声纹库如何使用声纹进行角色分离转写实际案例演示客服-客户对话的分离效果二、技术原理2.1 声纹识别原理声纹识别基于每个人独特的生理特征和行为特征包括生理特征声道形状、声带结构等行为特征发音习惯、语速、语调等通过深度学习模型提取说话人的声纹特征向量embedding存入声纹库后在语音识别时进行特征匹配。2.2 角色分离流程音频输入 → VAD(语音活动检测) → 声纹特征提取 → 特征匹配 → 角色标注 → ASR转写 → 分角色输出三、环境准备3.1 依赖配置dependency groupIdorg.json/groupId artifactIdjson/artifactId version20230227/version /dependency3.2 参数获取在讯飞开放平台获取以下参数appId应用IDaccessKeyIdAPI KeyaccessKeySecretAPI Secret四、声纹注册实现4.1 注册接口说明参数说明接口地址https://office-api-personal-dx.iflyaisol.com/res/feature/v1/register请求方式POST签名算法HMAC-SHA14.2 核心代码public class XfyunVoiceprintClient { private static final String LFASR_HOST https://office-api-personal-dx.iflyaisol.com; private static final String REGISTER_FUNC /res/feature/v1/register; /** * 注册声纹 * param audioPath 音频文件路径WAV格式 * return 注册结果包含featureId */ public String register(String audioPath) throws Exception { // 1. 构建URL参数 MapString, String urlParams new HashMap(); urlParams.put(appId, appId); urlParams.put(accessKeyId, accessKeyId); urlParams.put(dateTime, getLocalTimeWithTz()); urlParams.put(signatureRandom, generateRandomStr(16)); // 2. 生成签名 String signature generateSignature(urlParams); // 3. 构建请求体 MapString, String bodyMap new HashMap(); bodyMap.put(audio_data, audioToBase64(audioPath)); bodyMap.put(audio_type, raw); bodyMap.put(uid, uidwhf); // 用户标识 // 4. 发送请求 String response doPost(uploadUrl, toJson(bodyMap), signature); return response; } }4.3 注册结果示例{ code: 000000, descInfo: success, content: { featureId: 20260519095746834F44ZYu3agtOb2UDm } }注册成功后获得的featureId需要保存后续角色分离时会用到。五、声纹角色分离转写5.1 核心参数说明参数类型说明roleTypeShort0-不开启角色分离1-通用角色分离3-声纹角色分离roleNumShort期望的说话人数0表示自动检测1-10featureIdsString已注册的声纹ID多个用逗号分隔5.2 核心代码实现public class XfyunAsrClient { /** * 带声纹角色分离的语音识别 */ public JSONObject getTranscribeResult() { // 1. 构建查询参数增加角色分离配置 MapString, String queryParams new HashMap(); queryParams.put(appId, appid); queryParams.put(orderId, orderId); if (roleType 0) { queryParams.put(roleType, String.valueOf(roleType)); if (roleNum 0) { queryParams.put(roleNum, String.valueOf(roleNum)); } if (featureIds ! null roleType 3) { queryParams.put(featureIds, featureIds); } } // 2. 轮询获取转写结果 // 3. 解析分角色转写文本 } /** * 解析带角色分离的转写结果 */ public static TranscribeResult parseOrderResultWithRoles(JSONObject apiResponse) { // 从lattice数组中提取每个句子的角色ID(rl字段) // 按角色ID分组汇总文本 } }5.3 结果解析转写结果中的关键字段rl角色ID声纹模式下对应注册时的说话人w识别的文字内容wp标点符号六、实战案例客服-客户对话分离6.1 场景描述模拟某客服中心的服务录音客服人员韩美妹声纹ID20260519095746834F44ZYu3agtOb2UDm客户李克钦声纹ID20260519095839968L7rmYGt6s9NFH0sD6.2 注册声纹// 注册客服声纹 String result1 client.register(src/audio/agent_hmm.wav); // 返回: {content:{featureId:20260519095746834F44ZYu3agtOb2UDm}} // 注册客户声纹 String result2 client.register(src/audio/customer_lkq.wav); // 返回: {content:{featureId:20260519095839968L7rmYGt6s9NFH0sD}}6.3 执行角色分离转写String XFYUN_APPID 5e1ff722; String XFYUN_ACCESS_KEY_SECRET 2ab0101669ed2fcef20e5ecf089a8a54; String XFYUN_ACCESS_KEY_ID 0d835b545a41911ab59c3c0b40254ff0; String AUDIO_FILE src/audio/conversation.wav; // 配置声纹角色分离 Short roleType 3; // 声纹角色分离 Short roleNum 2; // 2个说话人 String featureIds 20260519095746834F44ZYu3agtOb2UDm,20260519095839968L7rmYGt6s9NFH0sD; Step2_XfyunAsrClient asrClient new Step2_XfyunAsrClient( XFYUN_APPID, XFYUN_ACCESS_KEY_ID, XFYUN_ACCESS_KEY_SECRET, AUDIO_FILE, roleType, roleNum, featureIds ); JSONObject result asrClient.getTranscribeResult(); TranscribeResult transcribeResult parseOrderResultWithRoles(result);6.4 分离效果展示原始混合文本未开启角色分离喂您好请问是李克钦先生吗是的你好我这边是银行客服中心韩美妹您最近申请的信用卡已经审批通过了哦好的太好了额度是多少呢额度是五万元使用有什么限制吗没有特别限制正常消费就可以谢谢那我什么时候能收到卡呢预计三天内寄出好的麻烦您了不客气祝您生活愉快分角色分离后的效果 分角色转写结果 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 喂您好请问是李克钦先生吗 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 是的你好。 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 我这边是银行客服中心韩美妹您最近申请的信用卡已经审批通过了哦。 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 好的太好了额度是多少呢 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 额度是五万元。 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 使用有什么限制吗 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 没有特别限制正常消费就可以。 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 谢谢那我什么时候能收到卡呢 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 预计三天内寄出。 角色 20260519095839968L7rmYGt6s9NFH0sD (客户-李克钦): 好的麻烦您了。 角色 20260519095746834F44ZYu3agtOb2UDm (客服-韩美妹): 不客气祝您生活愉快。6.5 效果分析维度未开启角色分离开启声纹角色分离可读性差无法区分谁说了什么优对话清晰可辨客服质检需人工逐句判断自动标注客服/客户数据分析无法统计单人说话时长可分别统计转写准确率95%92%略有下降七、最佳实践建议7.1 音频质量要求格式WAVPCM编码采样率16kHz位深16bit单声道信噪比20dB7.2 注册音频要求每个说话人提供10-30秒清晰语音背景噪音尽量小语速正常不要过快或过慢7.3 常见问题解决问题可能原因解决方案角色匹配率低注册音频质量差重新注册高质量音频角色ID乱跳多人音色相似减少roleNum或增加注册音频转写失败音频格式不符转换为标准WAV格式八、总结讯飞声纹角色分离功能通过以下流程实现多人对话自动标注声纹注册为每个说话人预先注册声纹特征角色配置在转写请求中传入roleType3和featureIds结果解析从返回的lattice中提取rl字段进行文本分组该功能在客服质检、会议记录、访谈转写等场景有广泛应用价值。需要注意的是声纹匹配准确率受音频质量影响较大建议在安静环境下录制注册音频并获得10秒以上的有效语音。
