第7.4篇：鸿蒙 AI 开放能力——语音与自然语言处理

系列：鸿蒙 7（API 26）新特性与创新场景篇 · 画伴梦工厂实战
难度：⭐⭐⭐ 高级
前置知识：第 4.5 篇 语音识别实战、第 4.6 篇 语音识别状态管理
涉及源文件：参考 HarmonyOS AI Kit 文档

在"画伴梦工厂"的前几篇中，我们已经通过SpeechRecognitionEngine+AudioCapturer实现了基础的语音识别能力，借助 GPT-4o-mini 完成了儿童绘画的图像理解。这些能力分别来自@kit.CoreSpeechKit和第三方云端 AI 服务。

HarmonyOS 7（API 26）带来了系统级 AI 开放能力的全面升级——从单一的语音识别，扩展到覆盖视觉、语音、自然语言处理三大领域的完整 AI Kit 体系。更重要的是，鸿蒙 7 首次在端侧部署了30B 参数大模型，结合openPangu 2.0 云侧大模型，构建了一套"云+端"混合 AI 架构，让应用可以在不依赖网络的情况下实现高质量的本地推理。

本文将系统性地介绍 HarmonyOS AI Kit 的完整能力图谱，深入对比端侧与云侧 AI 的架构差异，并探讨如何将这些能力与项目现有的 AI 服务（语音识别、图像识别、AI 生成）进行融合升级。

一、HarmonyOS AI Kit 概览：三大能力域

HarmonyOS AI Kit 是鸿蒙系统级 AI 能力的统一入口，按照能力类型划分为三大领域：

1.1 视觉能力（Vision Kit）

视觉能力由@kit.CoreVisionKit提供，涵盖图像理解与处理的核心 API：

视觉能力与项目第 3.5 篇中通过 GPT-4o-mini 实现的图像识别功能形成互补：GPT-4o-mini 擅长开放域理解（理解"这是一只快乐的小恐龙"），而 Vision Kit 擅长结构化提取（精确的文字识别、人脸检测、图像分割）。两者配合使用，可以构建更强大的画作理解管线。

1.2 语音能力（Speech Kit）

语音能力由@kit.CoreSpeechKit提供，这也是项目第 4.5 篇已经使用过的 SDK。在鸿蒙 7 中，语音能力从单一识别扩展到完整的语音处理矩阵：

1.3 自然语言处理能力（NLP Kit）

NLP 能力是鸿蒙 7 新增的核心开放域，由@kit.CoreNLPKit提供：

二、超越识别的语音能力

前文第 4.5 篇与第 4.6 篇已经详细拆解了语音识别的完整实现。在鸿蒙 7 的 AI Kit 中，语音能力进一步扩展到了三个全新的维度。

2.1 语音合成：文本到自然语音

语音合成（Text-to-Speech, TTS）是语音识别的逆过程——将文字转化为自然流畅的语音。在"画伴梦工厂"中，TTS 可以用来为生成的动画故事添加旁白配音，让儿童创作的画作"开口说话"。

import{textToSpeech}from'@kit.CoreSpeechKit';asyncfunctionsynthesizeStory(storyText:string):Promise<string>{constengine=awaittextToSpeech.createEngine({language:'zh-CN',voiceType:'child-friendly',// 儿童友好音色speed:1.0,// 正常语速pitch:1.1// 略微升高音调，更适合儿童});constaudioUri=awaitengine.synthesize({text:storyText,outputFormat:'audio/mp3',sampleRate:24000});engine.release();returnaudioUri;}

语音合成在儿童应用中有独特的价值：儿童阅读能力有限，语音旁白可以让他们"听"懂自己创作的动画故事，大大降低使用门槛。

2.2 声纹识别：个性化体验

声纹识别能够通过声音特征识别说话人身份。在项目场景中，不同儿童使用同一台设备时，声纹识别可以自动区分当前用户，加载对应的作品集和个性化设置：

import{voiceprintRecognizer}from'@kit.CoreSpeechKit';asyncfunctionidentifySpeaker(audioSample:ArrayBuffer):Promise<string>{constengine=voiceprintRecognizer.createEngine();// 注册声纹（首次使用）// await engine.enroll('user_001', audioSample);// 识别声纹constresult=awaitengine.identify(audioSample);returnresult.userId;// 返回匹配的用户 ID}

2.3 情感检测：读懂孩子的情绪

情感检测是语音能力中最有趣也最具挑战的方向。当儿童用语音描述画作时，情感检测可以分析语气中的快乐、兴奋、困惑等情绪，从而让 AI 生成的内容更加贴合当下的心理状态：

三、NLP 能力详解

NLP Kit 是鸿蒙 7 新增的能力域，它为应用提供了"理解文字"的能力。在"画伴梦工厂"的多个环节中，NLP 能力都可以发挥重要作用。

3.1 文本摘要

当 AI 生成了一长段故事描述时，文本摘要可以将其压缩成简短的标题或一句话简介，适合在作品卡片上展示：

import{textSummarizer}from'@kit.CoreNLPKit';asyncfunctiongenerateStoryTitle(longStory:string):Promise<string>{constengine=textSummarizer.createEngine();constsummary=awaitengine.summarize({text:longStory,maxLength:20,// 最多 20 个字符minLength:5,// 最少 5 个字符style:'creative'// 创意风格，适合儿童故事});engine.release();returnsummary;}

3.2 情感分析

与 2.3 节中的语音情感检测不同，NLP 情感分析处理的是文本。在项目场景中，它可以分析用户输入的 Prompt 文字的情感倾向，辅助 AI 生成匹配情感基调的内容：

import{sentimentAnalyzer}from'@kit.CoreNLPKit';functionanalyzePromptEmotion(prompt:string):SentimentResult{constengine=sentimentAnalyzer.createEngine();constresult=engine.analyze({text:prompt,granularity:'sentence'// 按句子粒度分析});engine.release();returnresult;// 返回：{ overall: 'positive', score: 0.85, segments: [...] }}

3.3 实体抽取

实体抽取可以从自然语言描述中提取结构化的关键信息。对于"画伴梦工厂"的场景，这特别有用——用户说"画一只红色的小恐龙在火山旁边"，实体抽取可以自动解析出：

import{entityExtractor}from'@kit.CoreNLPKit';functionextractDrawingEntities(description:string):ExtractedEntity[]{constengine=entityExtractor.createEngine();constentities=engine.extract({text:description,types:['character','location','color','action','object']});engine.release();returnentities;// 返回示例：// [// { type: 'character', text: '小恐龙', confidence: 0.95 },// { type: 'color', text: '红色', confidence: 0.98 },// { type: 'location', text: '火山旁边', confidence: 0.89 }// ]}

这些结构化实体可以直接映射到第 3.5 篇中定义的DrawingRecognitionResult模型的各字段，作为 GPT-4o-mini 识别结果的补充或校验。

3.4 意图分类

意图分类可以理解用户输入的"意图"，这是构建语音交互界面的关键能力。在项目中，儿童可能说出"帮我画一只恐龙"、“把这个变大”、"换一个颜色"等指令，意图分类可以将这些自然语言映射到具体的操作：

import{intentClassifier}from'@kit.CoreNLPKit';functionclassifyUserIntent(userInput:string):string{constengine=intentClassifier.createEngine({intents:['create','modify','delete','color_change','size_change','save','share']});constresult=engine.classify(userInput);engine.release();returnresult.intent;// 如 'create'}

四、端侧 vs 云侧 AI：鸿蒙的混合 AI 架构

鸿蒙 7 最引人瞩目的 AI 特性之一，是其端侧 30B 参数大模型与openPangu 2.0 云侧大模型的混合架构。这套架构从根本上改变了系统级 AI 的能力边界。

4.1 端侧 30B 大模型的技术突破

30B 参数模型能够在端侧运行的背后，是多项系统级优化的成果：

• 模型量化压缩：通过 INT4/INT8 混合精度量化，将模型体积压缩至原始大小的 25%~30%
• 硬件加速协同：利用昇腾 NPU 的专用推理单元，实现低功耗高吞吐推理
• 缓存友好计算图优化：重排计算图以减少 NPU 与 CPU 间的数据传输
• 动态内存管理：按需加载模型子图，避免全模型常驻内存

4.2 端侧推理的典型流程

端侧 AI 推理的调用链路极其简洁——所有数据在设备内部流转，无需网络请求：

应用层 API 调用 │ ▼ AI Kit 服务（系统进程） │ ├── 模型加载（按需从 ROM 加载到 NPU） │ ├── 数据预处理（NPU 或 DSP） │ ├── 模型推理（昇腾 NPU） │ ├── 后处理（CPU） │ ▼ 返回结构化结果

整个过程中，没有任何用户数据离开设备。这是鸿蒙隐私优先设计理念的核心体现。

4.3 openPangu 2.0 云侧模型

对于需要更大知识库或更强推理能力的任务，鸿蒙 7 提供了 openPangu 2.0 云侧大模型。云侧模型与端侧模型的分工如下：

4.4 智能调度策略

鸿蒙系统会基于以下因素自动在端侧和云侧之间选择执行路径：

判断优先级： 1. 网络可用性 → 无网络则强制端侧 2. 任务类型 → 简单任务（实体抽取）→ 端侧；复杂任务（长文本生成）→ 云侧 3. 隐私要求 → 含个人隐私数据 → 强制端侧 4. 延迟要求 → 实时交互 → 端侧；批处理 → 云侧 5. 电池状态 → 低电量 → 端侧（低功耗）

五、隐私优先设计：数据不出设备

鸿蒙 AI Kit 从架构层面保证用户隐私。所有端侧 AI 推理在系统沙箱内完成，应用层无法直接访问模型内部数据，AI Kit 也不会将用户数据上传到云端。

5.1 隐私保护的三层保障

5.2 与项目现有隐私设计的对比

项目当前的 AI 服务（GPT-4o-mini 图像识别、Seedream 文生图、图生视频）全部依赖第三方云端 API，图片和文本数据需要经过网络传输。具体来说：

采用鸿蒙 AI Kit 的端侧能力可以避免用户数据离开设备，这对于面向儿童的应用尤为重要——家长可以完全放心孩子的画作和语音不会被上传到任何云端服务。

六、API 调用模式：创建引擎、设置回调、处理结果

鸿蒙 AI Kit 的所有能力遵循统一的 API 调用模式，可以概括为三步：创建引擎 → 配置参数 → 处理结果。

6.1 通用调用模式

// 第一步：创建引擎实例constengine=awaitSomeAICapability.createEngine({// 引擎配置参数，不同能力不同});// 第二步：执行推理（同步或异步）constresult=awaitengine.process({// 输入参数});// 第三步：处理结果console.log(result);// 第四步：释放资源engine.release();

6.2 回调模式（语音识别特有）

对于语音识别这类流式处理任务，采用"引擎 + 监听器"模式：

// 创建引擎constengine=awaitspeechRecognizer.createEngine(options);// 注册回调监听器engine.setListener({onResult(sessionId,result){/* 实时结果 */},onComplete(sessionId,message){/* 完成 */},onError(sessionId,code,message){/* 错误 */}});// 启动处理engine.startListening(sessionConfig);// 写入数据engine.writeAudio(sessionId,audioData);// 结束会话engine.finish(sessionId);

项目第 4.5 篇中的VoiceRecognitionService已经完整实现了这一模式，当前实现可以直接与 AI Kit 的语音识别 API 无缝对接。

6.3 同步模式（NLP 能力）

NLP Kit 的大部分能力（情感分析、实体抽取、意图分类）采用同步调用模式，推理结果即时返回：

constengine=sentimentAnalyzer.createEngine();constresult=engine.analyze({text:userInput});// result 在调用返回时已经就绪engine.release();

这种同步模式适合即时反馈场景，如用户输入时的实时情感评估。

七、与项目现有 AI 服务的融合升级路径

"画伴梦工厂"当前已经构建了一套完整的 AI 服务链。鸿蒙 AI Kit 的端侧能力可以逐步融入这套体系中，形成"云端大模型 + 端侧小模型"的混合架构。

7.1 融合架构总览

现有云端服务链 鸿蒙 AI Kit 端侧能力 ───────────────── ──────────────────── 用户输入（语音/文字） 用户输入 │ │ ├─ VoiceRecognitionService ├─ AI Kit 语音识别 │ (SpeechRecognitionEngine) │ (更稳定、离线可用) │ │ ▼ ▼ 文本 → ImageRecognitionService 文本 → NLP Kit 实体抽取 (GPT-4o-mini 图像识别) (提取角色/场景/颜色) │ │ ├─ Seedream 文生图 ├─ AI Kit 文搜图 │ (生成角色图片) │ (本地图片搜索) │ │ ▼ ▼ 图片 → 图生视频 Service 图片 → Vision Kit 图像分割 (火山引擎视频生成) (精细化抠图) │ │ ▼ ▼ 动画 → AI Kit TTS 语音合成 (为动画添加旁白)

7.2 具体升级场景

场景一：语音识别的端侧升级

当前VoiceRecognitionService已经通过speechRecognizer.createEngine使用 AI Kit 的语音识别能力。在鸿蒙 7 中，端侧离线模型升级到 30B 参数，离线识别的精度大幅提升，可以逐步将默认模式从"离线优先"调整为"纯离线模式"，消除对在线兜底的依赖。

场景二：语义理解通道

在用户输入语音或文字 Prompt 时，引入 NLP Kit 的实体抽取和意图分类能力，实时解析用户意图，而不必等待 GPT-4o-mini 的云端响应。这可以实现"即说即反馈"的交互体验：

用户语音输入 → 语音识别（端侧） → 实体抽取（端侧） → 即时 UI 反馈 ↓ GPT-4o-mini（云端） → 深度理解 → 动画生成

场景三：绘画理解的轻量路径

对于不需要深度理解的简单场景（如仅识别主体颜色、基本形状），可以绕过 GPT-4o-mini 的云端 API，直接使用 Vision Kit 的图像分割和分类能力：

asyncfunctionquickAnalyzeDrawing(imageUri:string):Promise<QuickResult>{// 端侧快速分析：无需网络，毫秒级返回constsegmentation=awaitimageSegmentation.segmentImage(imageUri);constdominantColor=awaitextractDominantColor(segmentation.foreground);return{hasCharacter:segmentation.hasForeground,dominantColor:dominantColor,complexity:segmentation.regionCount};}

7.3 选型决策矩阵

在实际项目中，选择使用云端 AI 还是端侧 AI，可以参考以下决策矩阵：

八、项目实战升级场景

结合上述能力，我们可以构想三个具体的项目升级方向。

8.1 智能故事生成：从画作到故事

利用 NLP Kit 的文本摘要和情感分析能力，结合端侧语音识别和 TTS，构建完整的"画作 → 故事 → 有声书"管线：

儿童画作 → Vision Kit 图像分割 → 提取角色和背景 → 端侧语义理解 → 生成角色描述 → NLP Kit 文本生成 → 生成短篇故事 → TTS 语音合成 → 生成有声旁白

整个过程完全在设备端完成，不依赖任何云端 API。

8.2 画作描述生成：从识别到表达

当儿童完成涂鸦后，系统可以利用端侧 AI 自动生成一段关于画作的描述文字：

涂鸦画布 → 像素导出（第 2.4 篇） → Vision Kit 图像分类 → 识别主体物体 → NLP Kit 实体组织 → 组合成自然语言描述 → UI 展示 → "你画了一只红色的小恐龙！"

这种"即画即反馈"能力可以极大提升儿童的创作成就感。

8.3 语音控制创作：从指令到操作

将语音识别 + 意图分类 + 实体抽取串接起来，构建完整的语音控制创作体验：

儿童语音："画一只蓝色的鲸鱼" │ ▼ 语音识别（AI Kit 端侧）→ "画一只蓝色的鲸鱼" │ ▼ 意图分类（NLP Kit）→ intent: 'create', confidence: 0.97 │ ▼ 实体抽取（NLP Kit）→ { 动物: '鲸鱼', 颜色: '蓝色' } │ ▼ 映射到 DrawingRecognitionResult → protagonist: '蓝色鲸鱼', scene: '海底' │ ▼ 文生图（Seedream 云端）→ 生成蓝色鲸鱼图片

这一管线将端侧 AI Kit 的"理解"能力与云端 AI 服务（Seedream 文生图）的"生成"能力有机结合，各取所长。

九、Best Practice：云侧 vs 端侧 AI 选型指南

作为本文的总结，下面提供一套在实际项目中选型端侧 AI 与云侧 AI 的实用指南。

9.1 端侧优先的场景

9.2 云端优先的场景

9.3 混合策略推荐

对于"画伴梦工厂"这类涉及儿童数据、需要实时交互、又需要高质量生成的应用，推荐的混合策略是：

1. 理解层（端侧）：语音识别、实体抽取、意图分类、情感分析——全部使用 AI Kit 端侧能力，确保实时性和隐私安全
2. 创作层（云端）：文生图、图生视频、深度图像理解——使用云端大模型，保证生成质量
3. 表达层（端侧）：TTS 语音合成、图像分割——使用 AI Kit 端侧能力，优化用户体验
4. 隐私保护层：所有儿童画作和语音数据仅在端侧处理，不上传云端；仅将脱敏后的 Prompt 文本发送给云端服务

十、展望：从 AI Kit 到 AI 原生应用

HarmonyOS 7 的 AI Kit 不仅是 API 的集合，更代表了操作系统层面"AI 原生"的设计理念——AI 能力不再是独立的应用功能，而是以系统服务的形式嵌入到每个应用可以调用的基础设施中。

从"画伴梦工厂"的视角来看，前文第 3.5 篇到第 3.9 篇构建的云端 AI 服务链（识别 → 理解 → 生成 → 展示），在第 7 篇中通过鸿蒙 7 的 AI Kit 获得了端侧能力的补充。最终形成的是一个"云+端"混合的 AI 架构：

这种架构的演进方向，是从"应用调用云端 AI"的单向模式，走向"应用利用系统端侧 AI 做预处理、负责任务路由、调用云端 AI 做重推理"的协作模式。作为开发者，理解并善用这种混合架构，是构建下一代智能应用的关键能力。

总结

本文系统性地介绍了 HarmonyOS 7 AI Kit 的三大能力域——视觉、语音与自然语言处理，深入剖析了端侧 30B 大模型与云侧 openPangu 2.0 的混合 AI 架构，并结合"画伴梦工厂"项目的实际代码，给出了多条融合升级路径和选型决策指南。

下一篇：第 7.5 篇将介绍DevEco Code：AI 编程 Agent 与 Agentic 开发模式，学习如何利用 AI 提升鸿蒙应用开发效率。

参考文档

本文内容基于 HarmonyOS 7（API 26）AI Kit 开发文档：

• @kit.CoreVisionKit— Core Vision Kit 视觉 AI 能力参考
• @kit.CoreSpeechKit— Core Speech Kit 语音 AI 能力参考
• @kit.CoreNLPKit— Core NLP Kit 自然语言处理能力参考
• 端侧 30B 大模型与 openPangu 2.0 混合 AI 架构设计指南