桌面式智能音视频采集终端设计方案
项目内容描述
【功能要求】
1、摄像头与识别跟踪：
设备支持摄像头采集，720p/15fps 起步；支持单目标人脸采样/注册、识别、跟踪；支持目标丢失后的重新寻找；识别、找人、跟随等状态可上报。
2、云台/跟随机构：
设备支持二自由度云台或等效跟随机构控制，包含水平/俯仰控制、运动限位、防缠线或线缆保护、跟随平滑度调参和异常保护。
3、音视频采集与上传：
设备支持音视频采集、H.264 编码、本地缓存、固定时长视频切片、WiFi/4G 上传、断网缓存、恢复后续传、上传失败重试和上传结果上报。视频文件格式、命名规则和上传接口按要求对接。
4、设备联网与接口：
设备支持 WiFi/4G 联网，预留或支持 SIM、TF、Type-C、USB 调试口等接口。设备支持心跳、远程指令接收、状态上报、异常上报、本地日志和 OTA 预留。
5、人机交互与显示：
设备支持麦克风、喇叭、双 OLED 眼睛 / 表情显示、按键、状态灯、电量灯等基础交互能力。状态显示覆盖待机/录制中、找人中、跟随中、唤醒/听取中、思考中、回复中、低电量、异常、充电中、联网状态等。
6、基础语音交互：
设备支持语音交互开关控制。交互关闭时，唤醒词无效；交互开启后，按“唤醒词 → 听取 → 思考 → 回复播放”的流程执行。语音识别、回复生成等上层能力可根据服务提供，设备端提供必要采集、播放和接口能力。
7、电池与供电：
设备支持电池供电、Type-C 充电和基础电源管理。目标续航为全功能连续运行 10 小时，最终结合主控、摄像头、云台、4G/WiFi、显示、音频等实际功耗核算，并提供功耗和温升测试记录。
8、设备端接口联调：
提供设备端接口，供后端 / 小程序调用或联调，包括设备注册/激活/绑定配合、采样指令、目标下发、开始/停止录制、语音交互开关、心跳、状态上报、上传状态、异常日志等。
9、设备端软件要求：
设备端具备开机自启动、配置管理、日志记录、异常恢复、重启后状态恢复等基础能力。后端地址、设备ID、上传策略、心跳间隔、视频切片时长、云台参数、模型路径等关键参数支持配置化。
一个详细深入的设计方案，针对“桌面式智能音视频采集终端”的软硬件开发。需求非常详细，包括摄像头识别跟踪、云台跟随、音视频采集上传、联网、交互、电池供电、接口联调等。
输出完整设计方案，包括系统框图、关键器件选型、软件流程图、UML建模、项目文件结构等。
按照以下结构组织：
需求核心解读与系统概览
系统总体架构（硬件框图、软件架构）
关键器件选型（主控、摄像头、云台电机、4G/WiFi、音频、电池等）
硬件电路设计要点
嵌入式软件设计（分层、模块、关键算法）
云台控制与跟随算法
人脸识别与跟踪流程
音视频采集编码上传（断网续传）
人机交互与状态显示
联网与远程指令（心跳、OTA）
电源管理与续航优化
UML建模（用例图、类图、序列图、状态机图）
项目文件结构组织
开发流程与测试验收
总结与交付物清单
注意：有“主控/算力选型思路”，说明选择理由。同时功耗评估、续航计算。
桌面式智能音视频采集终端设计方案
1. 需求核心解读与系统概览
1.1 产品定义与场景实例
通俗实例：想象一台摆放在桌面上的“智能小机器人”。它能通过摄像头“看见”你，记住你的脸，然后跟着你转动脑袋（云台）。当你对它说出唤醒词（如“小智小智”），它会开始录音，并将语音传送到云端识别，然后播放回答。同时，它会把拍摄的视频片段压缩后通过WiFi或4G上传到服务器，即使网络断了也会本地缓存，等网络恢复后自动补传。设备上还有两个OLED屏幕当作“眼睛”，可以显示各种表情（待机、思考、开心等），底部有麦克风、喇叭、按键和状态灯。整个设备内置电池，可以连续工作10小时。
1.2 核心设计指标
| 类别 | 指标 | 说明 |
|---|---|---|
| 主控算力 | 1.2 TOPS 以上 | 兼顾人脸识别、H.264编码、云台控制、网络协议栈 |
| 摄像头 | 720p@15~30fps，自动对焦 | 人脸识别与视频采集 |
| 云台 | 水平≥160°，俯仰≥60°，步进电机 | 平滑跟随，限位保护 |
| 联网 | WiFi 2.4/5G + 4G (CAT1) | 双链路热备或主辅 |
| 续航 | ≥10小时（全功能） | 电池容量≥6000mAh |
| 音视频上传 | H.264编码，切片上传，断网续传 | 支持后端对接 |
| 语音交互 | 唤醒词 → 听取 → 思考 → 回复 | 云端识别+合成 |
1.3 设计总纲
采用Linux主控+MCU协处理双处理器架构：
- 主控：Rockchip RV1126（1.5TOPS NPU，H.264编码，支持Camera/MIPI，运行Linux）——负责摄像头采集、人脸识别、视频编码、网络上传、语音云端对接。
- 协处理器：STM32F103——负责云台电机驱动、限位检测、电源管理、状态灯、按键扫描、OLED显示，与主控通过UART通信。
- 4G模块：EC200N（CAT1）——提供蜂窝网络。
- WiFi/BT：AP6256（2.4G/5G，BT5.0）——连接路由器，也可用于配网。
- 音频：ES8388 CODEC + 麦克风阵列（双麦克） + 功放。
双处理器优势：主控专注AI和网络，协处理器实时控制云台和IO，避免RTOS实时任务抢占Linux资源，提高系统稳定性。