简介基于树莓派的智能魔镜项目面向计算机、物联网、电子信息等专业的学生与开发者是一套融合人脸识别、情感检测、热词唤醒、语音交互的手机APP联动智能终端同时支持温湿度、新闻、日期等信息的可视化展示。资源压缩包共93个文件大小约21.85MB涵盖Python源码、Qt界面文件、Markdown开发文档、Android工程、语音模型、C语言驱动及录屏演示等源码、文档、脚本与多媒体素材分层存放便于按模块查阅与复现。已有222人浏览学习项目代码经测试运行适合作为毕业设计、课程设计或项目初期演示的完整参照。内容上还额外提供系统连接图、界面布局图、实物图、服务器部署笔记、第三方库安装说明和效果演示视频能够帮助理清端到端交互流程与软硬件协作关系也便于在此基础上二次开发扩展更多功能场景。1. 从一面镜子到一块交互屏树莓派智能魔镜到底做了什么一面半透半反镜背后藏着一块10.1寸显示器再塞进一块树莓派就构成了智能魔镜的物理本体。这个项目把通常分散在多个设备上的能力集中到了一起人脸识别、情感监测、热词唤醒、语音对讲以及和手机APP的局域网联动都在同一套Python代码里运行。源码包里有完整的PyQt5界面、Snowboy唤醒引擎、DHT11驱动、AndroidStudio工程和从Windows到树莓派都能走的部署文档。适合人工智能、物联网方向的毕设/课设选题也适合想看清边缘设备上语音和视觉模块如何协作的嵌入式开发者。接下来按架构、人脸、语音、部署四个角度拆解每个环节都落到代码和参数上。2. 系统架构与关键选型树莓派4B、PyQt5和GPIO的分工2.1 硬件接线引脚分配和传感器接入先看源码根目录下的两份说明树莓派引脚分布图.png和GPIO使用表.txt。整个魔镜用到的外设不算多一块HDMI接口的显示屏、一个USB麦克风、一个DHT11温湿度传感器、一个树莓派官方摄像头或USB摄像头其余就是供电和数据线。GPIO使用表.txt里标出了DHT11数据脚接到BCM 4号引脚。很多第一次接触树莓派的同学会把BCM编号和物理引脚号混用对照树莓派4B引脚功能图时千万注意。我自己的接线习惯是DHT11的VCC接5V引脚2或4DATA接BCM4物理7GND接公共地。信号线上最好加一个4.7kΩ上拉电阻否则DHT11出数不稳定。外设接口树莓派引脚BCM关键说明DHT11DATAGPIO4单总线协议需4.7kΩ上拉显示屏HDMI-分辨率建议设为1260x800USB麦克风USB-免驱ALSA默认设备摄像头CSI/USB-官方CSI口或USB摄像头这四类设备里显示屏分辨率需要重点说。源码里的mirrorUI_1260_800.py从文件名就能看出UI是按1260x800设计的如果你的屏幕是1280x800或者1920x1080要在Qt里做缩放否则边缘会被裁掉。我一般会在树莓派Display Settings里先固定成“无缩放”模式再在Qt中动态适配避免启动时黑边。2.2 界面层mirrorUI_1260_800.py和.ui文件的处理源码根目录里有mirrorUI_1260_800.ui和ui2py_1260_800.bat这个bat里其实就一条命令pyuic5 -x mirrorUI_1260_800.ui -o mirrorUI_1260_800.py-x参数表示生成的Python文件里包含if __name__ __main__代码段可直接独立运行-o指定输出文件。每次改动.ui文件后都要重新执行一次再打开生成的mirrorUI_1260_800.py检查组件名有没有变化。在MagicMirror.py里通常用from mirrorUI_1260_800 import Ui_Form这样的方式导入界面类再通过findChild或直接属性访问控制label。界面label对应表.txt里已经把每个label的名字和用途一一对应比如label_clock是时钟label_date是日期label_weather是天气label_temp是温湿度。拿到手之后把这些名字和.ui里的objectName对照一遍就能快速定位显示逻辑。2.3 DHT11温湿度读取的GPIO实现DHT11的驱动在dht11.c里这是一个C扩展模块用更底层的GPIO操作保证时序稳定。Python里直接调用Adafruit_DHT库也可以代码更简单import Adafruit_DHT sensor Adafruit_DHT.DHT11 pin 4 humidity, temperature Adafruit_DHT.read_retry(sensor, pin) if humidity is not None and temperature is not None: print(温度{0:0.1f}°C 湿度{1:0.1f}%.format(temperature, humidity)) else: print(DHT11读取失败请检查GPIO4接线)read_retry的作用是当传感器返回None时自动重试15次每次间隔2秒。这样能缓解DHT11偶发无响应的问题。注意pin4是BCM编号如果改用wiringPi编号要填7。另外DHT11的采样频率不要超过每秒1次连续读太快会长时间不响应代码里最好加一次time.sleep(1)。还有一个容易踩的坑是GPIO权限。如果当前用户不在gpio组里运行时会报PermissionError执行sudo usermod -aG gpio $USER后重新登录即可。源码里的dht11.c直接用C语言操作/dev/gpiomem可以绕过一部分Python权限问题但编译时还是要安装libgpiod-dev依赖。3. 人脸识别与情感监测把OpenCV模型跑在树莓派上3.1 摄像头与图片预处理face.py负责这个模块。摄像头初始化沿用OpenCV的VideoCapture接口我这里使用的参数如下import cv2 cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) cap.set(cv2.CAP_PROP_FPS, 15)分辨率设定在640x480而不是直接上1080p是因为树莓派4B的CPU做推理时本身就不轻松。720p下调用人脸检测大约只能跑到5-8帧画面会像幻灯片降到640x480会明显平稳。CAP_PROP_FPS15是告诉驱动按15fps采集实际能不能达到还要看摄像头自身能力。3.2 人脸检测与表情分类人脸检测用的是OpenCV自带的Haar Cascade表情分类用OpenCV DNN加载ONNX模型。代码骨架如下face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml) emotion_model cv2.dnn.readNetFromONNX(emotion_model.onnx) emotion_labels [angry, disgust, scared, happy, sad, surprised, neutral] while True: ret, frame cap.read() gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.1, minNeighbors5, minSize(100, 100)) for (x, y, w, h) in faces: face_roi gray[y:yh, x:xw] face_roi cv2.resize(face_roi, (48, 48)) / 255.0 face_roi face_roi.reshape(1, 48, 48, 1) blob cv2.dnn.blobFromImage( face_roi, scalefactor1.0, size(48, 48), mean(0,), swapRBFalse) emotion_model.setInput(blob) preds emotion_model.forward()[0] emotion emotion_labels[preds.argmax()] cv2.rectangle(frame, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(frame, emotion, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2)scaleFactor1.1表示每次缩放窗口的系数值越大检测越快但越容易丢脸minNeighbors5表示一个区域至少被匹配5次才算人脸调大会降低误检也会漏掉侧脸。表情模型要求输入48x48的单通道灰度图数据要除以255归一化。preds.argmax()取出七个类别中概率最大的索引再映射成文字。提示ONNX模型文件要放在和face.py相同的目录下否则路径会找不到。资源包没有自带模型文件常见做法是用Mini-Xception在FER2013数据集上训练再导出成ONNX。这套资源默认不带ONNX模型文件需要你自己准备。树莓派上pip install opencv-python会装到带CPU推理功能的OpenCV但体积较大我建议改用python3-opencv的系统包配合树莓派修改源之后安装速度会明显加快。3.3 与界面状态联动识别结果不应该只显示在摄像头预览窗口里还要驱动魔镜界面切换。MagicMirror.py中大致是这样联动的state detect_emotion() if state happy: ui.label_emotion.setText(今天心情不错) ui.stacked_widget.setCurrentIndex(1) elif state sad: ui.label_emotion.setText(需要放松一下) ui.stacked_widget.setCurrentIndex(2) else: ui.stacked_widget.setCurrentIndex(0)情感标签和界面动作可以做成下面的映射表标签界面显示触发动作happy开心图标切换到情感反馈页sad温柔提示语切换音乐页neutral无变化维持时钟页surprised惊讶图标显示“有趣的发现”卡片UI更新必须放在Qt主线程里执行不能直接在一个独立的摄像头线程里改label文本否则PyQt5会随机崩溃。更稳妥的做法是通过信号槽发消息或者用一个QTimer周期性从线程安全的队列中取最新状态。4. 热词唤醒与语音对讲Snowboy和手机APP的联动4.1 Snowboy唤醒原理与参数调整语音模块核心文件是speech.py和snowboydecoder.py。Snowboy是一个基于HMM的离线唤醒引擎输入pcm音频流输出是否命中热词。源码中audio目录存放了唤醒相关的音频文件而模型文件如snowboy.pmdl需要与decoder放在一起。启动代码一般是这样的import snowboydecoder def detected_callback(): print(唤醒成功开始录音识别...) detector snowboydecoder.HotwordDetector( modelsnowboy.pmdl, audio_gain1.0, sensitivity0.5 ) detector.start(detected_callback)sensitivity的取值范围是0到1它决定了唤醒的敏感程度。0.5是常用起点室内安静环境可以调到0.6有风扇或其他持续噪音时调到0.4避免误唤醒。audio_gain用于提升输入信号增益树莓派板载音频接口噪声大建议用USB麦克风时保持1.0。先验证麦克风能不能正常录音arecord -d 3 -f S16_LE -r 16000 test.wav aplay test.wav-f S16_LE指定16位小端PCM格式-r 16000指定采样率16kHz。回放如果声音很轻或没有要用alsamixer把Capture通道调到70%以上。Snowboy对底噪非常敏感输入音量过大会导致持续触发过小则听不到热词。4.2 语音识别与回复流程唤醒之后Speech模块开始录制一段语音并发送到识别服务。源码里没有绑定具体厂商API下面这个常见写法用speech_recognition库把录音和识别串起来如果requirements.txt没有先执行pip install SpeechRecognitionimport speech_recognition as sr r sr.Recognizer() with sr.Microphone(device_index1) as source: r.adjust_for_ambient_noise(source, duration1) audio r.listen(source, timeout5, phrase_time_limit5) try: text r.recognize_google(audio, languagezh-CN) print(f识别结果{text}) except sr.UnknownValueError: print(没听清)device_index1是USB麦克风在系统中的编号。运行sr.Microphone.list_microphone_names()可以列出全部录音设备不写时默认0很可能是板载音频录制出来全是电流声。adjust_for_ambient_noise(duration1)会采集1秒环境噪声做基线所以唤醒后的录音阶段环境噪音变化不会太影响识别。4.3 手机APP通信协议设计与实现手机端工程在AndroidStudioProjects目录里编译出的MagicMirror.apk可以直接安装。树莓派作为WebSocket服务端手机作为客户端在局域网内交换JSON消息。这里我给出最精简的服务端分发逻辑import websockets import asyncio import json async def handle(websocket, path): async for raw in websocket: msg json.loads(raw) cmd msg[cmd] if cmd get_weather: response {ok: True, payload: {temp: 23, weather: 晴}} elif cmd set_alarm: set_alarm(msg[args][time]) response {ok: True} else: response {ok: False, error: unknown_cmd} await websocket.send(json.dumps(response)) start_server websockets.serve(handle, 0.0.0.0, 8765) asyncio.get_event_loop().run_until_complete(start_server) asyncio.get_event_loop().run_forever()协议字段可以约定成下表方便APP端和后端对照开发cmdargs返回payload说明get_weather无temp, weather, humidity获取今日天气get_news无list: 标题数组获取热点新闻set_alarmtimeok设置闹钟send_textmessageok手机到魔镜弹文字0.0.0.0表示监听所有网卡的8765端口手机APP连接时需要填写树莓派当前局域网IP比如ws://192.168.1.100:8765。如果连接超时第一件事是检查树莓派有没有开防火墙第二件事是确认手机和树莓派是不是在同一网段。不要写localhost手机访问不到。5. 部署、排错与性能调优让魔镜稳定运行一周5.1 从Windows到树莓派的迁移清单源码里同时提供了MagicMirror - WindowsUITest.py和运行.bat说明开发阶段是在Windows上做的UI调试最后再搬上树莓派。迁移时最耗时间的是OpenCV安装直接pip install opencv-python在树莓派4B上会触发长时间的编译。建议先做树莓派修改源再执行sudo apt update sudo apt install python3-opencv python3-pyqt5系统包是预编译的ARM版速度比pip源快很多。安装完成后还要用sudo raspi-config打开Camera接口如果是官方CSI摄像头需要用sudo modprobe bcm2835-v4l2把驱动加载成V4L2设备否则cv2.VideoCapture(0)返回全黑帧。5.2 常见故障排查这一套系统最容易出问题的三个地方分别是DHT11读数失败、人脸识别掉帧、Snowboy误唤醒。DHT11失败先查GPIO4接线再看内核日志dmesg | grep gpio人脸识别太卡就把检测间隔从每帧改成每3帧或者把输入分辨率降到480x320Snowboy不灵不要一味提高sensitivity可能是录音电平过低用alsamixer把Capture音量调到70%~80%即可。5.3 开机自启和内存优化魔镜是7x24小时运行的手动跑脚本不是长期方案。把服务交给systemd最可靠创建一个/etc/systemd/system/magicmirror.service[Unit] DescriptionMagic Mirror Afternetwork.target [Service] ExecStart/usr/bin/python3 /home/pi/RaspberryPi-MagicMirror/MagicMirror.py WorkingDirectory/home/pi/RaspberryPi-MagicMirror Restartalways RestartSec5 [Install] WantedBymulti-user.targetRestartalways加上RestartSec5进程被kill后5秒内会自动拉起避免白天人脸模块崩溃后魔镜变成一块普通镜子。启用服务sudo systemctl enable magicmirror sudo systemctl start magicmirror如果树莓派内存只有2GB人脸模型和PyQt5同时驻留会让系统开始使用zram或swap。可以手动加1GB swapsudo fallocate -l 1G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile。加上swap后CPU负载可能暂时升高但界面刷新不会再频繁卡死。本文还有配套的精品资源点击获取