简介基于Unity3D开发的康复训练双模式互动游戏系统专为中风后遗症患者设计以上肢协调训练和认知功能锻炼为核心通过抓取、投掷、敲击等模拟动作及记忆、注意、解决问题类任务提升康复训练的趣味性与参与度。压缩包含646个文件约48.49MB包括54个C#脚本、33个Unity场景、131个DLL库、13个Shader、18个材质与Asset资源以及贴图、字体、物理材质、预制体等完整支撑游戏逻辑、渲染、物理交互与关卡组织。除双模式游戏工程外还附带康复训练指导文档、医学知识介绍、技术实现说明及安装指南可帮助医护人员快速上手也为Unity开发者提供了一套可扩展的医疗游戏参考实现。目前已有55人学习下载适合康复医疗产品开发、Unity交互应用及严肃游戏研究者借鉴。1. 康复训练为什么需要双模式中风后遗症患者的上肢与认知都要练一个中风后遗症患者坐在屏幕前右手还能抬到一半左手几乎不动。传统康复训练每天重复相同动作几分钟后就没了耐心认知功能衰退又让他记不住指令训练效果打折。于是许多康复项目开始把上肢协调训练和认知功能锻炼放进同一个Unity3D互动游戏系统一只手追逐目标同时记住序列和颜色运动与认知在同一场景中互相强化。这套系统适合Unity3D游戏开发、康复医疗软件工程师和康复治疗师核心是用C#标题里的C语言在Unity中通常指C#整合物理与游戏逻辑。下面从框架、物理实现、认知调度到临床落地工具讲一套能复现的路径。2. Unity3D里搭双模式框架状态机、场景划分和逻辑结构康复训练的双模式不是“一个3D场景加一个UI界面”那么简单。上肢协调训练需要物理反馈、空间追踪认知功能锻炼需要刺激呈现、反应计时和正确率统计。两者的帧循环、数据频率、反馈优先级都不一样。常见做法是先用一个顶层状态机拆开模式再用事件系统隔离输入与训练逻辑最后用ScriptableObject保存任务配置。这样两个模式可以独立改也方便后续接患者档案。2.1 双模式系统怎么拆状态机、患者档案和主循环在Unity3D游戏开发里顶层状态机是最可靠的主循环结构。我会在场景保留一个GameManager单例维护Mode枚举Idle、UpperLimb、Cognitive、Rest。无论从主菜单进入训练还是中途暂停都走SwitchMode统一出口不让各UI面板直接新建场景。因为每次都换场景物理世界的手柄追踪、LeapMotion设备和UIManager都要重新初始化患者会看到黑屏闪动。最小可执行代码是这样一个单例using UnityEngine; public enum TrainMode { Idle, UpperLimb, Cognitive, Rest } public class GameManager : MonoBehaviour { public static GameManager Instance; [SerializeField] private TrainMode currentMode TrainMode.Idle; public TrainMode CurrentMode currentMode; private void Awake() { if (Instance null) Instance this; else Destroy(gameObject); } public void SwitchMode(TrainMode newMode) { // 让当前模式先清理避免物理关节被继续输出力 BroadcastMessage(OnModeExit, currentMode, SendMessageOptions.DontRequireReceiver); currentMode newMode; // 通知新模式完成初始化 BroadcastMessage(OnModeEnter, currentMode, SendMessageOptions.DontRequireReceiver); } private void OnDestroy() { if (Instance this) Instance null; } }逻辑说明SwitchMode先广播退出再设置模式再广播进入这样每个训练模块都有机会在模式切换前释放手柄、移除Rigidbody上的拖拽力防止患者手腕突然受力。BroadcastMessage虽然查找成本比事件高但对康复程序这种低频UI事件完全够用。实际工程可以换成C#的event Action并用字典做订阅。参数说明TrainMode枚举里的Rest不是训练模式是强制休息倒计时用Rest把上肢模式和认知模式隔开避免患者连续训练时间过长。CurrentMode只读避免UI误改状态。2.2 上肢协调训练模式的场景组织输入源抽象、目标和物理层上肢协调训练最典型的形式是屏幕上出现若干3D目标点患者用手、手柄或鼠标拖拽一个代表手的物体去触碰目标。为了让程序不被具体设备绑架我会把“手”抽象成一个HandAnchor物体所有输入设备只负责给这个物体送目标位置。选输入源是开发早期就要定的因为Unity3D物理层的参数完全跟随输入源。下表是我常用的对照输入源获得位置方式Unity3D里的典型实现适合训练的动作鼠标/触屏Input.mousePosition或触摸点ScreenToWorldPoint映射到平面坐姿目标点击、轨迹追踪普通手柄XR Input APIXRRig下的控制器随动坐姿或站姿触碰目标体感设备骨骼关节位置目标骨骼Transform驱动HandAnchor肩肘腕大范围协调数据手套厂商SDK返回手指角度Animator或ConfigurableJoint手指精细动作物理层统一用Collider加Rigidbody。康复训练不需要严格的生物力学逆解但必须有刚体否则碰撞判定和难度感都不真实。一个简单的HandAnchor驱动代码是这样[RequireComponent(typeof(Rigidbody))] public class HandAnchor : MonoBehaviour { public float followSpeed 10f; private new Rigidbody rigidbody; private void Awake() rigidbody GetComponentRigidbody(); private void FixedUpdate() { Vector3 desired GetInputTarget(); Vector3 delta desired - rigidbody.position; rigidbody.velocity Vector3.Lerp(rigidbody.velocity, delta / Time.fixedDeltaTime, followSpeed * Time.fixedDeltaTime); } private Vector3 GetInputTarget() { Plane groundPlane new Plane(Vector3.up, Vector3.zero); Ray ray Camera.main.ScreenPointToRay(Input.mousePosition); groundPlane.Raycast(ray, out float enter); return ray.GetPoint(enter); } }逻辑说明没有用Transform.position直接跟而是把目标位置转换成Rigidbody.velocity让物理引擎自己去插值物体移动更平稳也能减少穿过Collider的情况。GetInputTarget只是鼠标示例接入体感设备时把返回值换成骨骼关节即可。参数说明followSpeed控制手部响应的灵敏度。患者手没力时调到5左右手会显得迟钝但平稳恢复较好的患者调到15动作跟手更直接。这个值不应超过物理引擎单步能追上的范围否则会出现穿墙或抖动。2.3 认知功能锻炼模式的场景组织UI、刺激呈现和计时认知功能锻炼不像上肢训练那样依赖3D物理但也不能直接丢一个TMP按钮。我一般用UGUI Canvas作刺激层3D场景作背景让患者仍然感觉自己在一个游戏空间里。典型任务屏幕中心闪现5个数字患者按顺序点击下方数字键全部正确得一颗星。这里最容易出错的是时间线上一题的刺激没有消失下一题的计时已经开始了导致反应时记录失真。做法是用协程或异步方法控制刺激时间轴一个可运行的简化版public class SequencePresenter : MonoBehaviour { public int[] sequence; public float itemShowTime 0.8f; private async void Start() { foreach (var item in sequence) { ShowOnPanel(item); await System.Threading.Tasks.Task.Delay((int)(itemShowTime * 1000)); HidePanel(); await System.Threading.Tasks.Task.Delay(200); } } }逻辑说明通过等待Task.Delay把“显示→隐藏→间隔”拆成一条时间轴比用嵌套的Invoke好维护。如果要在真实帧循环中做更精确的记录应改用Time.deltaTime累加因为Task.Delay在系统休眠或后台切换时会不准。参数说明itemShowTime是每个刺激的显示时长。认知障碍较重的患者建议1.2秒轻中度0.8秒正常人0.4秒。这个值要写入患者档案而不是写死。2.4 用C#整合游戏逻辑和物理模块边界很多Unity3D新手把物理运算写在Update里帧率稍有起伏物理就忽快忽慢这正是“C语言整合物理”最常见的误区。在Unity里逻辑与物理要遵守两条输入采集写在Update物理驱动写在FixedUpdate游戏逻辑只下命令物理组件只执行命令。所以我会让InputController只输出一个目标方向PhysicsMotor负责把Rigidbody的速度推向目标方向。public class InputController : MonoBehaviour { public Vector3 MoveDirection { get; private set; } private void Update() { float h Input.GetAxis(Horizontal); float v Input.GetAxis(Vertical); MoveDirection new Vector3(h, 0, v); } } public class PhysicsMotor : MonoBehaviour { private Rigidbody rb; public InputController input; public float speed 2f; private void FixedUpdate() { rb.velocity Vector3.MoveTowards(rb.velocity, input.MoveDirection * speed, 0.1f); } }逻辑说明InputController在Update里更新输入状态PhysicsMotor在FixedUpdate里读取并作用到刚体。两个类通过public字段串起来调试时可以先看MoveDirection有没有值再看Rigidbody的velocity是否被另一个脚本覆盖很快能定位问题。选型理由为了让动作记录不是帧率依赖。如果患者用的是高刷屏Update里的物理会以不同频率驱动训练难度在同一患者身上会漂移FixedUpdate是固定步长保证同样参数在不同手机上表现一致。如果项目里确实有纯C算法比如肌电信号的滑动平均滤波可以单独编译成原生DLL再在C#中通过DllImport调用不要把C代码直接塞进Unity工程。3. 上肢协调训练核心实现物理关节、拖拽判定与难度调节上肢协调训练在Unity3D里能不能“像康复器材”关键看物理关节和拖拽判定。直接用Transform移动物体患者感受不到阻力直接用手柄碰撞判分又容易误触。下面先讲关节选型再给可用的C#拖拽代码最后是难度参数和穿透抖动的排查。3.1 上肢协调训练场景里怎么选物理关节HingeJoint与ConfigurableJoint如果系统里只有一个虚拟手和若干目标球不需要关节。但如果要训练前臂旋转或手指抓握就得用Unity3D原生关节HingeJoint模拟肘关节的单轴旋转ConfigurableJoint可以同时限位三个方向适合做肩关节和多自由度手腕。它们共同的机制是通过Spring和Damper参数让刚体被“拉住”而不是被强制对齐这样患者能真实感到阻尼。下面的组件参数是我在训练原型里常用的起点关节类型Anchor设置Axis/Angular X设置效果HingeJoint肘部中心Axis YLimits 0到120模拟屈肘阻力ConfigurableJoint肩部中心X/Y/Z Motion都Limited模拟肩关节多向运动FixedJoint临时手柄与目标物体无抓取后把手柄与物体绑定这些设置可以在Inspector里直接改但要用C#动态调难度必须保留每个关节的引用。对于康复训练我一般不在运行时改Joint的Limits而是改成在每次训练开始前加载一套参数避免物理引擎在中途重算时卡顿。3.2 用C#写目标拖拽和碰撞判定患者去抓取一个目标时关键是“抓取动作—碰撞器接触—关节绑定”三步。下面是一段可用的拖拽代码连接了物理关节和C#逻辑public class GrabController : MonoBehaviour { public float grabDistance 0.15f; private FixedJoint activeJoint; private void Update() { if (Input.GetMouseButtonDown(0)) { TryGrab(); } else if (Input.GetMouseButtonUp(0)) { Release(); } } private void TryGrab() { if (Physics.SphereCast(GetMouseRay(), 0.02f, out RaycastHit hit, 100f)) { if (hit.rigidbody ! null hit.rigidbody.GetComponentTargetObject() ! null) { var joint gameObject.AddComponentFixedJoint(); joint.connectedBody hit.rigidbody; activeJoint joint; } } } private void Release() { if (activeJoint ! null) { Destroy(activeJoint); activeJoint null; } } private Ray GetMouseRay() Camera.main.ScreenPointToRay(Input.mousePosition); }逻辑说明每次按下鼠标或手柄扳机用球状射线检测目标物体如果目标是训练目标就给HandAnchor添加一个FixedJoint并绑定目标刚体松开时销毁关节。关节绑定后目标物体就跟随HandAnchor移动物理引擎负责后续碰撞。参数说明grabDistance暂时没用在射线里实际使用时应在SphereCast前先判断hit.distance小于grabDistance。我保留这个阈值是因为不同患者手臂长度差异很大会在场景校准阶段重设否则会出现“手臂还没碰到目标就抓取”的错觉。3.3 四个必调的难度参数范围、速度、阻力与时间窗口难度不能只有“简单/困难”两个按钮否则康复师没法针对不同肌力开处方。以下是上肢协调训练里最常用的四个参数我用一张表来说明参数默认范围调大时效果调小时效果目标分布范围0.2m到0.8m需要更大关节活动范围适合早期坐姿训练目标移动速度0.1m/s到1.0m/s增强追视与快速发力减少挫败感弹簧阻力弹簧强度5到30模拟负重肌力训练关节不受力流畅反应时间窗口2秒到8秒减少时间压力强制快速反应这四个参数在代码里建议封装成一个Serializable的DifficultyProfile不要暴露十个字段。每次训练开始前从患者档案读取Profile写入对应的JointSpring和场景中目标物体的移动脚本。修改参数后不需要重启游戏通过SwitchMode重新加载即可。3.4 排查穿透、抖动和坐标轴不一致的三个坑先看穿透。物体速度太高或者碰撞器设为Discrete时球体可能直接穿过目标。把刚体碰撞检测改为Continuous或ContinuousSpeculative同时限制HandAnchor的顶点速度不超过2m/s。调试时在Scene视图打开Wireframe也就是Unity3D材质透视的一种常见做法能直观看到碰撞网格是否互相嵌套。接着是抖动。FixedJoint绑定时如果HandAnchor自身速度变化过快两个刚体会互相“顶”出现高频抖动。解决办法是Release后延迟0.1秒再允许下一次抓取或者在抓取时将HandAnchor的mass提到目标物体的5倍以上。最后是坐标轴不一致。LeapMotion的坐标系和HTC Vive的坐标系都是右手系但原点方向和缩放不同如果接体感设备一定要在HandAnchor上做一个坐标系映射脚本先记录初始偏移矩阵再送入物理层。不然患者明明抬手场景里球只动了一半。4. 认知功能锻炼模式的任务调度随机生成、反馈和双模式切换认知功能锻炼不像上肢训练那样有刚体交互它更依赖时间线和随机序列。做认知任务时要避免“随机”变成“乱序”所有刺激序列必须可复现、可记录。下面从任务类型选型、调度器代码、反馈机制到双模式切换讲透。4.1 认知任务类型与Unity3D呈现方式常见的认知训练任务有n-back、数字广度、go/no-go和Stroop。对于中风后遗症患者我一般先选数字广度和go/no-go因为它们对屏幕交互要求最低只靠点击和按键就能完成。下面是任务选型表任务刺激内容认知域Unity3D呈现方式n-back数字/字母序列工作记忆UI面板逐项显示按键响应数字广度数字序列回忆注意广度数字闪现后让患者按顺序点选go/no-go特定颜色/图形抑制控制3D物体冒泡点击得分跳过扣分Stroop颜色词与字体颜色执行功能两个按钮分别对应颜色和文字选型理由这些任务都能用Unity3D的UI事件完成不需要物理引擎但要求反应计时精度至少到10毫秒。所以要尽量用Time.realtimeSinceStartup记录时间点不要用Update里的累加值因为Update帧间隔不稳定。4.2 用C#写一个可扩展的任务调度器认知任务反复出现的复杂度不高但不同任务有不同刺激生成逻辑。我会用一个抽象TaskBase和TrialData结构体让每个任务提供自己的GenerateTrial方法调度器只控制时机和反馈。下面是如何生成n-back测试序列public struct TrialData { public int value; public float responseTimeMs; public bool isTarget; } public abstract class CognitiveTaskBase : MonoBehaviour { public abstract TrialData GenerateTrial(); } public class NBackTask : CognitiveTaskBase { public int nBack 2; public int minValue 1; public int maxValue 9; private Queueint recent new Queueint(); public override TrialData GenerateTrial() { int value Random.Range(minValue, maxValue 1); bool isTarget recent.Count nBack value recent.Peek(); if (recent.Count nBack) recent.Dequeue(); recent.Enqueue(value); return new TrialData { value value, isTarget isTarget }; } }逻辑说明NBackTask用一个队列保留最近n个数字。GenerateTrial每次生成一个新数字同时判断当前数字是否等于n步前出现过的数也就是目标刺激。这样队列自然维护了滑动窗口比用数组记索引更容易读。参数说明nBack是核心难度参数一般从0开始0表示只需记住当前刺激1表示对比上一个2表示对比上两个。康复训练建议从0.5的“顶替版”开始即每两轮提高一次n值。还可以加入一个TaskSchedulerpublic class TaskScheduler : MonoBehaviour { public CognitiveTaskBase task; public int trialsPerRound 12; public void RunRound() { for (int i 0; i trialsPerRound; i) { TrialData d task.GenerateTrial(); Present(d); RecordFeedback(d); } } }逻辑说明TaskScheduler只调用抽象方法不关心是n-back还是Stroop。想加新任务时新建一个继承CognitiveTaskBase的类并重写GenerateTrial不需要改动调度器主循环。这也是Unity主程序里C#接口最小化的一个例子。参数说明trialsPerRound决定每轮试次数量在用在高密度训练场景时建议设为8到12之间数值过大会让患者失去耐心过小则无法计算正确率趋势。4.3 反馈机制与难度微调正向反馈对康复患者尤其重要。分数不能只在结束时弹出每个刺激后都应有一个视觉或听觉反馈——绿色对勾加短音表示正确红色叉加低频音表示错误。代码可以这样写public void OnTrialComplete(TrialData data, bool playerHit) { bool isCorrect data.isTarget playerHit; feedbackLight.SetColor(isCorrect ? Color.green : Color.red); audioSource.pitch isCorrect ? 1f : 0.8f; audioSource.Play(); if (isCorrect) score.Add(10); else score.Add(0); // 根据最近正确率微调难度 float recentAccuracy score.GetRecentAccuracy(); if (recentAccuracy 0.85f) task.nBack Mathf.Min(4, task.nBack 1); else if (recentAccuracy 0.6f) task.nBack Mathf.Max(1, task.nBack - 1); }逻辑说明代码没有用复杂强化学习只用最近一段正确率动态改变nBack。nBack大于4对中风患者意义不大反而容易产生挫败所以上面做了上下限保护。参数说明正确率阈值0.85和0.6是经验值临床项目建议让康复师在后台配置而不是写死在逻辑里。4.4 双模式切换如何在认知和上肢模式之间保留训练进度双模式不是让患者做完上肢再做另一段独立程序而是在同一批会话里交叉。例如上肢训练3分钟认知训练1分钟再回到上肢模拟日常生活里“边动边想”的要求。切换时保留双方的训练状态上肢模式保存当前目标计数认知模式保存当前序列索引。我用一个简单的SessionState类来保存[Serializable] public class SessionState { public TrainMode lastMode; public int upperLimbAttempts; public int cognitiveTrialIndex; public float elapsedWorkoutSeconds; public void Save() { /* 写入PlayerPrefs或JSON文件 */ } }逻辑说明SessionState放在GameManager里SwitchMode时由当前模式写入字段。例如上肢模式每次抓到目标就upperLimbAttempts加1认知模式每次完成一轮试次就cognitiveTrialIndex加1。这样即使患者中途体力不支转休息模式恢复后也能从断点继续。这里面有个容易被忽略的坑切模式时千万不要把InputController和HandAnchor一起Destroy。一旦销毁下次进入上肢模式要重新配置物理关节和手柄绑定患者很可能已经坐着休息了重新绑定会打断治疗节奏。更好的做法是让模式切到Rest时仅禁用脚本保留所有GameObject。5. 临床落地最实用的三个技巧校准、数据导出和性能排查康复程序从演示到真正出现在康复室的区别通常不是功能多少而是能否处理患者差异和数据留存。5.1 用T-pose和PlayerPrefs做场景校准患者坐姿、臂长和屏幕距离每次都会变。启动时让患者双手平举用键盘记录左右肩、肘、腕的位置把实际臂长与Unity场景模型臂长的比值存成float。训练开始时把目标出现范围乘上这个系数既避免够不到也避免范围太大伤到关节。这个校准值不需要云端PatientProfile存到PlayerPrefs或JSON就能用。5.2 把训练过程导出成CSV不只看总分康复师需要的是逐步记录。C#里直接用StreamWriter追加写入。using System.IO; public static class CsvExporter { public static void AppendTrial(string filePath, TrialData data) { using (var writer new StreamWriter(filePath, true)) { writer.WriteLine(${System.DateTime.Now:O},{data.value},{data.responseTimeMs:F1},{data.isTarget}); } } }参数说明每条记录包含ISO时间戳、刺激值、反应时和是否为刺激目标。每训练完一轮调用AppendTrial并在StreamWriter外部定期Flush防止进程异常退出丢数据。病人隐私方面文件里只写编号不写姓名。5.3 用Profiler控制Unity3D的Draw Call与Overdraw康复训练场景常用半透明材质做引导光效但Overdraw会拉高GPU负载。打开Profiler的Rendering模块优先看Overdraw Count和Draw Call。若发现Draw Call太高把同一个患者的皮肤网格和衣服网格合并到一个SkinnedMeshRenderer。从SolidWorks等CAD软件导出模型时优先用FBX而不是STL因为STL三角面片冗余量很大导入后还需要用Mesh Decimator减面。最后再补一个“康复师快捷键”的小习惯在开发中把训练范围、目标速度、弹簧阻力映射到键盘数字键1到9。这样康复师不用打开Inspector当场就能微调难度真正把Unity3D系统变成一个治疗工具。本文还有配套的精品资源点击获取