1. 项目概述为什么耳鼻喉科需要半自主机器人在耳鼻喉科ENT门诊医生们每天都在面对一个充满矛盾的挑战一方面鼻腔、咽喉、耳道这些区域结构精细、空间狭小操作需要极高的精度和稳定性另一方面常规检查与治疗又常常需要医生在极近的距离内同时操作内窥镜和多种器械如吸引器、活检钳、拭子这不仅对医生的体力和专注力是巨大考验更在无形中增加了医患交叉感染的风险。尤其是在后疫情时代如何减少不必要的近距离接触同时保障诊疗的连续性和质量成为了一个亟待解决的临床痛点。传统的解决方案高度依赖经验丰富的助手。医生负责核心的观察与操作助手则需默契地配合及时递送、更换器械并协助调整患者体位或内窥镜。这种模式不仅对人力资源要求高沟通成本大更关键的是在突发公共卫生事件或医疗资源不均的地区它显得尤为脆弱。有没有一种方法能让一位医生独立、安全、高效地完成整套耳鼻喉诊疗流程这正是我们团队在过去几年里潜心攻关的方向。我们设计并实现了一套半自主双机械臂耳鼻喉机器人系统。它的核心目标很明确让医生能在一个物理隔离的操作间通过远程操控独立完成从检查、采样到简单治疗的全套门诊流程。这不仅仅是把机械臂和摄像头搬到诊室那么简单其背后是一套深度融合了临床需求、机器人学和人机交互的复杂系统工程。这套系统的灵魂在于其“双视角”控制框架。医生只需关注“临床要做什么”如“检查右鼻腔取分泌物样本”而系统会自动将这些意图分解为一系列可执行的机器人动作序列如“机械臂A移动到鼻前庭入口机械臂B更换为拭子夹持器同步调整内窥镜视野”。连接这两个视角的桥梁是一个精心设计的分层有限状态机HFSM。同时系统集成了全自动的器械更换系统能够像一位不知疲倦的“机器人助手”一样精准、快速地为主操作机械臂更换吸引头、不同型号的钳子或拭子。在接下来的内容里我将以一个亲历者的角度为你深入拆解这个系统的设计思路、实现细节以及我们在开发过程中踩过的“坑”和收获的经验。无论你是医疗机器人领域的工程师、临床医生还是对前沿技术应用感兴趣的同行相信都能从中获得启发。2. 系统核心设计从临床痛点到机器人解决方案2.1 临床需求驱动的任务与工作空间分析任何脱离临床实际的技术都是空中楼阁。在项目伊始我们并没有急于画电路图或写代码而是花了大量时间“泡”在医院里与耳鼻喉科医生进行深度访谈和UX/UI研究并系统分析了门诊中的常见操作。我们发现尽管耳鼻喉诊疗项目繁多但核心的器械操作可以归纳为三类可视化内窥镜、采样拭子、干预吸引、活检。而最大的操作难点在于“同步使用”Simultaneous Use, SU医生通常需要一只手持柔性内窥镜提供视野另一只手进行操作。在传统模式下这要么需要医生有“三头六臂”要么就必须依赖助手。此外耳鼻喉区域的解剖结构对机器人提出了严苛的空间约束。我们测量并定义了三个主要操作区域的关键参数目标区域入口尺寸近似最大插入深度近似关键空间挑战鼻腔直径 ~1 cm至鼻咽部 ~8-10 cm通道弯曲需要器械具备多角度进入能力空间极其有限双器械SU操作易碰撞。口腔开口 6.2×4.5 cm至声带 ~18 cm开口大但路径深需要避免触碰悬雍垂、舌根等敏感结构可能需要开口器辅助。耳道直径 ~0.7 cm至鼓膜 ~2.5 cm通道窄且直要求器械近乎水平插入精度要求极高轻微偏差即可能造成损伤。这些数据直接转化为了我们机器人系统的设计规格书。例如器械末端Tool Center Point, TCP的运动范围、速度限制、避障策略都必须严格遵循这些解剖学边界。实操心得定义“入口姿态”一个关键的设计是“入口姿态”Entry Pose。我们不是简单地把器械怼到鼻孔前而是为每个解剖目标如鼻尖、嘴角定义了一个标准的参考坐标系然后根据器械类型内窥镜、细长钳、吸引管和操作区域计算出一个偏移后的安全预备位置。这个位置既要保证器械轴线对准入口又要留出足够的空间供医生在远程操作前进行微调还要避免两个机械臂在初始位置就发生碰撞。这个“入口姿态”库是后续所有自动化移动的基石。2.2 系统整体架构与硬件选型基于以上分析我们确定了系统的核心架构主从式、空间分离。患者端从端位于诊室。核心是两台UR5e协作机械臂。为什么是UR5e因为它具备力感知和碰撞检测功能在与人共享空间时安全性更高且其开源的通信接口RTDE便于深度集成。EndoBot内窥镜机器人负责操控柔性内窥镜。我们为其末端适配了一个自主研发的三自由度驱动内窥镜驱动模块DEAM。这个模块是关键它实现了对奥林巴斯ENF-P4型柔性内窥镜远端弯曲、旋转的完全远程电机控制并提供了一个支撑机构防止内窥镜软管部分在操作中意外弯曲确保视野稳定。ToolBot器械机器人负责所有治疗器械的操作。其末端集成了一个磁吸式自动工具快换装置DATC可以像“机械手”一样快速更换不同的专用夹持器。夹持器则针对吸引器、活检钳、拭子进行了定制化设计。工具管理系统包括一个电机驱动的器械分发站存放各型号无菌钳头、吸引头、拭子容器、一个清洁站用于术后器械放置和初步处理以及固定在ToolBot基座上的夹持器站。视觉系统一台Intel RealSense D415 RGB-D相机安装在ToolBot上用于面部特征点检测为自动定位提供视觉反馈。医生端主端位于隔离的操作间。核心是一台控制PC、双显示器显示多视角画面和两个Logitech 3D Pro摇杆。摇杆经过映射可以分别直观地控制EndoBot和ToolBot。通信与控制软件层基于ROS Noetic构建这是机器人领域的“标准语言”便于模块化开发和集成。我们采用了混合通信协议机械臂用RTDETCP/IPDEAM用CANopen工具快换用MODBUS相机和摇杆用USB。所有硬件通过一个统一的控制节点进行调度。这套硬件配置的考量是平衡性能、成本与临床适用性。UR5e虽不是专为医疗设计但其足够的精度、安全性和丰富的生态使其成为原型开发的理想平台。磁吸快换装置则保证了换刀速度和高可靠性。3. 双视角框架与分层有限状态机系统的“大脑”3.1 双视角框架 bridging the gap这是本系统最核心的软件创新。在传统的人机交互中医生需要学习复杂的机器人指令或者工程师需要为每一个临床步骤编写死板的代码。我们试图打破这种隔阂。临床视角What这是医生熟悉的语言。一个完整的耳鼻喉诊疗流程被抽象为几个阶段系统初始化 - 选择目标区域和器械 - 自动定位 - 手动精细操作诊断/治疗- 器械更换如需要- 结束操作器械回收。医生只需在图形界面GUI上点击“鼻腔检查”、“切换为活检钳”他思考的是临床目标。系统视角How这是机器人执行的语言。它由一系列底层状态和动作组成空闲 - 运动到A点 - 关闭夹爪 - 触发快换信号 - 运动到B点 - ...。双视角框架的核心思想是在这两者之间建立一个翻译层。这个翻译层就是我们实现的分层有限状态机HFSM。GUI上的一个点击如e_tool_ch事件并不会直接对应某个电机转动而是触发HFSM中一个高级别的状态转移如从MANUAL_CONTROL进入TOOL_CHANGE状态。这个高级状态会自动分解并调度一系列预定义好的、原子级的机器人动作序列Primitives比如“ToolBot回到工具站”、“Detach当前夹持器”、“Attach新夹持器”、“运动到新器械的拾取位”、“闭合夹爪”等等。3.2 HFSM的实现与协调机制我们的HFSM主要包含四个要素系统状态SystemState顶层协调者如IDLE,INITIALIZING,AUTO_ALIGNING,MANUAL_CONTROL,TOOL_CHANGE,ERROR。机器人状态RobotState每个机械臂EndoBot, ToolBot自身的子状态机受系统状态调度。观察器Observers持续监控系统条件如器械是否安装到位、是否到达目标点、是否发生错误。触发与事件用户界面e_*或系统内部t_*产生的信号驱动状态转移。一个典型的器械更换流程如下医生在GUI点击“切换为活检钳”。产生e_tool事件。HFSM检查当前器械状态条件满足触发t_tool_change。系统状态从MANUAL_CONTROL跳转到TOOL_CHANGE。在TOOL_CHANGE状态下HFSM管理器并行调度两个动作序列序列AToolBot收回当前器械 - 运动到清洁站 - 放置器械 - 运动到夹持器站 - 更换夹持器 - 运动到器械分发站 - 拾取活检钳 - 运动到新入口姿态。序列BEndoBot同步调整自身姿态为ToolBot腾出空间并保持对操作区域的监视视野。两个序列都完成后分别发出t_tool_ready和t_endo_ready信号。HFSM接收到所有完成信号触发状态转移回MANUAL_CONTROL等待医生继续操作。避坑指南状态机的“同步屏障”与超时处理并行流程的协调是难点。我们引入了“同步屏障”机制系统必须收到所有必要子任务的完成信号才会进行下一步。同时每一个动作都必须设置超时保护。例如“拾取器械”动作如果在5秒内未收到“夹爪闭合到位”的反馈则立即触发t_error跳转到ERROR状态并执行安全恢复流程如机械臂停止、退回安全位置。这避免了因某个传感器故障导致系统无限等待的“死锁”局面。在医疗场景下安全性和可预测性远比执行速度重要。这种架构的好处是巨大的临床逻辑与执行逻辑解耦。当我们需要增加一种新器械如耳科冲洗器时工程师只需在“系统视角”层定义新的夹持器参数、运动轨迹和HFSM动作序列而医生端的“临床视角”几乎无需改变只需在GUI上增加一个按钮。系统的可扩展性大大增强。4. 关键子系统实现细节4.1 自动换刀系统从概念到可靠执行自动更换器械是本系统实现“单医生操作”的关键。我们放弃了为每个器械定制复杂驱动机构的方案而是采用了“磁吸快换头 专用被动夹持器”的路径。核心硬件ToolBot末端是KORAS的DATC主盘。针对三种器械我们设计了三种被动夹持器通过电磁铁吸附在主盘上。夹持器设计巧思活检钳夹持器活检钳需要两个自由度一是夹持器本身的开合以抓住钳柄二是模拟手指动作来控制钳头的开合。我们创新性地应用了一个剪刀式升降机构将夹持器手指的水平开合运动转换为一个垂直方向的小行程推拉运动从而推动活检钳的活动手柄实现钳头的开闭。这使得一个简单的单自由度夹爪就能控制复杂的钳具。吸引器夹持器同样使用剪刀式机构。当夹持器闭合时其内部的一个凸起会堵住吸引器管路上的一个气孔从而产生负压吸力松开则通气停止吸引。这种设计巧妙地将“夹持”动作与“抽吸控制”合二为一。拭子夹持器拭子本身是柔软的。我们设计了一个带有凹槽的指尖可以同时牢固夹持拭子的塑料杆和其保护帽的凸缘确保在蘸取样本和放入标本瓶时不会脱落。工作流程工具分发站是一个可旋转的圆盘上面垂直插着各种无菌器械头。当GUI发出换刀指令圆盘旋转将目标器械转到拾取位ToolBot运动到精确位置完成抓取。使用后器械被放入清洁站的特定槽位。全程无需人手接触器械极大降低了污染风险。实操心得精度补偿与“抖动”脱困磁吸对接对精度要求很高尤其是活检钳夹持器需要将一个小探针精确插入钳柄的活动孔。我们通过视觉辅助和机械导引来保证成功率。更棘手的是吸引器头的拆卸——由于其与适配器是过盈配合压入式摩擦力很大。单纯的直线拔除有时会失败。我们的解决方案是在脱困指令中加入一个微小的、高频的轴向抖动动作。这个动作能有效破坏静摩擦使器械顺利脱落。这个参数抖动幅度、频率是经过数十次实验才找到的最佳值。4.2 空间感知与控制让机器人“看得见对得准”要让机器人自动运动到患者的鼻孔前它必须知道“鼻孔在哪里”。手眼标定与双机器人标定这是所有视觉引导机器人工作的前提。我们使用easyhandeyeROS包采用Park-Martin算法标定了ToolBot上相机与机械臂末端的关系0_cT。然后通过让EndoBot末端携带一个ArUco码板运动用相机观察采用Tsai-Lenz算法解算出两个机械臂基座之间的变换关系0_ebT。标定精度达到毫米级完全满足临床要求。这个标定过程在系统初始化时自动完成确保了每次开机的一致性。面部特征点检测我们选用MediaPipe库来实时检测面部关键点。它速度快且对鼻尖、嘴角、耳屏等耳鼻喉关键点检测准确。我们从其468个点中只提取6个关键点左/右鼻翼、鼻尖、口中心、左/右耳降低了计算量。通过RGB-D相机我们将2D像素坐标转换为相对于相机的3D坐标。从特征点到入口姿态这是空间计算的链条。假设我们选择“右鼻腔”为目标。系统通过MediaPipe得到右鼻翼点相对于相机的坐标c_P_nose_right。通过手眼标定矩阵0_cT将其转换到ToolBot基坐标系下0_P_nose_right 0_cT * c_P_nose_right。查阅我们预先为“鼻腔-吸引”配置的“入口姿态”偏移量表见表2得到一组偏移量[ox, oy, oz]和[θx, θy, θz]。计算最终的TCP目标位姿0_T_target它以0_P_nose_right为参考原点先按照器械的默认方向如工具轴线朝外再施加上述偏移。这个偏移确保了器械尖端停在距离鼻孔外约2-3厘米的安全预备位置并且轴线大致对准鼻腔入口。最后通过逆运动学求解将0_T_target转换为UR5e的六个关节角度并运动到位。运动控制策略位置控制用于上述的自动定位移动。我们使用UR机器人自带的moveJ关节空间移动指令规划平滑轨迹。速度控制用于医生摇杆操控的实时遥操作。这里遇到了经典问题由于器械很长TCP偏移大且为了保持器械与面部平行机械臂腕部常常处于奇异点附近标准逆雅可比矩阵求解会不稳定。我们采用了阻尼最小二乘法DLS来求解关节速度并设计了一个自适应阻尼系数λ。当可操作度manipulability高时λ很小响应灵敏当接近奇异点时λ自动增大牺牲一点精度来换取稳定性避免关节速度失控。避坑指南特征点检测的鲁棒性在实际应用中我们发现由于患者头部姿态、光照等原因MediaPipe有时会漏检一侧鼻翼点。我们实现了一个级联补偿策略如果右鼻翼点检测失败系统会利用已成功检测的左鼻翼点和鼻尖点基于人脸近似对称的假设估算出右鼻翼点的位置。这个简单的策略将检测成功率提升到了接近100%。在工程中完美的算法不如一个鲁棒的、有容错机制的流程。4.3 用户体验与界面设计让医生用得顺手再先进的系统如果医生觉得难用也是失败的。我们与耳鼻喉科医生进行了多轮原型测试。图形用户界面GUI界面设计遵循“状态驱动”原则。按钮的颜色和文字会随系统状态改变。例如“开始”按钮在初始化时是灰色完成后变绿色可点击在自动移动过程中大部分选择按钮会被禁用变灰防止误操作。界面主要分为四个视频窗口主视野内窥镜画面、全局顶视图、全局底视图、手眼相机视图。医生可以双击切换主辅画面。物理用户界面PUI- 双摇杆两个摇杆分别映射给EndoBot和ToolBot。通用控制摇杆前后推拉直接映射为器械沿其轴线方向的插入/退出这是最符合直觉的映射。左右平移和旋转控制器械的横向移动和偏航。模式切换我们提供了两种操作模式这是根据医生反馈加入的关键功能。自由定向模式摇杆控制器械末端的姿态旋转而位置不动。适用于在进入体腔前精细调整器械的进入角度。枢轴模式器械围绕一个虚拟的、位于入口处的枢轴点旋转。这是进行体内操作如在内窥镜视野下用钳子取样时最自然的方式模拟了医生手持器械以入口为支点的动作。专用控制EndoBot摇杆上额外的按钮直接控制DEAM实现内窥镜远端的上下左右弯曲。ToolBot摇杆的按钮则控制夹持器的开合即吸引的启停或钳口的开闭。这种设计极大地降低了学习成本。医生反馈经过不到30分钟的熟悉就能流畅地进行基本操作。5. 系统验证与实测经验5.1 自动换刀性能测试我们在实验室环境下使用上躯干模型具有从口腔到声带的详细内部解剖结构进行了系统化测试。换刀任务基准测试让系统在吸引器、活检钳、拭子三者之间进行全自动更换循环每个场景重复18次。结果如下成功率夹持器吸附/脱离成功率接近100%。器械抓取成功率吸引头和拭子100%活检钳因对精度要求极高出现一次失败。器械脱离时吸引头因其压配设计偶尔需要“抖动”辅助有失败案例。耗时平均完成一次完整的工具更换从发出指令到两个机械臂就位需要约60-90秒。其中吸引头拆卸和活检钳抓取是主要耗时环节。具体时间分布见图12的示意图。结论自动换刀系统是可靠且可重复的。虽然耗时比人手传递要长但它解放了医生使其可以专注于观察和决策且整个过程无菌性更好。这个时间在完整的门诊流程中是完全可以接受的。5.2 完整流程可用性测试我们邀请了3位耳鼻喉专科医生和3位无经验的操作者非专家进行用户研究。每人需完成四项代表性任务鼻腔吸引、鼻腔拭子取样、口腔活检钳模拟扁桃体区域、声带内窥镜检查。关键发现学习曲线非专家组的首次操作时间明显长于专家组但在第二次、第三次尝试后时间迅速缩短并接近专家水平。这说明系统的交互设计是直观的学习门槛较低。任务时间专家完成单项任务从自动定位后到成功接触目标的平均时间在30-90秒之间。口腔活检最快鼻腔吸引最慢因空间最狭小。非专家初期在调整进入角度上花费较多时间。NASA-TLX工作量评估两组受试者都报告了可接受的认知负荷。专家的总体负荷低于非专家。体力需求得分在所有任务中都非常低这正是远程机器人系统的优势——消除了医生长时间弯腰、持镜的疲劳。非专家在初期感到较高的“挫败感”和“脑力需求”但随着熟练度提升而下降。医生反馈正面摇杆映射直观双模式自由/枢轴非常实用多视角画面提供了足够的环境感知。建议医生希望增加更多器械类型如Kelly钳、棉签部分医生认为在自动换刀等待期间稍显无聊但同意这是为了安全必须的步骤他们强调在关键操作步骤如钳取组织必须保持完全和可预测的手动控制反对系统在此处进行任何自动“辅助”干预。5.3 局限性与未来方向当然目前的系统仍是实验室原型走向真正临床还有很长的路临床整合需要开发完整的无菌操作流程包括内窥镜的消毒、机械臂的无菌罩、一次性器械套等。力反馈缺失当前系统完全依赖视觉反馈。医生无法感知器械与组织接触的力度。未来集成力传感器并实现临场感Force Feedback遥操作是提升安全性和操作质感的关键。智能化扩展目前的“双视角”框架和HFSM为更高级的智能留下了接口。例如可以集成基于计算机视觉的异常组织识别算法当内窥镜发现可疑区域时系统可以自动提示医生“建议进行活检”并提前调度ToolBot准备活检钳。甚至可以利用大语言模型LLM来解析医生的语音指令如“取一下那个发红区域的样本”直接生成相应的器械选择和动作序列。姿态适应性测试中发现对于某些特殊器械如超声探头患者仰卧位可能比坐位更合适。系统的工作流程需要能适应不同体位的需求。6. 总结与个人体会回顾这个项目的开发历程从最初的临床需求调研到复杂的软硬件集成再到最后的用户测试我深刻体会到医疗机器人的研发是一场临床医学与工程技术的深度对话。成功的关键不在于追求最炫酷的算法或最昂贵的硬件而在于能否用稳定、可靠、易用的工程方案实实在在地解决临床工作中的具体痛点。我们提出的双视角框架和基于HFSM的实现其价值在于提供了一种系统化的设计范式。它将易变的临床工作流与相对稳定的机器人执行层解耦使得系统既能够严格遵循安全规范执行自动化序列又能为医生保留最高级别的最终控制权。这种“半自主”的定位在当前技术和社会接受度下可能是最务实且有效的路径。自动换刀系统看似一个机械设计问题实则牵一发而动全身。它涉及到精密机械设计、视觉伺服、运动规划、状态机协调等多个环节。一个小小的吸引头拆卸问题就让我们反复调试了很长时间。但正是这些细节决定了系统的整体可靠性和用户体验。最后我想对有志于进入医疗机器人领域的同行说多下临床。坐在实验室里想象的需求和医生在诊室里面对的真实需求往往相差甚远。我们的很多关键设计如双操作模式、器械插入的直观映射、GUI的状态禁用逻辑都来自于医生在原型测试中一句不经意的抱怨或建议。让最终用户深度参与迭代过程是打造出真正有用、好用的产品的唯一捷径。这套耳鼻喉机器人系统不仅仅是一台机器它更像是一位不知疲倦、绝对服从、且能跨越空间阻隔的“超级助手”。它或许正在悄然重塑着未来门诊的形态让优质医疗资源能够更安全、更高效地触达更多需要的人。
