ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

人形机器人是具身智能的终点吗?从实时音视频看智能机器进入物理世界的底层逻辑

人形机器人是具身智能的终点吗?从实时音视频看智能机器进入物理世界的底层逻辑 一、人形机器人很可能是具身智能的代表但绝不是具身智能本身过去两年“具身智能”几乎总是和“人形机器人”同时出现。于是很容易形成一个印象大模型解决数字世界的智能人形机器人解决物理世界的智能。但从技术本质看这两者并不能简单画等号。所谓具身智能真正重要的不是“有没有两条腿、两只手”而是一个智能体能否通过传感器持续感知物理世界根据环境状态进行理解、推理和规划再通过执行机构改变环境并依据新的反馈继续修正行为。它真正建立的是一个Perception → Reasoning → Action → Feedback的连续闭环。轮式机器人、四足机器人、无人机、机械臂甚至某些自主移动设备同样可以具备完整的具身智能能力。人形机器人之所以特殊是因为人类几千年来建设的绝大多数物理环境——门、楼梯、货架、桌椅、工具、生产线、家庭空间——本来就是围绕人的身体尺度设计的。因此“人形”天然拥有对人类世界更好的物理兼容性。这是它的重要优势但不是具身智能成立的前提。二、真正发生变化的是 AI 开始从“理解世界”走向“作用于世界”传统计算机视觉解决的问题主要是“看见了什么”。比如识别一个人、一辆车、一块仪表、一个缺陷多模态大模型进一步解决的是“这里发生了什么”“这些物体之间是什么关系”“接下来应该做什么”。但具身智能真正困难的地方是再向前走一步把认知结果转化成具有时间连续性的物理动作。也正因为如此近年来 VLAVision-Language-Action视觉—语言—动作模型越来越受到关注。它不再满足于图像 → 语义而是开始尝试完成图像/视频 语言 当前状态 → 动作甚至进一步形成感知 → 推理 → 动作 → 新感知 → 再推理的闭环。从一个多年实时音视频系统的工程师角度看这里其实发生了一个非常值得关注的变化。过去摄像头产生的视频最终是给“人”看的而在具身智能系统里越来越多的视频首先是给“机器”看的。视频正在从一种内容媒介逐渐变成机器理解物理世界的一种实时数据语言。三、人形机器人的竞争表面看是电机和模型底层首先是一场“感知系统战争”一个真正进入工厂、仓库、电力巡检、家庭服务甚至危险作业环境的人形机器人不可能只依赖一个前置摄像头。它往往需要头部视觉、腕部视觉、深度信息、麦克风、IMU、关节状态、力/触觉传感器等大量连续输入。这里有一个非常容易被忽略的问题AI 模型并不是直接面对物理世界它面对的是传感器重新编码后的世界。摄像机曝光错误、码流突然阻塞、关键帧缺失、时间戳漂移、网络抖动、音画不同步、传感器时间轴错位最终都有可能表现成“AI 判断错误”。所以未来评价一个机器人系统时不能只问它用了多大的模型、多少参数、什么 VLA 架构。还应该继续问它看到的世界到底有多稳定不同摄像头有没有统一时间基准视频从 Sensor 到 Decoder、Inference 的端到端延迟是多少发生网络切换以后多长时间能够恢复这些问题看起来不像“人工智能”却会直接决定人工智能是否可靠。如果这些基础工程能力没有解决再先进的 VLA 模型也可能是在一个延迟、丢帧甚至时间错位的世界里做决策。四、这也是 SmartMediaKit 看待具身智能时最关注的位置实时音视频正在成为机器人的“感觉神经”SmartMediaKit 并不需要去做机器人的运动控制器也没有必要把自己包装成机器人的“大脑”。对于专业实时音视频系统来说更有价值的位置是做好机器人感知链路中非常基础、却不可缺失的一层Sensor → Capture → Encode → Transport → Decode / Callback → AI / Remote Operator机器人端摄像头采集的视频可以经过 H.264/H.265 等编码在不同业务系统之间进行实时传输。RTSP、RTMP、HTTP-FLV、WHIP/WHEP、GB28181 等不同链路又可以对应局域网设备接入、远程预览、低延迟交互、视频平台接入等不同场景。而解码后的 YUV/RGB 数据则可以继续交给目标检测、视觉理解或其他 AI 模块处理。真正有价值的并不是“支持多少协议”而是让同一份机器人视觉数据能够在机器视觉、人工监控、录像取证、远程控制和平台调度之间可靠流动。未来的机器人很可能既是一台自主机器也是一台持续产生实时音视频数据的移动边缘计算节点。从这个角度看实时音视频不再只是“机器人上有一个摄像头”而更像机器人的一部分感觉神经系统。五、低延迟很重要但机器人真正需要的不是简单追求“越低越好”音视频行业谈低延迟已经很多年。但机器人场景会迫使我们重新理解“低延迟”这三个字。对于普通直播来说100ms 和 300ms 的差异主要影响观看体验而对于远程操作机器人来说几百毫秒就可能直接改变操作者对距离、速度和动作节奏的判断。但这里必须区分不同控制层级。电机伺服、平衡控制、碰撞检测、基础避障等毫秒级闭环必须尽可能留在机器人本地绝不能依赖不稳定的公网视频链路。网络真正适合承担的更多是任务级控制、远程辅助、异常接管和视觉回传。因此机器人系统真正需要优化的也不仅仅是一个漂亮的“最低延迟数字”而是端到端延迟、抖动、首屏时间、重连时间、关键帧恢复速度以及长时间运行后的延迟漂移。一个偶尔能够做到 80ms、但运行半小时之后逐渐累积到两秒的系统在机器人场景中的价值可能远低于一个稳定保持在可预测延迟范围内的系统。这也是实时音视频工程与普通互联网视频非常重要的区别之一真正需要优化的是确定性而不仅仅是平均值。六、人形机器人真正的大规模突破很可能来自“视频数据飞轮”而不仅是模型参数继续增加机器人学习最大的困难之一是现实世界数据远比互联网文本昂贵。一个语言模型可以读取海量网页但机器人必须真正理解手碰到这个杯子以后会发生什么抓取不同材质物体需要多大的力人在旁边经过时是否应该停止动作桌面上的物体被移动以后原来的路径规划还是否成立这些问题很难仅仅通过文本描述获得。因此未来机器人企业真正重要的资产很可能不只是机器人数量而是不断积累的Observation → Action → Result数据集。每一次远程接管、每一次失败抓取、每一次异常避障、每一次人工纠正都可能成为下一轮模型训练的数据。这时候实时音视频系统的角色又会发生一次变化。它不再只是负责“远程看机器人”而开始承担训练数据生产基础设施的一部分。准确的时间戳、完整的录像、事件切片、关键帧索引以及动作与视频时间轴之间的对应关系都会直接决定这些数据是否真正具有训练价值。从这个角度看机器人行业未来竞争的也许不仅仅是“谁的模型更大”还包括谁能够以更低成本获得更高质量、更连续、更准确的真实世界数据。七、所以我反而认为“遥操作”不会因为具身智能成熟而消失很多人认为机器人足够智能以后人就不需要远程介入了。但从工程实践看在相当长时间内更现实的体系可能是Autonomy Teleoperation Human-in-the-loop机器人自主完成绝大多数常规任务。遇到罕见场景、模型低置信度、复杂环境或高风险操作时请求人类接管。接管完成以后这段操作又可以成为新的训练样本。于是系统形成一个完整闭环自主运行 → 异常发现 → 人工介入 → 数据沉淀 → 模型迭代因此人形机器人真正需要的并不是传统意义上的视频监控而是一套面向机器人的实时远程协作系统。多路第一视角视频、双向音频、低延迟观看、设备状态、控制信令、录像、异常事件与权限体系需要协同工作。对于 SmartMediaKit 这样的实时音视频底层能力而言这反而是一个非常值得关注的新市场。过去我们解决的是摄像机和人之间的视频连接。未来越来越多连接可能发生在机器人、AI 模型和人类专家之间。八、而且真正的具身智能未必最终都是“人形”这一点尤其值得产业界保持冷静。工厂里搬运几十公斤物料也许轮式底盘加双机械臂比两条腿更高效电力巡检场景中四足机器人可能比人形机器人拥有更好的复杂地形通过能力高空巡检无人机更没有必要先变成人形。因为具身智能解决的是智能如何进入物理世界。而人形机器人解决的是其中一个更通用、也更困难的问题如何制造一台能够进入人类现有环境并使用人类已有工具的通用机器。所以未来更可能出现的并不是“所有机器人最终都变成人”而是不同 Embodiment 针对不同物理环境长期存在。人形、轮式、四足、机械臂、无人机都可能拥有自己的最优场景。真正能够跨越这些硬件形态复用的反而可能是视觉语言模型、世界模型、任务规划、数据基础设施以及实时音视频通信体系。因此从长期看“具身智能”应该是比“人形机器人”更大的技术集合。人形机器人可能是其中最引人关注的一种形态但未必是唯一答案。九、人形机器人真正代表的也许不是一种机器人而是计算机下一次边界扩张PC 把计算带到桌面智能手机把计算带到每个人身边云计算让计算能力成为基础设施大模型开始把自然语言变成人机接口。而具身智能正在尝试完成下一件事让计算系统真正拥有观察、理解并改变物理世界的能力。从这个角度看人形机器人的意义就远远超过“会走路的机器人”。它实际上把计算机视觉、语音、多模态模型、世界模型、运动控制、机械工程、边缘计算和实时通信第一次压缩进一个需要长期自主工作的物理实体中。作为一个长期从事实时音视频技术的人我反而越来越认为机器人时代不会降低音视频技术的重要性而会重新定义它的价值。过去我们努力解决的是视频能不能看得更清楚、播得更流畅、传得更低延迟。而未来还会增加几个完全不同的问题机器能不能及时看到能不能准确看到能不能持续看到人在必要的时候能不能随时接管机器人所看到的世界如果说大模型让机器开始理解人类的语言那么具身智能真正要解决的问题就是让机器开始理解现实世界。而视频很可能正是连接数字智能与物理世界之间最重要的感知通道之一。
返回列表