机器人需要的不是一个模型，而是一套系统

技术解读2026.09.12阅读约 23 分钟

实现具身智能的规模化需要 KyOS。一种能够跨越不同时间尺度协调感知、任务规划与反射控制的闭环架构。

从世界模型、Physical AI 到 KyOS，我们究竟该如何理解机器人的“大脑”

想象这样一个场景：一台服务机器人接到任务，要把一杯咖啡送到会议室。

它首先要知道自己在哪里、咖啡在哪里、会议室在哪里；要识别人、门、桌椅和临时出现的障碍物，还要理解“送咖啡”不仅是从 A 点走到 B 点，也包括不能洒、不能撞人、最好不要打断正在进行的会议。

当一个孩子突然从侧面跑过来时，机器人不能先停下来“深度思考”几秒钟。它必须立即减速、保持平衡并调整轨迹。但如果发现原定通道正在施工，它又不能只靠条件反射绕来绕去，而要重新规划路线，甚至判断是否应该向人求助。

这说明，一个真正能在现实世界工作的机器人，不能只有一个聪明的模型。它需要一套由不同系统组成、在不同时间尺度上协同运行的完整架构。

我认为，其中至少有三个核心系统：感知系统、实时系统和思考系统。与此同时，还需要一条贯穿三者的 Human-in-the-Loop（人在回路中）机制：人在关键节点定义目标、提供示范、纠正错误和判断结果，让系统不仅能自主执行，也能持续向人学习。

一、感知系统：让机器人形成对世界的持续认识

感知并不等于“装几个摄像头”，也不只是做一次目标识别。

机器人的传感器可能包括摄像头、激光雷达、深度相机、麦克风、惯性测量单元、关节编码器、力矩和触觉传感器等。感知系统要把这些来源不同、频率不同、精度不同的数据融合起来，回答几个基础问题：

我在哪里，身体当前处于什么状态？
周围有什么，它们在哪里，又在如何运动？
当前环境中哪些信息与任务有关？
人给出的语言、手势或示范，真正表达了什么意图？

因此，感知系统的输出不应只是一堆标签，而应是一份不断更新的“世界状态”：空间结构、物体关系、动态变化、风险区域、任务目标，以及机器人自身的状态，都要被组织到同一套可用的表示之中。

这也是空间智能的重要性所在。机器人不仅要“看见一个杯子”，还要知道杯子在桌面边缘、杯中有液体、杯子可以被抓取，但抓取角度和加速度会影响液体是否洒出。感知的终点不是识别，而是为行动建立上下文。

二、实时系统：机器人的“小脑”和反射弧

第二个系统是实时反馈系统。它更像人的小脑、脑干和反射弧，负责平衡、运动控制、碰撞保护、轨迹跟踪、力控制和紧急响应。

实时系统的关键并不只是“平均速度快”，而是确定性：该在某个时间窗口内完成的计算，必须在这个时间窗口内完成。ROS 2 的实时系统说明也强调，实时计算要求“正确的计算在正确的时间发生”；对某些机器人而言，错过截止时间本身就可能构成系统失败。[1]

大模型可以花更长时间比较多种方案，实时控制却不能等待。四足机器人踩到松动石块时，姿态调整必须立即发生；机械臂接触到人或异常阻力时，安全响应必须优先于原来的任务；无人机遭遇阵风时，也不能等云端模型完成推理后再保持稳定。

所以，机器人的实时系统应该拥有明确的执行边界和最高优先级。高层系统可以说“把杯子放到桌上”，但如何在每个控制周期调整关节、限制速度和力矩、处理打滑和扰动，应由经过约束、可验证的实时闭环完成。

这也是为什么“更大的模型”并不会自动带来“更安全的机器人”。会思考与来得及反应，是两种不同的能力。

三、思考系统：理解目标，做综合判断

第三个系统是思考系统，类似我们通常所说的“大脑”。它负责更高层的推理、规划与决策，例如：

把“整理房间”拆解成可执行的子任务；
在效率、安全和人的偏好之间做权衡；
遇到异常时重新规划，而不是机械重复失败动作；
调用合适的工具、技能和知识；
根据历史经验判断何时继续、何时暂停、何时向人确认。

思考系统不需要像电机控制那样以毫秒级频率运行，却需要更大的上下文、更长的时间跨度和更强的综合能力。语言模型、多模态模型、任务规划器、记忆系统和策略模型，都可能成为这一层的组成部分。

但思考系统不应直接包办一切。一个高层模型如果既负责理解“我要什么”，又直接输出每一个电机指令，就会把语义推理、实时控制和安全责任混在一起。系统越复杂，这种端到端的单一路径越难调试、验证和扩展。

更合理的方式，是让思考系统决定“做什么”和“为什么”，让实时系统保证“怎样及时、安全地做到”，并让感知系统持续告诉二者“世界现在变成了什么样”。

第四条主线：Human-in-the-Loop，让机器人持续向人学习

自主机器人并不意味着把人彻底移出系统。恰恰相反，在机器人能力仍不完备、真实世界又充满长尾情况的阶段，人应该成为系统架构的一部分。

这里的「人在回路中」不只是安排一个操作员随时遥控，也不只是给结果点一个「好」或「不好」。人在不同阶段承担着不同作用：

阶段	人做的事
高层决策	定义目标、边界、价值和偏好；在歧义或高风险时确认
操作过程	示范、纠正，必要时接管
结果评价	比较方案，标出什么算「好」
学习迭代	把示范、介入和偏好写入下一轮训练与验证

在高层决策中，人负责价值与边界

机器人可以计算哪条路最短，却未必天然知道哪条路更合适。经过儿童活动区、穿越正在拍摄的片场、从他人身后快速靠近，即使几何上可行，也可能不符合人的习惯与社会规范。

所谓让高层决策“更像人”，不是让机器人模仿人的语气或表情，而是让它逐步掌握人做判断时会考虑的因素：安全、礼貌、隐私、风险、优先级和个体偏好。当指令有歧义、系统置信度不足或行动后果较大时，机器人应该主动把选择交还给人，而不是用一个看似流畅的答案掩盖不确定性。

因此，思考系统不仅需要规划能力，还需要知道自己的能力边界：什么情况可以自主决定，什么情况要请求确认，什么情况必须停止。能在正确的时刻向人求助，本身就是一种高级智能。

在操作过程中，人是老师，也是安全员

很多物理技能很难用语言或规则完整描述。例如，拿起一只装满液体的软杯、把柔性线缆插入狭窄接口、在湿滑地面调整步态，动作中包含大量细微而连续的经验。

这时，人可以通过遥操作、手把手拖动机械臂、动作捕捉、视频示范或关键时刻接管，把“应该怎么做”直接展示给机器人。严格来说，复制人的示范通常属于模仿学习；当系统进一步利用人的纠正、评分或方案偏好来学习奖励并优化策略时，才进入人类反馈强化学习的范畴。

人的价值不仅是提供更多数据，更是提供高价值数据。机器人自主运行的大部分时间可能都处于熟悉状态，而人往往只在即将失败、风险升高或系统犹豫时介入。这些介入恰好标出了策略的能力边界：机器人在哪里不可靠，人为什么不信任当前动作，以及正确的恢复方向是什么。已有机器人研究展示了这种路径——人监控自主执行，在困难状态中通过遥操作纠正，部署数据再用于后续策略学习。[8]

强化学习的核心，不只是奖励，而是谁来定义“好”

传统强化学习依赖奖励函数，但现实任务中的“好”常常难以写成一个数字。送达速度快不代表体验好，抓取成功不代表动作安全，路线最短也不代表符合人的偏好。奖励写得稍有偏差，系统就可能学会钻规则的空子。

人在回路中可以把这些难以形式化的目标转化成学习信号。例如，让人比较两段行为中哪一段更接近目标，再用这些偏好训练奖励预测器，进而优化机器人的策略。这类方法已经证明，人不必为每个动作编写奖励，也能通过持续比较和反馈教会系统复杂目标。[7]

对于多任务机器人，人类反馈还可以帮助新任务复用旧经验。开窗、开抽屉和开门虽然对象不同，却共享接近、接触、施力和确认状态等技能结构。研究表明，利用已有任务预训练偏好模型，可以显著减少学习新机器人任务时所需的人类询问次数。[8] 这正是任务可扩展性的另一面：不仅要复用代码和模型，也要复用人的教学成果。

运行闭环与学习闭环必须分开

需要特别强调的是，“人在回路中做强化学习”不应被理解为让一台正在公共空间工作的机器人一边试错，一边未经验证地改写自己的控制策略。物理世界中的探索会产生真实成本，错误动作可能损坏设备，甚至伤害人。

更稳妥的系统应该有两个相互连接、但权限不同的闭环：

运行闭环负责当下任务。机器人使用已经验证的策略运行，人可以确认高层决策、纠正动作或紧急接管。
学习闭环负责未来改进。系统收集示范、介入、失败和偏好数据，在仿真或受控环境中训练，再经过回归测试、安全验证和灰度部署，才进入下一版本。

这样，人类反馈才既能增强系统，又不会让“在线学习”破坏实时性和安全性。人的介入也不是永久依赖：随着机器人学会更多困难状态，人工接管频率应逐步下降，而人把注意力留给新的长尾问题。

三套系统，不是三座孤岛

把机器人拆成三个系统，并不是为了制造三个互不相干的模块。真正的难点恰恰是让它们形成闭环：

感知系统更新世界状态，思考系统选择目标与策略，实时系统执行并反馈结果；人在关键节点确认、示教与纠正；执行和人的反馈共同改变下一轮感知、决策与学习。

这个闭环同时运行在多个时间尺度上。底层控制可能以毫秒级更新，局部避障和技能执行以更短周期运行，高层任务规划则可能以秒甚至更长时间为单位。不同机器人、不同任务的具体频率会不同，但基本原则一致：快系统负责稳定与安全，慢系统负责理解与选择；慢系统可以指导快系统，却不能阻塞快系统。

这种分层思想并不陌生。机器人研究长期讨论反应式与规划式架构的结合，经典的三层架构也会在快速反馈控制与耗时的高层推理之间设置任务执行层。今天大模型带来了更强的语义理解和泛化能力，但它并没有取消不同时间尺度之间的工程边界，反而让系统协同变得更加重要。[2]

世界模型很重要，但它只是系统的一部分

“世界模型”是近年机器人与 AI 领域最热门的概念之一。通俗地说，它是机器内部对世界及其变化规律的一种表示：当前发生了什么，如果采取某个动作，接下来可能发生什么。

世界模型可以包含几何、语义、物理属性和动态关系，也可以根据图像、视频、声音、动作等输入预测未来状态。NVIDIA 对世界模型的定义同样强调其对现实世界动态、物理和空间属性的理解与预测能力。[3]

它当然重要。没有世界模型，机器人很难进行预判，更难在行动前比较不同方案。但世界模型并不等于完整的机器人系统：

它可以预测杯子会掉落，却不等于电机一定能及时接住；
它可以生成逼真的训练环境，却不等于感知结果在真实噪声下依然可靠；
它可以给出合理计划，却不等于计划能够被安全、确定地执行；
它可以在一个任务上表现优秀，却不等于新任务能够低成本接入。

今天一些世界模型研究偏重预测质量、生成效果和基准成绩，这是学术探索的正常阶段。问题不在于研究“太学术”，而在于产业落地时不能把某一个模型的进步误认为整机能力已经完成。机器人最终要交付的不是一段漂亮的视频，而是在开放环境中长期、稳定、可恢复地完成任务。

Physical AI 也不是机器人的全部答案

Physical AI 强调让 AI 能够感知、理解、推理并作用于物理世界。其技术路线通常高度重视物理规律、高保真仿真、合成数据、强化学习以及从仿真到现实的迁移。NVIDIA 的相关定义本身其实相当宽泛，并不只包含“物理规律”；但在当前产业叙事和工具链中，仿真、物理一致性与训练数据往往占据最显眼的位置。[4]

这些能力解决了机器人“如何学习物理世界”的重要问题，却仍没有自动回答另一组工程问题：

不同厂商、不同形态的机器人如何复用能力？
一个新任务如何被快速拆解、组合、测试和部署？
高层模型、实时控制、安全系统和传感器如何协同？
系统如何发现失败、降级运行并恢复？
真实运行中产生的数据，如何重新进入训练与验证闭环？

因此，更准确的说法不是“世界模型错了”或“Physical AI 不够好”，而是：它们分别提供了关键能力，却仍需要被组织进一套完整的机器人系统。

KyOS：让感知、小脑与大脑真正形成闭环

其域创新（XGRIDS）过去积累的核心能力，是把真实空间转化为机器可使用的三维数据：通过多模态空间感知和高保真三维重建，形成可供 AI 理解、推理和训练的空间表示。

在 NVIDIA GTC 2026 展示中，其域创新提出了 Real2Sim 路径：从现实环境采集数据，构建高保真的三维世界，再把它接入仿真与机器人训练流程。公开报道还显示，其空间感知与建模系统已部署到四足机器人平台，使机器人能够基于更完整的三维空间结构进行路径规划、行为决策和任务执行，而不只是依赖局部传感器做即时避障。[5]

其域创新对 KyOS 的官方定位很直接：这是一套由“环境感知、智能大脑与具身小脑”共同构成的空间操作系统，而不是单一模型。它要补上的，正是机器人进入真实世界时所缺少的空间智能。[6]

这三个组成部分，与前文提出的三系统框架形成了清晰对应。

环境感知：世界模型必须从真实世界开始

KyOS 首先生成当前环境的三维世界。它不只是复原街区、建筑和店面的形状，还把语义与关系投射到三维空间中：物体在哪里、尺度多大，哪里可以通行，门、台阶、柜台和障碍物与当前任务有什么关系。

换句话说，系统不只回答“这里长什么样”，还要回答“这里能不能走”“应该绕行还是通过”“这个空间要素会怎样影响任务”。这正对应感知系统的目标：把多源传感器信息组织成一份可以支持行动的世界状态。

其域创新把空间相机称为“世界的入口”，并强调“世界模型源于真实，而非想象”。这句话点出了机器人世界模型与纯生成式内容之间的重要区别：机器人可以借助生成模型补全和预测，但行动所依据的几何、语义和可通行关系，首先要锚定真实环境。

智能大脑：任务链从环境中生成

当人发出请求后，KyOS 的智能大脑会结合当前空间状态理解指令：目的地在哪里、应该选择哪条通道、途中可能遇到什么变化。官方材料特别强调，任务链依照真实环境生成，而不是预先写死的一条固定流程。

这意味着高层决策不再只是把自然语言翻译成一串动作，而是要把任务意图与当下的空间条件结合起来。同样一句“去那家店取东西”，在入口封闭、人流变化或道路受阻时，应生成不同的任务链。

在真正出发前，整段行程还可以先在世界模型中推演，用来检查碰撞风险与运动稳定性。此时，世界模型承担的是思考系统中的预测器和试验场：它帮助机器人在行动之前比较后果，但并不取代后续的实时执行。

具身小脑：把理解落实为及时、安全的行动

真正进入现实环境后，具身小脑负责把高层计划变成行动。根据其域创新披露的信息，机载端会结合实时感知，通过强化学习控制步态、避障和姿态；机器人选择的路线还应服从空间语义，而不仅是数学意义上的几何最短路径。[6]

这是一个很关键的区分。地图上最短的路线，可能要穿过拥挤区域、跨越不适合当前本体的台阶，或者经过与任务不相符的空间。实时系统必须一边执行，一边根据机器人身体能力和环境变化调整动作，同时保持稳定与安全。

因此，智能大脑与具身小脑不能互相替代：大脑负责理解目标、生成任务链和处理异常，小脑负责在快速变化的物理环境中保证动作能够按时完成。前者决定方向，后者守住现实。

执行反馈：让系统理解环境，也逐渐理解人

KyOS 所描述的闭环并不在任务完成时结束。执行结果会重新写入系统，新的偏好会被记录；对于同一条路、同一家店，不同人的理解和选择也会随经验更新。

这使机器人系统拥有了第四个不可忽略的环节：记忆与持续学习。感知、决策和执行产生的数据回到世界状态与任务模型中，既增强下一次行动，也增强整套系统对空间、任务和人的理解。

但仅仅“记住偏好”还不够。一个完整的 KyOS 式系统还应让人能够在高层判断和实际操作中介入：当任务目标不明确时，由人确认系统的理解；当机器人遇到尚未掌握的动作时，由人进行示范或接管；当多条路线都可行时，由人的选择告诉系统什么才是当前场景下更合适的方案。

这与其域创新“机器人不是取代人，而是人的能力增强，也是分身”的表述是一致的。人发出请求，机器人代替人进入真实世界；但人在价值判断、经验教学和最终责任上仍然留在闭环中。机器人的自主性越高，人越不需要逐步操控；机器人遇到的不确定性越大，系统越应该及时把控制权或决定权交还给人。

至此，KyOS 展示的就不再是一条“输入指令—输出动作”的单向流水线，而是一个持续循环：

捕捉真实世界，构建世界模型；理解任务并进行推演；通过具身小脑实时执行；人在必要时确认、示教与纠正；再把结果、经验与偏好写回系统。

KyOS 真正值得关注的，是任务可扩展性

从系统角度看，KyOS 的价值不在于替代 ROS、世界模型、Physical AI 或某一种大模型，而在于把它们放在合适的位置上，让感知、推理、仿真、控制与学习可以组合、调度和持续演进。

这套架构也解释了为什么其域创新认为“一个可颂只是开始”。同一套对空间的感知、理解、决策与运动能力，并不天然局限于送餐。只要传感器、本体能力、技能与任务规则能够以标准方式接入，它就可以进一步指向工厂巡检、影视制作、城市空间服务和家庭机器人。

机器人真正的规模化，不是为每一个客户项目重新写一套程序，也不是每增加一个任务就重新训练整个系统，而是把导航、抓取、跟随、巡检、建图和交互等能力做成可组合、可替换、可验证的技能，再根据真实环境生成任务流程。

Human-in-the-Loop 会进一步降低新任务的接入门槛。过去，为机器人增加一个任务，往往需要工程师编写规则、采集大量数据并反复调参；未来，业务人员可以先做几次示范，在机器人执行时纠正关键错误，再对若干结果给出偏好。系统把这些反馈与已有技能、世界模型和仿真环境结合起来，就有机会用更少的数据学会新任务。

这意味着“任务可扩展”不仅是一套软件接口，也是一套低成本教学机制。谁能让普通人更容易教会机器人，谁才更有可能把机器人从少数标准化场景带到千行百业。

其域创新的 Real2Sim 能力也为这种扩展提供了数据闭环：把真实场景带入仿真，在世界模型中训练和验证，再部署到真实机器人；机器人运行中出现的新情况，又可以成为下一轮模型、策略和测试集的输入。

从这个意义上说，KyOS 是“本体与计算由生态完成”的一种系统化尝试。真正的竞争力不只是某个模块做得多强，而是更换机器人本体、增加传感器或引入新任务时，整套能力能否继续复用。

机器人竞争的下一阶段：从模型能力转向系统能力

未来衡量一个机器人平台，可能不能只看模型参数、单项成功率或演示视频，而要看一组更接近真实应用的问题：

接入一种新传感器需要多久？
换一种机器人本体，已有技能能复用多少？
增加一个新任务，是重新训练整个模型，还是组合现有能力？
网络中断、传感器异常或模型超时时，系统是否还能安全运行？
在陌生场景中失败以后，它能否积累经验并快速迭代？
面对歧义和高风险选择，它是否知道什么时候应该询问人？
人做一次示范或纠正后，这份经验能否转化为可复用的技能？
随着系统学习，人工接管频率是否真正持续下降？
同一套系统能否从演示走向连续数月的稳定工作？

这才是“任务可扩展性”的真正含义：不仅是模型理论上能理解更多指令，而是系统可以用可控的成本增加任务、迁移平台、定位故障并持续升级。

世界模型解决机器人如何在内部表示和预测世界；Physical AI 解决 AI 如何学习并遵循物理世界的规律；感知、实时控制和高层思考分别承担认识、行动与决策；Human-in-the-Loop 则把人的目标、经验、偏好与责任持续注入系统。只有把这些环节组合成闭环，机器人才能从“会做一次演示”走向“长期完成真实任务”。

所以，机器人未来最重要的突破，未必只是出现一个更大的“大脑”。更可能是我们终于学会为它构建完整的神经系统和学习机制：既能看懂世界，也能及时反应；既会综合思考，也知道何时应该请人判断；既能独立完成熟悉任务，也能在人示范、纠正和评价之后，以更低成本学会明天的新任务。

这或许正是我们理解 KyOS 以及下一代机器人系统时，最值得抓住的主线。

参考资料

ROS 2 Design：《Introduction to Real-time Systems》
Jiang et al.：《LAAIR: A Layered Architecture for Autonomous Interactive Robots》
NVIDIA：《What Is a World Model?》
NVIDIA：《What Is Physical AI?》
XGRIDS / 美通社：《其域创新亮相 NVIDIA GTC 2026：空间智能推动 AI 走向物理世界》
Google DeepMind：《Learning through human feedback》
Liu et al.：《Robot Learning on the Job: Human-in-the-Loop Autonomy and Learning During Deployment》
Hejna & Sadigh：《Few-Shot Preference Learning for Human-in-the-Loop RL》