通过vmRT-Thread和MCP赋能具身智能开发

随着边缘AI与嵌入式系统的发展,智能小车、服务机器人等场景中亟需融合「高层智能决策」「低层实时控制」。然而当前常见系统架构存在以下痛点:


  • 决策系统与控制系统分离:AI模型通常运行在云端或高性能主控中,而运动控制仍依赖分离式MCU,通信链路长、时延大。

  • 通信方式低效:传统使用串口、网络Socket或CAN等方式连接Linux与MCU,不仅通信开销大,且存在不稳定性与延迟瓶颈。

  • 系统集成困难:多个独立组件难以统一管理,部署复杂,调试成本高,难以快速迁移与扩展。

  • 缺乏标准化接口:上层应用缺乏便捷控制底层运动单元的标准方式,导致AI决策落地困难。


本文介绍一种基于虚拟化技术的嵌入式虚拟化集成开发平台vmRTThread),其架构如下图所示:




可满足不同安全等级、实时性要求及用户体验与运算能力需求。基于该平台可将决策系统与控制系统同时运行于同一块SOC;构建一套AI驱动+实时控制的一体化系统;其中该平台提供系统间共享内存通信方式具有低延迟和零拷贝的跨系统数据传输等特点,且通信速度不低于100MB/s(同步),可取代传统串口或网络等方式,并且无需改变原有开发方式,其示例如下图:



该平台在开发阶段提供配套工具,对多系统进行统一管理、构建和部署:





AI侧可采用MCP(Model Context Protocol)或Function Calling方式完成与实时控制间的交互。


基于上述方式,采用8核开发板来部署AI小车,通过大模型完成对小车的控制,系统架构如下:



具体分为以下几个阶段执行:


01
虚拟化系统部署

在开发板上部署vmRT-Thread;

创建两个Guest系统,为每个系统分配物理资源(CPU、内存和外设),配置共享内存通信:运行Ubuntu与RT-Thread。


02
控制系统(RT-Thread)

实现对电机、传感器的实时控制;

实现电机控制算法;

提供小车前进、后退、左转和右转接口;

创建线程,监听共享内存内的指令并执行动作。


03
决策系统(Ubuntu)

提供AI大模型运行环境;

准备MCP Server和MCP Client;

MCP Server:通过标准化的模型上下文协议暴露特定功能 ,如:

move_forward(distance)


move_backward(distance)


MCP Client : MCP server 保持 1:1 的连接 管理大模型 MCP Server的交互流程,包括工具调用、资源访问、数据传输等。


04
系统联调与验证

通过语言指令如“向前移动一米”验证AI→MCP→RTOS→执行器的完整链路;评估系统整体响应时延、控制精度与稳定性。

通过输入语言命令控制小车移动:


决策系统(Ubutnu):通过语言指令控制小车移动


控制系统(RT-Thread):控制电机执行移动动作


当前嵌入式与边缘AI场景中存在决策与控制系统分离、通信低效、集成复杂以及无法充分利用AI功能,因此,本文基于vmRT-Thread通过虚拟化技术将AI决策与实时控制集成于单一SoC,使其具备良好的可移植性与多场景适应能力;采用共享内存机制替代传统通信方式,提升整体链路性能;为AI Agent控制具身智能提供模板。既满足了人机交互的可能,又能满足AI与嵌入式结合,为边缘AI应用提供创新解决方案。


——————End——————


图片
图片


👇 点击阅读原文进入官网

RTThread物联网操作系统 帮助您了解RT-Thread相关的资讯.
评论
  • FPU 是“Floating Point Unit”的缩写,中文意思是“浮点运算单元”。它是一种专门用于处理浮点数运算的硬件组件,通常集成在计算机的处理器(CPU)中,也可以是一个独立的芯片。以下是关于 FPU 的一些详细信息:  1. 功能    浮点数运算 :FPU 主要用于执行浮点数的加、减、乘、除等基本运算,以及更复杂的数学运算,如平方根、对数、三角函数等。    提高计算效率 :与整数运算相比,浮点运算在处理小数和高精度计算时更加高效。
    丙丁先生 2025-06-13 09:33 39浏览
  • 0.6"HDMI单目方案 在 AR 产业浪潮席卷全球的当下,Micro OLED 凭借高分辨率、低延迟等特性成为显示技术新宠。从消费级智能设备到专业级行业应用,Micro OLED 商业化进程也在全速推进。面对瞬息万变的市场环境,终端应用厂商亟需高效解决方案加速产品验证与落地。冠显光电最新推出的0.6"HDMI单目驱动板方案,以小型化设计和灵活开发能力,助力企业抢占市场先机。方案组成 该方案主要包括0.6”硅基显示屏,HDMI单目显示屏驱动板。驱动板以 Micro HDMI
    冠显光电MicroOLED代理视涯 2025-06-13 13:54 391浏览
  • 全球第一大PC厂商联想Lenovo,近期发布Lenovo Air X AI元启版,Lenovo YOGA 360 14 Aura Al元启翻转轻薄本、Lenovo YOGA 360 14 AI元启版、Lenovo YOGA Air 15 Aura Al元启版等多款笔记本电脑,均INBOX标配65W 49cc氮化镓快充充电器,这是迄今为止联想笔记本电脑最小体积的65W INBOX电源适配器。据悉,该款产品得益于镓未来G1N65R150PB-N GaN方案以及平面变压器模块的加持,设计得相当小巧,尺
    电子热文焦点 2025-06-13 14:17 55浏览
  • 本文教你从开发到部署,用 Docker 将 Python Flask 应用容器化,引入反向代理 Nginx,实现 HTTPS 支持、环境隔离与持续部署准备,是现代开发者必备的实战技能。https://txc.qq.com/products/732159/blog/1106857 https://txc.qq.com/products/732159/blog/1106856 https://txc.qq.com/products/732160/blog/1106855 https://txc
    小菜菜编程 2025-06-12 16:36 189浏览
  • 贞光科技作为业内知名的车规及工业元器件供应商,现已成为紫光国芯存储芯片的授权代理商。在半导体存储芯片国产化的关键时期,这一合作为推动DRAM等关键器件的国产替代开辟了新的渠道。紫光国芯在存储芯片领域的技术积累,加上贞光科技在车规和工业应用方面的专业优势,正在为客户提供更可靠的国产化解决方案。产品技术实力:从DDR到LPDDR的全面布局紫光国芯在存储芯片方面的技术积累确实令人印象深刻。该公司的DRAM产品覆盖标准SDR、DDR、DDR2、DDR3、DDR4和移动用LPDDR、LPDDR2、LPDD
    贞光科技 2025-06-13 16:01 44浏览
  • 夸克发布首个高考志愿大模型,为考生提供了智能化、个性化的志愿填报服务,这一创新对考生群体和传统报考机构产生了截然不同的影响。对于考生而言,夸克高考志愿大模型无疑是一大利好。该模型整合了教育官网、省招生办官网等权威信息源,确保数据准确可信,同时将高校毕业生就业信息、产业趋势等纳入知识库,为考生提供更全面的参考。通过深度搜索、志愿工具和志愿报告三大服务,夸克能精准理解考生需求,提供从专业适配性、地域优势到就业前景的全方位分析,并生成专属志愿报告和多种填报策略。这种智能化、个性化的服务大大减轻了考生和
    curton 2025-06-12 17:24 6451浏览
  • 随着数据中心对于网络带宽和延迟的要求日益增长,传统的TCP/IP网络已无法满足性能要求,RDMA网络则凭借其高带宽、低延时的特性脱颖而出。相较于传统TCP/IP协议,RDMA具有零拷贝、不需要CPU接入、消息基于事务等特点 。RDMA协议与传统TCP/IP协议在通信过程中的区别如图1所示。图1TCP/IP协议与RDMA协议区别图在图1中,左侧部分为传统TCP/IP协议的通信过程,当需要发送数据包时,应用程序将要传输的数据拷贝到TCP/IP协议栈的BUFFER中,TCP/IP协议栈组包后,再经由驱
    zzbwx_326664406 2025-06-14 23:28 61浏览
  • 随着游戏和影音需求的快速增长,市场上越来越多屏幕主打「高刷新率」,号称能为用户带来更流畅的视觉体验。不论是追求实时反应的游戏玩家,还是偏好画面清晰稳定的影视爱好者,高刷新率屏幕都成为热门的选择。然而,流畅的画面不只取决于刷新率,常被忽略的掉帧(Frame Drop)也是影响用户体验的关键因素。若PC系统无法稳定输出对应的FPS(每秒帧数),即使具备高刷新率,画面仍然会因掉帧而导致卡顿、撕裂、延迟等问题,让用户感受大打折扣。掉帧问题影响到游戏流畅示意图本次案例是笔电厂商,近期推出的一款支持高刷新率
    百佳泰测试实验室 2025-06-12 18:02 43浏览
  • 在金融 AI 赛道一路疾驰的百融云创,向来是资本市场的焦点。2021年上市以来,其营收曾一路高歌猛进,从2021年的16.23亿元,到2022年的20.54亿元,再到2023年的26.81亿元,增长率颇为亮眼。净利润也随之水涨船高,分别为1.41亿元同比增长76%、2.94亿元同比增幅108%、3.4亿元同比增长42%。不曾想,2024年风云突变,百融云创虽营收达29.29亿元,仍有 9% 的增长,但净利润却骤降至2.66亿元,同比下滑21.82%,上市以
    用户1742991715177 2025-06-15 21:36 494浏览
  • 《从磁能管理到开关电源设计》+认识电感 很幸运能获得这次《从磁能管理到开关电源设计》试读机会。让我能通过这本书更全面的了解电感,了解电感的生产,应用。更全面的了解电感。是的,电感,电阻,电容在电路应用中是基本的三大被动器件。在各领域都有所应用。 电感在开关电路中应用较为常见,是不可或缺的器件,他把电路中的电能转化为磁能阻碍电流的变化。电感的单位是H,它不同于磁珠。磁珠是应用在高频电路中,高频下成电阻产生热降低EMI.而电感式工作在低频中。在电源输入有差分电感,共模电感,等等不同种类。对EMI有各
    zhusx123 2025-06-14 20:29 441浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦