随着边缘AI与嵌入式系统的发展,智能小车、服务机器人等场景中亟需融合「高层智能决策」与「低层实时控制」。然而当前常见系统架构存在以下痛点:
决策系统与控制系统分离:AI模型通常运行在云端或高性能主控中,而运动控制仍依赖分离式MCU,通信链路长、时延大。
通信方式低效:传统使用串口、网络Socket或CAN等方式连接Linux与MCU,不仅通信开销大,且存在不稳定性与延迟瓶颈。
系统集成困难:多个独立组件难以统一管理,部署复杂,调试成本高,难以快速迁移与扩展。
缺乏标准化接口:上层应用缺乏便捷控制底层运动单元的标准方式,导致AI决策落地困难。
本文介绍一种基于虚拟化技术的嵌入式虚拟化集成开发平台(vmRTThread),其架构如下图所示:
可满足不同安全等级、实时性要求及用户体验与运算能力需求。基于该平台可将决策系统与控制系统同时运行于同一块SOC;构建一套AI驱动+实时控制的一体化系统;其中该平台提供系统间共享内存通信方式,具有低延迟和零拷贝的跨系统数据传输等特点,且通信速度不低于100MB/s(同步),可取代传统串口或网络等方式,并且无需改变原有开发方式,其示例如下图:
该平台在开发阶段提供配套工具,可对多系统进行统一管理、构建和部署:
AI侧可采用MCP(Model Context Protocol)或Function Calling方式完成与实时控制间的交互。
基于上述方式,采用8核开发板来部署AI小车,通过大模型完成对小车的控制,系统架构如下:
具体分为以下几个阶段执行:
在开发板上部署vmRT-Thread;
创建两个Guest系统,为每个系统分配物理资源(CPU、内存和外设),配置共享内存通信:运行Ubuntu与RT-Thread。
实现对电机、传感器的实时控制;
实现电机控制算法;
提供小车前进、后退、左转和右转接口;
创建线程,监听共享内存内的指令并执行动作。
提供AI大模型运行环境;
准备MCP Server和MCP Client;
MCP Server:通过标准化的模型上下文协议暴露特定功能 ,如:
move_forward(distance)
MCP Client :与 MCP server 保持 1:1 的连接 ,管理大模型与 MCP Server的交互流程,包括工具调用、资源访问、数据传输等。
通过语言指令如“向前移动一米”验证AI→MCP→RTOS→执行器的完整链路;评估系统整体响应时延、控制精度与稳定性。
通过输入语言命令控制小车移动:
决策系统(Ubutnu):通过语言指令控制小车移动
当前嵌入式与边缘AI场景中存在决策与控制系统分离、通信低效、集成复杂以及无法充分利用AI功能,因此,本文基于vmRT-Thread通过虚拟化技术将AI决策与实时控制集成于单一SoC,使其具备良好的可移植性与多场景适应能力;采用共享内存机制替代传统通信方式,提升整体链路性能;为AI Agent控制具身智能提供模板。既满足了人机交互的可能,又能满足AI与嵌入式结合,为边缘AI应用提供创新解决方案。
——————End——————