很久之前开始,就有人在探讨这个时代信息过载的问题:即数字时代每天的信息量太大,大到人难以分辨哪些有价值、哪些没价值的程度。这个问题同样逐渐发生在应用和服务方面,当我们面对这么多的应用时,如果按照传统的查找、搜索等方法去使用,恐怕应用与服务的过载很快就会让更多人无所适从。

电子工程专辑作为一家探讨电子工程的媒体,操作系统作为软件上层,跟我们的关系其实算不上特别大。不过当一个系统涉及到物联网设备的时候,它面向的开发者,其生态的一面是软件开发者,另一面则是集成该系统的硬件OEM厂商。

HarmonyOS(鸿蒙)就是这样一个系统,所以我们也总在持续跟进HarmonyOS。今年华为HDC开发者大会的主题演讲,重点自然还是HarmonyOS及其生态。余承东在主题演讲中展示的这张图很好地表达了OpenHarmony、HarmonyOS、HarmonyOS Connect(虽然不知道Connect这个后缀的提出是否有更早的历史渊源),以及HMS之间的关系。事实上,HDC 2021首日主题演讲也就是围绕这几个组成部分去做深入的。

所以主题演讲主要内容包括了:

HarmonyOS 3 Developer Beta开发者测试版即将于明年Q1问世

- HarmonyOS Connect(4.0)及其开发相关的新变化;

HMS Core 6的发布

最后其实还有专门的一个主题演讲是相关于鸿蒙生态的网络安全与隐私保护的——这将不是本次HDC 2021系列文章探讨的重点。点击上面的链接,了解更多本次HDC 2021与HarmonyOS的信息。

不谈基于OpenHarmony的第三方商用发行版,我们关注的重点应该在HarmonyOS Connect这块:即面向鸿蒙生态伙伴的IoT设备的系统——也就是华为1+8+N战略中N的构成。

而且我们认为这次的HarmonyOS Connect在理念上显得更有趣,本文主要谈谈华为对万物互联的看法,以及HarmonyOS Connect。另外,以下内容和理念阐述基于华为在主题演讲中的表达,其中很多特性的实现细节我们并不清楚。

必须改变人与机器/服务的交互方式

很久之前开始,就有人在探讨这个时代信息过载的问题:即数字时代每天的信息量太大,大到人难以分辨哪些有价值、哪些没价值的程度。

这个问题同样逐渐发生在应用和服务方面,当我们面对这么多的应用时,如果按照传统的查找、搜索等方法去使用,恐怕应用与服务的过载很快就会让更多人无所适从。或许现在要在手机上找个app,就已经有点麻烦了。万物互联时代的到来,会让问题变得更严重——当我们要去寻找某个服务,究竟找哪个设备,哪个应用?

华为消费者业务AI与智慧全场景业务部总裁王成录博士说:“我个人相信原子化服务的数量级,会比今天app还要高出许多。未来3-5年,原子化服务数量会达到亿级,甚至十亿级规模。”(不知道什么是原子化服务的同学,可点击这里查看)在这种情况下,如果不改变人和应用的交互方式,“不重新定义人消费信息的方法,万物互联也就无从谈起,因为太复杂了。”

恰巧前年我们写过一篇文章,谈智能家居真正要实现智能,不应当由人去用手机app操作开关灯、开关电器。而应当由传感器去理解人的需求,比如走到哪里、灯就亮到那儿;人出门则自动关灯;夏天回家之前空调就开了等等...

在万物互联时代,如果由大量传感器去“捕获你的意图”,“那才是智慧生活和万物互联应有的样子”,王成录博士说。当大量IoT设备构成整套系统(包括华为的超级终端),融合设备越多,有越多的传感器去记录用户行为,对用户意图的捕获也更为准确。比如有的传感器记录地理位置、有些则记录生理指标、周遭环境信息等。

事实上,大量传感器如今是遍布于我们生活周遭的,只不过大部分都是孤立的。HarmonyOS生态“超级终端”汇聚多设备软硬传感信号,产生以用户为中心的感知多维语义。不过实现这一点,从技术上来看其实也真的不简单:令所有IoT设备处在同一个生态下,只是基础。

王成录博士对此提到了三个比较重要的技术点:

其一是各类设备、传感器上报的信号是不一样的,首先就要求将信号时序对齐。比如声纹和手势两种信号的配合,有利于理解人的意图.但如果这两种信号没有做到时序对齐,就谈不上理解意图。而HarmonyOS的分布式软总线技术能够解决这一问题(了解什么是分布式软总线点击这里)。

分布式软总线有个“软时钟”。一般传统设备模组通讯,由PCB板上的晶振提供统一时钟信号,模组通信先向晶振校准。而王成录说软时钟的工作原理,是多设备组成超级终端,“从最强设备的晶振上捕获时钟信号。捕获以后,后续所有业务处理时钟都以该时钟信号为主。”“现在软时钟精度已经做到误差小于1ms,3.0 beta版本则做到了500μs,完全满足信号同步问题。”

其二则是信号数据的标注(tag)问题。数据标注是个耗时耗力、颇具挑战性的事情,很多数据难以做标注。华为在此的解决方案是,AI的“互助标注”方法。“当多设备在同场景下,某些设备上报数据有标注,而有的没有标注,就可以用已标注的数据来判断上报信号大概是什么意思,进行标注。随着设备越来越多,自动标注的效率也会提升。”

第三个比较大的问题则在于,对于AI而言,本地传感信号数据都是“小样本”,或者说样本数据量很少。而且传感器可能是不稳定的,一个超级终端内很难保证所有设备永远在线和稳定——那么这会加剧小样本集的波动。这决定了“端侧不能用现有传统AI模型来做这样的训练。所以我们开发了端侧小样本实时训练模型,解决小样本数据波动和不稳定带来的冲击性问题。”

据说其中的核心算法在于“稀疏编码”。王成录博士说:“做AI的朋友应该都知道,它是个无监督学习算法。其核心在于,找一个完备的基础向量机,向量信号进来以后,完全可以用基础向量机线性组合来表征输入信号。这种算法能够非常有效地避免因为数据不稳定、样本空间不稳定带来模型波动的问题。”与此同时,样本训练的过程里会无限变大。端侧模型不断变大,一定会耗费更多硬件资源。“用自适应部署技术,根据训练模型上限硬件资源的限制。当模型变大,它会自动裁剪和调整,保证模型在规定硬件资源内得到训练和部署。”

那么捕获用户的意图,根据其意图来提供服务,也就能够做到“多而不繁”,人们才能够享受万物互联。接下来的一个问题是,如何深入理解用户的意图。王成录提到了其中的“核心关键技术”。上面这张图左边是用户意图的表征。

包括“显式结构化意图”和“隐式向量化意图”。所谓的显示结构化意图,是指我们在说“我想去旅游”这句话代表的语义,就是显示结构化意图。但实际上更重要的还在于隐式向量化意图:即如果说话者是从来没开过车的,那么自驾游自然就不在意图之中了。“显式结构化意图+隐式向量化意图,两者融合,对用户真实意图逼近。所以用传感器联邦,就是要把隐式向量化意图不断增强,对每个人隐式的意图都做到精准捕获。加上显式意图,对消费者意图理解就会越来越准确。”

这张图右边的部分,则是应用和服务侧表征意图的过程。比如开发某个应用是做什么的。表征意图可以用文本、图片、微动效等不同方式。开发应用的意图表征越准确、详细,也就越能够匹配需要对应服务的用户。

“这两个表征向量完成以后,投射到统一的向量空间,用算法做精确匹配。最后结果就是消费者要的东西。”王成录说,“用隐式的向量意图,能从海量的应用和服务里面,快速找到几个到几十个可能的应用候选集。再通过显式的结构化意图,对候选集做进一步的筛选和逻辑的组装,就能做到对用户意图精准的反馈。”

“这两个功能一旦实现,就是我们梦想的要重新定义人和机器交互的方式。”

这是个听来非常未来向的技术。不过当前是存在雏形的,即HarmonyOS系统中的小艺建议。王成录说小艺建议背后就是这样的技术。比如根据时间、地点、场景,把用户可能需要的服务放到小艺建议中。而小艺是华为期望打造的,面向万物互联人机交互的统一入口,彻底改变人机交互方式,改变人获取服务的方式。

王成录举了个例子,需要看视频则直接对小艺说出需求。此时不需要在意是对哪个设备传达指令,因为HarmonyOS生态内,所有设备彼此知道对方的profile。如音箱在接受到该指令后,知道自己完不成这项任务,则会将其传递给电视机去执行。在视频观看到一半时,用户进入书房,所有内容和服务也会跟着到书房,如视频投射到书房的PC上。

这个过程里,用户不需要在意与哪个设备或服务交互,而只需要与小艺这个入口做交互;与此同时设备本身也在判断用户的意图。王成录将其称作“未来万物互联的里程碑和出发点”。

值得一提的是,华为将小艺做成了“完整的解耦化的架构设计,和HarmonyOS设计理念一样“。但凡OpenHarmony安装的设备,包括所有小设备,小艺也都能安装——并且“是弹性部署的过程”。

“有小艺的部署,HarmonyOS生态的互联和融合,任何一个场景,不论哪一刻用哪个设备去触达融合终端,小艺都能感知得到。省去消费者不断在设备间配来配去、查找各种服务、做逻辑组装的过程。”猜测华为现如今构建了这套理想方案的框架,毕竟其描绘听起来还是太过美好和复杂。

提供给合作伙伴的HarmonyOS Connect

上面提到的这些能力,华为会通过HarmonyOS Connect软件包提供给合作伙伴。“合作伙伴可以根据自己的设备,或者应用和服务,选择其中的组件,去打造自己的鸿蒙生态设备、做鸿蒙应用。”王成录表示,“对于消费者而言,将来所有的一切找小艺就够了。”

不论技术上的实现难度如何,这种“赋能”的过程,本质还是打造完整的鸿蒙生态。毕竟要实现上述人与服务/信息交互变革的理念,仍然需要更多的开发者加入到生态中。

大部分同学对HarmonyOS Connect这个词应该还不是很熟。前文已经提到它是华为1+8+N生态中,加入鸿蒙生态中的三方N设备的操作系统。上面这张图展示近两年其发展历程,今年HarmonyOS Connect 3.0已经全面“支持垂类应用带屏设备”;明年的4.0版本则会实现对带屏设备更全面的支持。

对于硬件开发者(即IoT设备OEM厂商,以前叫南向开发者),王成录表示这次提供的工具“能够让所有生产鸿蒙硬件设备的开发者,一站式解决所有问题”。这其中有几个关键特性。

其一,“一般开发一个硬件设备可能需要多个环境,开发在Windows或Android环境,编译的时候可能要切到Linux等等。”“这个版本的工具已经实现了所有环境的融合,不需要切换环境就可以完成应用开发、编译,到整个系统的灌装。”

其二,提供硬件仿真能力。“一般开发产品,软件做完后先要调测,需要烧录到硬件里。这个版本的工具提供仿真能力,在平台上就能做调测。这对开发效率有很大提升。”

其三,“做不同硬件产品,用到很多芯片平台。不同芯片平台有不同的工具链。我们为了去开发一个芯片平台,复杂的工具链配置参数,需要一个有经验的专家配2天左右才能配完。我们把所有这些配置集成到工具里,工具就能帮助硬件生态合作伙伴一站式完成硬件产品研发。”这几项特性总体上都是在缩短硬件产品开发周期与难度。

应用开发者部分(以前叫北向开发者),华为这次提供的工具也有几个关键特性。其一是做了更多的设备仿真,代码和界面可做双向显示:写一份代码对界面产生了怎样的影响,所有仿真设备上都能看到。

其二则在于提供低代码开发(以拖拉拽的方式就形成一个简单应用的过程);

其三是“分布式仿真”——这一点和去年我们谈到HarmonyOS的分布式调试应该也相关,是由HarmonyOS应用本身具备跨设备流转特性造成的开发难点。“一旦应用在不同设备之间流转,复杂度就很高,发生故障都不知道故障点在哪儿。这个版本中,我们可以在仿真设备上操作跨设备应用——而且这个设备应用在流转过程中,代码指针流转在哪里都能动态看到。”总的来说这项特性对于节约debug时间是很有价值的。

抛开新发布的开发工具不谈,华为在今年的HDC主题演讲中抛出对于万物互联的理念解释,其实在实现上应当是有相当难度的。至少我们认为,按照华为的设想,这将是后续多个版本迭代,HarmonyOS需要去不停完善的。如果真的能够由设备或系统去主动理解人的意图和需求,那的确是“重新定义”人与设备、人与服务交互方式的革新式技术。

余承东在开场时给出的数字显示,HarmonyOS Connect智能生态产品超过4000款,生态合作伙伴超过1800家,2021年新增生态设备发货量则超过了6000万台。这都表明HarmonyOS的万物互联生态建设速度的确是相当之快的。接下来的这两年对HarmonyOS而言还将尤为关键——快速提升市场份额对如今的HarmonyOS而言将会十分重要。

责编:Luffy Liu

本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
顺应“双碳”战略下电动汽车和可再生能源的发展趋势,安森美(onsemi)近年来聚焦智能电源和智能感知两大核心技术,在汽车电汽化和汽车安全、可持续能源网、工业自动化以及5G和云基础设施等领域加速创新,致力于引领并创建一个更加安全、清洁、智能的世界。
一直以来,Arm以向市场提供IP授权业务为主,其合作伙伴基于Arm的IP来开发自家的解决方案和产品。近年来,Arm已经转向为一家计算平台公司,Arm不仅提供IP授权业务,也提供Arm 全面计算解决方案 (Arm® Total Compute Solutions)、Arm Neoverse™平台、Arm Corstone™ 以及 SOAFEE 等完整的计算平台。
所谓多模态大模型,就是和市面上现有大模型相比,可以归纳并流畅地理解、操作以及组合不同类型的信息,包括文本、代码、音频、图像和视频。在灵活度上,从数据中心到移动设备上,它都能够运行,而不需要额外的专门处理或转换。
近日,阿里云发布的三款Qwen-72B、Qwen-1.8B和Qwen-Audio大模型,在阿里云栖大会上宣布开源。通义千问大模型也升级到了2.1版本。
IBM量子研究路线图显示,到十年结束时,它将实现有用的计算,例如模拟催化剂分子的工作。奥利弗·戴尔表示:“这一直是一个梦想,也是一个遥远的梦想。”。“事实上,让它离我足够近,我们可以从今天的位置看到这条路,对我来说还是巨大的(挑战)。”也就是说,尽管这项量子计算研究具有里程碑意义,但截至目前仍无法实现商业化。
行动计划还要求大力发展先进存储技术,鼓励存算并举,规划建设与计算相匹配的存储体系。加速全闪存、蓝光存储、硬件高密等技术部署,构建基于先进存储的存力基础设施。推动存储系统间数据流动能力建设,通过合理的存储分级分层,实现存储资源的高效管理和利用。
根据TrendForce集邦咨询最新OLED技术及市场发展分析报告统计,在近期发表的摺叠新机中,UTG的市场渗透率已逾九成,随着摺叠手机规模持续成长,预估2023年UTG产值将达3.6亿美元;2024年可望挑战6亿美元。
随着终端及IC客户库存陆续消化至较为健康的水位,及下半年iPhone、Android阵营推出新机等有利因素,带动第三季智能手机、笔电相关零部件急单涌现,但高通胀风险仍在,短期市况依旧不明朗,故此波备货仅以急单方式进行。此外,台积电(TSMC)、三星(Samsung)3nm高价制程贡献营收亦对产值带来正面效益,带动2023年第三季前十大晶圆代工业者产值为282.9亿美元,环比增长7.9%。
治精微推出具过压保护OVP、低功耗、高精度运放ZJA3018
无线技术每天都在拯救生命,有些非常方式是人们意想不到的。在美国加利福尼亚州Scotts Valley,一名路过的慢跑者发现一处住宅冒出火焰后,按响了门铃,试图通知屋主。屋主不在家中,但无线门铃连接到了智能家居中枢,提醒屋主慢跑者试图联系。屋主立即向他提供了安全密码,让他跑进房子,从火场中救出了宠物。
点击左上角“锂电联盟会长”,即可关注!锂离子电池是一种二次电池(充电电池),它主要依靠Li+ 在两个电极之间往返嵌入和脱嵌来工作。随着能源汽车等下游产业不断发展,锂离子电池的生产规模正在不断扩大。本文
注:各大公司财政年度的起始时间不同于自然年,因此会出现财政季度、年度等与自然年不一致的情况。软件微软(Microsoft)公布截至2023年9月30日的2024财年第一财季业绩。第一财季营收为565.
11月9日是主题为“预防为主,生命至上”的第32个全国消防安全日,当天,智能建筑电气技术杂志《IBE Talks》栏目第27期特邀请中国勘察设计协会电气分会副会长、清华大学建筑设计研究院有限公司电气总
有奖问卷调查:各位工程师朋友,作为全球知名的授权半导体和电子元器件代理商,贸泽电子 Mouser多年来一直倾心为中国工程师服务,助力本土创新! 时至年终,为了更好的服务工程师朋友,我们特别推出“贸泽电
本文来源:物联传媒本文作者:市大妈前几年,对大部分人来说,FWA是一个比较陌生的领域,尽管早在3G和4G时代就已经得到一定的发展。后来,随着5G的发展,FWA作为当前5G应用量级最大的场景之一,被更多
点击左上角“锂电联盟会长”,即可关注!文 章 信 息干法改性工艺新认识,助力锂离子电池高镍正极材料实现高结构稳定和热稳定性能第一作者:吴锋通讯作者:苏岳锋*,陈来*通讯单位:北京理工大学,北京理工大学
本文来源:物联传媒“2023‘物联之星’中国物联网行业年度榜单” 评选活动正在火热进行中!为深度挖掘物联网领域的优秀企业、创新产品和优秀项目,审读年度热门领域和发展方向,推动物联网行业的普及与宣传,促
点击左上方蓝色“一口Linux”,选择“设为星标”第一时间看干货文章 ☞【干货】嵌入式驱动工程师学习路线☞【干货】一个可以写到简历的基于Linux物联网综合项目☞【干货】Linux嵌入式知识点-思维导
芝能汽车出品11月,我国动力和储能电池合计产量为87.7GWh,实际拆解估算动力电池约为70.7GWh,同比上升11.5%,环比上升8.4%装车量44.9GWh,同比增长31.0%,环比增长14.5%
巨头动向腾讯今年回购金额已超过去10年总额12月11日,腾讯公告称,当日耗资约4.03亿港元,回购133万股股份。年初至今,腾讯已经出手113次,累计回购数量约1.28亿股,累计回购金额超过422亿港