近日,阿里云发布的三款Qwen-72B、Qwen-1.8B和Qwen-Audio大模型,在阿里云栖大会上宣布开源。通义千问大模型也升级到了2.1版本。

电子工程专辑讯 近日,阿里云发布的三款Qwen-72B、Qwen-1.8B和Qwen-Audio大模型,在阿里云栖大会上宣布开源。通义千问大模型也升级到了2.1版本。

通义千问-72B(Qwen-72B)是阿里云研发的通义千问大模型系列的720亿参数规模的模型;通义千问-1.8B(Qwen-1.8B)是阿里云研发的通义千问大模型系列的18亿参数规模的模型。Qwen-72B和Qwen-1.8B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。

Qwen-Audio(Qwen Large Audio Language Model)是阿里云提出的大模型系列Qwen的多模态版本。Qwen-Audio 接受多种音频(人类语音、自然声音、音乐和歌曲)和文本作为输入,输出文本。

目前,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型。通义千问成为业界首个“全尺寸开源”的大模型。

当前,阿里云的大模型社区“魔搭”已经有超过150万的模型下载量。据了解,目前,从企业/高校到创业公司,再到个人开发者,基于通义千问开发AI平台和应用的比比皆是,比如华东理工大学的X-D Lab,基于开源通义千问模型开发的心理健康大模型MindChat(漫谈)、医疗健康大模型Sunsimiao(孙思邈)、教育/考试大模型GradChat(锦鲤)等,并为下游客户开发基于行业大模型的产品。

Qwen-72B在 MMLU、AGIEval 等 10 个权威基准测评中,Qwen-72B 都拿到了开源模型的最优成绩,在部分测评中超越闭源的GPT-3.5和GPT-4。在英语任务上,Qwen-72B在MMLU基准测试取得开源模型最高分;中文任务上,Qwen-72B在C-Eval、CMMLU、GaokaoBench等基准得分超越GPT-4。在数学推理方面,Qwen-72B在GSM8K、MATH测评中也领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力也有质的飞跃。

通义千问720亿开源模型成绩

国内外大模型分为闭源和开源两大路线。国外,比如OpenAI走闭源路线,除了ChatGPT还没有具体的产品应用,对外则通过提供接口和投资的方式繁荣生态,相反的,Meta旗下的Llama走开源路线;国内,比如阿里云就是走开源路线,腾讯云和百度云的大模型采用的是闭源路线。

对于闭源路线来说,只要能够提供成熟、稳定的产品,客户付费购买后就可以直接使用。而开源路线则可以帮助开发者或创业公司基于开源大模型开发属于自己的模型和应用。

开源与闭源路线,实际上是“生生态,后商业”还是”先商业,后生态“的选择,按照以往的科技发展趋势大多是先建立生态和落地应用,再逐步商业化。

对于阿里云当前开放的三款Qwen-72B、Qwen-1.8B和Qwen-Audio大模型,720亿参数规模的模型则是有意对标顶尖开源模型。此前,中国大模型市场还没有出现足以对标Llama 2-70B的优质开源模型。Qwen-72B填补了国内空白,以高性能、高可控、高性价比的优势,提供不亚于商业闭源大模型的选择。基于Qwen-72B,大中型企业可开发商业应用,高校、科研院所可开展AI for Science等科研工作。18亿参数规模的模型则是消费侧落地的探索;而Qwen-Audio则是多模态的新探索。

阿里云则坚持以开放为主要发展路线,阿里巴巴集团董事会主席蔡崇信在云栖大会上表示,我们坚信,不开放就没有生态,没有生态就没有未来。同时,我们要始终攀登技术高峰,只有站在更先进、更稳定的技术能力之上,才有更大的开放底气。

阿里云CTO周靖人表示,开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为“AI时代最开放的大模型”,与伙伴们共同促进大模型生态建设。

责编:Amy.wu
阅读全文,请先
您可能感兴趣
随着新能源汽车的普及,更多关于“电动汽车有辐射会致癌”的言论被不断放大。现在的电动汽车动力系统主要由电池组、电机和电控系统组成,其中电池组是关键部件。电池组通常由多个电池单体组成,这些单体之间会有一定的电场干扰。在电动汽车中,磁场的最高值通常出现在地板附近、电池周围以及车辆启动时。不过,这些干扰是微弱的,不会对人体健康产生影响。
值得关注的是,NXT:2100i、NXT:2050i型号的DUV光刻机整机无法进口的同时,已经购买的DUV光刻机售后维护、零备件的进口,是否会受到影响。即:以前进口的DUV光刻机的售后服务会不会继续?零备件还会不会继续允许进口?同时,尽管中国开始大幅提升成熟工艺制程的产能,但面对美国的新管制政策,向上突破和进发的压力和挑战将更大。
12月21日,在最大的客户德国汽车电子巨头海拉(Hella) 突然终止合作关系后,荷兰芯片封装公司Sencio宣布破产。但Sencio首席执行官Oliver Maiwald正在努力制定一项在裁员情况下恢复运营的计划……
1月1日下午,日本石川县能登半岛发生多次地震,据日本气象厅消息,日本石川县能登半岛的地震等级为7.6级地震,震中附近已观测到约5米高的海啸。与此同时,日本石川县论岛市中心还发生了大规模的火势。
12月30日,印度法院下令,将日前逮捕的两位vivo印度公司高管释放。分别是vivo印度临时首席执行官,中国公民Hong Xuquan,以及首席财务官达希亚,以每人20万卢比的保释金被保释。但当下vivo高管获释,并不意味着印度政府对该公司的洗钱指控一事彻底完结……
据最新21数据新闻实验室统计,截止2023年12月31日,最新中国公司五百强市值排行榜中,台积电以38201亿人民币排名第一,茅台以21682亿人民币排名第三。 前20名中,互联网巨头有腾讯(第二)、阿里巴巴(第五)、拼多多(第六);新能源有宁德时代(第十二)、比亚迪(第二十)。
2023年第三季度全球智能手表出货量同比增长9%。其中华为出货量同比增长56%,以14%的市场份额位居全球第三,从亮眼的数据可以看出华为穿戴在全球的实力可见一斑。
对于未来行业发展的生态格局、热点场景和技术以及人群消费特征等方面,IDC总结并给出了2024年中国智能终端市场的十大洞察,具体内容如下……
香港标准及检定中心 (STC) 在2023年庆祝成立60周年。其于1963 年成立,是全港首家独立且非牟利的测试、检验及认证机构。STC 在国内外不断扩展,至今已成为跨国机构。旗下成员包括香港检验服务有限公司和香港认证中心;STC 更在广东、上海、常州、广西、越南、日本、美国及德国设有分公司,服务全球各地的客户。
潮汐架构是OPPO自研的芯片软硬融合技术的集合。过去从一级缓存到系统缓存一直是芯片设计公司的技术区域,OPPO通过潮汐架构突破了技术的边界,掌握了三级缓存到系统缓存的使用,以无人区和深水区芯片级能力,为 Find X7 带来了计算效率的大幅跨越。
芯片超人现有1600平米芯片智能仓储基地,现货库存型号1000+,品牌高达100种,5000万颗现货库存芯片,总重量10吨,库存价值高达1亿+。同时,芯片超人在深圳设有独立实验室,每颗物料均安排QC质
XR全称是扩展现实(Extended Reality,简称XR),是指通过计算机将真实与虚拟相结合,打造一个可人机交互的虚拟环境,这也是AR、VR、MR等多种技术的统称。通过将三者的视觉交互技术相融合
成都辰显光电有限公司(以下简称“辰显光电”)于近日顺利完成数亿元A轮融资,策源资本领投,川发展弘芯基金、成都高投电子集团、四川振兴产业协同基金、成都高新未来科技城、合肥北城信创投、华西金智等机构跟投。
点击左上角“锂电联盟会长”,即可关注!近年来关于锂离子电池引发火灾甚至爆炸事故的报道屡见不鲜。锂离子电池主要由负极材料、电解液和正极材料组成。负极材料石墨在充电态时化学活性接近金属锂,在高温下表面的S
欧洲引入宁德时代已有时日,但欧洲人距离拥有自己的“宁德时代”却越来越远。在欧洲一众电池创业公司中,有的已经破产,有的仍处于PPT阶段,其余的里面,Northvolt是来头最大、融资最多,进展最快的,被
算力时代,企业选择正确的数据中心处理器正在变得比以往任何时候都重要,AMD致力于通过技术创新,为不同的算力需求提供不同的计算单元,来满足多种算力应用,从而为众多合作伙伴所青睐。针对众多细分市场和应用程
 智能汽车安全新媒体 上周,小米召开了汽车技术发布会,正式亮相了小米首款新能源汽车小米SU7,与此同时,围绕着“谁是小米汽车供应链厂商”的讨论热度不减,其中个别消息真假难辨。01小米辟谣“供应链名单”
之前我们证明了电容的串联并联公式的时域下的证明方法,今天我们再来尝试在复数条件下的证明方法,话不多说证明过程如下:串联公式证明如下:并联公式证明如下:电容的串联和并联的容值公式已经证明完毕,如果各位看
美通社消息,韩国8英寸纯晶圆代工厂启方半导体(Key Foundry)宣布,该公司正式更名为SK启方半导体(SK keyfoundry)。新名称已获股东批准,自2024年1月1日起生效。SK启方半导体
来源 | OSC开源社区30年前,windows还处于Windows3.0时代,Win95还没有发布。那个时代,处理器性能还相对较弱,还处于文字,图形化界面也不是很流行,但已经有早期图形化界面的雏形。