从0变成1是需要能量的,乌镇智库理事长张晓东预计摩尔定律还能走到2100年以后,半导体行业至少还可以蓬勃发展80到100年。

西方哲学的传统经历了一场深刻的转型,其焦点从早期对物质世界的深入探索逐步转向了对心智与意识现象的细致剖析。这一哲学重心的迁移,恰好与人类历史上的技术跃迁相互呼应,尤其是步入第三次和第四次工业革命的时代,我们目睹了传统工业时代的力量象征——蒸汽与钢铁,逐渐让位于数字时代的双刃剑:算力与智能。这一进程被广泛誉为“算力与智能的革命”。

在由芯原与上海开放处理器产业创新中心联合主办的“智”由“芯”生——RISC-V和生成式AI论坛上,乌镇智库理事长张晓东分享中深入探究了大语言模型背后的发展原理,指出全球工业革命从前两次的能源驱动演进到当前的算力驱动。

ChatGPT的出现掀起了生成式人工智能热潮。然而,语言与思维之间的关系一直是哲学上的争议话题,尽管语言可能无法完全等同于思维,但其在表达和理解思维方面的作用不容小觑。张晓东表示:“图灵不仅是现代计算机科学的奠基人,他的理论更是智能语言的核心,正如费曼将微积分誉为上帝的语言,图灵机则被视为智能的语言。”

而大语言模型则主要基于四个基础原理。

图灵机的概念简洁而强大,通过一个“读、写”头在无限长的带上移动,执行写入“0”或“1”的操作,展示了计算的本质。这种看似简单的机制实际上涵盖了所有已知计算设备的功能,这便是所谓的原理1:丘奇-图灵论题——计算机科学的基石。张晓东表示:“芯片、算力的起点就是图灵机,我们现在已知的所有计算的装置都等价于图灵机。”

原理2则是“学习就是图灵机求逆”。

学习的本质,长久以来一直是哲学与心理学探讨的热点话题,不同学科从各自的视角出发,提出了多元化的见解,却往往难以达成共识。然而,当我们追溯到人工智能的起源点——1956年的达特茅斯会议,达特茅斯会议组织者之一John McCarthy写了一篇7页纸的文章,提出了一种新颖且深刻的观点,试图从数学角度界定学习的概念,他说:“学习就是图灵机的逆”。

具体而言,如果有一系列数据输入,学习的目标就是通过分析这些数据,推断出背后潜在的“图灵机”规则,即能够生成这些数据的算法或模型。这种将学习视为从结果回溯至原因的过程,实际上是在尝试重构数据生成的逻辑。

这一定义,虽然源于1954年,却意外地与现代大模型训练的理念相吻合。在机器学习中,我们提供大量的数据给算法,通过训练,算法(或称大模型)逐步逼近能够模拟或解释这些数据的内在规律,这正是对McCarthy定义的生动实践。

十年后的1964年,另一位参与过达特茅斯会议的数学家进一步深化了这一概念,他证明了所谓的图灵机求逆问题,实质上等同于预测序列中下一个元素(Next token Prediction)的能力。这意味着,一旦掌握了预测序列中任意位置下一个元素的方法,理论上就能解决所有与学习相关的计算难题,这是大语言模型训练的核心任务。

谷歌提出的Transformer模型及其衍生的BERT和GPT模型,展示了不同学习策略的效能。那BERT和GPT有和区别吗?张晓东表示:“BERT是双向的,即给出X 1到X N,然后将X 2拿掉,再猜出X 2。而GPT是给出X 1到X N,预测出X N+1。我发现,GPT相对来说是一个比较简单的机制。”

张晓东指出人工智能的发展经历了三种主要路线:人工智能的主要路线之一是逻辑主义,即从专家系统到知识图谱;之二是联结派,神经网络,深度学习;之三是从细胞自动机到强化学习。

他表示,自然语言处理的进步在过去七十年中发生了五次范式变迁,开源对于自然语言处理的进步至关重要。

原理3:“深度学习的充分性依据是Kolmogorov–Arnold叠加”

Robert Hecht-Nielsen(HNC 创始人)证明了三层以上神经网络可以无限逼近任意连续函数。而数学根据是Kolmogorov在1956年证明的Kolmogorov–Arnold表示定理,也称叠加定理或映射定理。

张晓东提到,近来,业界对于是否应当使用医疗数据来训练模型存在争议,但即便在不直接利用医疗数据的情况下,某些模型的表现已经超越了IBM的Watson等前辈系统。此外,AI设计AI的概念也正在成为现实,其中芯片设计是一个引人注目的应用方向。谷歌在2021年展示了一项成就,他们运用AlphaGo背后的强化学习技术,仅需6小时即可完成通常需数十人花费数月才能完成的电路布局设计。尽管有人质疑这一成果的宣传效果有所夸大,但不可否认的是,它揭示了AI在加速复杂任务处理方面的巨大潜力。

张晓东还提到了近期公众热议的话题之一“大型预训练模型(大模型)的未来走向”,他表示尤其是受到一个多月以来OpenAI一位年轻研究员撰写的一篇长达160页论文的影响。该论文大胆预测,在不远的将来,或许类似于2017年或2018年“Room”项目中的超智能机器,将配备多达一千万个高性能GPU(如H100),其能耗相当于中国一个中等省份的电力消耗,这一设想引发了诸多连锁思考。

这正是大模型的发展引发的对未来计算资源分配和能耗的担忧,兰道尔原则(Landauer's Principle)指出,信息处理过程中的比特翻转需要消耗最小能量,这暗示了计算能力增长的物理极限。这也是张晓东给出的原理4:能耗与智能,Landauer Principle。

张晓东表示,从0变成1是需要能量的,他预计摩尔定律还能走到2100年以后,半导体行业至少还可以蓬勃发展80到100年。

责编:Demi
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
我们知道生成式AI正逐渐走向边缘,不单是AI PC、AI手机,更多端侧设备也准备要跑大模型——这中间似乎还缺点儿什么......
尽管汽车行业为创建和部署广泛的解决方案付出了很多努力,但汽车网络安全仍将是最困难的问题。新型网络安全攻击似乎会攻击新型软件定义汽车和扩展通信技术中暴露出的新漏洞。这就需要不断改进网络安全技术、产品和服务。
2023年中国全部工业增加值约40万亿元,而当前多模态大模型在应用中部署仅占了8%,未来存在巨大的上升空间。因此,对中国而言,AI大模型对中国未来制造业发展的影响是深远且积极的,不仅将夯实中国制造业竞争力,而且还将为制造业的未来发展提供新的动力和方向。
白皮书显示,截至2024年第一季度,全球AI企业近3万家,美国占全球的34%,中国占全球的15%。2023年到今年第一季度,全球AI独角兽企业234家,增加了37家,占新增独角兽企业总量的40%。目前,美国的AI企业独角兽共有120家,中国有AI独角兽企业71家。
由于中国AI芯片供给不足,中国科技企业不得不接受定制缩水版的H20芯片。据摩根士丹利的最新报告,英伟达特供中国市场的人工智能芯片H20系列,已经开始吸引包括百度、阿里巴巴、腾讯和字节跳动在内的中国科技巨头的采购兴趣。
在意识到周边邻国似有赶超之势时,以及基于数据中心在数字经济发展中的作用,新加坡又有新的焦虑,意识到必须加快步伐以保持其在全球数字经济中的竞争力。5月30日,新加坡宣布推出绿色数据中心路线图,将在短期为数据中心额外提供至少300兆瓦电力,其中更多电力将来自“绿色能源部署”。
为了不断追求更好的视觉效果,显示技术行业在增强对比度、亮度和能效方面都面临着挑战。其中一个重要障碍是实现有效的"局部调光",即屏幕特定区域可独立变暗或变亮的技术。
AONZ66412 XSPairFET™ 占地面积紧凑,可简化 PCB板内设计,有助于提高功率密度,同时满足高效Type C应用性能需求。
市场大量需要能够快速、省电地提供定位详细信息的物联网设备,全球价值达到9万亿美元的物流和运输行业领域更是如此[1]。在电子商务蓬勃发展和消费者网购偏好转变的推动下,物流企业正在运送数量惊人的包裹。最大型电子商务公司亚马逊在2022年处理了47.9亿份美国快递订单,相当于每天处理1313万份订单[2]。
IAR与芯驰科技宣布进一步扩大合作,最新版IAR Embedded Workbench for Arm已全面支持芯驰科技的E3119/E3118车规级MCU产品。
联发科日前公布的2024年6月及第二季度财报显示,2024年第二季度,联发科合并营收1272.7亿元新台币(约合284亿人民币),环比减少4.6%,同比增长29.7%,优于此前预期。2024年上半年,
知识酷 👆显示技术 | 显示资讯 | 知识管理第1661篇推文就在刚刚,法国创业团队抢先OpenAI发布端到端实时音频模型——Moshi。官方直接秀了段现场演示:好家伙,感觉语速比真人还快!甚至还学会
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,7月10日,工信部发布“公开征求对《道路机动车辆产品自我检验管理办法(试行)(征求意见稿)》的意见”(以下简称《意见》),其中最重要的内容就
7月9日消息,据媒体报道,台积电将于下周开始试生产其2nm工艺芯片,早于市场预计的第四季度。众所周知,苹果是台积电的主要客户,苹果将率先使用该先进工艺,这意味着2025年的苹果A19芯片将进入2nm时
 “奔赴海外,亮剑沙场。7月10日,“壮士南征开疆土,再创广合新辉煌”广合科技设施铁军出征泰国誓师大会在广州厂隆重举行。集团总经理曾红,泰国工厂顾问李学明,集团各领导以及泰国工厂成员参加。▲精彩视频点
互联网与科技企业每日重点资讯文 | 苏丁巨头动向腾讯薪酬调整!分摊服务奖和房补至月薪腾讯发布全员邮件,对员工薪资福利政策进行调整。这次调整涉及到两个方面,均为基于员工的具体诉求针对性调整。一是将服务奖
7 月 2 日,上海汽车集团股份有限公司召开干部大会,上海市委组织部宣布了市委关于上汽集团主要领导调整的有关决定,并要求按照相关法律规定办理手续。7月10日,上海汽车集团股份有限公司召开第八届董事会第
AI司机 发自 副驾寺智能车参考 | 公众号 AI4Auto喝咖啡,看News,各种出差体验最新的车,见各种有意思的人获取最酷的认知。这大概就是智能车参考编辑部的日常,现在这样的工作和生活方式,正式向
半导体制程中,从一个工艺单元转移到下一个工艺单元前,需要进行清洗和干燥来处理硅片上的污染物。保证硅片的清洁清洗设备主要有以下几个分系统组成①处理系统:化学槽、冲洗槽、干燥阶段→批量式的情况。喷淋和旋转
7 月 8 日,济南市工业和信息化局发布《关于拟开放智能网联汽车测试道路的公示》,由济南公交集团、文远知行联合申请开放部分城区道路作为智能网联汽车测试道路。此外,青岛市工业和信息化局也发布了《关于公布