广告

AI训练效率太低?碳排放相当于5辆汽车从制造到报废的总量

时间:2020-12-31 作者:cnBeta 阅读:
在投入实际应用之前,AI 模型需要汲取大量的数据、知道其学会如何理解用户的输入。遗憾的是,与人类的学习方式相比,这种训练的效率实在太过低下。训练一款 AI 模型所产生的碳排放,甚至与制造和驾驶五辆汽车到报废的总量相当。
广告

本月早些时候,谷歌迫使某位研究人员撤回了一篇论文,其中提到了谷歌当前在搜索和其它文本分析产品中使用的语言处理人工智能所存在的风险。此外,据某些估计,训练一款 AI 模型所产生的碳排放,甚至与制造和驾驶五辆汽车到报废的总量相当。究其原因,还是当前的 AI 训练效率太过低下。

教机器人走路难,教 AI 懂人话更难。

为了深入了解 AI 训练与传统数据中心计算有何不同,ArsTechnica 特地发表了一篇来自 AI 研究与模型开发专业人员的分析文章。

据悉,传统的数据中心任务,主要涉及视频流、电子邮件、以及社交媒体的处理。与之相比的是,AI 训练需要耗费更多的计算量。

在投入实际应用之前,AI 模型需要汲取大量的数据、知道其学会如何理解用户的输入。遗憾的是,与人类的学习方式相比,这种训练的效率实在太过低下。

现代 AI 需要借助人工神经网络来模拟人脑神经元的数学运算,神经元之间的连接强度,亦是该网络的一个重要参数(权重)。

为了学习如何理解语言,网络需要从随机权重开始并进行调整,知道输出让人感到满意的“正确答案”。

BERT 研究配图(来自:PDF)

训练语言网络的一种常见方法,是从维基百科和新闻媒体等网站提取大量文本,遮盖其中的部分单次,然后让 AI 模型尝试猜出正确的答案。

虽然一开始很容易乱成一锅粥,但随着投喂数据量的不断增加、以及学习的深入,神经网络的连接权重和数据提取模式也会不断作出调整,最终带来准确率的逐渐提升。

以最近的某个双向编码器交涉(BERT)模型为例,其学习了英语书籍和维基百科的 33 亿字内容,然后通过 40 次的反复锤炼,才勉强达到了可用的水平。

作为对比,一名才五岁的人类小孩,尽管其听取的词量不到 BERT 的 1/3000,都不至于像 AI 模型这般需要费心费力地去教。

训练前模型结构的差异

显然,与其盲目地让机器和 AI 算法通过不断重复学习、来学会如何像人类一样思考,不如为语言模型选择一个更合适的训练架构,从而大幅削减其构建成本。

有鉴于此,一些研究人员想到了一种更加合适的方案 —— 考虑学习期间需要动用多少个神经元、神经元之间有多少个连接、参数应以多快的速度发生改变等。

随着尝试的组合越来越多,语言网络的精度提升机会也变得越来越大。相比之下,人脑并不需要费力地去寻得最佳结构,因为祖先早在进化过程中就替我们承受了这些苦难。

近年来,企业和学术界在不断搅动 AI 领域的竞争,毕竟即使 1% 的准度提升,也会带来相当显著的优势 —— 尤其是机器翻译等难度相对较高的任务处理上。

然而为了抢占宣传上的制高点,研究人员可能需要对模型展开数千次的训练、每次动用不同的结构方案,才能找到提升哪怕 1% 的最佳实现,即便这么做也会造成能源的大量浪费。

不同任务上的微调

通过测量训练期间使用的通用硬件功耗,马萨诸塞州大学阿默斯特分校的研究人员们,已经估算出了各种 AI 语言模型的能源开销。

结果发现,训练 BERT 所产生的碳足迹,已相当于搭乘飞机往返纽约和旧金山。如果动用不同的结构进行检索,总成本更是可以高达 315 名乘客 / 甚至一架波音 747 的碳足迹。

从业界发展的趋势来看,与 BERT 类似的 GPT-2 语言模型的开销更是有过之而无不及。其网络中的权重已达 15 亿,更别提精度更高的 GPT-3 了(权重 1750 亿)。

Google's DeepMind AI Just Taught Itself To Walk(via)

研究人员指出,许多人已经意识到,即便最终只有一小部分网络能够发挥最大的作用,但构建出一套更大规模的网络,还是有助于提升整体结果的准确性。

遗憾的是,与生物大脑的神经元效率相比,计算机实在是差了太多个数量级。为了减少碳足迹,科技企业或许会转向更绿色的能源、以及借助更加专用的 AI 模型训练硬件。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 阿里巴巴达摩院发布2021十大科技趋势 2020年是不平凡的一年,经历疫情的洗礼,许多行业重启向上而生的螺旋,但疫情并未阻挡科技前进的脚步,量子计算、基础材料、生物医疗等领域的一系列重大科技突破纷至沓来,后疫情时代,基础技术及科技产业将如何发展,阿里巴巴达摩院发布2021十大科技趋势……
  • ST为何看好工业半导体?它有哪些新技术赋能工业智能? 由于ST对工业市场的战略关注和长期承诺,继去年以“新工业,新智造”为主题的首届工业峰会后,近期又以“激发智能 赋能创新”为主题,聚焦电机控制,电源和能源及自动化三大领域举办了第二届工业峰会。本次峰会,ST共准备了40多个展台,超过130个产品演示。除了当天上午的主会场的主题演讲,电机控制,电源和能源及自动化三个分会场还有51场专题技术演讲,可谓是ST给业界朋友准备的一场技术盛宴。
  • 全国大学生电子设计竞赛作品,是如何利用AI技术的? 我们来看看其中几个给评委留下了相对印象比较深刻的参赛作品。其一是拿下了本次“瑞萨杯”的作品,来自杭州电子科技大学黄崇君、陈俊煜、叶露娜小组的“基于V2X的车路协同系统构建”。还有个印象比较深刻的作品是‘未来超市’。电子秤+摄像头,用视频观测、识别被称商品类型,主要是蔬菜和水果;重量和价格一下就自动生成了……
  • 系统级芯片(SoC)的复杂设计选择:RISC-V及SoC设计平台 做SoC设计规划时,需考虑哪些主要因素?目前主流的SoC在选择处理器内核IP时主要基于什么标准?如何实现差异化设计?SoC设计领域有什么新的技术和应用趋势值得关注?物联网和边缘计算等领域对SoC设计的要求跟移动计算/个人电脑有什么不同?如何选择合适的处理器内核?
  • 智慧城市愿景很丰满,政府预算短缺却很骨感 缺乏实现任何大规模部署的预算分配,对城市转型过程将带来直接或间接的阻碍。而如此沉重的投资也可能会加重已经负债累累之中央政府或地方主管机关的经济负担,从而对未来的总算带来不利影响...
  • 系统级芯片(SoC)的复杂设计选择:EDA和IP 在做系统级芯片(SoC)的设计规划时,需要考虑哪些主要因素?目前主流的SoC一般包括哪些功能模块或IP?有什么新的技术趋势值得关注?为SoC选择IP时主要基于什么标准或要求?如何实现差异化设计?当前SoC在设计验证方面遇到哪些挑战?有什么应对解决方案?AI在复杂的高性能SoC设计中能够发挥什么作用?未来设计趋势如何?
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了