在3月15日凌晨1点,OpenAI发布GPT-4最新语言模型,而这距离ChatGPT的上线仅仅过去了4个月时间......

电子工程专辑讯 在3月15日凌晨1点,OpenAI发布GPT-4最新语言模型,而这距离ChatGPT的上线仅仅过去了4个月时间。

GPT-4是通过在微软Azure上训练大量的数据来生成的。微软已经向这家初创公司投资了数十亿美元。GPT-4使用了OpenAI最新一代人工智能架构Pathways研发的5400亿参数大模型——PaLM,可以接受图像和文本输入,输出文本,具备标记因果关系、上下文理解、推理、代码生成等等多项功能,其中常识推理能力更是较之前提升了20%。

来自推特

先简单介绍下GPT的一个发展历程:

  • 2017年6月,Google发布论文《Attention is all you need》,首次提出Transformer模型,成为GPT发展的基础。
  • 2018年6月,OpenAI发布了第一个GPT模型,使用了117M参数和80万词汇量的Transformer模型,在12个自然语言处理任务上取得了优异的结果。
  • 2019年2月,OpenAI发布了GPT-2模型,使用了15亿参数和50万词汇量的Transformer模型,在36个自然语言处理任务上刷新了记录。
  • 2020年5月,OpenAI发布了GPT-3模型,使用了1750亿参数和50万词汇量的Transformer模型,在多个自然语言处理任务上达到了人类水平或超越人类水平。
  • 2021年11月,OpenAI发布了ChatGPTPlus模型,使用了300亿参数和100万词汇量的Transformer模型,在对话生成方面表现出惊人的能力。
  • 2023年3月,OpenAI发布了GPT-4模型,使用了5400亿参数和100万词汇量的PaLM架构,在多种输入输出类型上展现出强大的生成能力。

GPT-4的语言和考试能力

GPT-4是OpenAI扩展深度学习的最新里程碑,它通过模拟律师考试,分数在应试者的前 10% 左右;相比之下,GPT-3.5 的得分在倒数 10% 左右。OpenAI通过使用最新的公开测试(在奥林匹克竞赛和 AP 自由回答问题的情况下)或购买 2022-2023 年版本的模拟考试来继续进行。他们没有针对这些考试进行专门培训,不过该模型在训练期间看到了考试中的少数问题。OpenAI认为结果是具有代表性的。

图1:考试成绩(按GPT-3.5成绩排序)注:估算的百分位数下限(在应试者中)

这是考试结果的输出图,往下再看看GPT-4在不同领域的考试分数。对比GPT-3有显著提升。

图注:GPT-4的考试成绩清单

OpenAI在机器学习模型设计的传统基准上评估了GPT-4。GPT-4的性能超过了现有的大型语言模型,与大多数最先进的(SOTA)模型并驾齐驱,这些模型可能包括针对基准的工艺或额外的训练协议。

在其他语言的能力上,OpenAI使用Azure Translate将MMLU基准——一套涵盖57个主题的14000个多选题--翻译成了各种语言。在测试的26种语言中的24种语言中,GPT-4的表现优于GPT-3.5和其他LLM(Chinchilla,PaLM)的英语表现,包括低资源语言,如拉脱维亚语(Latvian)、威尔士语(Welsh)和斯瓦希里语(Swahili):

从数据来看,GPT-4对于中文等非英语语言也有很大的进步,处理中文的准确度大幅提升。

GPT-4的视觉输入

GPT-4的视觉可以将图像作为输入,并生成标题、分类和分析,还可以利用图像和文本的信息来完成各种任务,例如:从图片中提取信息并回答问题;根据图片生成描述性或创意性的文本;根据文本生成相关的图片;识别图片中的物体、人物、场景等。

在OpenAI的视觉输入案例介绍中是关于“VGA充电器”。

用户:这张图有什么好笑的?一个面板一个面板地描述它。

GPT-4:该图显示了带有三个面板的“Lightning Cable”适配器的包装。

面板 1:带有 VGA 连接器(一种大的蓝色 15 针连接器,通常用于计算机显示器)的智能手机已插入其充电端口。

面板 2:“Lightning Cable”适配器的包装,上面有 VGA 连接器的图片。

面板 3:VGA 连接器特写,末端有一个小型闪电连接器(用于为 iPhone 和其他 Apple 设备充电)。

这张图片中的幽默来自将过时的大型 VGA 连接器插入小型现代智能手机充电端口的荒谬做法。

上图可见,它已经可以看懂梗图、漫画、艺术作品等多种形式的视觉内容,并与之进行交互。

安全问题的改善

GPT-4在敏感问题上的回答也有很大的改善。OpenAI请了50 多位来自 AI 对齐风险、网络安全、生物风险、信任和安全以及国际安全等领域的专家来对模型进行对抗性测试。他们还收集了额外的数据来提高 GPT-4 拒绝有关如何合成危险化学品的请求的能力。

也就是说,GPT-4与 GPT-3.5 相比,显着改善了许多安全特性。他们已将模型响应不允许内容请求的倾向降低了 82%,并且 GPT-4 根据政策响应敏感请求(例如,医疗建议和自我伤害)的频率提高了 29% 。

OpenAI还对GPT-4多方面进行了测试,来证明现在的GPT-4具备更加先进的AI性能,我这里就不一一介绍。OpenAI也对此表示,期望GPT-4能作为一个有价值的工具,为许多应用程序提供动力来改善人们的生活。

不过OpenAI也警告称,GPT-4还不完美,在许多情况下,它的能力不如人类。该公司表示:“GPT-4仍有许多已知的局限性,我们正在努力解决,比如社会偏见、幻觉和对抗性提示。”

额外提一点的是,可能会有人好奇GPT-4怎么访问。根据OpenAI官网介绍,如果要访问 GPT-4 API(它使用与 gpt-3.5-turbo 相同的ChatCompletions API),需要注册他们的候补名单。在OpenAI发布GPT-4后就开始邀请部分开发人员,并逐步扩大规模以平衡容量与需求。不过目前的GPT-4还只能支持纯文本请求,图像输入仍处于有限的 alpha 阶段。按照现在的说法是,开放的GPT-4只支持到6月14日,之后就要开始收费了。

GPT-4里程碑背后的喜和忧

GPT-4的推出也让很多人感觉到担忧,比如有一研究NLP的普通博士就表示,作为一个研究NLP的普通博士生,我对GPT-4有一种复杂的感觉。这当然是令人沮丧的,因为它使我对自己的研究价值产生怀疑。但是,这种兴奋感太过强烈了 ;grinning:

还有网友评论,看来以后只能去做个司机了,因为GPT-4没有手......(但是以后会有自动驾驶......)

还有推特@Pietro Schirano借助GPT-4尝试了在60秒内重建了一个乒乓游戏“pong”,并表示,“GPT-4是一个令人难以置信的变革技术。”Pietro Schirano之前采用GPT 3.5时候必须进行一些调试或者询问错误,这是他第一次一次性完成。

GPT-4的发布还是有很大的意义,它是人工智能领域的一次巨大飞跃,也是技术道德规范的又一重大转变。GPT-4不仅提高了语言理解和生成的能力,还增加了图像处理和多模态融合的能力,为各种智能应用和交互式游戏提供了更强大的技术支持。同时GPT-4也给我们带来了新的挑战和机遇,例如如何保护数据隐私、防止信息造假、促进技术公平等。

责编:Amy.wu
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
近日,关于复睿微公司解散的消息持续发酵,据职场社交平台脉脉消息,认证信息微复睿微员工的网友爆料称,“复睿微解散了,公司都全没了,好像还发不出N+1……”,后续更新称,“赔偿的N+1还要分期支付……”。分期支付是从2024年2月份开始按季度分期支付,每个季度发放一部分。
近日,印度vivo被指控在印度进行非法转移资金的案件,已经有了调查结果。印度执法局已经对vivo和其他几家公司,提出了第一份与洗钱调查有关的指控书。据外媒消息,印度检方已根据《防止洗钱法》刑事条款于 12 月 6 日向印度首都新德里特别法庭提起诉讼,除该案被捕者外,vivo-India 已被列为被告。
如果是做定制SoC,用什么CPU架构好?之前的厂商普遍采用Arm,而这一情况在近年开始改变,越来越多厂商开始尝试使用提供开源指令集架构(ISA)的RISC-V。
美国政府颁布的新条例,限制了如英伟达这样的公司,对部分受约束国家的人工智能芯片的出售。包括英伟达在内,担心因此失去中国市场份额。此前,英伟达为确保出售符合中国市场规定的芯片,将其H100和A100进行改造,推出了相应的H800和A800两款芯片。此次,英伟达有意针对产品进行再次改造。
电子工程专辑刚刚介绍了《谷歌发布多模态大模型Gemini》,这是谷歌自称强于OpenAI技术的目前最强大的AI,然而据彭博社报道称,Google在关于"双子座"的性能视频演示中作假了。
目前,欧盟达成了人工智能(AI)监管协议,标志着向具有里程碑意义的人工智能政策获批迈出了关键一步,此举为发达国家对生成式AI工具的监管定下基调。
根据TrendForce集邦咨询最新OLED技术及市场发展分析报告统计,在近期发表的摺叠新机中,UTG的市场渗透率已逾九成,随着摺叠手机规模持续成长,预估2023年UTG产值将达3.6亿美元;2024年可望挑战6亿美元。
随着终端及IC客户库存陆续消化至较为健康的水位,及下半年iPhone、Android阵营推出新机等有利因素,带动第三季智能手机、笔电相关零部件急单涌现,但高通胀风险仍在,短期市况依旧不明朗,故此波备货仅以急单方式进行。此外,台积电(TSMC)、三星(Samsung)3nm高价制程贡献营收亦对产值带来正面效益,带动2023年第三季前十大晶圆代工业者产值为282.9亿美元,环比增长7.9%。
治精微推出具过压保护OVP、低功耗、高精度运放ZJA3018
无线技术每天都在拯救生命,有些非常方式是人们意想不到的。在美国加利福尼亚州Scotts Valley,一名路过的慢跑者发现一处住宅冒出火焰后,按响了门铃,试图通知屋主。屋主不在家中,但无线门铃连接到了智能家居中枢,提醒屋主慢跑者试图联系。屋主立即向他提供了安全密码,让他跑进房子,从火场中救出了宠物。
注:各大公司财政年度的起始时间不同于自然年,因此会出现财政季度、年度等与自然年不一致的情况。软件微软(Microsoft)公布截至2023年9月30日的2024财年第一财季业绩。第一财季营收为565.
相信每个硬件工程师应该都用过DC-DC,那么分压反馈电阻的取值有没有想过呢?实际应用中大抵都是直接抄的手册中推荐的分压电阻阻值,就算没有正好对应输出电压的分压阻值,也一般是选择接近的电阻大小。但是,总
自从集成电路发明以后,人类的电子信息技术开始腾飞,60年多年来,在摩尔定律的指导下,半导体集成电路的高速发展彻底改变了电子产品。以计算机为例,1946年诞生的世界第一台数字计算机重30吨,占地约140
近日,Wi-Fi联盟宣布Wi-Fi 7规范将于第一季度末最终确定,为企业采用标准化硬件打开大门。 “基于 IEEE 802.11be 技术的 Wi-Fi CERTIFIED 7 将于 2024 年第一
要点2022 年中国的经济增长不如 2021 年强劲,COVID-19 限制令和持续封锁削弱了中国的经济和制造活动。2022 年,LV 变频器市场增长了 3%,其中大部分增长来自于上一年积压订单的交付
有奖问卷调查:各位工程师朋友,作为全球知名的授权半导体和电子元器件代理商,贸泽电子 Mouser多年来一直倾心为中国工程师服务,助力本土创新! 时至年终,为了更好的服务工程师朋友,我们特别推出“贸泽电
本文来源:物联传媒本文作者:市大妈前几年,对大部分人来说,FWA是一个比较陌生的领域,尽管早在3G和4G时代就已经得到一定的发展。后来,随着5G的发展,FWA作为当前5G应用量级最大的场景之一,被更多
点击左上方蓝色“一口Linux”,选择“设为星标”第一时间看干货文章 ☞【干货】嵌入式驱动工程师学习路线☞【干货】一个可以写到简历的基于Linux物联网综合项目☞【干货】Linux嵌入式知识点-思维导
 /记得星标我/比大部分人早一步看见未来乡村振兴,产业兴旺是重点。今年是加快建设农业强国的起步之年,在陕西,陕西移动依托自身信息技术优势,在电子商务、养殖业、农业等方面注智赋能,推动特色产业稳步发展,
巨头动向腾讯今年回购金额已超过去10年总额12月11日,腾讯公告称,当日耗资约4.03亿港元,回购133万股股份。年初至今,腾讯已经出手113次,累计回购数量约1.28亿股,累计回购金额超过422亿港