在3月15日凌晨1点，OpenAI发布GPT-4最新语言模型，而这距离ChatGPT的上线仅仅过去了4个月时间......
电子工程专辑讯 在3月15日凌晨1点，OpenAI发布GPT-4最新语言模型，而这距离ChatGPT的上线仅仅过去了4个月时间。
GPT-4是通过在微软Azure上训练大量的数据来生成的。微软已经向这家初创公司投资了数十亿美元。GPT-4使用了OpenAI最新一代人工智能架构Pathways研发的5400亿参数大模型——PaLM，可以接受图像和文本输入，输出文本，具备标记因果关系、上下文理解、推理、代码生成等等多项功能，其中常识推理能力更是较之前提升了20%。
先简单介绍下GPT的一个发展历程：
- 2017年6月，Google发布论文《Attention is all you need》，首次提出Transformer模型，成为GPT发展的基础。
- 2018年6月，OpenAI发布了第一个GPT模型，使用了117M参数和80万词汇量的Transformer模型，在12个自然语言处理任务上取得了优异的结果。
- 2019年2月，OpenAI发布了GPT-2模型，使用了15亿参数和50万词汇量的Transformer模型，在36个自然语言处理任务上刷新了记录。
- 2020年5月，OpenAI发布了GPT-3模型，使用了1750亿参数和50万词汇量的Transformer模型，在多个自然语言处理任务上达到了人类水平或超越人类水平。
- 2021年11月，OpenAI发布了ChatGPTPlus模型，使用了300亿参数和100万词汇量的Transformer模型，在对话生成方面表现出惊人的能力。
- 2023年3月，OpenAI发布了GPT-4模型，使用了5400亿参数和100万词汇量的PaLM架构，在多种输入输出类型上展现出强大的生成能力。
GPT-4的语言和考试能力
GPT-4是OpenAI扩展深度学习的最新里程碑，它通过模拟律师考试，分数在应试者的前 10% 左右；相比之下，GPT-3.5 的得分在倒数 10% 左右。OpenAI通过使用最新的公开测试（在奥林匹克竞赛和 AP 自由回答问题的情况下）或购买 2022-2023 年版本的模拟考试来继续进行。他们没有针对这些考试进行专门培训，不过该模型在训练期间看到了考试中的少数问题。OpenAI认为结果是具有代表性的。
图1：考试成绩（按GPT-3.5成绩排序）注：估算的百分位数下限（在应试者中）
这是考试结果的输出图，往下再看看GPT-4在不同领域的考试分数。对比GPT-3有显著提升。
图注：GPT-4的考试成绩清单
OpenAI在机器学习模型设计的传统基准上评估了GPT-4。GPT-4的性能超过了现有的大型语言模型，与大多数最先进的（SOTA）模型并驾齐驱，这些模型可能包括针对基准的工艺或额外的训练协议。
在其他语言的能力上，OpenAI使用Azure Translate将MMLU基准——一套涵盖57个主题的14000个多选题--翻译成了各种语言。在测试的26种语言中的24种语言中，GPT-4的表现优于GPT-3.5和其他LLM（Chinchilla，PaLM）的英语表现，包括低资源语言，如拉脱维亚语（Latvian）、威尔士语（Welsh）和斯瓦希里语（Swahili）：
从数据来看，GPT-4对于中文等非英语语言也有很大的进步，处理中文的准确度大幅提升。
GPT-4的视觉输入
GPT-4的视觉可以将图像作为输入，并生成标题、分类和分析，还可以利用图像和文本的信息来完成各种任务，例如：从图片中提取信息并回答问题；根据图片生成描述性或创意性的文本；根据文本生成相关的图片；识别图片中的物体、人物、场景等。
在OpenAI的视觉输入案例介绍中是关于“VGA充电器”。
用户：这张图有什么好笑的？一个面板一个面板地描述它。
GPT-4：该图显示了带有三个面板的“Lightning Cable”适配器的包装。
面板 1：带有 VGA 连接器（一种大的蓝色 15 针连接器，通常用于计算机显示器）的智能手机已插入其充电端口。
面板 2：“Lightning Cable”适配器的包装，上面有 VGA 连接器的图片。
面板 3：VGA 连接器特写，末端有一个小型闪电连接器（用于为 iPhone 和其他 Apple 设备充电）。
这张图片中的幽默来自将过时的大型 VGA 连接器插入小型现代智能手机充电端口的荒谬做法。
上图可见，它已经可以看懂梗图、漫画、艺术作品等多种形式的视觉内容，并与之进行交互。
安全问题的改善
GPT-4在敏感问题上的回答也有很大的改善。OpenAI请了50 多位来自 AI 对齐风险、网络安全、生物风险、信任和安全以及国际安全等领域的专家来对模型进行对抗性测试。他们还收集了额外的数据来提高 GPT-4 拒绝有关如何合成危险化学品的请求的能力。
也就是说，GPT-4与 GPT-3.5 相比，显着改善了许多安全特性。他们已将模型响应不允许内容请求的倾向降低了 82%，并且 GPT-4 根据政策响应敏感请求（例如，医疗建议和自我伤害）的频率提高了 29% 。
OpenAI还对GPT-4多方面进行了测试，来证明现在的GPT-4具备更加先进的AI性能，我这里就不一一介绍。OpenAI也对此表示，期望GPT-4能作为一个有价值的工具，为许多应用程序提供动力来改善人们的生活。
不过OpenAI也警告称，GPT-4还不完美，在许多情况下，它的能力不如人类。该公司表示：“GPT-4仍有许多已知的局限性，我们正在努力解决，比如社会偏见、幻觉和对抗性提示。”
额外提一点的是，可能会有人好奇GPT-4怎么访问。根据OpenAI官网介绍，如果要访问 GPT-4 API（它使用与 gpt-3.5-turbo 相同的ChatCompletions API），需要注册他们的候补名单。在OpenAI发布GPT-4后就开始邀请部分开发人员，并逐步扩大规模以平衡容量与需求。不过目前的GPT-4还只能支持纯文本请求，图像输入仍处于有限的 alpha 阶段。按照现在的说法是，开放的GPT-4只支持到6月14日，之后就要开始收费了。
GPT-4里程碑背后的喜和忧
GPT-4的推出也让很多人感觉到担忧，比如有一研究NLP的普通博士就表示，作为一个研究NLP的普通博士生，我对GPT-4有一种复杂的感觉。这当然是令人沮丧的，因为它使我对自己的研究价值产生怀疑。但是，这种兴奋感太过强烈了 ;grinning:
还有网友评论，看来以后只能去做个司机了，因为GPT-4没有手......（但是以后会有自动驾驶......)
还有推特@Pietro Schirano借助GPT-4尝试了在60秒内重建了一个乒乓游戏“pong”，并表示，“GPT-4是一个令人难以置信的变革技术。”Pietro Schirano之前采用GPT 3.5时候必须进行一些调试或者询问错误，这是他第一次一次性完成。
GPT-4的发布还是有很大的意义，它是人工智能领域的一次巨大飞跃，也是技术道德规范的又一重大转变。GPT-4不仅提高了语言理解和生成的能力，还增加了图像处理和多模态融合的能力，为各种智能应用和交互式游戏提供了更强大的技术支持。同时GPT-4也给我们带来了新的挑战和机遇，例如如何保护数据隐私、防止信息造假、促进技术公平等。
您可能感兴趣
