人工智能初创公司 Etched 最近宣布推出了名为 "sohu "的新型 Transformer ASIC,声称速度比英伟达的 H100 GPU 快 20 倍。

人工智能初创公司 Etched 最近宣布了一项重大突破,他们推出了名为 "sohu "的新型 Transformer ASIC,声称速度比英伟达的 H100 GPU 快 20 倍。

Transformer是谷歌开发的一种设计深度学习模型的架构,目前已成为 ChatGPT 中 OpenAI 的 GPT-4o、Antrophic Claude、Google Gemini 和 Meta 的 Llama 系列等模型背后的动力源。Etched 希望创建一个仅用于处理Transformer模型的 ASIC,并制作了一款名为 Sohu 的芯片。

哈佛华人辍学生创办的AI芯片公司

据了解,Etched 成立于 2022 年,是一家专门开发人工智能计算硬件,尤其是大型语言模型 (LLM) 硬件的公司,主要是通过专门针对Transformer架构进行优化的硬件,从根本上削减 LLM 推断成本。

Etched 由两位哈佛辍学生 Gavin Uberti(前 OctoML 和前 Xnor.ai 员工)以及 Chris Zhu 创立。

Uberti 曾在编译器领域做过暑期实习生,之后他和 Chris Zhu 开始在一家芯片公司工作。这让他接触到了 Etched 背后的底层硬件理念。

两人于 2022 年从哈佛大学退学,并招收了 Uberti 的大学室友 Wachen。他们很快开始招聘芯片行业资深人士。

作为 Etched.ai 联合创始人,Chris 目前正在开发下一代 LLM 加速器系统。在此之前,Chris 曾在哈佛大学担任各种计算机科学课程的教学研究员。Chris 还曾在亚马逊和 AvantStay 担任软件工程师实习,分别专注于后端物联网基础设施和 AWS 全球收入运营。

此外,Chris 还曾在哈佛本科资本合伙公司担任分析师,并在麻省理工学院担任研究员。更早之前,Chris 还曾担任波士顿大学 PROMYS 的初级辅导员。

截至 2024 年,Etched 共有 35 名员工,并已在 A 轮融资中成功募集到 1.2 亿美元。

Primary Venture Partners 和 Positive Sum Ventures 领投了此轮融资,并获得了 Hummingbird、Fundomo、Fontinalis、Lightscape、Earthshot、Two Sigma Ventures(战略)和 Skybox Data Centers(战略)等机构投资者的支持。

值得一提的是,该公司的天使投资人包括 Peter Thiel、Stanley Druckenmiller、  David Siegel、Balaji Srinivasan、Amjad Masad、Kyle Vogt、Kevin Hartz、Jason Warner、Thomas Dohmke、Bryan Johnson、Mike Novogratz、Immad Akhund、Jawed Karim 和 Charlie Cheeve。

泰尔奖学金主任亚历克斯·汉迪 (Alex Handy) 在一份声明中表示:“投资 Etched 是对人工智能价值的战略押注。他们的芯片解决了竞争对手不敢解决的可扩展性问题,挑战了同行普遍存在的停滞不前现象。Etched 的创始人体现了我们支持的非传统人才——从哈佛辍学,进军半导体行业。他们付出了艰苦的努力,以便硅谷的其他人可以继续安心地编程,而不必担心他们正在研究的任何底层技术。”

比NVIDIA H100快20倍的Sohu

上文提到,Etched 的芯片名为 Sohu,是一款 ASIC(专用集成电路),该芯片支持多达 100 万亿个参数的人工智能模型,是 GPT-4 1.8 万亿个参数设计的 8 倍。

据称,Sohu 的性能要比英伟达公司最新、最好的产品高出整整一个数量级。一台服务器配置 8 个英伟达 H100 GPU 集群,每秒可处理 25,000 个 Llama-3 70B 模型,而最新的 8 个 B200 "Blackwell "GPU 集群每秒可处理 43,000 个模型,而 8 个Sohu集群每秒可输出 500,000 个模型。

在制程方面,Sohu采用台积电 4 纳米工艺制造,配备 144GB HBM3E 内存。

Sohu实现了 90% 的 FLOPS 利用率,而传统 GPU 的利用率仅为 30-40%,这就意味着能效的提升。 

鉴于前沿模型的开发成本超过 10 亿美元,而硬件成本则以百亿美元计,因此拥有一个专门为特定应用供电的加速器有助于更快地推进人工智能的发展。

Sohu是如何实现比NVIDIA H100快20倍的?

Uberti 表示,通过专注于Transformer,以可预测的方式将数据从芯片移动到内存,Etched 的 Sohu 芯片可以将更少的空间分配给内存,将更多的空间分配给决定芯片原始计算能力的晶体管类型。

Eteched 效率的另一个方面是该芯片有一个大核心。这样一来,由流式多处理器协调不同核心计算所进行的低效计算就会减少。

Etched 的创始人预计,运行这些模型的芯片的需求将会增加,特别是一旦它们每分钟用于为 AI 软件提供数百万次服务。

他们还表示,通过将 AI 架构硬编码到芯片中,他们的设备可以减少返回答案的延迟,解锁新的用例,例如 AI 代理或实时语音对话。

Etched 表示,由于其架构更简单且用例单一,其芯片的速度比 Nvidia 的 GPU 快20倍。

责编:Demi
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
据悉,这笔高达16亿美元资金将通过奖励金的形式提供给创新项目,每份奖励金不超过1.5亿美元,以撬动来自工业界和学术界的私营部门投资。
近些年,跟AI相关的工作岗位的薪酬日益攀升,字节跳动已经连续三年位居新发AI岗位量第一。近日,字节跳动推出了“筋斗云人才计划”,是一项面向全球高校招聘顶尖技术人才的专项计划。
Acrevia是一款新型的GCB系统,专为细化EUV光刻创建的图案而设计。该工具采用低损伤表面处理技术,可以减少即将推出的节点的EUV多重图案化使用量,并最终降低芯片制造成本并提高产量。
随着生成式AI技术的快速演进,AI模型在训练和推理过程中,产生巨大算力需求,RISC-V技术在生成式AI硬件算力时代有哪些发展机遇呢?RISC-V是否对AI适合呢?
Omdia 的最新智能手机市场报告指出,2024 年第一季度,联发科的5G智能手机的SoC芯片组出货量超过高通,位列第一。自2023 年第一季度到2024年第一季度,联发科在5G 智能手机的市场份额从 22.8% 上升至29.2%,高通骁龙的份额则从 31.2% 下降至 26.5%。
从0变成1是需要能量的,乌镇智库理事长张晓东预计摩尔定律还能走到2100年以后,半导体行业至少还可以蓬勃发展80到100年。
为了不断追求更好的视觉效果,显示技术行业在增强对比度、亮度和能效方面都面临着挑战。其中一个重要障碍是实现有效的"局部调光",即屏幕特定区域可独立变暗或变亮的技术。
AONZ66412 XSPairFET™ 占地面积紧凑,可简化 PCB板内设计,有助于提高功率密度,同时满足高效Type C应用性能需求。
市场大量需要能够快速、省电地提供定位详细信息的物联网设备,全球价值达到9万亿美元的物流和运输行业领域更是如此[1]。在电子商务蓬勃发展和消费者网购偏好转变的推动下,物流企业正在运送数量惊人的包裹。最大型电子商务公司亚马逊在2022年处理了47.9亿份美国快递订单,相当于每天处理1313万份订单[2]。
IAR与芯驰科技宣布进一步扩大合作,最新版IAR Embedded Workbench for Arm已全面支持芯驰科技的E3119/E3118车规级MCU产品。
一凡 发自 副驾寺智能车参考 | 公众号 AI4Auto武汉的星火,正在点燃自动驾驶。最近,各大社交平台上,涌现出一波在武汉打无人车的体验分享,高转高赞,热度空前。没想到,打车这件日常小事,竟然成为了
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,7月10日,工信部发布“公开征求对《道路机动车辆产品自我检验管理办法(试行)(征求意见稿)》的意见”(以下简称《意见》),其中最重要的内容就
特斯拉汽车于当地时间周三表示,在欧盟对中国制造的电动汽车加征关税后,公司已将其 Model 3 汽车在法国、德国、意大利、希腊、波兰、西班牙、瑞典等欧盟国家的售价提高了约 1500 欧元(当前约 11
据上海市青浦区人民政府新闻办公室消息,2024 年 7 月 9 日,华为上海青浦项目已全部建成,正式命名为华为练秋湖研发中心。信息显示,华为练秋湖研发中心项目位于青浦区金泽镇西岑社区,是上海市重点工程
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,7月10日,据 AutoCar 报道,由于订单减少,奥迪旗下中大型纯电 SUV Q8 E-tron 将遭到提前停产的命运。该车作为奥迪纯电
论坛信息会议名称:第七届半导体大硅片论坛会议时间:2024年9月26-27日会议地点:浙江丽水主办单位:亚化咨询日程安排9月25日16:00~20:00   会议注册9月26日09:00~12:00 
互联网与科技企业每日重点资讯文 | 苏丁巨头动向腾讯薪酬调整!分摊服务奖和房补至月薪腾讯发布全员邮件,对员工薪资福利政策进行调整。这次调整涉及到两个方面,均为基于员工的具体诉求针对性调整。一是将服务奖
AI司机 发自 副驾寺智能车参考 | 公众号 AI4Auto喝咖啡,看News,各种出差体验最新的车,见各种有意思的人获取最酷的认知。这大概就是智能车参考编辑部的日常,现在这样的工作和生活方式,正式向
7月10日消息,据韩媒报道,三星电子全国工会正式宣告了一项震撼性的决定:启动无限期罢工行动!工会最新声明表示,“我们已经明确确定中断生产线,三星公司将对这一决定感到遗憾,我们认为管理层最终会让步,坐上
半导体制程中,从一个工艺单元转移到下一个工艺单元前,需要进行清洗和干燥来处理硅片上的污染物。保证硅片的清洁清洗设备主要有以下几个分系统组成①处理系统:化学槽、冲洗槽、干燥阶段→批量式的情况。喷淋和旋转