广告

2021年顶级深度学习论文

时间:2022-05-07 20:15:54 作者:Challey 阅读:
科技界论文是新技术生产力的源泉之一。虽然现在已经2022年了,但论文的影响力和应用一般都有所延迟,因此本文介绍2021年最顶级的的深度学习论文。
广告

科技界论文是新技术生产力的源泉之一。虽然现在已经2022年了,但论文的影响力和应用一般都有所延迟,因此本文介绍2021年最顶级的的深度学习论文。

剪辑

视觉+语言学习是一种趋势,这方面最顶级的论文是一篇OpenIA论文,它使图像识别任务更容易扩展,因为它不需要耗时的ImageNet人工标注。它从原始文本中学习,而不是手动定义标签,在几个著名的数据集中归档了State Of The Art结果。

这是一个新的学习概念吗?不是,但却是到目前为止最雄心勃勃的一个。他们收集了一个由4亿个图像+文本对组成的数据集来训练艺术状态模型:修改后的Transformer架构用于文本编码,几个ResNet-50、ResNet-101、EfficientNet和Vision Transformers(都经过修改)用于图像编码。其中表现最好的是Vision Transformer ViT-L/14。

它是如何工作的?很简单。对比性学习。一个众所周知的零点学习和自我监督学习的技术。给出一对图像及其文字描述,把它们放近。给出一对有错误文字描述的图像,就把它们放得远远的。这样,当用一句话来查询一张图片时,离得近的就是 "更正确 "的。

N张图像及其N个文本描述分别用图像和文本编码器进行编码,因此它们被映射到一个低维的特征空间。接下来,使用另一个映射,一个简单的线性投影映射,从这些特征空间到一个混合的特征空间,称为多模式嵌入空间,在那里他们通过余弦相似度(越接近越相似),使用正+负对的对比学习进行比较。

CLIP的方法

 

CLIP能够解决对同一图像使用多种文本表示法的问题,多义性,并且在一些最著名的数据集,如ImageNet,CIFAR和Pascal VOC上优于State Of The Art(而在其他如MNIST,Flowers102,KITTI Distance上表现不如SOTA)。另外,由于它使用的是对比学习,所以它是一个零点学习器,可以比以前的零点学习模型更好地泛化到未见过的物体类别。

 

扩散模型

说实话,我们都讨厌GANs。他们有一个非常不稳定的学习,需要大量的时间进行微调,而该死的NVIDIA在GitHub上的StyleGAN的实现,它的使用是一些令人愤怒的废话。现在我们都坦白了我们的秘密,我们几乎可以肯定地说,如果有人听到GANs不再是图像生成和翻译的最先进技术,没有人会哭。

你是在说VQ-VAEs吗?不,不是。生成流?不是的。我说的是扩散博士或。我如何学会停止担心并爱上噪音。

我们可以取一个可爱的狗的图像,并在其中加入一些噪音,我们仍然可以完美地看到狗,所以让我们加入更多一点,更多,更多,直到最初的狗图像无法识别,你看到的只是随机噪音。好吧,如果一个非常有艺术性的人见证了所有一步步添加噪音的过程,艺术家将能够在每一个时间步骤中恢复这个过程,这样就可以再次恢复最初的狗。耶,狗哥回来了! 

责编:Challey
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Challey
资深产业分析师
  • 机器人服务电机控制的无MCU实现 伺服电机是实现机器人各种运动的根本性部件,实际上在工业领域的应用可以说是无处不在。本文介绍了一种设计方案,不用微控制器,而是直接利用操纵杆的模拟信号,通过将该信号变换成为伺服电机的PWM信号,完美实现了机器人手臂/伺服电机的两轴自由度控制。
  • 555时基的迷人历史和先天缺陷! 流行数十年的555时基,业内不知晓的工程师应该寥寥无几!几乎所有的数字电路教材中,都有该芯片的身影,要说是无所不在一点也不过分。然而,该电路却存在显著的输出级电流浪涌的先天设计缺陷。原设计师曾设法进行改进,来修复缺陷,但最终都未能实现,他的意志已被强大的市场力量所湮灭!
  • 热锁:用于可复原电池系统的无源故障防护技术 从电动汽车,到各种场景的不间断电源,电池/组的使用可以说是无处不在。作为分布式绿色能源,为环境可持续改善将作出越来越大的贡献。不过,随着电流负荷的不断增加以及应用的日益普及,会带来安全性方面的挑战。本文介绍的热锁技术,为解决该挑战提供了一种颇具吸引力的方案。
  • 紫光展锐基带芯片安全漏洞已修复,从NAS栈到固件详解发 Check Point Research在对摩托罗拉Moto G20手机内的紫光展锐T700芯片上的LTE协议栈的逆向工程中,发现一个被命名为CVE-2022-20210的漏洞。在将漏洞提交给紫光展锐后,已经得到及时修补,本文详解了漏洞发现的过程……
  • 利用示波器实现基本的抖动测量 对于数字系统来说,产生信号抖动的原因很多,其测量是基本的也是必须的。本文详细介绍了如何利用示波器实现基本的抖动测量,包括测量参数的定义、采样率的选取、跟踪函数和直方图的运用,测量统计方法等等。利用这些丰富的工具,可以实现低至2kHz,高达数百兆的抖动测量分析。
  • EOS/ESD每个电子制造工程师都面临的问题,来听听老师傅 ESD EOS问题如何解决,又有哪些值得注意的地方?人机台和物料究竟哪个更容易发生问题。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • 新四化芯机遇 ——车规 “MCU + 2020下半年以来汽车MCU严重缺货局面至今还在持续,给刚刚起步的本土MCU厂商带来巨大的机遇
  • 龙蜥社区:Anolis OS 23正式版将于 近日,龙蜥社区对外公布了下一代龙蜥操作系统(Anolis OS 23)研发路线图,PoC版已在社区官网上线,正式版本将于2023年发布,它支持X86、ARM-v9、RISC-V等多种芯片架构,并集成更多核心自研组件。
  • 为什么很多电工排斥通讯方式,喜欢硬接线?两者之间有什么区别? 微信搜一搜技成培训今天给大家介绍一下工控系统中的一个常见概念,即硬线交换信号,和不同设备间的通讯。以前和大家聊过,一些大型智能工厂中,通常使用一个或者多个大型PLC组成处理核心,所有重要的设备都需要由
  • 自动驾驶的一二三四五六 ↓↓关注回复“资料”,领取特斯拉专利技术解析报告↓↓自动驾驶的发展给智能交通的实现提供了更多的可能,随着低速自动驾驶的逐渐普及与各地区高速自动驾驶试验区域的开设,我们生活的方方面面都开始有自动驾驶身影
  • 电感参数及选型指南 点击上方名片关注了解更多前言电感器(inductor)是一种电磁感应组件,用绝缘的导线在绕线支架(bobbin)或铁芯(core)上绕制一定匝数的线圈(coil)而成,此线圈称为电感线圈或电感器。根据
  • 丰田自动驾驶系统TAD的技术细节 丰田联合其投资Woven Core公司推出的L2级自动驾驶TAD系统(全称为:Teammate Advanced Drive),该系统可实现自适应巡航、自动变道、自动超车等功能,如图1所示。图1 TA
  • 清华大学:加快培养“高精尖缺”工程领域高层次人才 本周替代推荐:CA-IS3762HW可替代TI型号ISO7762DW近日,教育部召开第四场“教育这十年”“1+1”系列新闻发布会。清华大学副校长杨斌在会上表示,清华大学服务国家需求,扎实推进以卓越工程
  • 【世说设计】电源PCB上电感应该如何安放? 用于电压转换的开关稳压器通常使用电感来临时存储能量,这些电感的尺寸通常非常大,必须在开关稳压器的印刷电路板(PCB)布局中为其安排位置。这项任务并不难,因为通过电感的电流可能会变化,但并非瞬间变化,可
  • 讲解电容,这篇说得太好了! 一、电容的基本原理电容,和电感、电阻一起,是电子学三大基本无源器件;电容的功能就是以电场能的形式储存电能量。以平行板电容器为例,简单介绍下电容的基本原理如上图所示,在两块距离较近、相互平行的金属平板上
  • 全球工业机器人四大家族和四小家族,你都知道吗? 微信搜一搜技成培训工业机器人技术水平日趋成熟,已经成为一种标准设备而得到工业界广泛应用,从而也形成了一批较有影响力的、著名的工业机器人公司。工业机器人主要可分为6种类型。左起依次为“极坐标型机器人”、
  • 涉及封测、材料等领域...苏州吴江再添多个半导体产业项目 近日,2022吴江区项目“云招商”活动举行。本次集中签约项目包括盛元半导体封测项目、东芯中高阶ITO靶材原材料生产线项目、正善半导体及AOI视觉检测设备项目、以及伯宇科技数控半导体变色片总部项目等。部
  • 超异构计算:大算力芯片的未来 编者按:回顾计算机的发展历史,从串行到并行,从同构到异构,接下来会持续进化到超异构:第一阶段,串行计算。单核CPU和ASIC等都属于串行计算。第二阶段,同构并行计算。CPU多核并行和GPU数以千计众核
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了